u8-istream: Fix handling of partial reads.

The u8-istream code did not retry upon a partial read, assuming that that
was the end of the file.  When the partial read was shorter than
ENCODING_GUESS_MIN, this could cause the encoding guesser, in turn, to
guess the wrong encoding (especially if the encoding was really UTF-16 and
the partial read was an odd number of bytes).

Reported at https://bugs.debian.org/760841.
Reported by Friedrich Beckmann and Steven Chamberlain.

Updated translations from translationproject.org

html: Format new-lines as line breaks.

Otherwise all the lines run together in SYSFILE INFO output in particular.

html: Align table cells vertically at the top.

This is what the ascii and cairo drivers do, and it looks best.

zip-writer: Write size and CRC in local directory when possible.

Google Drive rejects ODT files as corrupted unless their size and CRC are
in local file headers, even though the zip file specification says that it
is OK for them to follow the file data.  Thus, this commit changes the
zip writer to satisfy Google unless the output file is not seekable.

odt: Use text:outline-level instead of text:level inside text:h.

text:level is for numbered lists, text:outline-level is for headings.

Found by validating sample output against ODT Relax-NG schema with "jing".

psppire-dialog-action-var-info: Only allow "Jump To" with one variable.

Until now, when at least one variable was selected, the user could click
on "Jump To", which would jump to the first selected variable.  This commit
changes behavior so that "Jump To" is only enabled when exactly one
variable is selected, which makes it a lot less confusing about which
variable will be jumped to.

Suggested by Bastián Díaz <diaz.bastian@ymail.com> .

psppire-dialog-action-varinfo: Make dialog use output engine.

psppire-output-view: New features for use separate from output window.

psppire-output-view: Adjust output formatting as widget is resized.

psppire-output-view: Fix memory leaks.

These memory leaks have been present for a long time, probably since
Cairo-based GUI output was introduced.

psppire-output-window: Factor out output view as psppire-output-view.

This will allow it to be used in other places.

gui: Consistently call PsppireOutputWindow a "window", not a "viewer".

I intend to separate the windw from the view, which makes the existing
terminology confusing.

output: Make it possible to push and pop output engines.

This makes it possible to temporarily push a different set of output
drivers, which in turn makes it possible to do output as a pane within a
dialog or other window.

doc: Fix PDF manual build with updated texinfo.tex.

Patch posted at https://savannah.gnu.org/patch/?8518.

SYSFILE INFO: Improve output formatting by using nested tables.

output: Implement nested tables.

This generalizes the output engine to handle cells with fairly flexible
content, instead of just paragraphs of text.

tests: Refactor rendering tests.

This will make it easier to test nested tables when support for them is
added in an upcoming commit, because it becomes possible to include
multiple of the complicated test tables in one file easily.

render-test: Add --no-txt and --no-stdout options.

I have found these sometimes useful during debugging.

po: Update translations from translationproject.org.

Pspp.t: Sort value labels before comparing them.

This test failed on some platforms because it was iterating a hash.  The
order of an iterated hash is undefined.  This change sorts before comparing
thus avoiding the problem.

Thanks to Friedrich Beckmann for this patch.

render: Rename 'cell' variables used for breaking to 'z'.

Upcoming changes will add an instance of a struct table_cell in
render_break_next(), whose name is naturally 'cell', so 'z' is a better
name for a cell index along the current axis.

table-paste: Add error-checking assertion to table_paste().

table-paste: Fix comments and variable naming.

render: Fix typo in comment.

render: Fix rendering corner cases when a cell is broken across pages.

The rendering code ability to break individual cells across multiple pages
has never received good test coverage because the criteria for doing that
are strict enough that the testsuite hardly ever does it.  This commit adds
a "--min-break=0" version to each test in the testsuite, which uncovers a
number of bugs in the cell breaking code.  It also fixes those bugs.

render-test: Add output file option.

Make minimum breaks configurable.

render: Don't add overflows when header is contiguous with body.

render_page_select() needs to calculate overflows when it cuts a header off
from the body of a table.  Until now, it has considered headers and body to
always be cut off from each other, but this isn't true when the selected
body region is adjacent to one of the headers.  This commit takes that into
consideration, producing better results in one of the tests in the
testsuite.

This commit is much smaller when viewed with whitespace changes ignored.

table-select: Only cut headers into two if needed in table_select_slice().

Until now, when including headers in the table it returns,
table_select_slice() has always either returned the entire original table
or a set of chunks: left header, selected body, right header.  However, it
is possible to do better when the selected body includes all the cells
up to, say, the right header: then you only need a single chunk to include
the body and the right header.  Besides saving memory, this also has the
advantage that, if a joined cell crosses between the body and the header,
it is not cut into two pieces by chunking.  It doesn't make too much sense
to join a cell across body and header, but this still makes it easier to
render better if someone does that.

The testsuite includes a few tables that do join a cell across body and
header.  This commit improves the output for one and changes some ugly
output to different ugly output for another.  Additional changes in an
upcoming commit fix the latter and some other tables too.

render: Add comments to tests.

render: Fix typo in comment.

Add OUTPUT MODIFY command

Fix typo in printed string

po: Update translations from translationproject.org.

Remove file po/de.po,aux

This is no longer needed, since the strings are now translated in the
main po/de.po file

Add psppire-window-base.c to list of glade auxilliary files

po: Update translations from translationproject.org.

cairo: Use same scale factor as Pango, for precision and speed.

By setting XR_POINT to PANGO_SCALE (1024), we can avoid the need for
expensive conversions that lose accuracy.

cairo: Fix failures to scale between cairo and pango units.

The difference between Cairo and Pango units, as currently defined by
XR_POINT and PANGO_SCALE, is only 2.4% (1000 versus 1024).  This makes the
difference rarely noticeable, and easy to miss when casually looking at
output.  However, while continuing to develop the PSPP output drivers, I
did notice.

To make the difference obvious, I temporarily changed XR_POINT from 1000
to 500.  This commit fixes the problems that this revealed.

cairo: Remove PangoWrapMode parameter that was always PANGO_WRAP_WORD.

Fixed crash in REGRESSION when only one SAVE parameter present.

The REGRESSION command crashed when /SAVE=resid or /SAVE=pred
(but not both) was given.  This change fixes this.

Reported by: Bob Earl <Bob.Earl@gmx.net>

po: Update translations from translationproject.org.

html: Fix right border of cells that span columns at right edge of a table.

Similarly for bottom border of cells that span rows at bottom of a table.

Reported by John Darrington.
Bug #42321.

variable: Report only changes in width that actually change it.

For me, this fixes the problem reported by Fran A. <pacodea2001@yahoo.es>
when I resize the width of the second variable in a data file provided
by John Darrington.

doc: Correct name of binomial dsitribution functions.

Reported by Bob Earl <Bob.Earl@gmx.net>.

CROSSTABS: Add test to verify treatment of ties.

From an example provided privately by Douglas Bonett.

CROSSTABS: Calculate significance for lambda and Somers' d.

John Darrington pointed out that lambda just uses normal significance.
Somers' d appears to do so also (based on only a few examples though).

NEWS: correct typo

CROSSTABS: Calculate ASE for asymmetric lambda (correctly).

Calculation supplied by Douglas Bonett <dgbonett@ucsc.edu>:
http://lists.gnu.org/archive/html/pspp-dev/2014-05/msg00007.html

CROSSTABS: Don't calculate symmetric uncertainty coefficient approx T.

It was calculated wrong.

CROSSTABS: Add additional test case.

CROSSTABS: Don't calculate ASE for symmetric Somers' d.

I couldn't figure out how to get the formula to match the SPSS results.

Also, add several tests for Somers' D and other ordinal tests.

CROSSTABS: Drop buggy ASE for asymmetric lambda; fix T for symmetric lambda.

I really can't figure out how SPSS calculates the ASE for asymmetric
lambda, despite hours of effort.

CROSSTABS: Fix T values for Spearman's R and Pearson's R.

I verified that the values are correct using this online calculator:
http://www.danielsoper.com/statcalc3/calc.aspx?id=61

CROSSTABS: Add tests for Pearson's R, and update documentation.

PSPP seems to calculate Pearson's R values correctly, despite the
documentation that said otherwise.  I don't have any remaining notes for
why the documentation said this, so I'm removing the claim that PSPP does
not calculate Pearson's R correctly.

expressions: Reword error message upon use of unimplemented function.

Some users found the previous wording confusing.  This wording suggested
by John Darrington <john@darrington.wattle.id.au>.

See discussion at:
http://lists.gnu.org/archive/html/pspp-users/2014-05/msg00004.html

syntax-gen: Include missing header file.

doc: Comment out documentation for functions that are not implemented.

Reported by John Darrington <john@darrington.wattle.id.au>.

Annotate some more results as p-values and update the tests accordingly

Added result_class parameter to tab_double and updated all callers. Removed tab_fixed

syntax-gen.c : Allow conversion specifiers of the form %.20f

Fixed a bug where contrasts with negative T where incorrectly processed.

Planned contrasts in the ONEWAY procedure reported p-values > 1 when
T was negative.  This change fixes this problem.

Thanks to Douglas Bonett <dgbonett@ucsc.edu> for reporting this.

sys-file-info: Add IBM850 and DIN_66003 encodings.

Requested by Andre Müller:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2014-02/msg00036.html

FREQUENCIES: Fixed crash showing histograms of limited range.

We had been using Freedman-Diaconis rule to select the bin width.
According to the literature this is better than Sturges rule.
However it cannot work when the interquartile range is zero, which
will happen for datasets with small range.

This change uses the Freedman-Diaconis rule and falls back to
Sturges when the IQR is zero.

FREQUENCIES: Replaced frequencies.q with frequencies.c

FREQUENCIES: Added new test for bug which causes a crash

New test: test/ui/syntax-gen-test.c

Added a test to provide some confidence that the syntax generation
functions work.

src/ui/syntax-gen.c: Correct misleading comment

Update version number to 0.8.3.

po: Update translations from translationproject.org.

Avoid crash in psppire-dialog-action-logistic.c

Commit 14f4522a17db23e67a6fa17876633cc6260cb42b introduced some
printf directives which syntax_gen_pspp did not support.  This
resulted in an assertion failure.

This change reverts the changes which caused the problem.

po: Update translations from translationproject.org.

page-first-line: Make the Text column expand as the window is resized.

Bug #41974.
Reported by Mindaugus.

Updated translations from translationproject.org

configure: Increase version to 0.8.2.1 to enable translations.

Requested by Harry Thijssen.

DESCRIPTIVES: Fix treatment of FILTER in presence of Z scores.

Bug #42012.
Reported by Mindaugus.

line-reader: Fix null derefe in line_reader_for_fd() with null encoding.

This function is supposed to treat NULL and "Auto" the same way, but it
tried to xstrdup NULL, which doesn't work.

This is easy to reproduce by attempting to use File|Import Data to read
a short file whose contents are all ASCII.

Bug #41971.
Reported by Mindaugus.

psppire-syntax-window: Recode file from final encoding, not original one.

When syntax_load() reads a syntax file, it can guess the correct encoding
using encoding_guess_whole_file().  When it does that, it's supposed to
use the guessed encoding to recode the file data into UTF-8.  In fact, it
was using the original (NULL or "") encoding, which didn't work out well.
This commit makes it use the guessed encoding.

Bug #41975.
Reported by Mindaugas.

Updated translations from translationproject.org

T-TEST: Fixed a bug in reporting the independent samples std err of the difference

The standard error of the difference and the confidence interval
for the unequal variances case was reported where the equal variances
case should have been.  This change fixes that.

Reported by: Michael Schneider <m-schneider.klh@uni-wuerzburg.de>

GET DATA - corrected documentation

The manual incorrectly documented the /ASSUMEDSTRWIDTH subcommand as
/ASSUMEDVARWIDTH  This change fixes it.

Thanks to Ward Rommel for reporting this.

Cartesian Graphs: use circular marker instead of square one.

Also slightly smaller.  This I think is a bit more aesthetically
pleasing.

pspp-dump-sav: Dump labels longer than 255 bytes.

sys-file-reader: Raise maximum number of bytes in variable label to 65536.

Reported by Andre Müller.
Bug #41863.

Added display sort feature to PsppireDictView

Added a feature to the dialog boxes where the user can choose
the sort order in which to display the variables.

odt: Format newlines in table cells as Open Document Format line breaks.

Otherwise separate lines run together in the table cells, even though they
are represented as new-lines in the XML.

csv-file-writer: Write all line breaks in system-specific format.

Reported by Andre Müller.
Bug #41852.

Allow variable labels longer than 255 bytes.

Reported by Andre Müller.
Bug #41863.

Fix warnings about casts between pointers and differently sized integers.

Doesn't seem to fix any real problems, but GCC on x86-64 complained.

line-reader: Fix bad math when size_t is bigger than off_t.

When size_t is bigger than off_t, pos - r->length will end up very large,
instead of negative, when r->length > pos, so the MAX didn't help to get
rid of negative values.  I'm not sure that this should really happen in
practice, but it's better to avoid it.

Reported by GCC on x86-64.

sys-file-reader: Fix bad printf format specifiers.

Found by GCC on x86-64.

Added some accelerator keys to the menu items.

Thanks to Dr. Soumalya Ray for reporting this deficiency.

src/libpspp/zip-reader.c: Possible fix for windoze ODS reading issues.

Problems unzipping ODS files have been reported on windows.  This change
might fix them.

Fix issue reported on macos where the toolbar icons were not displayed.

This was caused because we set a default icon size when some icons at
that size did not exist.

Replace syntactical keywords in error/warning messages by printf directives

Continuing the effort started in commit eb06da6a334bc37108cdce9bfc7f26cfcb2003ee

Fixed bug importing ODS files.

There was a typo which caused the import of ODS files in the gui to
not properly function.  This change fixes the typo, but also re-arranges
the code such that similar errors are less likely to go unnoticed in the
future.  It also brings the code more in concord with the GNU Coding
Standards (which were written that way exactly to prevent these errors).

Fixes bug #41657

Replace syntactical keywords in error/warning messages by printf directives.

A number of translators are still making the mistake of translating syntax
keywords in messages (such as "REPEAT") into thier literal equivalents in
the target language.  This change avoids the posibility of that mistake,
by removing the keywords from the translatable string.

sys-file-reader: Don't skip "too many value labels" test anymore.

Previously the maximum number of value labels depended on the size of
size_t, so that it was impossible to have too many on 64-bit systems, but
a recent change made the maximum number of value labels depend on the
size of unsigned int instead, so now 32- and 64-bit systems are the same.
This commit reverts the code that skips the test.

i18n: Fix typo in test.

UTF8 is written UTF-8 elsewhere.  It looks like Mac OS X only accepts the
latter spelling.

Reported by Jeremy Lavergne.