sys-file-reader: Add support for long string missing values.

I assumed earlier that long string missing values used the same fields in
the system file as other missing values, but I was wrong.  This commit
updates the support to match what I've seen in actual system files.

Reported by Przemek Powalko <pp.alter.ego@gmail.com>.

missing-values: Make mv_add_str() easier to use.

Both existing callers of mv_add_str() were applying their own padding to
the string value.  This commit moves the padding into mv_add_str() itself.

This commit also fixes a minor to-do item in the MISSING VALUES command
whereby truncation of too-long missing values was done bytewise rather than
on the basis of full characters.

psppire-var-sheet: Rename references to the icons for align, measure and role icons

gui:Add new reference to the icons in *.ui files

Smake: Rename references of images and add new ones

gui: Update flat icon set to version 0.2

psppire-data-store: Don't try to parse strings as custom currency formats.

Custom currency formats are not usable for input, only for output, but this
code tried to use them for input if the format was changed to a custom
currency format in the GUI.  This commit fixes the problem by using a
DOLLAR format, instead, for parsing.

Reported by Bastián Díaz <diaz.bastian@ymail.com>.

variable: Only notify variable width change if it really did change.

This code was notifying a width change every time, even if the width did
not really change, which is wasteful.  This had a side effect of revealing
a bug in the GUI code which caused an assertion failure.  The bug still
remains in the GUI code, though it is now slightly harder to trigger, and
will be fixed separately in an upcoming commit.

scan-test: Print nonintegers with limited precision to avoid test failures.

Cygwin printed 0.1 as 0.10000000000000001, even with dtoastr().

Reported by Przemek Powalko <pp.alter.ego@gmail.com>.

tests: Skip recently added Gnumeric tests if Gnumeric reader was not built.

The Gnumeric tests written earlier already did this.

Reported by Przemek Powalko <pp.alter.ego@gmail.com>.

render: Fix bug measuring spanned cells.

Ignore some files that are used for the build but not checked in.

Documentation: Explain locale issues in the tutorial.

Mention that explicitly setting the input format is necessary if the user wishes
to ignore the system's LC_NUMERIC setting.   Otherwise,  following the tutorial
strictly to the letter will result in confusing for users whose locale uses a
comma as the decimal separator.

Use correct argument order for pool_nmalloc.

This function (and other calloc-like functions) are may not take zero as the size argument.  Hence
the order is important.  Reported by Przemek Powalko <pp.alter.ego@gmail.com>

gui: Avoid referencing freed data upon closing data window.

Without this commit, the following procedure always yielded Glib/GTK+
warnings or criticals for me:

1. Invoke PSPPIRE with a .sav file specified on the command line.
2. Choose Utilities|Variables...
3. Select a variable in the dialog box, then click on Cancel.
3. Close the output window using the window manager.
4. Close the data window using the window manager.

This commit fixes the problem.

ascii: Use correct arguments in call to msg_error().

Charts: Use colours from Tango palette instead of fully saturated primaries

Use the msg function to report errors wherever possible.

Previously, some errors were reported using the GNU "error" function from error.h
rather than the PSPP msg function.  This wasn't too bad for the terminal user interace,
but gui users could miss important messages (since they never see stderr).

The reason for not using msg in some instances, was twofold: 1) Some
errors might occur before the messaging system had been initialised. 2) If an
error occured whilst reporting an error, an infinite loop would occur.

This change overcomes these problems by detecting re-entrancy, and uninitialised
messaging system, and falling back to fwrite if either of these conditions occur.

Added some gtk-criticals when the datasheet is  null.

In a single threaded, non-concurrent system, this should never happen.

po: Add Ukrainian translation from translationproject.org.

Update version number to 0.8.1.

psppire-dialog-action-var-info: Allow multiple variable selection.

This allows the user to select, view, and paste more than one variable
at a time in the Utilities|Variables dialog.

Requested by Bastian Diaz.

psppire-dictview: New function psppire_dict_view_get_selected_variables().

gui: Remove unused dictionary parameter from missing_values_to_string().

Updated lithuanian translation from TP

Added a test which checks the Fisher Exact Test results

Calculate Fisher Exact Test even if all cell counts >= 5

Remove the condition that one of the cell counts must be < 5
before calculating the fisher exact test.  This condition seems
to be an anachronism, but still (erroneously) documented in Algorithms.

Correct error calculating significance of fisher exact test.

The two tailed significance is the sum of the one tailed signficance and those point significances which
are greater than P(N = n1)

Crosstabs: Use logarithms to calculate the product/quotients of factorials

Avoid overflow of large numbers resulting from factorials, by using the logarithms as
intermediate results

sys-file-reader: Add support for record 7, subtype 10.

Reported by Christoph Ruip with .sav file attached here:
http://lists.gnu.org/archive/html/bug-gnu-pspp/2013-09/msg00044.html

sys-file-info: Make cmd_sysfile_info() more flexible internally.

This change should not have any visible effect but does allow new rows to
be inserted between existing rows.

FACTOR: Fix bug interpreting the /CRITERIA=ITERATE subcommand

NEWS: Mention the new icons

Make one of the icon sets a wildcard set.

We currently have two icon sets: A 16x16 and a 24x24 set.  Previously,
we had been using the 16x16 set for menuitems and the 24x24 set for the
toolbar.  However it appeared that windows uses the symbol GTK_ICON_SIZE_SMALL_TOOLBAR
instead of GTK_ICON_SIZE_LARGE_TOOLBAR, which meant no icons appeared in the
toolbar.

This change sets the 24x24 set as a "wildcard" set meaning it will be used for
all purposes except menuitems.

psppire-var-sheet: Add icons for role column too.

Some of the changes here reflect the way that all three combo box columns
now include a pixbuf, allowing greater code reuse.

Artwork contributed by Bastian Diaz.

Change instances of GNM_SUPPORT to GNM_READ_SUPPORT

Commit 82c1097ab658e8c13ab3ad439970148defba6e19 used the preprocessor
symbol GNM_READ_SUPPORT but GNM_SUPPORT was the one set in the autconf
files.  Hence some code was erroneously omitted.

This change uses GNM_READ_SUPPORT throughout which is consistent
with ODF_READ_SUPPORT

psppire-var-sheet: Add icons to combo boxes for alignment and measurement.

We can easily add them for roles, too, if we get icons for those.

Suggested by Bastian Diaz.

psppire-var-sheet: Factor out code into new function path_string_to_var().

An upcoming commit will add a second user.

psppire-var-sheet: Generalize get_var_align_stock_id().

This change allows finding a stock-id speculatively, without having a
variable on hand.

psppire-dictview: Generalize psppire_dict_view_get_var_measurement_stock_id().

This change allows finding a stock-id speculatively, without having a
variable on hand.

spreadsheet-reader: Avoid 'unused variable' warnings.

If ODS and GNM support are both unavailable then GCC warns here.

Dont try to build in gnumeric/odf reader if the libraries are not installed

data-parser: A hard delimiter at end of line is not an empty field.

Until now, DATA LIST FREE(',') treated input like this:

    1,2,
    3,4,

as describing six fields, two of which were blank at the end of a line.
A bug report and subsequent experiments showed that in fact this is only
four fields, none of which is blank.  This commit fixes the problem and
adds a new test that should avoid regression against this issue.

Reported by Samuel Afflerbach.

VARIABLE ROLE: Document the format and add a test.

VARIABLE ROLE: Use correct system file representation.

Thanks to Paul Vella, Alan Mead, and Bastián Díaz for helping with this.

VARIABLE ROLE: New command.

Also adds GUI support.

The system file representation for variable roles is really just an
educated guess.  I am going to ask for assistance in confirming the
representation.

gui: Remove declarations of variables not defined anywhere.

Added url for ODS to the documentation

Smake: Move the svg2png function to its own $call

lexer: Rename LEX_ERROR_INTERACTIVE to LEX_ERROR_TERMINAL, change default

The LEX_ERROR_INTERACTIVE error handling mode really only makes sense for
reading from a terminal, where we know we're getting one line at a time
and not partial lines.  Unfortunately LEX_ERROR_INTERACTIVE was the default
and it was getting used as such in the GUI for reading from syntax files.
This meant that if there was an error in the GUI then the current buffer
(which might be any arbitrary chunk of syntax) was being discarded, which
caused terrible confusion.

This commit changes the default to LEX_ERROR_CONTINUE, which works
in a reasonable fashion regardless of the input source.  It also renames
LEX_ERROR_INTERACTIVE to LEX_ERROR_TERMINAL to make it clear that that's
the only reasonable use.

Reported by Thambu David <thambu@cmcvellore.ac.in>, archived at:
http://lists.gnu.org/archive/html/pspp-users/2013-08/msg00019.html

Deleted legacy icons

psppire-var-sheet: Hard-code size of pixbuf cells.

Otherwise the icons disappear if the sheet is initially empty, because
there's no icon for an empty row and thus nothing to make the pixbuf cells
nonzero size.

Reported by Bastian Diaz.

psppire: Relocate icon files also.

Otherwise the icons can't be found with --enable-relocatable when the
program is not installed in the normal system location.

doc: Clarify that DO REPEAT only substitutes whole words.

Based on this conversation:
https://lists.gnu.org/archive/html/pspp-users/2013-08/msg00009.html

Makefiles: Use $(LTLIBREADLINE) instead of $(LIBREADLINE).

Fixes a link failure with -Wl,--as-needed.

Reported by Sebastien Fabbro.
Bug #39707.

src/output/table.h: Rename class -> klass

This makes it possible to include this file in C++ compiled programs.

Fixed bug in command line parser

Reduce the possibility of translator errors

gui: Restore icons deleted in error.

These icons were deleted by commit caa467c9a26a7 (gui: Update artwork.)
even though they were still in use.  This commit restores them and allows
"make -f Smake" to complete without error.

Deleted some files which do not seem to serve any purpose

Remove legacy icons

Added the new "about-logo"

Smake: Add appropriate dependencies to manifest and icon-names targets

gui: Update artwork.

Added new icons and made them stock items.

Added the new artwork by Bastian Diaz, and created stock items for them.
Used a few of these stock items where appropriate.

encoding-guesser: Fix bug in parsing fallback encodings.

The encoding guesser originally used UTF-8 as a fallback in situations
where it had already figured out that UTF-8 couldn't be right.  Commit
d6c75296 (encoding-guesser: Fall back to windows-1252 when UTF-8 can't be
right.) fixed this, by falling back to window-1252 when UTF-8 was known to
be wrong, but it also introduced a bug where this change to the fallback
encoding occurred even when UTF-8 had not be determined to be wrong.  This
commit fixes that problem.

Reported by John Darrington.

sys-file-reader: Accept measurement value of zero without complaint.

SPSS 14 seemed to output a measurement value of 0 for string variables,
but SPSS 21 does the same thing for numeric variables.  We might as well
accept it.

Reported by Mindaugus.
Bug #39502

sys-file-reader: Ignore subtype 24 written by SPSS 21.

Reported by Mindaugus.

sys-file-reader: Handle SPSS 21 change in representation of LOWEST.

Thanks to Mindaugus for reporting this issue.
Bug #39502.

sys-file-reader: Improve diagnostics for unexpected special values.

SPSS 21 schanged the value that it reports for "lowest" in the machine
float info record, but the existing diagnostics made it hard to tell
exactly what changed.  Adding hexadecimal float output makes it obvious.

pspp-dump-sav: Print a new-line following text record content.

Text records don't necessarily end in a new-line so this ensures that the
next line of output starts at the beginning of a line.

psppire-var-sheet: Add alignment icons to variable sheet.

gui: Remove processor-area from status bar to reduce minimum window width.

Nothing ever puts anything in the processor-area widget, but it forces
the data window to be 35 character widths wider, so by removing it we can
allow the window to be resized much narrower when the status bar is shown.

Reported by Bastián Díaz <diaz.bastian@ymail.com>.

psppire-var-sheet: Add measurement level icons to variable sheet.

Suggested by Bastián Díaz <diaz.bastian@ymail.com>.

pspp-sheet-view: Draw vertical grid lines at far right of grid.

pspp-sheet-view: Fix bug that omitted bottom of cell grid lines.

Replaced the splash screen with a new one

Replace legacy application icon by new one

Make distcheck pass

Integrated the application icons

Added names of new artwork contributors to about dialog

Added mimetype icons

Added some icons to represent pspp file types in file managers etc.

Use "auto" mode for parsing syntax in the GUI (and elsewhere).

This should be less surprising, I hope, than always parsing syntax in
"interactive" mode.

Reported by Ronald Crichton <Ronald.Crichton@cit.edu.au>.

Change "variable_changed" to "variable-changed" in signal name

This makes it consistent with usage elsewhere.

po: Update Dutch translation from translationproject.org.

Fix crash when changing variable formats in data import dialog.

Recent changes altered the CHANGE_VARIABLE signal handler signature,
but this handler had not been updated.

Reported-by: dr soumalya ray <drsoumalya-ray@yahoo.co.in>

Update version number to 0.8.0.

Updated localisations from translation-project.org

REGRESSION: Fix issues found by by review

Ben reported following potential problems:

I think that if the DEPENDENT subcommand is given twice (a user error), then
the variables specified the first time will be silently leaked.

cmd_regression() has two local variables named 'i'.

I don't understand why "struct workspace" has a member 'psw' that is a
dynamically allocated array, because it looks like each element of the array
is used only during processing a single split file group.  That is, I think
that 'psw' could be just a singleton, instead of an array.

I think that fill_all_vars() is wrong: if an absent var follows a not-absent
var, then vars[] will be filled with a gap and there will be a write into
unallocated memory.

Reported-by: Ben Pfaff
Avoids shadowing variable in lower scope.  suggested by Ben Pfaff

configure.ac: Increase version number to 0.7.11.

ONEWAY: Fix memory leak in run_oneway.

Bug #39070.

tower-test: Use memmove(), not memcpy(), for overlapping memory move.

Found by valgrind.

sparse-xarray: Fix memory leak in dump_sparse_xarray_to_disk().

Bug #39070.

model-checker: Fix memory leak in finish_mc().

This memory leak was visible only when the model checker was configured
with a particular path to follow.

constness

Fixed incorrect behaviour of REGRESSION when multiple dependent variables are entered

The REGRESSION command behaved badly when more than one dependent variable was entered.
The cause was that the unnormalised covariance matrix returned from the covariance
module was mutated for each variable.  Consequently, each variable after the first
was wrong.  This change fixes that by changing the ownership semantics of the returned
matrix (and thereby its constness).

This change also adds some comments, attends to constness and fixes the remaining
memory leaks associated with regression.

Fix problems associated with LINEAR REGRESSION and splits

Added test to check that REGRESSION works with multiple dependent variables

Added a test to ensure that SPLITS vs REGRESSION/SAVE works ok

Rename tests from REGRESSION to LINEAR REGRESSION

This way I can run just the linear regression tests without the
logistic regression tests.