Crosstabs: Use logarithms to calculate the product/quotients of factorials

Avoid overflow of large numbers resulting from factorials, by using the logarithms as
intermediate results

sys-file-reader: Add support for record 7, subtype 10.

Reported by Christoph Ruip with .sav file attached here:
http://lists.gnu.org/archive/html/bug-gnu-pspp/2013-09/msg00044.html

sys-file-info: Make cmd_sysfile_info() more flexible internally.

This change should not have any visible effect but does allow new rows to
be inserted between existing rows.

FACTOR: Fix bug interpreting the /CRITERIA=ITERATE subcommand

NEWS: Mention the new icons

Make one of the icon sets a wildcard set.

We currently have two icon sets: A 16x16 and a 24x24 set.  Previously,
we had been using the 16x16 set for menuitems and the 24x24 set for the
toolbar.  However it appeared that windows uses the symbol GTK_ICON_SIZE_SMALL_TOOLBAR
instead of GTK_ICON_SIZE_LARGE_TOOLBAR, which meant no icons appeared in the
toolbar.

This change sets the 24x24 set as a "wildcard" set meaning it will be used for
all purposes except menuitems.

psppire-var-sheet: Add icons for role column too.

Some of the changes here reflect the way that all three combo box columns
now include a pixbuf, allowing greater code reuse.

Artwork contributed by Bastian Diaz.

Change instances of GNM_SUPPORT to GNM_READ_SUPPORT

Commit 82c1097ab658e8c13ab3ad439970148defba6e19 used the preprocessor
symbol GNM_READ_SUPPORT but GNM_SUPPORT was the one set in the autconf
files.  Hence some code was erroneously omitted.

This change uses GNM_READ_SUPPORT throughout which is consistent
with ODF_READ_SUPPORT

psppire-var-sheet: Add icons to combo boxes for alignment and measurement.

We can easily add them for roles, too, if we get icons for those.

Suggested by Bastian Diaz.

psppire-var-sheet: Factor out code into new function path_string_to_var().

An upcoming commit will add a second user.

psppire-var-sheet: Generalize get_var_align_stock_id().

This change allows finding a stock-id speculatively, without having a
variable on hand.

psppire-dictview: Generalize psppire_dict_view_get_var_measurement_stock_id().

This change allows finding a stock-id speculatively, without having a
variable on hand.

spreadsheet-reader: Avoid 'unused variable' warnings.

If ODS and GNM support are both unavailable then GCC warns here.

Dont try to build in gnumeric/odf reader if the libraries are not installed

data-parser: A hard delimiter at end of line is not an empty field.

Until now, DATA LIST FREE(',') treated input like this:

    1,2,
    3,4,

as describing six fields, two of which were blank at the end of a line.
A bug report and subsequent experiments showed that in fact this is only
four fields, none of which is blank.  This commit fixes the problem and
adds a new test that should avoid regression against this issue.

Reported by Samuel Afflerbach.

VARIABLE ROLE: Document the format and add a test.

VARIABLE ROLE: Use correct system file representation.

Thanks to Paul Vella, Alan Mead, and Bastián Díaz for helping with this.

VARIABLE ROLE: New command.

Also adds GUI support.

The system file representation for variable roles is really just an
educated guess.  I am going to ask for assistance in confirming the
representation.

gui: Remove declarations of variables not defined anywhere.

Added url for ODS to the documentation

Smake: Move the svg2png function to its own $call

lexer: Rename LEX_ERROR_INTERACTIVE to LEX_ERROR_TERMINAL, change default

The LEX_ERROR_INTERACTIVE error handling mode really only makes sense for
reading from a terminal, where we know we're getting one line at a time
and not partial lines.  Unfortunately LEX_ERROR_INTERACTIVE was the default
and it was getting used as such in the GUI for reading from syntax files.
This meant that if there was an error in the GUI then the current buffer
(which might be any arbitrary chunk of syntax) was being discarded, which
caused terrible confusion.

This commit changes the default to LEX_ERROR_CONTINUE, which works
in a reasonable fashion regardless of the input source.  It also renames
LEX_ERROR_INTERACTIVE to LEX_ERROR_TERMINAL to make it clear that that's
the only reasonable use.

Reported by Thambu David <thambu@cmcvellore.ac.in>, archived at:
http://lists.gnu.org/archive/html/pspp-users/2013-08/msg00019.html

Deleted legacy icons

psppire-var-sheet: Hard-code size of pixbuf cells.

Otherwise the icons disappear if the sheet is initially empty, because
there's no icon for an empty row and thus nothing to make the pixbuf cells
nonzero size.

Reported by Bastian Diaz.

psppire: Relocate icon files also.

Otherwise the icons can't be found with --enable-relocatable when the
program is not installed in the normal system location.

doc: Clarify that DO REPEAT only substitutes whole words.

Based on this conversation:
https://lists.gnu.org/archive/html/pspp-users/2013-08/msg00009.html

Makefiles: Use $(LTLIBREADLINE) instead of $(LIBREADLINE).

Fixes a link failure with -Wl,--as-needed.

Reported by Sebastien Fabbro.
Bug #39707.

src/output/table.h: Rename class -> klass

This makes it possible to include this file in C++ compiled programs.

Fixed bug in command line parser

Reduce the possibility of translator errors

gui: Restore icons deleted in error.

These icons were deleted by commit caa467c9a26a7 (gui: Update artwork.)
even though they were still in use.  This commit restores them and allows
"make -f Smake" to complete without error.

Deleted some files which do not seem to serve any purpose

Remove legacy icons

Added the new "about-logo"

Smake: Add appropriate dependencies to manifest and icon-names targets

gui: Update artwork.

Added new icons and made them stock items.

Added the new artwork by Bastian Diaz, and created stock items for them.
Used a few of these stock items where appropriate.

encoding-guesser: Fix bug in parsing fallback encodings.

The encoding guesser originally used UTF-8 as a fallback in situations
where it had already figured out that UTF-8 couldn't be right.  Commit
d6c75296 (encoding-guesser: Fall back to windows-1252 when UTF-8 can't be
right.) fixed this, by falling back to window-1252 when UTF-8 was known to
be wrong, but it also introduced a bug where this change to the fallback
encoding occurred even when UTF-8 had not be determined to be wrong.  This
commit fixes that problem.

Reported by John Darrington.

sys-file-reader: Accept measurement value of zero without complaint.

SPSS 14 seemed to output a measurement value of 0 for string variables,
but SPSS 21 does the same thing for numeric variables.  We might as well
accept it.

Reported by Mindaugus.
Bug #39502

sys-file-reader: Ignore subtype 24 written by SPSS 21.

Reported by Mindaugus.

sys-file-reader: Handle SPSS 21 change in representation of LOWEST.

Thanks to Mindaugus for reporting this issue.
Bug #39502.

sys-file-reader: Improve diagnostics for unexpected special values.

SPSS 21 schanged the value that it reports for "lowest" in the machine
float info record, but the existing diagnostics made it hard to tell
exactly what changed.  Adding hexadecimal float output makes it obvious.

pspp-dump-sav: Print a new-line following text record content.

Text records don't necessarily end in a new-line so this ensures that the
next line of output starts at the beginning of a line.

psppire-var-sheet: Add alignment icons to variable sheet.

gui: Remove processor-area from status bar to reduce minimum window width.

Nothing ever puts anything in the processor-area widget, but it forces
the data window to be 35 character widths wider, so by removing it we can
allow the window to be resized much narrower when the status bar is shown.

Reported by Bastián Díaz <diaz.bastian@ymail.com>.

psppire-var-sheet: Add measurement level icons to variable sheet.

Suggested by Bastián Díaz <diaz.bastian@ymail.com>.

pspp-sheet-view: Draw vertical grid lines at far right of grid.

pspp-sheet-view: Fix bug that omitted bottom of cell grid lines.

Replaced the splash screen with a new one

Replace legacy application icon by new one

Make distcheck pass

Integrated the application icons

Added names of new artwork contributors to about dialog

Added mimetype icons

Added some icons to represent pspp file types in file managers etc.

Use "auto" mode for parsing syntax in the GUI (and elsewhere).

This should be less surprising, I hope, than always parsing syntax in
"interactive" mode.

Reported by Ronald Crichton <Ronald.Crichton@cit.edu.au>.

Change "variable_changed" to "variable-changed" in signal name

This makes it consistent with usage elsewhere.

po: Update Dutch translation from translationproject.org.

Fix crash when changing variable formats in data import dialog.

Recent changes altered the CHANGE_VARIABLE signal handler signature,
but this handler had not been updated.

Reported-by: dr soumalya ray <drsoumalya-ray@yahoo.co.in>

Update version number to 0.8.0.

Updated localisations from translation-project.org

REGRESSION: Fix issues found by by review

Ben reported following potential problems:

I think that if the DEPENDENT subcommand is given twice (a user error), then
the variables specified the first time will be silently leaked.

cmd_regression() has two local variables named 'i'.

I don't understand why "struct workspace" has a member 'psw' that is a
dynamically allocated array, because it looks like each element of the array
is used only during processing a single split file group.  That is, I think
that 'psw' could be just a singleton, instead of an array.

I think that fill_all_vars() is wrong: if an absent var follows a not-absent
var, then vars[] will be filled with a gap and there will be a write into
unallocated memory.

Reported-by: Ben Pfaff
Avoids shadowing variable in lower scope.  suggested by Ben Pfaff

configure.ac: Increase version number to 0.7.11.

ONEWAY: Fix memory leak in run_oneway.

Bug #39070.

tower-test: Use memmove(), not memcpy(), for overlapping memory move.

Found by valgrind.

sparse-xarray: Fix memory leak in dump_sparse_xarray_to_disk().

Bug #39070.

model-checker: Fix memory leak in finish_mc().

This memory leak was visible only when the model checker was configured
with a particular path to follow.

constness

Fixed incorrect behaviour of REGRESSION when multiple dependent variables are entered

The REGRESSION command behaved badly when more than one dependent variable was entered.
The cause was that the unnormalised covariance matrix returned from the covariance
module was mutated for each variable.  Consequently, each variable after the first
was wrong.  This change fixes that by changing the ownership semantics of the returned
matrix (and thereby its constness).

This change also adds some comments, attends to constness and fixes the remaining
memory leaks associated with regression.

Fix problems associated with LINEAR REGRESSION and splits

Added test to check that REGRESSION works with multiple dependent variables

Added a test to ensure that SPLITS vs REGRESSION/SAVE works ok

Rename tests from REGRESSION to LINEAR REGRESSION

This way I can run just the linear regression tests without the
logistic regression tests.

Avoid unexpected failures in check-valgrind due to XTERM_LOCALE

Partial fix for regression vs. splits issue

Split the struct regression into information which is
parsed from the command, and data which is calculated during
execution of the command.

Bug #39070

linreg.c: Remove superfluous cast

range-tower: Fix memory leaks.

Bug #39070.

CROSSTABS: Fix memory leaks.

Bug #39070.

linreg: Remove some unused features

session: Fix two memory leaks.

Bug #39070.

LOGISTIC REGRESSION: Fix memory leak in error path

datasheet: Avoid reading a given row more than necessary in source_read().

The datasheet casereader uses datasheet_get_row(), which calls rw_case(),
which until this commit called source_read() for every column.  The latter
was expensive if casereader_peek() actually copied data for a whole large
row.  For a datasheet with N columns, all from a single backing source,
the upshot was that datasheet_get_row() took O(N**2) time.

This commit fixes the problem in the common case by reading as many columns
as possible from a given source in a single call to source_read().

Bug #33260.

variable.c: New function var_set_width_and_formats

Added a new function to set the width and formats of a variable as
an atomic operation. This is necessary to allow values to re-interpreted
without going through an intermediate format and thereby perhaps loosing
information.

Closes bug #39252

variable.c: (var_set_width)  traits other than width may also be set

Split VAR_TRAIT_FORMAT into PRINT and WRITE variants

Fix and simplify the code for converting variables between types

Before this commit, changing a variable from string to numeric or
vici-versa would cause all values of that variable to become SYSMIS.
This commit fixes this problem at least partially.

Partial fix for bug #39252

Fix constness of datasheet_resize_column arguments

The aux variable should not be changed, so make it const

dictionary.c: Remove the var_resized and var_display_width_changed callbacks

Remove the resized and display width changed callbacks, and
transfer their actions to the variable_changed callback.

Changed the signature of the VARIABLE_CHANGED signal to take the WHAT and OLDVAR parameters

Re-implement signal handlers of the variable-changed signal to PsppireDict to take
the new WHAT and OLDVAR parameters.

Added the WHAT and OLDVAR parameters to the var_changed dictionary callback

Propagate the newly implemented WHAT and OLDVAR parameters in the PsppireDict
class.

dictionary.c: Added a oldvar parameter to the var_changed callback

The var_changed callback needs a copy of the old (unchanged) variable,
so that implementations can compare and act accordingly.

dictionary.c: Added a WHAT argument to dict_var_changed callback

Defined some bitwise constants to indicate which aspect of a variable has
changed.  Added an argument to the dict_var_changed callback taking an
argument which contains a combination of these types.

This is used in later commits to avoid the callback implementation having
to guess what exactly changed.

variable.c: Add _quiet versions of the var_set_ methods and use in var_clone

var_clone doesn't need to provoke callbacks, since the new variable does not
(yet) have a dictionary  hence the callbacks can do nothing.  Also the callbacks
cause problems for later commits, since they themselves could call var_clone.

This change therefore defines _quiet versions of all the var_set methods, which
do not generate any callbacks, and uses those versions in the implementation
of var_clone.

Minor additions and updates to the meta documentation

Remove generation of GSignal marshallers which are  no longer required

psppire_var_type_dialog: Remove global functions which are not used

INPUT PROGRAM: Use a separate dataset for the input program.

Without this change, INPUT PROGRAM uses the same dataset as the following
syntax.  This usually is fine, but there's at least one case where it
doesn't work: if the INPUT PROGRAM defines a vector, then a following
proc_execute() without any intervening transformations causes
proc_execute() to follow a "fast path" where it skips running the procedure
but instead just does a few things, like clearing the set of vectors.
Unfortunately, this means that later when the input program is really run,
  it doesn't have the vectors and accesses freed memory.

This commit switches to a different tactic.  INPUT PROGRAM creates a
special session and dataset that are used only for the input program.  This
keeps the dataset and the transformations used for the input program
separate from those used after the input program.

Bug #39097.
Reported by John Darrington.

command.def: Disallow DATASET commands inside INPUT PROGRAM, FILE TYPE.

It doesn't make sense to try to switch datasets within INPUT PROGRAM, and
so we shouldn't allow it.

Correct typo in documentation of SAVE TRANSLATE

Text Import Dialog: Fix initialisation of pages which had got broken

manual: REGRESSION and DESCRIPTIVES make temp transformations permanent.

Ideally, this should not be the behavior, but it is better than the crash
we had before.

Suggested by John Darrington.

Bug #38787.
Bug #38786.