GLM: Fix memory leaks

Categoricals: remove var member which is no longer required

Categoricals: Replace single value by a case, so that interactions can be supported

Change interaction functions to use cases rather than value arrays

Categoricals to take interactions instead of variables.

This change alters the API of categoricals_create, so as to
accept an array of interactions instead of an array of variables.
Currently, however only interactions which contain exactly one
variable will run correctly.

GLM: Rewrite interactions module and update glm.c to use it in some places

GLM: Prepare the lexer to accept nested variables

Added dialog for the NPAR RUNS subcommand

K-means dialog only should accept numeric variables

Add some  "mnemonic_widget" refs which had been forgotten

Added dialog box for quick cluster command

Updated the Lithuanian translation from translationproject.org.

variable: Simplify var_set_display_width().

I don't see a reason to keep old_width or to call
dict_var_changed() if nothing changed.

format: Use max width for over-max decimals in fmt_fix().

In fmt_fix(), requesting more decimals than are possible did
not increase the width at all.  It makes better sense to use
the maximum width and maximum decimals for this case, so this
commit makes that change.

format: Honor width step in fmt_fix().

This ensures that hexadecimal format widths will be a multiple
of 2 after fmt_fix() finishes with them.

This function is used only by the GUI, which doesn't generally
work with hexadecimal formats, so it might not fix a real bug
in practice.

GLM: Allow +/- .001 for Corrected Total Type III Sum of Squares.

Jeremy Lavergne <jeremy@lavergne.gotdns.org> reported that on
Mac OS X this value is calculated as 329.628 instead of
329.627.  John Darrington said that he's seen the same on
GNU/Linux depending on compiler optimization flags.

tests: Avoid nonportable "mktemp" usage.

Jeremy Lavergne <jeremy@lavergne.gotdns.org> reported that
mktemp on Mac OS X does not have a -p option.  But I don't see
a reason to use mktemp at all here, so this commit uses a fixed
name instead.

tests: Fix Perl module tests on Mac OS X.

Tested by Jeremy Lavergne <jeremy@lavergne.gotdns.org>.

QUICK CLUSTER: Add documentation

QUICK CLUSTER: Add MISSING=EXCLUDE for consistency with other commands

QUICK CLUSTER: Implement pairwise missing option

Merge remote branch 'savannah/master'

Remove redundant files in test sources, that apparently caused link problems

Fix compiler warnings

Added dialog box for the AUTORECODE command.  Closes bug #30009

Quick Cluster: Avoid crash when presented with missing values

QUICK-CLUSTER: Seperate const from non-const data and make it handle splits

For consistency with other files use <> instead of ""

Remove some gnulib modules whichare being flagges as obsolete

Use PACKAGE_URL from config.h instead of literal string

doc: Fix order of NUMERIC and MRSETS sections.

The sections were out of alphabetical order.

Found by texi2html.

Update NEWS file

Implemented the POSTHOC subcommand for the ONEWAY command.

Currently, only LSD, Tukey, Bonferroni, Scheffe, Games-Howell
and Sidak are supported. These are presented as Multiple
Comparisons - the Homogeneous Subsets are not yet implemented.

Fix bug where recent data files were not added

Replace the t-test paired options dialog with a simpler implementation.

This makes use of some commonality with the npar 2 sample related dialog.

Add the /BLANK subcommand to AUTORECODE

Implement dialog box for the non-parametric 2-related-samples tests

Move the glade definition for the paired samples dialog box to its own file

Added COUNT dialog box. Addresses one part of bug #29869

New widget PsppireValChooser.

This widget provides a user interface allowing the user to input the
a value, or range of values.  This was previously done "by hand" in
the recode dialog, but was awkward to maintain, and clumsy.  Upcoming
dialogs will need something very similar. So now seemed like a good
time to encapsulate it.

Use variable labels in DESCRIPTIVES output.  Fixes bug #31565

Avoid GtkCritical in recode dialog

Fix incorrect conditional

Fix GUI issues in K-Related NPAR dialog box.

Mark get_rule function as inline.

Use greater-than-or-equal to sign instead of '>='.

Now that the "ascii" driver supports non-ascii, we can use these
unicode characters to give more elegent output.

Implemented the McNemar test.  Closes bug #33242

Fix bugs deleting temporary files and their containing directory.

The clean_temp module provided by gnulib doesn't cleanup on program
exit.  We must do that ourselves.  Secondly, the close_temp_file function
was supposed to remove the file, but didn't do that.  Thirdly, files
were not being registered with the clean_temp module on creation.
This change fixes these problems.

Make the value labels dialog resizable

Replace deprecated function call

Remove action member from PsppireSelector

Replace some deprecated GTK macros

Change the order of the reported NPAR values in two sample related tests.

This change makes the order of the reported values follow the order in
which they were entered in the syntax.  The changes to the tests affect
only the order.  The numbers are unchanged.

Remove duplicated functions

Remove unused functions

Filter the data file list by mime type instead of file extension

Set the show-tips property on the recent chooser menus

Use local include paths instead of relative to $top_builddir/src

The old method appeared not to work with some gcc versions.

Replace some obsolete Gtk macro calls

Fix building when readline library is not present

Added support to read OpenDocument spreadsheet files

Implemented a zip-writer to correspond to zip-reader

Perl Module - Add function to count cases in a reader.

Closes bug #33381

Remove some files which are no longer used

Fix bug parsing T-TEST

Re-implemented the T-TEST command and the levene calculation.

Also updated the ONEWAY command to use the new levene test.
The changes to t-test.at in this changeset affect only whitespace
or the order of reported significance.  The numbers remain unchanged.

Fixed the categoricals such that now both GLM and ONEWAY work

GLM: Add unimplemented subcommands, and add a test.

This change adds a basic GLM test for the "Latin Square" use case.
It also implements the more common subcommands that might occur in
a real life example of such usage.  The /DESIGN subcommand differs
slightly from spss.  In spss, it is optional, and if given can be
empty.  In this change, /DESIGN is mandatory and may not be empty.
The rational for that, is that spss's default is to include interactions
for all the factors.  We don't (yet) support interactions, so it's
better to refuse to run a syntax which relies upon the default
rather than to run it with different semantics.

First working GLM command

Added type 3 sums of squares to GLM

gui: Move some formatting functions into PSPP core.

gui: Strip numerics and strings differently in value_to_text().

Otherwise a long string value that only contains a few
characters followed by all spaces is hard to read.

gui: Eliminate some dependencies on the dictionary.

Previously all of the dialog boxes used by the variable sheet
kept around a pointer to the dictionary solely to obtain the
dictionary's encoding.  Previous commits have eliminated that
use, so this commit gets rid of the dictionary members.

gui: Simplify value_to_text() parameters.

Both the format and the dictionary can be inferred from the
variable being formatted in every case in the tree but one, so
use that as the calling convention.  In the one remaining case,
it's just as easy to call data_out() directly.

gui: Consistently use print format instead of write format.

In syntax, only the WRITE command uses write formats.  Other
commands all use print formats.  I don't see why the GUI should
act differently.

gui: Drop 'dict' parameter from text_to_value().

This parameter is used only to obtain the dictionary's
encoding, which may also be obtained through the variable.

sys-file-reader: Reduce invalid format from error to warning.

gaby jongenelen <geebie21@gmail.com> provided a .sav file
written by "MS Windows Release 13.0 spssio32.dll" that had
zeros in the "write" format field for several numeric
variables.  Until now, PSPP treated this as an error and
rejected the file.  This commit changes the error to a warning
and suppresses the diagnostic entirely for this case of a
zero value.

sys-file-writer: Write identical sets of value labels only once.

The .sav file format can save space by writing a single set of
value labels once and assigning it to multiple variables.  PSPP
has never taken advantage of this, instead writing the value
labels for each variable separately.  This commit adopts the
strategy for avoiding duplicates apparently used by SPSS, based
on observing a .sav file that had many groups of variables with
the same labels.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery.

variable: Do not trim trailing whitespace from variable labels.

Until now, PSPP has trimmed trailing whitespace from variable
labels.  SPSS does not do this, which led to gratuitous changes
in variable labels when reading and then writing back a .sav
file, so this commit stops stripping trailing whitespace from
variable labels.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery.

sys-file-writer: Omit empty multiple response sets records.

Multiple response sets are divided into two records in a .sav
file: one record with subtype 7 and one with subtype 19.  PSPP
was incorrectly writing both records even if one of them was
empty.  This commit makes it omit the empty record.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery.

sys-file-writer: Write variable names in mrsets in lowercase.

SPSS appears to write the short names of the variables in a
multiple response set in lowercase, so this commit make PSPP
do the same.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery.

sys-file-reader, sys-file-writer: Use codepage numbers.

PSPP has had a library for converting between encoding names
and codepage numbers for a while, but the system file reader
and writer code has not taken advantage of it.  This commit
make them use it.

Update code that assumed a dictionary's encoding could be NULL.

Until recently, I think, it was possible for dict_get_encoding()
to return NULL.  It is no longer possible as far as I can see,
so this commit adds a comment that says so to the definition
of dict_get_encoding().  It also updates a few callers that
had checks for null pointers.

sys-file-writer: Write encoding names in all-uppercase.

SPSS appears to write encoding names in all-upperacse, so PSPP
should too.

sys-file-writer: Put long variable name in variable attributes.

Otherwise, PSPP cannot read back .sav files that it writes, if
they contain variable attributes for variables with long names.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery and to John
Darrington for helping to investigate.

CD: Fix a bug and add a regression test.

GET DATA /TYPE=TXT: Also allow full format to be specified.

The implementation of fixed-format mode only allowed a format
type (e.g. DOLLAR) to be specified.  SPSS also allowed a full
format specification (e.g. DOLLAR12.2), so this implements that
feature.

Reported-by: Ronaldo Baltar <ronaldo.baltar@gmail.com>

tests: Remove unused old shell-based test files.

Somehow I forgot to delete these when I switched everything over
to use Autotest.  Nothing refers to them any longer.

gui: Clean generated gtk.h wrapper on "make clean".

Fixes "make distcheck".

Reported by John Darrington.

gui: Fix temporary filtering by a variable's value.

Problem reported by Mindaugus.
Bug #33088.

gui: Make AGGREGATE dialog initially show all of the right pane.

The AGGREGATE dialog initially had a very narrow left pane, so
commit 2e6cffa44ef5 "Aggregate dialog: Initialize HPane widget width
on opening" added a callback function to adjust the position of the
divider between the panes to half the window's width.  But this
happens after the window has been laid out, which means that unless
the window is very wide to begin with, it will cause part of the
right pane to disappear.

I was able to get more consistently good results by forcing a minimum
width for the left pane with a width_request, and making the right
pane shrinkable below the minimum size needed to show all of it.  A
final tweak was to make the left pane automatically grow with the
window.

If you've already used the Aggregate dialog then your preferences for
the window size have been saved, so for testing this it is best to
remove $HOME/.config/psppire before each experiment.

Bug #31126.

SORT CASES: Don't delete filtered-out cases.

This was first noticed by users in the GUI, but it is a problem with
the implementation of SORT CASES, not a problem with the GUI.

Bug #33089.
Thanks to Mindaugus for reporting the problem.

gui: Make File|Recent Files remember the correct encoding.

It's no good to have File|Open... able to open a file in any encoding
if later pulling up the same file with File|Recent Files screws that
up, so this commit fixes the problem by noting the charset in the
file's mime-type.

gui: Recode syntax files on load and save.

This adds a new widget that allows an encoding to be selected to the
File|Open dialog box, as well as to the File|Save As... dialog box
for syntax files only.  Files are recoded to UTF-8 on load and back
to the original encoding on save.

File|Recent Files doesn't yet properly save the encoding information.
That's coming up in the next commit.

Bug #33254.
Thanks to John Darrington for reporting this problem.

gui: Refactor checking for .sav and .por suffixes.

It seems reasonable to allow, e.g., .Sav as well as .SAV and .sav, so
this does that.  It also splits name_has_suffix() into smaller
pieces that will individually be used in an upcoming commit.

gui: Move null_if_empty_param() from psppire-window to helper.

An upcoming commit will introduce a new user of this function in a
different source file, so it seems best to have this defined in a
common header file.

i18n: New function is_encoding_supported().

This will be used for the first time in an upcoming commit.

encoding-guesser: New function encoding_guess_whole_file().

This will be used for the first time in an upcoming commit.

pspp-dump-sav: Add #include <limits.h> to get INT_MAX definition.

Problem reported by Harry Thijssen <pspp@sjpaes.nl>.

configure: Use $LIB<x> for linking a program, not $LTLIB<x>.

The gettext manual says:

     `@LIBINTL@' is for use without `libtool', `@LTLIBINTL@' is for
     use with `libtool'

It has similar wording for libiconv.

Since there's lots of libtool-related stuff in the PSPP makefiles, I
assumed that PSPP needed $LTLIB<x>.  But it now appears that this is
only correct for linking a libtool library, not for linking a
program that links against libtool libraries.

On GNU/Linux, both $LIB<x> and $LTLIB<x> expand to the empty string,
so I couldn't tell from experimenting there.

This should fix link failures with Mingw, reported by Harry Thijssen
<pspp@sjpaes.nl>.