Perl Module - Add function to count cases in a reader.

Closes bug #33381

Remove some files which are no longer used

Fix bug parsing T-TEST

Re-implemented the T-TEST command and the levene calculation.

Also updated the ONEWAY command to use the new levene test.
The changes to t-test.at in this changeset affect only whitespace
or the order of reported significance.  The numbers remain unchanged.

Fixed the categoricals such that now both GLM and ONEWAY work

GLM: Add unimplemented subcommands, and add a test.

This change adds a basic GLM test for the "Latin Square" use case.
It also implements the more common subcommands that might occur in
a real life example of such usage.  The /DESIGN subcommand differs
slightly from spss.  In spss, it is optional, and if given can be
empty.  In this change, /DESIGN is mandatory and may not be empty.
The rational for that, is that spss's default is to include interactions
for all the factors.  We don't (yet) support interactions, so it's
better to refuse to run a syntax which relies upon the default
rather than to run it with different semantics.

First working GLM command

Added type 3 sums of squares to GLM

gui: Move some formatting functions into PSPP core.

gui: Strip numerics and strings differently in value_to_text().

Otherwise a long string value that only contains a few
characters followed by all spaces is hard to read.

gui: Eliminate some dependencies on the dictionary.

Previously all of the dialog boxes used by the variable sheet
kept around a pointer to the dictionary solely to obtain the
dictionary's encoding.  Previous commits have eliminated that
use, so this commit gets rid of the dictionary members.

gui: Simplify value_to_text() parameters.

Both the format and the dictionary can be inferred from the
variable being formatted in every case in the tree but one, so
use that as the calling convention.  In the one remaining case,
it's just as easy to call data_out() directly.

gui: Consistently use print format instead of write format.

In syntax, only the WRITE command uses write formats.  Other
commands all use print formats.  I don't see why the GUI should
act differently.

gui: Drop 'dict' parameter from text_to_value().

This parameter is used only to obtain the dictionary's
encoding, which may also be obtained through the variable.

sys-file-reader: Reduce invalid format from error to warning.

gaby jongenelen <geebie21@gmail.com> provided a .sav file
written by "MS Windows Release 13.0 spssio32.dll" that had
zeros in the "write" format field for several numeric
variables.  Until now, PSPP treated this as an error and
rejected the file.  This commit changes the error to a warning
and suppresses the diagnostic entirely for this case of a
zero value.

sys-file-writer: Write identical sets of value labels only once.

The .sav file format can save space by writing a single set of
value labels once and assigning it to multiple variables.  PSPP
has never taken advantage of this, instead writing the value
labels for each variable separately.  This commit adopts the
strategy for avoiding duplicates apparently used by SPSS, based
on observing a .sav file that had many groups of variables with
the same labels.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery.

variable: Do not trim trailing whitespace from variable labels.

Until now, PSPP has trimmed trailing whitespace from variable
labels.  SPSS does not do this, which led to gratuitous changes
in variable labels when reading and then writing back a .sav
file, so this commit stops stripping trailing whitespace from
variable labels.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery.

sys-file-writer: Omit empty multiple response sets records.

Multiple response sets are divided into two records in a .sav
file: one record with subtype 7 and one with subtype 19.  PSPP
was incorrectly writing both records even if one of them was
empty.  This commit makes it omit the empty record.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery.

sys-file-writer: Write variable names in mrsets in lowercase.

SPSS appears to write the short names of the variables in a
multiple response set in lowercase, so this commit make PSPP
do the same.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery.

sys-file-reader, sys-file-writer: Use codepage numbers.

PSPP has had a library for converting between encoding names
and codepage numbers for a while, but the system file reader
and writer code has not taken advantage of it.  This commit
make them use it.

Update code that assumed a dictionary's encoding could be NULL.

Until recently, I think, it was possible for dict_get_encoding()
to return NULL.  It is no longer possible as far as I can see,
so this commit adds a comment that says so to the definition
of dict_get_encoding().  It also updates a few callers that
had checks for null pointers.

sys-file-writer: Write encoding names in all-uppercase.

SPSS appears to write encoding names in all-upperacse, so PSPP
should too.

sys-file-writer: Put long variable name in variable attributes.

Otherwise, PSPP cannot read back .sav files that it writes, if
they contain variable attributes for variables with long names.

Thanks to Curt Reinhold <Curt.Reinhold@psychonomics.de> for
providing the .sav file that led to this discovery and to John
Darrington for helping to investigate.

CD: Fix a bug and add a regression test.

GET DATA /TYPE=TXT: Also allow full format to be specified.

The implementation of fixed-format mode only allowed a format
type (e.g. DOLLAR) to be specified.  SPSS also allowed a full
format specification (e.g. DOLLAR12.2), so this implements that
feature.

Reported-by: Ronaldo Baltar <ronaldo.baltar@gmail.com>

tests: Remove unused old shell-based test files.

Somehow I forgot to delete these when I switched everything over
to use Autotest.  Nothing refers to them any longer.

gui: Clean generated gtk.h wrapper on "make clean".

Fixes "make distcheck".

Reported by John Darrington.

gui: Fix temporary filtering by a variable's value.

Problem reported by Mindaugus.
Bug #33088.

gui: Make AGGREGATE dialog initially show all of the right pane.

The AGGREGATE dialog initially had a very narrow left pane, so
commit 2e6cffa44ef5 "Aggregate dialog: Initialize HPane widget width
on opening" added a callback function to adjust the position of the
divider between the panes to half the window's width.  But this
happens after the window has been laid out, which means that unless
the window is very wide to begin with, it will cause part of the
right pane to disappear.

I was able to get more consistently good results by forcing a minimum
width for the left pane with a width_request, and making the right
pane shrinkable below the minimum size needed to show all of it.  A
final tweak was to make the left pane automatically grow with the
window.

If you've already used the Aggregate dialog then your preferences for
the window size have been saved, so for testing this it is best to
remove $HOME/.config/psppire before each experiment.

Bug #31126.

SORT CASES: Don't delete filtered-out cases.

This was first noticed by users in the GUI, but it is a problem with
the implementation of SORT CASES, not a problem with the GUI.

Bug #33089.
Thanks to Mindaugus for reporting the problem.

gui: Make File|Recent Files remember the correct encoding.

It's no good to have File|Open... able to open a file in any encoding
if later pulling up the same file with File|Recent Files screws that
up, so this commit fixes the problem by noting the charset in the
file's mime-type.

gui: Recode syntax files on load and save.

This adds a new widget that allows an encoding to be selected to the
File|Open dialog box, as well as to the File|Save As... dialog box
for syntax files only.  Files are recoded to UTF-8 on load and back
to the original encoding on save.

File|Recent Files doesn't yet properly save the encoding information.
That's coming up in the next commit.

Bug #33254.
Thanks to John Darrington for reporting this problem.

gui: Refactor checking for .sav and .por suffixes.

It seems reasonable to allow, e.g., .Sav as well as .SAV and .sav, so
this does that.  It also splits name_has_suffix() into smaller
pieces that will individually be used in an upcoming commit.

gui: Move null_if_empty_param() from psppire-window to helper.

An upcoming commit will introduce a new user of this function in a
different source file, so it seems best to have this defined in a
common header file.

i18n: New function is_encoding_supported().

This will be used for the first time in an upcoming commit.

encoding-guesser: New function encoding_guess_whole_file().

This will be used for the first time in an upcoming commit.

pspp-dump-sav: Add #include <limits.h> to get INT_MAX definition.

Problem reported by Harry Thijssen <pspp@sjpaes.nl>.

configure: Use $LIB<x> for linking a program, not $LTLIB<x>.

The gettext manual says:

     `@LIBINTL@' is for use without `libtool', `@LTLIBINTL@' is for
     use with `libtool'

It has similar wording for libiconv.

Since there's lots of libtool-related stuff in the PSPP makefiles, I
assumed that PSPP needed $LTLIB<x>.  But it now appears that this is
only correct for linking a libtool library, not for linking a
program that links against libtool libraries.

On GNU/Linux, both $LIB<x> and $LTLIB<x> expand to the empty string,
so I couldn't tell from experimenting there.

This should fix link failures with Mingw, reported by Harry Thijssen
<pspp@sjpaes.nl>.

pspp-dump-sav: Add GNU standards compliant command line interface.

pspp-dump-sav: Do not mark any strings for translation.

The pspp-dump-sav program is a debugging tool not intended for common
use by end users, so it seems better to avoid burdening translators
with its strings.

pspp-dump-sav: Update #include syntax to current style.

dissect-sysfile: Move to new "utilities" directory as "pspp-dump-sav".

This utility comes in handy from time to time working with end users,
so I think it's best to start installing it with the other binaries,
instead of hiding it in the "tests" directory and having to explain
where to find it.

Automatically link every program against libintl and libiconv.

On glibc systems, libiconv and libintl are both built into libc.  That
means that it's very easy to forget to link programs against them,
because it still builds OK on GNU/Linux.  However, on other systems
they are usually separate libraries and forgetting to link against
them breaks the build.

This commit switches from previous PSPP practice, in which these
libraries were linked explicitly to every binary that requires them,
to a simplified practice where they are in LIBS so that every binary
is automatically linked to them.  This has no disadvantage on
GNU/Linux, our primary target, and the advantage that on other targets
PSPP works more consistently.

gui: Get rid of the_recent_manager global.

The GTK+ function gtk_recent_manager_get_default() is documented to
return a singleton.  We might as well take advantage of that instead
of caching its return value and passing it around.

po: Update Dutch translation from translation-project.org.

gui: Delete now-incorrect advice to translators.

The string to which the advice applied was deleted, but the comment
was mistakenly left behind.

gui: Make File|Recently Used Data behave like File|Open.

File|Open opens a new dataset if the current one is non-empty.  Due
to an oversight, File|Recently Used Data always replaced the current
dataset.  This commit makes File|Recently Used Data work just like
File|Open.

gui: Remove redundant call to psppire_window_set_title().

gui: Make File|Open open multiple datasets by default.

This is what I always intended to make File|Open do, and in fact I
had implemented it that way, but I screwed up in rebasing and forgot
to fix it before my final push.

psppire-sheet: Avoid CRITICAL unselecting range before window created.

Without this change, File|Open that opens a new datasheet yields:

Gdk-CRITICAL **: gdk_window_invalidate_rect_full: assertion
`GDK_IS_WINDOW (window)' failed

I'm not 100% certain that this is the correct fix--perhaps the client
is at fault for calling this function before a window exists?--but it
does avoid the message.

gui: Avoid creating empty output window at startup time.

Reported by Harry Thijssen.
Bug #33234.

gui: Label message output items in the output viewer treeview.

Until now, messages (such as errors and warnings) simply had blank
lines in the output viewer summary treeview.  This made for funny gaps
and a generally puzzling appearance.  This fixes the problem.

gui: Only unselect range from first data sheet when data changes.

commit 5080068 "gui: Unselect data in data editor when the datasheet
is replaced" unselected all the data in each of the possible four
datasheets (supposing that the "split" view is selected), but if the
"split" view is not in effect then three of the data sheets don't have
windows and this results in "Gdk-CRITICAL **:
gdk_window_invalidate_rect_full: assertion `GDK_IS_WINDOW (window)'
failed".

This commit switches to unselecting the range only from the first data
sheet, which seems to be just as effective at solving the original
problem and does not cause Gdk-CRITICAL messages.

ext-array: Speed up with unlocked versions of I/O functions.

In my tests this reduced a 2.0 second run to only 1.5 seconds.

Bug #33260.

temp-file: Use 64 kB buffer for temporary files.

Generally PSPP uses temporary files because it has a lot of data to
write to them.  The default glibc buffer is only 4 kB.  In my tests
using a 64 kB reduced runtime from 2.5 seconds to 2.0 seconds, but
increasing the buffer to 1 MB had no additional effect, so 64 kB is a
reasonable choice.

Bug #33260.

cairo: Left-justify text items rendered in the GUI.

Otherwise multi-line syntax comes out right-justified, which looks
really funny.

Bug #33261.

gui: Use GTK+ accessor functions instead of deprecated macros.

These are now available on all GTK+ versions due to the <gtk/gtk.h>
wrapper added in the previous commit.

gui: Add <gtk/gtk.h> wrapper with functions from GTK+ 2.18 and 2.20.

Suggested by John Darrington.

dataset: Fix memory leak.

Reported by John Darrington.

gui: Add workaround for GTK+ 2.20 crash at startup.

Based on this patch against Inkscape:
https://launchpadlibrarian.net/60175914/copy_renamed_icons.patch

Reported by Fredrik Clementz.
With input from John Darrington and Harry Thijssen.
Tested by Mindaugus.
Bug #31511.

gui: Provide substitute for gtk_widget_get_realized() for GTK+ < 2.20.

Problem reported by "Mindaugas Baranauskas" <embar@super.lt>.

po: Update Dutch translation from translation-project.org.

Updated the Lithuanian translation from translationproject.org.

intern: Fix GCC warning.

Otherwise, GCC issues the following warning:

intern.c:83: warning: comparison of distinct pointer types lacks a
cast.

gui: Unselect data in data editor when the datasheet is replaced.

The active cell in the PsppireSheet remembers its contents even if
the whole sheet gets replaced, so we have to unselect the cell when
this happens to avoid replacing the cell's contents by whatever was
there before.

Bug #30502.
Thanks to Michel Boaventura for reporting the problem and John
Darrington for diagnosing it.

Increment version to 0.7.8 to send to Translation Project.

psql-reader: Fix build when PostgreSQL is installed.

Problem reported by "Mindaugas Baranauskas" <embar@super.lt>.

NEWS: Consolidate post-0.6.2 NEWS.

Suggested by John Darrington.

gui: Change View|Data and View|Variables to radio button menu items.

I didn't know what View|Variables did until I tried it, at which
point I was surprised that it changed into View|Data.  I think that
a pair of radio button menu items better communicates the intent.
Also, this situation seems to fit well what the GNOME Human Interface
Guidelines say about radio button menu items:

    Radio button menu items show which of two or more
    mutually-exclusive settings are currently selected, and allow
    the user to choose a different setting by selecting its menu
    item.

    * If you need to offer a choice of two mutually-exclusive
      settings to the user, use a group of two radio button items
      instead of a single check box menu item if the settings are
      not clearly opposites. For example, represent View as Icons
      and View as List as two radio button items.

gui: Add ellipsis to menu items that require further input.

The GNOME Human Interface Guidelines say:

    Label the menu item with a trailing ellipsis ("...") only if
    the command requires further input from the user before it
    can be performed. Do not add an ellipsis to items that only
    present a confirmation dialog (such as Delete), or that do
    not require further input (such as Properties, Preferences or
    About).

Most PSPPIRE menu items fit this description, so they should have
trailing ellipses, which this commit adds.

Some GTK+ programs use the Unicode HORIZONTAL ELLIPSIS (U+2026)
character instead of three periods in menu items.  In a quick check
on my own machine, however, three periods were over twice as common.
In an informal survey on pspp-dev, the best argument presented in
favor of one or the other was that three periods may be more familiar
for translators and thus cause less confusion in translation.

Implement DATASET commands.

gui: New "entry-dialog" module for prompting for a text string.

This will be used in an upcoming commit to implement File|Rename
Dataset.  It is made general-purpose, rather than specifically
for that purpose, because it is not any harder to do so and might
be useful somewhere else in the future.

psppire-buttonbox: Add "default" property.

This property allows the default button to be controlled from a
GtkBuilder description, instead of forcing the default to Continue.

Only a single bit should be set in the "default" mask.

gui: Fix g_object_get() memory leaks for PsppireWindow's filename.

g_object_get() makes a copy of strings that it returns, so every call
for "filename" was returning a copied string that the caller did not
free.

gui: Fix File|Open in syntax editor.

It didn't do anything.

gui: Eliminate dataset-related global variables.

This should make it easier to introduce support for multiple datasets
later.

gui: Make syntax execution functions take a PsppireDataWindow argument.

The argument specifies which dataset the syntax is meant to apply to.
For now, this is obvious, because there is only one dataset, but in
the future there will be more than one.

gui: Prefer NULL to 0 for initializing pointers.

Using NULL instead of 0 is better modern C style.

gui: Remove obviously unnecessary #include directives.

These simple header files #include <gtk/gtk.h> but do not reference
anything from GTK+, so they do not to #include its header.

gui: Include only <gtk/gtk.h> to use GTK+.

The GTK+ manual says: "The recommended way of using GTK+ has always been
to only include the toplevel headers gtk.h, gdk.h, gdk-pixbuf.h."  We
might as well follow this practice, since it only makes life easier.

psppire-window: Use g_string_append_unichar() instead of global var.

Seems slightly cleaner.

gui: Use dispose instead of finalize method in PsppireDataWindow.

According to the GObject reference manual, "When dispose ends, the
object should not hold any reference to any other member object."
That is, references should be dropped in dispose, not in finalize.

gui: Drop null base_finalize function from PsppireDataWindow.

According to the GObject manual, base_finalize is "Never used in
practice. Unlikely you will need it." so I don't see a reason to keep
a stub here.

gui: Fix const-ness warning in create_lines_tree_view().

This fixes this warning from GCC:

src/ui/gui/text-data-import-dialog.c: In function ‘create_lines_tree_view’:
src/ui/gui/text-data-import-dialog.c:875: warning: initialization
discards qualifiers from pointer target type

gui: Fix const-ness warning for measure_to_string() return type.

This fixes the following GCC warning:

src/ui/gui/var-display.c: In function ‘measure_to_string’:
rc/ui/gui/var-display.c:25: warning: return discards qualifiers from
pointer target type

gui: Put a separator line before list of windows in Windows menus.

I found it a bit confusing before, that the list of windows in the
Windows menu was not separated from the list of actions of windows.
This fixes the problem.

Simply adding a separator item to the .ui files doesn't work, because
GtkUIManager removes it.  The same thing happens if we add a separator
without adding a real menu item at the same time.

Thanks to John Darrington for suggesting the root of the problem.

gui: Always convert file names to UTF-8 for use in syntax.

Syntax as understood by the lexer is always in UTF-8, so file names
have to be in UTF-8 too.  (The PSPP code that opens files based on
strings from syntax is already using utf8_to_filename() to convert
them properly before opening.)

Before commit 9ade26c8349 "lexer: Reimplement for better
testability and internationalization", the encoding of syntax
files was not well-defined.  It was reasonable, then, to put file
names in generated syntax in the file name encoding.

Commit 9ade26c8349 changed the encoding of syntax so that it was
always in UTF-8.  This meant that file names in syntax had to be
converted back into the file name encoding before trying to open
the files, and I made that change (you can see, for example, the
call to utf8_to_filename in do_insert() in
src/language/utilities/include.c).  But I forgot that the GUI
needs to convert its file names into UTF-8 when it is generating
syntax, so this commit fixes that up.

po: Update Spanish translation from translation-project.org.

po: Update Catalan translation from translation-project.org.

FACTOR: Use %s for literal string.

tab_title() treats its parameter as a printf format string, so it's
necessary to use %s.

Found on Mac OS X with help from Jeremy Lavergne.

Use %zu, not %d, to format a size_t.

Found on Mac OS X with help from Jeremy Lavergne.

encoding-guesser: Don't guess UTF-8 for ASCII if it is the fallback.

When the text presented to the encoding guesser is all ASCII, normally
the encoding guesser will report ASCII as its guess.  But if the
fallback encoding is UTF-8, then it reports UTF-8 instead.
Unfortunately, this makes the encoding guesser a bit harder to test,
because guesses depend on the system's locale.  It's easier to test
if all-ASCII always yields ASCII as the guess, so this changes the
encoding guesser to do that.

This fixes a test failure on Mac OS X.  Thanks to Jeremy Lavergne for
reporting the problem.

i18n: Fix type of objects passed as u8_mbtouc()'s character parameter.

Thanks to Jeremy Lavergne for making a Mac OS build system available.

QUICK CLUSTER: Adjust comment style.

PSPP uses primarily /**/ style comments so the use of // comments in
this file sticks out.

Also we generally wrap comments (and code) at 79 columns and try to
write comments as whole sentences, at least where there is room.

Also, usually PSPP avoids multiple blank lines in a row.

QUICK CLUSTER: Update #include directives to match current style.

These days, usually system header files are #included first, using
<> notation, and then PSPP's one header files, using "" notation.
Each group is alphabetized.

QUICK CLUSTER: Fold quick-cluster.h into quick-cluster.c.

It's unusual to put 'static' function prototypes into a header file:
header files are usually used to export declarations for use by other
source files, but 'static' functions cannot be called outside their
own source files.

QUICK CLUSTER: New command.

sys-file: Add test to write non-ASCII to most .sav string fields.

Bug #33036.

sys-file-reader: Add tests for non-ASCII characters and encodings.

DISPLAY FILE LABEL: Display in a more natural way.