i18n: Handle EINVAL more gracefully.

EINVAL indicates an invalid multibyte sequence at the end of buffer.  It
seems to me that there is no point in swallowing up a single byte and going
on at that point; instead, one might as well just declare the conversion
done after adding the fallback character.  This is what this commit does.

i18n: Refactor for simplicity.

It seems to me that recode_string_pool() is better implemented as a retry
loop around a simpler core.  This commit implements that.

i18n: Properly restart conversion when output buffer overflows.

The E2BIG case tries to restart the whole conversion, by reinitializing
all variables to their initial states.  However the value of 'text' might
already have been advanced somewhat if there was a previous loop for e.g.
an invalid character.  This commit fixes the problem by keeping the
original 'text' around and using a moving input pointer instead.

i18n: Ensure that every recoding starts from the initial shift state.

i18n: Avoid memory leak when create_iconv() fails.

i18n: Lightly reformat comments to better resemble other files.

Fix bug #31052: Crash on histograms with only one datum

Const casts.

Removed some unnecessary casts.  Changed some others to use the
macros from src/libpspp/cast.h instead of literal casts.

Fix outstanding quote style issues

Remove gettext markup from diagnostic string.

Markin a debug string for translattion just puts unnecessary
load on the translators.

FLIP: Don't change new variables to upper case.

This was a legacy from the days when variables could only
be upper case.

linreg: Delete unused static function.

This function drew attention to itself through a warning about a missing
return type, but it isn't used so just delete it instead of adding a
return type

ONEWAY: Fix declaration-after-statement warning.

C90 requires declarations to precede statements within a block.

Suppress warnings about conversions between char * and unsigned char *.

For some time PSPP has used "unsigned char *" for string data and "char *"
for most other strings.  Transforming between these properly generally
involves recoding, and there are some places where this is possibly
missing.  The usual way to "fix" these warnings would be to insert casts,
but this would not fix the problem, just suppress the warnings, and it is
difficult to "grep" for casts so they would be hard to find for fixing
later.

This commit doesn't actually fix the problems, but it does suppress the
warnings while making them easy to find later: just grep for CHAR_CAST_BUG.

build-aux: Add generated files to .gitignore.

Update string comparision in perl module test

Update en_GB localisation

Consolidate quoting style in printed strings.

The GNU coding standards say to use `xxxx'  for quoted
strings.  Previously we've been using a mixture of that style
and "xxxx".  This change substitutes all instances of the latter
with the former.

Translate the names of aggretation functions.  Fixes bug #31035

Syntax Window: Don't connect callbacks until all members are initialised.

Rename compare_string --> compare_string_3way

Prevent critical when closing output viewer

Autorecode: /GROUP vs. heterogenous strings.

Fixed a crash which occured when the /GROUP
subcommand was used with string variables of
differing widths.

Autorecode: Add the /GROUP subcommand

Fixed bug #30969: Crash in split file dialog box

Seperate the GtkBuilder definition for Split into its own file.

Autorecode: Add value labels indicating the source values.

Autorecode now creates value labels on the new variable to
indicate from which values the new values originate.
Fixes bug #30943

Remove obsolete comments.

Value labels are no longer limited to short string
variables.  So these comments are no longer relevant.

Change charset from html output to utf-8

Implement the PRESERVE and RESTORE commands.

settings: Avoid using a pointer and global data for algorithms.

Until now the difference between the current and global settings for
the algorithms in uses has been maintained as two values plus a pointer
to the setting actually in use.  Using global data like that makes it
harder to save and restore settings, so this commit adopt an alternate
method that avoids using global data or pointers.

settings: Make viewwidth, viewlength "int"s instead of pointers.

I don't recall exactly why these were pointers any longer, but it doesn't
seem to be necessary any longer.  It is more straightforward if they are
just stored in the same way as the other settings.

settings: Reformat the_settings initializer.

I find this formatting easier to read.

format: Introduce a new type, struct fmt_settings.

Until now the collection of formatting styles have been poorly abstracted,
as an array.  This commit introduces a new type, struct fmt_settings, that
represents all of the formatting styles currently in use.

format: Make fmt_number_style_init(), fmt_number_style_destroy() static.

These functions were not used outside format.c anyhow.

format: Remove prototypes of unimplemented functions.

format: Move is_fmt_type() prototype near more-related functions.

format: Remove declaration of data that is never used.

Improved the syntax generated by the select-cases dialog

Closes bug #29604

Allow translation of default filenames in GUI

Allow translation of default variable name.

Categoricals: Sort the reverse value map.

The /CONTRAST subcommand of the ONEWAY command
requires that the categorical values are sorted
in ascending order.

Oneway: Fixed most compiler warnings

Oneway: Fix problems with MISSING=ANALYSIS

Categoricals: Use moments instead of keeping cc count ourselves

oneway.c: Use the categoricals struct to calculate number of groups

oneway: use new structures in the show_contrast_tests function

oneway: Fix descriptives for multiple variables

Add optional callback functions to categoricals.

Added callback functions to categoricals to enable
per category calculations to be done at the request
of the caller.  This change also modifies oneway.c (show_descriptives)
to use this new feature.  However at present it doesn't
work properly when multiple dependent variables are
specified.

Constness

Oneway: Remove group_stats from the show_homogeniety function

Oneway:  Remove group_values struct from show_contrast_coeffs

Covariance matrix interface change.

covariance_2pass_create now takes a pointer to a
struct categoricals which must be created by the caller,
instead of creating this object for itself.  This will
(hopefully) make the implementation of interactions and other
features easier.

Oneway: Remove dict member from struct and add wv member

Oneway: Use covariance matrix and sweep operator

Calculate the anova table using the routines from
src/math/covariance.c and lib/linreg/sweep.c instead
of the add hoc method.  This change doesn't remove
all traces of the old method, since the data is still
needed for some subcommands.  This will be the subject
of future changes.

Oneway: Additional test case.

Add an explicit test for a oneway command run
on several different dependent variables.

Oneway:  Use lex_get_num instead of lex_parse_value.

Contrast coefficients can only be numeric, so parse_value
is an unnecessary generalisation.

Constness

Constness

ONEWAY: seperate the command specification from the variables used in its calculation

Categoricals.c Create entries for all groups.

Although for the purposes of creating a covariance matrix, only
n - 1 entries are needed,  for other purposes (such as descriptive
statistics, contrasts, planned comparisons etc) all n entries are required.
(where n is the number of distinct values).  This change updates
categories.c so that all n categories are generated.  Covariance matrix
routines are free to ignore the ones not of interest.

Syntax Window: Dynamically set paste sensitivity

Set the sensitivity of the paste action according to
whether there is anything to be pasted in the clipboard.

Implemented Edit->Paste in the syntax viewer

format: Optimize fmt_from_io().

A "switch" statement should be much faster than a linear search.

format: Fix type code for Z format in system and portable files.

Z format is code 15, not 16 (which is N format).

Syntax Window: Edit->* item sensitivity follows selection

Disable the Edit Cut/Copy/Delete menuitems by default
and enable them only when a selection is active.

Implemented Cut, Copy and Delete in the syntax editor

SET MXWARNS = 0 to be interpreted as unlimited.

This change introduces a special meaning to the
value of zero for the MXWARNS settings.  When
a zero value is set.  A single warning will be
emitted informing the user that the setting is
in effect.  Thereafter no warning will be emitted.
All warning situations will be ignored.

Move MX* processing to libpspp/message.c

This change moves the guts of src/ui/terminal/msg-ui.c
into libpspp/message.c  The affected code handles the
processing of the MXWARNS and MXERRS settings.  As this
code was under src/ui/terminal these settings were being
ignored in the GUI

Update tests to reflect string changes.

Commits 608b1765241e7c6f9bd5e86a8f81cf15edeb413b and
c1a56a1dd2afad462cf76d91c40aa064cc7dce04 changed some
output strings, but didn't update the tests to match.
This change makes that update.

syntax-editor.ui cleanup

Allow undo/redo of pasted text as a single item

Text input dialog: Use widget-io

Use the widget_scanf function instead of manually
juxtaposing widgets.  This makes life a lot easier
for translators.

Canonicalise 2-tailed vs. 2-sided

Consolidate printed strings

Correct grammar in printed string

file-handle-def.c: replace hash with hmap

Fix translation of column headers in text import dialog.

The "Text" and "Line" column headers in the text import dialog were not being
translated.  Thanks to Mindaugas embar@super.lt for reporting this.

Fix translation of column header.

The "var" column header in the data view was not getting
translated, due to lack of a call to gettext.  Thanks to
Mindaugas embar@super.lt for reporting this.

correlations: Fix memory leak

tests: Ignore testsuite.at since it is now a generated file.

COUNT: Convert tests to use Autotest.

BEGIN DATA: Convert tests to use Autotest.

ADD FILES: Convert testsuite to use Autotest.

tests: Rewrite attributes tests to use Autotest.

SET: Add test to avoid regression on bug #30682.

Implement SAVE TRANSLATE to comma- and tab-delimited text formats.

SAVE: Fix UNSELECTED=RETAIN with a filter variable.

Apparently this had never been tested.  It assert-failed consistently
because the filter variable being saved was from the dictionary before
reading the data, but the dictionary after reading the data was
different due to the temporary transformation used to drop the
filtered data.

DATA LIST: Don't report an error for an empty final field in LIST format.

Also add test to prevent inadvertent regressions.

DATA LIST: Fix output column reporting for FREE and LIST formats.

Also, add tests to prevent inadvertent regressions.

DATA LIST: Convert tests to use Autotest.

sys-file-writer: Consistently use "goto error" to exit.

sys-file-writer: Make write_error(), close_writer() static.

These functions were never meant to be public (and they were not declared
in a header file).

sys-file-writer: Fix comment.

Replace S_I[RWX]{USR,GRP,OTH} macros by their values.

POSIX 2008 guarantees that these macros have their traditional Unix values,
so it should no be longer necessary to use the macros for portability's
sake.  Personally, I find the values easier to read, especially when
several of them are OR'd together.

i18n: Make a few strings more generic for translators.

This should reduce the amount of work required by translators, by reducing
the number of unique strings to be translated.

Aggregate-dialog: Preselect summary function and variable name.

Apparently the most common use of aggregate is to count cases.
Therefore we set the default summary function and variable
name controls, so that the user has fewer keystrokes/mouse
clicks in order to achieve this.

SET FORMAT: Flag an error if an invalid format is given.

Fixes bug #30682

Aggregate: Fixed bug when attempting to create duplicate variable

This change fixes a segfault which occured if AGGREGATE MODE=ADDVARIABLES
attempted to create a variable which already exists in the dictionary.
Added a test to check for this bug.

Aggregate dialog: Initialize HPane widget width on opening.

Set the HPane position to 50% of maximum, when the widget is
realized.  Thanks to Fredrik Clementz for suggesting this.