data-in: Rewrite logic for recoding input, and get rid of src_enc member.

The logic used here seemed actually wrong for non-binary numeric formats
and AHEX format: we want these translated into the native encoding so that
we can interpret digits and letters properly without additional work.
The only case where we care about the output encoding is A format.

data-in: Eliminate "implied_decimals" parameter from data_in().

This parameter is usually 0, so break out the associated functionality into
a new function that callers can use if they really need it.

calendar: Use sensible error reporting in calendar_gregorian_to_offset().

message: Add column range to struct msg_locator.

data_in() can specify a range of columns for the messages that it outputs,
but until now these were not output in the format specified by the GNU
Coding Standards.  This commit fixes that.

message: Consistently initialize locator; use 0 for "no line number".

A few of the callers of msg_emit() did not initialize the "where" member
of the struct msg, because they expect that msg_emit() will do it for them.
This is currently correct, but I intend to soon introduce the ability for
msg_emit()'s caller to specify a location.  With that change, it will be
important for the caller to initialize this member, so this commit makes
sure of that.

At the same time, some callers were using -1 as the default value that
means "no line number" and others were using 0.  This commit standardizes
on the latter.

command: Add specific DATASET unimplemented commands.

command: Remove superfluous trailing spaces from command names.

These spaces made user messages look a little funny but they were otherwise
harmless.

command: Remove INSERT from list of unimplemented commands.

This command is implemented, so this was a duplicate entry.

lexer: Use lex_is_string() more consistently.

The lexer has this function, so we might as well use it consistently.

lexer: Remove DUMP_TOKENS debugging feature.

This feature is not very useful anymore.  I have not used it in years.

lexer: Improve translatability of lex_error().

In general I believe that it is easier to translate full sentences or
clauses.  It seems likely that "Syntax error %s at %s." where the first
%s is an arbitrary English phrase would be impossible to translate
grammatically into some languages, so this changes the general form to
"Syntax error at %s: %s." which seems more likely to be translatable while
not changing the English meaning.

Make translation easier.

Many of the invocations of lex_error() were easy to rephrase to be more
easily translated, or to rewrite as calls to other functions.

HOST: Use more modern syntax.

An old SPSS paper manual I have describes the syntax that PSPP
implemented for HOST up until this commit, but newer versions
describe the syntax that this commit adopts.

AGGREGATE: Simplify code.

ds_chomp() returns whether it trimmed off a character, and we might as well
use that instead of doing a redundant check.

PERMISSIONS: Add missing check for string token.

syntax-string-source: Fix format string problems.

create_syntax_string_source() treated its argument as a printf-style format
string but wasn't annotated properly.  Most of the callers did not pass
string literals and were not escaped, so change it not to format its string
and add a new function create_syntax_format_source() with the previous
behavior.

i18n: New function recode_substring_pool().

Occasionally it is necessary to recode a string that might contain a null
byte.  This function is useful in such a case.

i18n: Use UTF8 macro instead of "UTF8" literal string.

I think that this was just a typo.

str: Make ss_alloc_substring() allocate null-terminated strings.

This has little cost and it is occasionally valuable.

cast: New macro NULL_SENTINEL.

RECODE: Suppress warning about conversion using CHAR_CAST_BUG.

tests: Remove unnecessary mention of header files from automake.mk.

These header files don't need to be listed.  They just clutter up the
makefile.

i18n: Add simple tests.

i18n: Handle EINVAL more gracefully.

EINVAL indicates an invalid multibyte sequence at the end of buffer.  It
seems to me that there is no point in swallowing up a single byte and going
on at that point; instead, one might as well just declare the conversion
done after adding the fallback character.  This is what this commit does.

i18n: Refactor for simplicity.

It seems to me that recode_string_pool() is better implemented as a retry
loop around a simpler core.  This commit implements that.

i18n: Properly restart conversion when output buffer overflows.

The E2BIG case tries to restart the whole conversion, by reinitializing
all variables to their initial states.  However the value of 'text' might
already have been advanced somewhat if there was a previous loop for e.g.
an invalid character.  This commit fixes the problem by keeping the
original 'text' around and using a moving input pointer instead.

i18n: Ensure that every recoding starts from the initial shift state.

i18n: Avoid memory leak when create_iconv() fails.

i18n: Lightly reformat comments to better resemble other files.

Fix bug #31052: Crash on histograms with only one datum

Const casts.

Removed some unnecessary casts.  Changed some others to use the
macros from src/libpspp/cast.h instead of literal casts.

Fix outstanding quote style issues

Remove gettext markup from diagnostic string.

Markin a debug string for translattion just puts unnecessary
load on the translators.

FLIP: Don't change new variables to upper case.

This was a legacy from the days when variables could only
be upper case.

linreg: Delete unused static function.

This function drew attention to itself through a warning about a missing
return type, but it isn't used so just delete it instead of adding a
return type

ONEWAY: Fix declaration-after-statement warning.

C90 requires declarations to precede statements within a block.

Suppress warnings about conversions between char * and unsigned char *.

For some time PSPP has used "unsigned char *" for string data and "char *"
for most other strings.  Transforming between these properly generally
involves recoding, and there are some places where this is possibly
missing.  The usual way to "fix" these warnings would be to insert casts,
but this would not fix the problem, just suppress the warnings, and it is
difficult to "grep" for casts so they would be hard to find for fixing
later.

This commit doesn't actually fix the problems, but it does suppress the
warnings while making them easy to find later: just grep for CHAR_CAST_BUG.

build-aux: Add generated files to .gitignore.

Update string comparision in perl module test

Update en_GB localisation

Consolidate quoting style in printed strings.

The GNU coding standards say to use `xxxx'  for quoted
strings.  Previously we've been using a mixture of that style
and "xxxx".  This change substitutes all instances of the latter
with the former.

Translate the names of aggretation functions.  Fixes bug #31035

Syntax Window: Don't connect callbacks until all members are initialised.

Rename compare_string --> compare_string_3way

Prevent critical when closing output viewer

Autorecode: /GROUP vs. heterogenous strings.

Fixed a crash which occured when the /GROUP
subcommand was used with string variables of
differing widths.

Autorecode: Add the /GROUP subcommand

Fixed bug #30969: Crash in split file dialog box

Seperate the GtkBuilder definition for Split into its own file.

Autorecode: Add value labels indicating the source values.

Autorecode now creates value labels on the new variable to
indicate from which values the new values originate.
Fixes bug #30943

Remove obsolete comments.

Value labels are no longer limited to short string
variables.  So these comments are no longer relevant.

Change charset from html output to utf-8

Implement the PRESERVE and RESTORE commands.

settings: Avoid using a pointer and global data for algorithms.

Until now the difference between the current and global settings for
the algorithms in uses has been maintained as two values plus a pointer
to the setting actually in use.  Using global data like that makes it
harder to save and restore settings, so this commit adopt an alternate
method that avoids using global data or pointers.

settings: Make viewwidth, viewlength "int"s instead of pointers.

I don't recall exactly why these were pointers any longer, but it doesn't
seem to be necessary any longer.  It is more straightforward if they are
just stored in the same way as the other settings.

settings: Reformat the_settings initializer.

I find this formatting easier to read.

format: Introduce a new type, struct fmt_settings.

Until now the collection of formatting styles have been poorly abstracted,
as an array.  This commit introduces a new type, struct fmt_settings, that
represents all of the formatting styles currently in use.

format: Make fmt_number_style_init(), fmt_number_style_destroy() static.

These functions were not used outside format.c anyhow.

format: Remove prototypes of unimplemented functions.

format: Move is_fmt_type() prototype near more-related functions.

format: Remove declaration of data that is never used.

Improved the syntax generated by the select-cases dialog

Closes bug #29604

Allow translation of default filenames in GUI

Allow translation of default variable name.

Categoricals: Sort the reverse value map.

The /CONTRAST subcommand of the ONEWAY command
requires that the categorical values are sorted
in ascending order.

Oneway: Fixed most compiler warnings

Oneway: Fix problems with MISSING=ANALYSIS

Categoricals: Use moments instead of keeping cc count ourselves

oneway.c: Use the categoricals struct to calculate number of groups

oneway: use new structures in the show_contrast_tests function

oneway: Fix descriptives for multiple variables

Add optional callback functions to categoricals.

Added callback functions to categoricals to enable
per category calculations to be done at the request
of the caller.  This change also modifies oneway.c (show_descriptives)
to use this new feature.  However at present it doesn't
work properly when multiple dependent variables are
specified.

Constness

Oneway: Remove group_stats from the show_homogeniety function

Oneway:  Remove group_values struct from show_contrast_coeffs

Covariance matrix interface change.

covariance_2pass_create now takes a pointer to a
struct categoricals which must be created by the caller,
instead of creating this object for itself.  This will
(hopefully) make the implementation of interactions and other
features easier.

Oneway: Remove dict member from struct and add wv member

Oneway: Use covariance matrix and sweep operator

Calculate the anova table using the routines from
src/math/covariance.c and lib/linreg/sweep.c instead
of the add hoc method.  This change doesn't remove
all traces of the old method, since the data is still
needed for some subcommands.  This will be the subject
of future changes.

Oneway: Additional test case.

Add an explicit test for a oneway command run
on several different dependent variables.

Oneway:  Use lex_get_num instead of lex_parse_value.

Contrast coefficients can only be numeric, so parse_value
is an unnecessary generalisation.

Constness

Constness

ONEWAY: seperate the command specification from the variables used in its calculation

Categoricals.c Create entries for all groups.

Although for the purposes of creating a covariance matrix, only
n - 1 entries are needed,  for other purposes (such as descriptive
statistics, contrasts, planned comparisons etc) all n entries are required.
(where n is the number of distinct values).  This change updates
categories.c so that all n categories are generated.  Covariance matrix
routines are free to ignore the ones not of interest.

Syntax Window: Dynamically set paste sensitivity

Set the sensitivity of the paste action according to
whether there is anything to be pasted in the clipboard.

Implemented Edit->Paste in the syntax viewer

format: Optimize fmt_from_io().

A "switch" statement should be much faster than a linear search.

format: Fix type code for Z format in system and portable files.

Z format is code 15, not 16 (which is N format).

Syntax Window: Edit->* item sensitivity follows selection

Disable the Edit Cut/Copy/Delete menuitems by default
and enable them only when a selection is active.

Implemented Cut, Copy and Delete in the syntax editor

SET MXWARNS = 0 to be interpreted as unlimited.

This change introduces a special meaning to the
value of zero for the MXWARNS settings.  When
a zero value is set.  A single warning will be
emitted informing the user that the setting is
in effect.  Thereafter no warning will be emitted.
All warning situations will be ignored.

Move MX* processing to libpspp/message.c

This change moves the guts of src/ui/terminal/msg-ui.c
into libpspp/message.c  The affected code handles the
processing of the MXWARNS and MXERRS settings.  As this
code was under src/ui/terminal these settings were being
ignored in the GUI

Update tests to reflect string changes.

Commits 608b1765241e7c6f9bd5e86a8f81cf15edeb413b and
c1a56a1dd2afad462cf76d91c40aa064cc7dce04 changed some
output strings, but didn't update the tests to match.
This change makes that update.

syntax-editor.ui cleanup

Allow undo/redo of pasted text as a single item

Text input dialog: Use widget-io

Use the widget_scanf function instead of manually
juxtaposing widgets.  This makes life a lot easier
for translators.

Canonicalise 2-tailed vs. 2-sided

Consolidate printed strings

Correct grammar in printed string

file-handle-def.c: replace hash with hmap