Use replacement rename function from gnulib

Tolerate the inability to convert character encodings

Use Bob Jenkins lookup3 hash instead of FNV.

The Jenkins lookup3 hash is superior to FNV in collision resistance,
avalanching, and performance on systems that do not have fast
multiplication.  It also provides a good way to combine the result of
a previous hashing step with the current hash, using its "basis" argument.
This commit replaces the PSPP implementation of FNV with the Jenkins
lookup3 hash and updates all the current users.

In addition, John Darrington pointed out that commit dd2e61b4a
"Make create_iconv() properly distinguish converters by name"
unintentionally introduced gratuitous hash collisions, by causing
all converters where tocode and fromcode were the same to hash to
value 0, and converters where tocode and fromcode were swapped to
hash to the same value as each other.  Using the "basis" argument to
the Jenkins hash properly, instead of just attempting to combine
hash values with XOR, fixes this problem.

NPAR TESTS: Consistently order variables in summary statistics.

The set of variables in the NPAR TESTS specs structure was ordered
randomly, according to however the hash function happened to arrange them.
Sort them by variable name, instead, so that they always appear in
alphabetical order in, e.g., descriptive statistics output.

The particular hash function PSPP uses now tends to order variables
alphabetically anyhow.  The next commit changes the PSPP hash functions,
so fixing this in advance prevents having to update any test output.

Fix some compiler warnings

Implemented the sign test.

Added an implementation of the SIGN test for the NPAR TESTS
command.  Closes patch #6801

Fixed crash on quit

Fix memory leak in cmd_data_list().

Fix a few typos and capitalization errors in developers guide.

SET LOCALE: Don't use lex_tokstr() after skipping to next token.

The return value from lex_tokstr() is only valid until the next call to
lex_get() (or another function that changes the current token), so don't
advance past the token until we're done with its string value.

Make create_iconv() properly distinguish converters by name.

The code in create_iconv() assumed that every pair of different converters
had a different hash value.  This is a bad assumption: eventually, we will
be unlucky, and two different converters will hash to the same value, and
we will get a bad conversion.  So we have to compare (and store) the
names of the codes that each converters converts to and from.

Also, compute the hash value without making an extra copy of fromcode
and tocode.

Add "x" prefix to calls to plain malloc(), calloc(), strdup(), realloc().

In review commit 503f53bfdde "Read dictionary encoding from data files"
I noticed uses of plain strdup() (not xstrdup()).  Some greps showed that
there were several other uses of strdup(), as well as calloc(), malloc(),
and realloc(), in the source tree.  This commit adds "x" prefixes to each
of them, to ensure proper error handling.

Remove redundant test in lex_is_idn().

Commit 90f346cc0 "Made var_is_valid_name more permissive" made characters
with values above 127 valid in identifiers by allowing them in
lex_is_id1() and lex_is_idn(), but since the latter includes the former
in its test the addition there is redundant and can be eliminated.

Merge commit 'origin/master' into charset

Conflicts:

src/ui/gui/psppire-data-editor.c

Fix problems saving data files with non-ascii filenames.

Convert filenames to the system encoding before stuffing into
syntax strings.

Fixed problem saving syntax files with non-ascii names.

The function save_editor_to_file now takes a filename
in Glib filename encoding.

Merge commit 'origin/stable'

Conflicts:

src/language/stats/crosstabs.q
src/language/stats/examine.q
src/language/stats/frequencies.q
src/language/stats/oneway.q
tests/command/examine-extremes.sh
tests/command/examine.sh

Issue warning when combining files of distinct encodings

Implemented the ENCODING subcommand to DATA LIST.

Implemented the ENCODING subcommand which enables syntax
authors to tell pspp the encoding of a text file from which
data is to be read.

Allow users to set the precision of output statistics.

Instead of hard coding the width and decimals of output
numbers, respect the default format in most instances.
Counts are normally displayed with the format of the weight
variable, if any.  Closes patch #6785

Added a cell-padding parameter to the sheet.

Added a cell-padding paramter of type GtkBorder which specifies the
space between a cell's contents and the border.  The text is no
longer squashed right up against the left hand edge.

Merge psppire-axis and psppire-axis-impl

There's only one implementation of psppire-axis now,
and having the implementation seperated from the interface
in a brige configuration just adds too much complexity.

Binomial tests can now be specified by a cutpoint.

This change extends the NPAR TEST /BINOMIAL subcommand
so that binomial tests can be specified by cutpoint.
The manual had previously, incorrectly stated that this
was supported.  Now it actually is.  Fixes bug #26056

Another one I forgot ...

Oops.  Add new file.

Add a dialog box for the reliability command.

Add PsppireDictView to glade library.

Make the PsppireDictView widget available to
users of glade.

Merge branch 'master' of ssh://jmd@git.sv.gnu.org/srv/git/pspp

Update pspp developer's guide with new i18n changes.

Allow non-ascii characters to be entered as variable names.

Previously, only ascii could be used in the name of a variable,
so the variable sheet did not bother converting.  Now we have
to convert the encoding.

Use a system file's "character code" to set the encoding.

When reading a system file, use the "character code" as a
fallback to set the dictionary's character encoding.  If present,
record 7, subtype 20 will override this parameter.

New datasets to use the current default encoding.

When creating a new dataset, its dictionary is now set
to the current default encoding (which can be changed
using SET LOCALE).

Fixed bug where piecharts with many segments crashed.

Make sure that we don't index beyond the bounds of the
data_colour array.

covariance_matrix.c (get_n_rows): New function to compute the number
of rows in the covariance matrix.

Merge commit 'origin/master' into charset

Implemented the SET LOCALE='...' command.

Allow the user to set the default character encoding.

Refactor locale initialisation.

Created a common i18n_init function that both
the GUI and terminal can use, instead of each
doing it their own way.

Merge commit 'origin/stable'

Fixed bug writing portable files.

Don't append slash to sysmis values when writing portable
files.  Fixes bug #26034

design_matrix.c: New accessor functions design_matrix_get_element and
design_matrix_set_element.

covariance_matrix.c: New accessor function
covariance_matrix_get_element. Use new accessor functions
design_matrix_get_element and design_matrix_set_element.

Merge branch 'refs/heads/charset' of ssh://jmd@git.sv.gnu.org/srv/git/pspp into charset

Add code to read character encoding to dissect-sysfile.

Document record 7, subtype 20 in system file format.

Add information about the character encoding record to
the developer's reference guide.

Set the dictionary's encoding when reading postgresql data.

covariance-matrix.c (covariance_accumulator_to_matrix): Use sum_i and
sum_j to compute products of means. Store the sums of variables in
cov->sums, rather than storing the means.

Set dictionary's encoding when reading gnumeric files

Write encoding to system files.

Write the encoding to record 7(20) when saving.

Ensure value labels dialog doesn't grow unreasonably large

Fix crash running two consecutive examine commands.

Re-initialise list in the dynamically instead of
relying on the static initialiser.  Fixes bug #25903

Avoid calling iconv_open on each conversion.

Instead of creating a convertor each time a string
needs to be re-encoded, we now keep a hash of convertors
keyed by the permutation of input/output encodings.

covariance-matrix.c (get_sum): New function to compute means during
loop over covariance matrix.

covariance-matrix.c (covariance_accumulator_to_matrix): Use get_sum to
compute the means.

Display a file's encoding in SYSFILE INFO.

Add a file's encoding to the information given by SYSFILE INFO.

Convert encoding even if encodings are identical.

recode_string must continue, even if the source and
target encodings are identical, because invalid bytes
in the source string need to become '?' to avoid
later problems.

Pass dict to name_to_string and label_to_string.

Oops, forgot to replace these NULLs.

Remove LIB_CLOSE variables from linker options.

Gnulib used to define @LIB_CLOSE@ but no longer does,
so this variable is no longer needed nor appropriate.

Convert files named on the command line to filename encoding.

Files specified on the command line must be converted to the
"filename" encoding (whatever it may be) otherwise some systems
will not know they exist.  Tested by Michel Boaventura.
Partially fixes bug #26023

Test for NULL before calling strdup

Read dictionary encoding from data files.

If record 7 subtype 20 exists, use it to set the encoding of the
dictionary when reading a file.

Fix memory leak in wilcoxon_execute().

Fix error message for bad characters in syntax files.

Before this commit, on systems where "char" is a signed type,
formatting a char with %o would sign-extend to the width of "int",
so that a typical error message would look like:
   Bad character in input: `\37777777605'.

With this commit, the value gets zero-extended, producing the more
sensible error mesage:
   Bad character in input: `\205'.

Made var_is_valid_name more permissive.

Allowed lex_is_id1 and lex_is_id2 to match non-ascii characters,
in addition to the others it tests for.

Redesign the character re-encoding code.

Remove the statically allocated convertors,
instead, assume that the encoding of variables,
data and associated metadata is stored in the dictionary.

Removed some unused features from src/libpspp/i18n.c and src/libpspp/i18n.h

Added the "Display Data File Information" item.

Added a menuitem to the File menu which calls either
DISPLAY DICTIONARY or SYSFILE INFO per spss.

Set the text import dialog's default button.

Grab the focus of the appropriate button of the
text import dialog, when a new page is prepared.
This makes it much easier to use without a mouse.

Added #include <config.h> to files as appropriate.

Thanks to Michel Boaventura for reporting this problem.

Merge branch 'master' of ssh://jmd@git.sv.gnu.org/srv/git/pspp

Fix bug in text-import-dialog

Convert filename on confirmation dialog

Show error dialog if syntax file is not readable.

Popup a dialog box, if a syntax file cannot be
opened for any reason.

Convert filename encodings when opening files.

On w32, filenames have to be converted from utf8 to
the libc encoding before passing to the lexer.

Initialise description on init.

Windows' description parameter must not be
NULL.  So initialize it to the empty string.

Allow non-ascii characters to be entered into the variable and data sheets.

Convert strings from utf8 to the pspp (data) locale´s encoding before passing
to the model.

Avoid potential bugs with setlocale's return value.

Use strdup to copy all return values from setlocale,
since it's statically allocated.

Fix crash when running under windows with non-english locale

Fixed a bug which manifested itself when running a Mingw compiled
binary with a non-english locale.  setlocale returns a statically
allocated string, so it's valid only until the next call to setlocale.
Thanks to Michel Boaventura for reporting and helping to diagnose this
problem.

Fix corrupted .sav files on w32 builds

Added the O_BINARY flag to the mode of files
created with open, so that lines aren't appended
with extraneous characters, thus corrupting .sav
files.

Added missing '#include <config.h>' lines.

Added these missing #includes at top of *.c files.
Thanks to Michel Boaventura for reporting this.

Change name of config parameter

Rename the "model" property to "dictionary"

Fixed crash which occured when deleting dictionaries which had variable labels

Correct typo in BINOMIAL section of user manual.

Thanks to Erik Frebold for pointing out this problem.
Closes bug #25892

Merge branch 'master' of ssh://jmd@git.sv.gnu.org/srv/git/pspp

Fix bug saving window positions

Add a popup menu to the PsppireDictView object.

Currently this menu contains only one item, which
lets you choose between labels or values.

Remove some unnecessary #includes

Namespace police duty.

Changed a number of instances of G_TYPE_ to PSPPIRE_TYPE_

Delete extraneous characters from comment.

Thanks to Ben Pfaff for pointing this out.

New object PsppireDictView

Created a new object PsppireDictView, which derives
from GtkTreeView for the purpose of displaying a
dictionary.  Replaces much of the functionality in
dict-display.c

Remove preprocessor condition

Make psppire_sheet_get_attributes a private function

Use GtkHPaned in variable info dialog

Moved variable info dialog spec from psppire.glade into
its own file.  Added a "sliding" property to PsppireDialog
which causes Gtk[VH]Paned to be used instead of Gtk[VH]Box.
Set the sliding property for the variable info dialog.

covariance-matrix.c: Add matrices to store valid sample sizes and
products of means in struct covariance_matrix.

covariance-matrix.c (update_ssize): New function

covariance-matrix.c (covariance_accumulator_to_matrix): Store valid
sample sizes and products of means, then use them to compute the
entries of the covariance matrix after passing through the
hash. Return void.

Indicate filtered cases in data sheet.

Add feature to indicate filtered out cases
on data sheet.  Closes bug #20828

Prevent wierd focusing issues when changing cell

Emit variable callback even if label is null.

When a label was set to null, previously no callback
was emitted.  Fixes bug #25872

Focus var/data sheet after switching tabs

Config option to prefer variable labels vs. names

Added user config option to select whether dictionary
treeviews in dialog boxes should prefer variable labels
over names.   Default is names.

Merge branch 'master' of ssh://jmd@git.sv.gnu.org/srv/git/pspp

Save windows' maximized status as well as their geometry.

covariance-matrix.c (is_origin): New function

covariance-matrix.c (get_exact_subscript): New function

covariance-matrix.c (covariance_matrix_insert): Use get_exact_subscript.

covariance-matrix.c (is_covariance_contributor): New function.

covariance-matrix.c (covariance_accumulator_to_matrix): Iterate over
the rows and columns of the covariance matrix, and the hash table to
accumulate values for each entry of the matrix.

design-matrix.c (design_matrix_get_n_cols): New function

design-matrix.c (design_matrix_get_n_rows): New function