Matrix Data: Identify splits explicitly instead of with hashes.

The MATRIX DATA command was using hashes to identify splits in the
input.  This works most of the time, but it is not guaranteed that
every combination of split values will produce a unique hash.

This change explicitly compares the values instead.

Partial fix for bug #56363

src/libpspp/hash-functions.c: Add a preprocessor switch to help test hash table implementation.

src/libpspp/copyleft.c: Add copyright and licence notice and an explanitory comment.

examine.c: Add note to translators.

Use msgmerge --previous when merging po files.

NEWS: fix typo.

src/math/levene.c: Fix crash resolving hmap collisions.

Partial fix for bug #56363

Remove diagnostic printf

Add the WARN_UNUSED_RESULT attribute to all hash functions.

A hash function has no purpose if the result is unused, and
tests will typically not pick up a mistake where the
programmer forgets to assign the result - the hash table will
merely degenerate to a linear searched array.

roc.at: Remove comma terminating test keywords.

This was confusing me when trying to run all the ROC tests.

src/language/stats/examine.c: Whitespace changes only.

src/data/data-in.c: Whitespace change only.

QUICK CLUSTER: Move the parser into its own function.

QUICK CLUSTER (documentation): Clarify behaviour of the SAVE subcommand.

Fix cut and paste error

QUICK CLUSTER: Implement the /SAVE sub-command.

quick-cluster.c: whitespace changes only.

Adjust test to fix previous change

Spelling: nonnegative -> non-negative

Spelling: criterium -> criterion

Remove en_GB.po

This file was very out of date, and today there are no strings
which need to be translated anyway.

GRAPH (barchart): Percentages display subcategorial percentages.

When calculating the values for a categorical barchart displaying
percentages, use the sub-category totals as the denominator, rather
than the primary totals.

Fixes bug #56247

Dump barchart when in testing mode.

This change adds a routine to barcharts to print the parameters of the
chart to stdout when --testing is passed.

Barchart.h: Add comment.

graph.c (run_barchart): Add assertion.

We don't support multidimensional barcharts.

graph.c: "freqs" --> "cells".

The name "cells" is more meaningful in this context.

EXAMINE: Implement the Shapiro-Wilk Test.

Closes bug #42511

NEWS: spelling

Update translations from translationproject.org

Correct thinko in previous commit

EXAMINE:  Don't crash when unrenderable graphs are requested.

This change fixes a crash in the cleanup of the cairo driver when
a graph which is not representable was attempted to be rendered.

Update translatable strings relating to internal errors.

EXAMINE: Correct bug where /PLOT=ALL would not include the spreadlevel plot

crosstabs.q: Replace 'Approx Sig.' with 'Approx. Sig.'

Not only is this a orthographical improvement, but it is also consistent
with other strings in this file and elsewhere, and avoids gratuitiously
adding an extra string for translators to deal with.

graph.c: Whitespace changes only. Fold some very long lines.

GUI: Scroll to correct datasheet position after deleting/inserting variables.

* src/ui/gui/psppire-data-sheet.h (psppire_data_sheet_delete_variables,
  psppire_data_sheet_insert_new_variable_at_posn): New functions
* src/ui/gui/psppire-data-sheet.c: insert_new_variable ->
psppire_data_sheet_insert_new_variable_at_posn.
* src/ui/gui/psppire-data-sheet.c: delete_variables ->
psppire_data_sheet_delete_variables.
* src/ui/gui/psppire-data-editor.c:
(psppire_data_editor_data_delete_variables,
psppire_data_editor_insert_new_variable_at_posn): Reimplement.

src/output/driver.c:  Change engine_stack from an array to a list.

The structure called engine_stack was formerly implemented as a heap
based array allocated with realloc.   However when realloc moves data
it makes only shallow copies and does not copy referand of pointers.
This was causing crashes under certain circumstances.

Rather than trying to fix this, this change re-implements engine_stack
using the linked list structure from ll.h

NEWS: correct misleading entry

FREQUENCIES: Warn the user if any weight values are missing.

piechart-cairo.c: Remove erroneous duplicate line.

Oneway GUI: Add dialog box for the posthoc tests.

Fix crash in lexer due to integer overflow.

Fixes bug #54684

lexer: Token testing functions now take a const argument.

Fix crash in gui, when T-TEST or ONEWAY while a filter is set.

Fixes bug #54784

Linear Regression GUI: Add checkbox for tolerance.

array.c: Add missing include directive

REGRESSION: Fix bug when printing tolerance of multiple variables.

REGRESSION: Rename COLLIN to TOL

This is now consistent with other software.

Update version number, as there have  been a number of changes since the last release

REGRESSION: Fix some memory leaks and tidy up.

REGRESSION: New option /STATISTICS=COLLIN

PSPPIRE: Avoid some segmentation faults when corrupt data is encountered.

perl-module: Use unquoted perl config ld value

Fixes build failure when the perl config ld value contains multiple
words, such as on PowerPC Mac OS X where it may be a value like
'env MACOSX_DEPLOYMENT_TARGET=10.3 /usr/bin/gcc-4.2'.

doc: Improve syntax description for COUNT.

Thanks to Nolan Void for the report.

sys-file-writer: Remove assertions based on file position.

These assertions can fail if the underlying file is not a regular file,
e.g. if it is a device such as /dev/null.

CVE-2019-9211.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1683499.
See also https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2019-9211.
See also https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=923417.

doc: Fix syntax for NUMERIC.

Reported by Nolan Void.

MODIFY VARS: Fix bugs in REORDER and DROP subcommands, add tests.

Thanks to Nolan Void for reporting the bug.

array: New function reverse_array().

An upcoming commit will introduce the first user.

array: Change SWAP macro into swap() function.

MODIFY VARS: Style updates.

No behavioral changes.

doc: Time components may not actually be separated by ".".

Reported by Matteo Ga.

doc: Fix some errors in DOCUMENT description.

Thanks to Nolan Void <nolvoa@hanakami.com> for reporting the issues.

SYSFILE INFO: Display documents too.

The documentation says that SYSFILE INFO displays the documents but it
didn't actually do it.

Reported by Nolan Void <nolvoa@hanakami.com>.

pspp-dump-sav: Fix memory leaks.

Found by Address Sanitizer.

pspp-dump-sav; Fix write past end of buffer in corner case.

If count == 0 and size > 0, then n_bytes is 0, buffer is a 1-byte
allocation, and the assignment to buffer[size] would write to buffer[1]
(or past it), which is past the end of the allocation.

Found by Address Sanitizer.

doc: Remove documentation for SET MORE subcommand.

The subcommand itself was removed a long time ago.

Thanks to Nolan Void <nolvoa@hanakami.com> for reporting the problem.

format: Always output 2-digit hours for TIME format.

This makes the code honor what the documentation says.

Thanks to Nolan Void <nolvoa@hanakami.com> for reporting the problem.

pspp-dump-sav: Be consistent about variable numbering.

Dictionary indexes are 1-based but this printed them starting from zero,
so that the value labels (and weight) variable didn't match up properly.

Bug #55673.

pivot-output: Improve variable naming.

'pt' is better than 'st' as the name for a struct pivot_table.

line-reader-test: Fix memory leak.

string-map: Avoid measuring the length of a string twice.

table-transpose: Remove.

This had only only user, which this commit also removes.

Fix broken psql tests.

This test seemed to fail on recent Debian systems, due to a combination
of perl,bash,postgresql and autoconf not playing nicely together.

Improve MDD writer support.

Patch #9742.

tests: Make Perl tests work with Address Sanitizer.

tests: Add valgrind and Leak Sanitizer suppression files.

Otherwise any of the tests that use Cairo for PDF output end up with a
bunch of leaks due to libfontconfig weirdness.

pspp-convert: Add --password-list option.

pspp-convert: Add -a and -l options to search for a password.

encrypted-file: Extend magic numbers in try_password().

The three-byte magic numbers would match 1 in about every 16 million
guessed passwords, which is too frequent for exhaustive testing.  The new
7- and 10-byte magic numbers should not have the same problem.

pivot-table: Fix use-after-free error.

Fix numerous memory leaks.

str: Fix bugs in ds_put_c_vformat().

This code used c_vasnprintf() as if it had the same interface as
vsnprintf(), but it's quite different.  It is necessary to make note of its
return value and possibly free it.  The code previously here didn't do
that, which led to memory leaks and possibly worse problems.  (Fortunately
this function isn't used much.)

Memory leak found by Address Sanitizer.

ascii: Always use Unicode boxes by default if appropriate.

This moves code from the command-line UI so that additional users
can benefit.  Currently that's just the command-line UI anyway
but others are coming.

matrix-data: Only use as many bytes as necessary to initialize string.

Using strncpy() of a 9-character string to initialize an 8-byte field is
odd and seems likely to have been a mistake, although a harmless one.
This makes the situation seem less odd.

Found by GCC 4.9.

t-test-paired: Fix format specifiers.

Found by GCC.

Fixes: 5cab4cf3322f ("output: Introduce pivot tables.")

regression: Make sure dep_subscript is really initialized.

Found by GCC 4.9.

chisquare: Fix format specifier in chisquare_execute().

Found by GCC.

Fixes: 5cab4cf3322f ("output: Introduce pivot tables.")

tab: Fix implementation of "middle" vertical alignment in tab_get_cell().

Found by GCC 4.9.

Fixes: a7a300e7d996 ("output: Support decimal and mixed alignment,")

pivot-table: Fix format specifiers.

Found by GCC.

Fixes: 5cab4cf3322f ("output: Introduce pivot tables.")

driver: Fix format specifiers and avoid fixed-size buffer.

The format specifier problem is real.  The fixed-size buffers should not
be, but it is not worth arguing with GCC.

Fixes: a1b7813a6993 ("output: New page-setup-item.")

por-file-writer: Use xasprintf() to avoid careful buffer sizing.

GCC 4.9 thinks that this string can overflow the buffer and there's no
reason not to use xasprintf() here.

por-file-reader: Use xasprintf() to avoid need for careful buffer sizing.

GCC 4.9 complained about this, saying that the output could exceed the
buffer size.  It doesn't seem worth arguing with it.

ods-reader: Use proper function type for xml read callback.

The difference between size_t and int is not important on 32-bit, but it
makes a bit difference on 64-bit.

pivot-table: Fix type mismatch in equal_indexes().

This function was being called with an 'unsigned int *' but it took it
as a 'size_t *', which worked fine on 32-bit systems but caused an
enormous number of tests to fail on 64-bit systems.

Thanks to Alan Mead and John Darrington for assistance.

Fixes: 5cab4cf3322f ("output: Introduce pivot tables.")

tests: Get rid of temporary debugging fix.

Fixes: c70c92497244 ("SYSFILE INFO: Get rid of nested tables.")

table: Avoid initializer warnings with GCC 4.9.

psppire-output-window: Avoid using options the ascii driver no longer has.

Fixes: 1a4052ac93c4 ("ascii: Get rid of the idea of pages.")
Fixes: 37a14e6b8ab9 ("output: Add support for fonts.")

configure: Entirely avoid broken Texinfo.

Texinfo 4.13 was still causing problems on SuSE despite the implemented
workarounds, so this commit removes the workaround in favor of just using
the distributed pspp.xml if makeinfo is broken.

Requested by opensuse.lietuviu.kalba <opensuse.lietuviu.kalba@gmail.com>.

psppire-output-view: Only rerender for real changes.

Rerendering is expensive and slow, so only do it when there's a real change
like font size, not just when the cursor moves to a different window.

psppire-output-view: Add a little extra space to GtkLayout.

It can be difficult to see the bottom and right sides of the GtkLayout
because of the scroll bars that, on newer versions of GTK+ 3, seem to
actually overlap part of the content.  Add a little extra space around
the output items to make it clearer.