Initial work on Rust implementation of PSPP.

To run what's here, use `cargo run` inside the `rust` directory to run
it in place, or `cargo install` to install it to a local directory.  The
`convert` command is the only thing that really works so far.

Signed-off-by: Ben Pfaff <blp@cs.stanford.edu>

ext-array: Use fseeko64 instead of fseeko, if available.

DESCRIPTIVES: Fix calculation of Z-scores with listwise missing values.

MacOS: Adapt Readme and initialization for bundle

I changed the way the bundle is build to allow codesigning.
The binary is moved to Content/MacOS and therefore the location
of the resources like icons is changed with respect to the
binary location.

po: Update 'sv' translation from translationproject.org.

Fix order of variables in error message.

Thanks to Frans Houweling for reporting the bug.

po: Add sv (Swedish) translation from translationproject.org.

Independent Samples T-Test Dialog: Fix Crash

Only unref the existing grouping variable, if the new one is non-null.
Otherwise it gets unreffed too many times.

Fixes bug 66747

QUICK CLUSTER: Use fixed format for cluster centers.

This command used the variables' own formats for their centers.  This was
a bad idea for at least two reasons.  First, the variables might have a
format that does not show any decimal places, but clusters wouldn't
ordinarily have integer centers, so this is confusing.  Second, if a
cluster center happens to have a value label, it could be shown instead,
which is even more confusing.  This fixes the problem by using a fixed
format instead.

Thanks to Andreas Hammer for reporting the problem.

tests: Make it harder to run the testsuite outside of "make check".

This confused a user.

po: Update translations.

po: Update translations.

README.Git: More MacOS build and debug infos. Switch to brew

I modified the build instructions from macports to brew because
I use brew now. I added some instructions for debugging with lldb.

README.Git: Just Whitespace

message: check if location is present before accessing it

The message location is accessed without checking if the
location is actually present. I added a check if the message
location is there. Thanks to Simon Jacobs for reporting the
bug!

Closes: https://savannah.gnu.org/bugs/?66239

import assistant: fix variable width after guesser with output constraints

The current code fixes the guessed variable width according to
input constraints. But the data output stages checks the
width against output constraints. The minimum width for FMT_E
is 1 for input and 6 for output. When the guesser proposes FMT_E
with width 5, then 5 is chosen. With this patch, the width is
fixed to 6.

Thanks to Fatemeh Ilkhani for reporting the bug and providing a
csv that triggers the crash.

Closes: https://savannah.gnu.org/bugs/?66456

MATRIX: Fix test for very large matrix.

I kept getting processes killed as out-of-memory for the "MATRIX - very
large matrices" test.  Somehow, GSL was really trying to allocate a
matrix with 230,000,000,000 elements, which would require 1.84 PB of
memory, which I don't have.

This makes the matrix allocator report out-of-memory if a sequence would
have more than about 2 billion elements, fixing my OOM killer problem.

Add translation context for statistical "Error"

Since gnulib's gettext.h defines pgettext() as macro with string
catenation, it's impossible to add pgettext version API for
pivot_value_new_text().  Rather, the pivot_value creation part is
split into pivot_value_new_text_translate() and let's expand
pgettext() upon calling it.

With this, C_() and NC_() macros are defined for translation with
context.

Fixing bug #66244.

gui: Fix translatability of tip meant for non-free operating systems.

Thanks to Theppitak Karoonboonyanan for reporting this bug.

windows: update spreadsheet build dependency from 0.8 to 0.10

The windows build on cais.etech.fh-augsburg.de failed because
the windows build dependencies script build spread-sheet 0.8
while pspp now insists on 0.10.

po: Update translations from translationproject.org.

doc: Document FILTER on REGRESSION.

Thanks to Andreas Hammer for the suggestion.

Avoid a crash when attempting to allocate very large matrices.

Partial fix for bug #65545

Clipboard: psppire-output-view - Adapt advertised target formats

When charts are copied to the clipboard, then also text formats
were advertised. This patch restricts the advertised clipboard
formats such that applications choose the correct format.

See: https://savannah.gnu.org/bugs/?65288

The preferred format for charts/images is svg or some image format
For tables no image format is advertised such that John can paste
html as editable table in libreoffice.

Fix a crash when attempting to add vectors whose names differed only in case.

Partial fix for bug #65545

Fix an assertion failure  when running PERMISSIONS with the --safer option

Partial fix for bug #65545

Recent ssw to 0.10

doc: set LC_ALL=C for building tutorial images

The previous commit to fix the "make install" problem in shells which
have a locale setting different from "US" did not work for Bernd on
archlinux. Thanks for reporting the problem!

Closes: https://savannah.gnu.org/bugs/?65124

LOOP: Fix null pointer dereference for errors with index expressions.

Thanks to Zhou Geng for reporting this bug as poc8 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

NPAR: Fix order of arguments to xnmalloc().

pivot-output: Fix crash when layers axis has no leaves.

Thanks to Zhou Geng for reporting this bug as poc6 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

MCONVERT: Prevent from appearing inside DO IF or LOOP.

Also, fix a typo in a user string.

Thanks to Zhou Geng for reporting this bug as poc5 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

MATRIX: Prevent from appearing inside DO IF or LOOP.

Thanks to Zhou Geng for reporting this bug as poc3 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

MATRIX: Avoid assertion failure when DO IF has multiple ELSEs.

Thanks to Zhou Geng for reporting this bug as poc42 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

expressions: Fix crash on type mismatch corner case.

Thanks to Zhou Geng for reporting this bug as poc37 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

ascii: Avoid assertion failure on width underflow in text_draw().

Thanks to Zhou Geng for reporting this bug as poc33 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

transformations: Fix memory error in trns_chain_prepend().

This only worked if the transformation chain had one element.

Thanks to Zhou Geng for reporting this bug as poc30 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

LIST: Fix bug listing duplicate variables.

Thanks to Zhou Geng for reporting this bug as poc28 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

SHOW: Fix memory leak on error path.

SHOW: Fix crash in SHOW TITLE and SHOW SUBTITLE if there is no (sub)title.

Thanks to Zhou Geng for reporting this bug as poc14 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

po: Update translations from translationproject.org.

u8-line: Fix handling of double-width characters in u8_line_reserve().

This code was terribly confusing.  This adds a little redundancy but it is
easier to understand.

This is difficult logic and more bugs may lurk.

Thanks to Zhou Geng for reporting this bug as poc13 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

u8-line: Fix read past end of buffer in u8_line_find_pos().

Fix bug found by fuzzer.

Thanks to Zhou Geng for reporting this bug as poc9 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

gui: Translate names of aggregation functions in bar chart dialog.

Thanks to Mindaugus for reporting the problem.

Release version 2.0.1.

doc: Document how to run command-line PSPP from the Flatpak.

README.Git: Update to latest version of Gnulib branch stable-202307.

REPEATING DATA: Remove documentation for unimplemented command.

This command once had a buggy implementation, which was removed, but the
documentation remained.

Thanks to Frans Houweling for reporting the inconsistency.

gui: Mark "Show tips at startup" for translation.

Thanks to Mindaugus for reporting that it was missing.

po: Update translations from translationproject.org

DO REPEAT: Accept duplicate names as substitution variables.

Thanks to Frans Houweling for reporting the bug.

CROSSTABS: Fix tabular output when columns or rows are empty.

Thanks to Andreas Hammer for reporting the bug.

AUTORECODE: Fix crash if scratch variables created before source variables.

Thanks to Frans Houweling for reporting this bug.

dictionary: Remove unused functions and prototypes.

psppire: Sort by name or label case-insensitively in dictionary view.

Thanks to Elio Spinello for reporting the bug.

SORT VARIABLES: Add test case for case sensitivity.

CTABLES: Fix crash with single nesting level, no label, and moving labels.

This fixes a crash for the following input:

DATA LIST LIST NOTABLE /year (F4.0).
BEGIN DATA
2020
2021
2022
2020
2020
END DATA.

CTABLES
  /VLABELS VARIABLES=year DISPLAY=NONE
  /TABLE year [C]
  /CLABELS ROWLABELS=OPPOSITE.

Thanks to Frans Houweling for reporting this bug and providing the test
case.

tests: Remove two tests that proved problematic cross-OS and cross-arch.

The test "journal enabled by default interactively" failed in Debian
testing on s390x, powerpc, and ppc64.  I can't reproduce the problem on
x86_64.  This commit removes it.

The test "interactive output appears immediately" failed in Debian testing
on s390x, hppa, powerpc, and ppc64.  It also previously failed on Mac OS.
I can reproduce the problem on x86_64 if readline isn't available, but not
if it is.  (I think it would always be available for Debian).  This commit
removes it.

Thanks to Friedrich Beckmann for reporting the Debian build problems.

doc: set LANG=C for building the tutorial images

The build process fails if the shell has set a different language
setting the us. This patch sets the language during the generation
of the documentation images.

Closes: https://savannah.gnu.org/bugs/?65124

Update releases in appstream metadata to make flathub happy.

Release version 2.0.0.

MacOS: Fix skipped test "convert invalid UTF-8 to ISO-8859-1"

The skipping worked, but the non-skipped test failed on linux
systems.

Revert "Revert "MacOS: skip test "convert invalid UTF-8 to ISO-8859-1"""

This reverts commit bcc19d9457129559b836a0cc6cd81e2c71d42bb5.
Just letting Mac OS crash on invalid conversions seems like the
most reasonable path for now.  Maybe Apple will fix their buggy
iconv.

Revert "i18n.c: added EOPNOTSUPP error code for MacOS"

This reverts commit 1799abc8539bd1a49c72c5723d1fa89ff4463e3f.
Handling EOPNOTSUPP like EILSEQ produced a hang rather than
the expected results, so this was a failed experiment.

Upgrade to stable Gnulib branch stable-202307.

Suggested by Bruno Haible.

i18n.c: added EOPNOTSUPP error code for MacOS

With MacOS 14 the iconv library was changed by Apple. pspp uses
the native iconv library. There is a different error code
returned when an illegal 0xc0 UTF-8 code is converted. This
results in a failed "convert invalid UTF-8 to ISO-8859-1" test in
the regression. This patch now handles also EOPNOTSUPP.

Revert "MacOS: skip test "convert invalid UTF-8 to ISO-8859-1""

This reverts commit 579295f8b15068b121807168e84330c1f99361e9. Ben
has an idea how to fix this in libpspp to handle the different
error code on MacOS.

MacOS: skip test "convert invalid UTF-8 to ISO-8859-1"

Starting with MacOS 14 Sonoma Apple has changed the behaviour
of the iconv library. The test tests the behaviour for invalid
UTF-8 sequence 0xC0. The native Apple iconv library responds with
a different error number than expected. This patch skips the
test on MacOS until this is hopefully fixed on MacOS.

Unconditionally replace g_string_free_and_steal().

It's a persistent problem and I don't understand why.  I hope this fixes
the issue for good.

Thanks to Ali Alhaidary for reporting this bug.

Bug #64848.

Release version 2.0.0-pre3.

tests: Fall back to running the interactive output test on GNU/Linux only.

It fails on Mac OS for unclear reasons.

tests: Refine the last change.

The remaining failures might be attributable to journal file creation
errors.

tests: Try another strategy to check for immediate output.

The previous strategy hung on some machines and failed on others.  The
failures are sometimes sensitive to whether libreadline is available.  I
hope that this avoids the problem.

tests: Stop using squish-pty.

squish-pty seems to break easily, so switch to using another way to
simulate interactive behavior.  This way requires a small source code
change to PSPP itself but it should be more portable.

Thanks to Friedrich Beckmann for reporting the problem.  The problem that
Friedrich reported was a hang in the "interactive output appears
immediately" test on Debian sid.  I couldn't reproduce that problem on
Fedora or Debian testing, but I did get failures on Debian testing.  I
guess it's best to just avoid ptys at all.

Fix typo in user string.

Thanks to Benno Schulenberg for reporting this bug.

po: Update translations from translationproject.org.

Release version 2.0.0-pre2.

Enable journaling by default and add GUI feature for configuring it.

MATCH FILES: Fix crash in string variable resizing.

Commmit 638bf380e550 ("combine-files: Allow matching string
variables to have different widths.") introduced a bug in the
case where the variables in data files being combined didn't
have the same variable order.  This is kind of an
embarrassing bug since the input files having the same order
of variables is an exceptional case anyhow.  This commit
should fix the problem.

The test as updated will crash if the bug regresses.

Thanks to Frans Houweling for reporting the bug.

settings: Make PRESERVE, RESTORE, and SHOW handle TLOOK.

Thanks to Frans Houweling for reporting the issue.

psppire-import-textfile: Default to using column names from imported file.

We speculate that users will find this less surprising.

Suggested by Alan Mead.

ONEWAY: Improve handling of missing values in ONEWAY multiple comparisons.

Thanks to Andreas Hammer for the bug report and example data.

pspp-dump-sav: Number variables in cases starting from 1.

The variables are numbered starting from 1 elsewhere in the output, so they
should be in the cases as well.

Bug #64621.
Thanks to Daniel for reporting this bug.

Fixed an assertion failure in psppire-dump-sav when reading a corrupt file.

Closes bug #62980

Simplify drag-drop target settings in CTABLES dialog

html: Include generic font-family name "sans-serif" as a fallback.

https://developer.mozilla.org/en-US/docs/Web/CSS/font-family recommends
that a font-family specification should always include one of the generic
font-family names to serve as a fallback.  For PSPP, sans-serif is a
reasonable fixed fallback.

This addresses bug #63020, which asks for "Sans Serif" to mean sans-serif.
It obviously doesn't generalize to other font name translations, but it
does address the case that the bug filer complained about.  If we need a
more general mechanism, we can invent it later.

Thanks to Frans Houweling for reporting this issue.

Add localisations for ar and ta domains

Remove Find and Close from the list of default button box buttons

Commit e1a2cf577fac791c79cd531e688a48efab9b7c0c inappropiratly added the FIND
and CLOSE buttons to the default list of buttons to be shown.  This change
fixes that error.

Whitespace changes only.

Fix the cleanup of the pivot table in the CTABLES dialog

Properly dispose of psppire_dialog_action objects when the data editor is closed

Fixed a crash when trying to insert variables into the datasheet

Fix cut-and-paste error in comment

Change TAB characters to spaces

Most of our code is indented with four spaces.  However some files had been
using tabs.  Some code used both tabs and spaces in the same file!.  This
change replaces all tabs with eight spaces.