system file cealnsups

cleanup

fix typo

adds ome advice

cleanup sys module

Separate the file header from other records, since it's special

introduce SystemFile

cleanup and docs

cleanup

more cleanup

cleanup

cleanup

get rid of TBD errors

warning improvements

Break out offsets from sysfile raw errors.

more cleanup

more cleanup

more cleanup

more cleanup

work on comments and cleanliness

Clean up RawDatum a bit.

work on comments

rust: Remove `sack` standalone program.

It wasn't really useful and it didn't make sense to run it as a test.

Docs for the `lex` module.

Work on docs

work on docs

rust: Fix `cargo doc` warnings.

rust: Add support for decrypting encrypted SPSS files.

Also, fix a bug in the C implementation of password decoding.

Fix expected output for compressed data tests.

Initial work on Rust implementation of PSPP.

To run what's here, use `cargo run` inside the `rust` directory to run
it in place, or `cargo install` to install it to a local directory.  The
`convert` command is the only thing that really works so far.

Signed-off-by: Ben Pfaff <blp@cs.stanford.edu>

ext-array: Use fseeko64 instead of fseeko, if available.

DESCRIPTIVES: Fix calculation of Z-scores with listwise missing values.

MacOS: Adapt Readme and initialization for bundle

I changed the way the bundle is build to allow codesigning.
The binary is moved to Content/MacOS and therefore the location
of the resources like icons is changed with respect to the
binary location.

po: Update 'sv' translation from translationproject.org.

Fix order of variables in error message.

Thanks to Frans Houweling for reporting the bug.

po: Add sv (Swedish) translation from translationproject.org.

Independent Samples T-Test Dialog: Fix Crash

Only unref the existing grouping variable, if the new one is non-null.
Otherwise it gets unreffed too many times.

Fixes bug 66747

QUICK CLUSTER: Use fixed format for cluster centers.

This command used the variables' own formats for their centers.  This was
a bad idea for at least two reasons.  First, the variables might have a
format that does not show any decimal places, but clusters wouldn't
ordinarily have integer centers, so this is confusing.  Second, if a
cluster center happens to have a value label, it could be shown instead,
which is even more confusing.  This fixes the problem by using a fixed
format instead.

Thanks to Andreas Hammer for reporting the problem.

tests: Make it harder to run the testsuite outside of "make check".

This confused a user.

po: Update translations.

po: Update translations.

README.Git: More MacOS build and debug infos. Switch to brew

I modified the build instructions from macports to brew because
I use brew now. I added some instructions for debugging with lldb.

README.Git: Just Whitespace

message: check if location is present before accessing it

The message location is accessed without checking if the
location is actually present. I added a check if the message
location is there. Thanks to Simon Jacobs for reporting the
bug!

Closes: https://savannah.gnu.org/bugs/?66239

import assistant: fix variable width after guesser with output constraints

The current code fixes the guessed variable width according to
input constraints. But the data output stages checks the
width against output constraints. The minimum width for FMT_E
is 1 for input and 6 for output. When the guesser proposes FMT_E
with width 5, then 5 is chosen. With this patch, the width is
fixed to 6.

Thanks to Fatemeh Ilkhani for reporting the bug and providing a
csv that triggers the crash.

Closes: https://savannah.gnu.org/bugs/?66456

MATRIX: Fix test for very large matrix.

I kept getting processes killed as out-of-memory for the "MATRIX - very
large matrices" test.  Somehow, GSL was really trying to allocate a
matrix with 230,000,000,000 elements, which would require 1.84 PB of
memory, which I don't have.

This makes the matrix allocator report out-of-memory if a sequence would
have more than about 2 billion elements, fixing my OOM killer problem.

Add translation context for statistical "Error"

Since gnulib's gettext.h defines pgettext() as macro with string
catenation, it's impossible to add pgettext version API for
pivot_value_new_text().  Rather, the pivot_value creation part is
split into pivot_value_new_text_translate() and let's expand
pgettext() upon calling it.

With this, C_() and NC_() macros are defined for translation with
context.

Fixing bug #66244.

gui: Fix translatability of tip meant for non-free operating systems.

Thanks to Theppitak Karoonboonyanan for reporting this bug.

windows: update spreadsheet build dependency from 0.8 to 0.10

The windows build on cais.etech.fh-augsburg.de failed because
the windows build dependencies script build spread-sheet 0.8
while pspp now insists on 0.10.

po: Update translations from translationproject.org.

doc: Document FILTER on REGRESSION.

Thanks to Andreas Hammer for the suggestion.

Avoid a crash when attempting to allocate very large matrices.

Partial fix for bug #65545

Clipboard: psppire-output-view - Adapt advertised target formats

When charts are copied to the clipboard, then also text formats
were advertised. This patch restricts the advertised clipboard
formats such that applications choose the correct format.

See: https://savannah.gnu.org/bugs/?65288

The preferred format for charts/images is svg or some image format
For tables no image format is advertised such that John can paste
html as editable table in libreoffice.

Fix a crash when attempting to add vectors whose names differed only in case.

Partial fix for bug #65545

Fix an assertion failure  when running PERMISSIONS with the --safer option

Partial fix for bug #65545

Recent ssw to 0.10

doc: set LC_ALL=C for building tutorial images

The previous commit to fix the "make install" problem in shells which
have a locale setting different from "US" did not work for Bernd on
archlinux. Thanks for reporting the problem!

Closes: https://savannah.gnu.org/bugs/?65124

LOOP: Fix null pointer dereference for errors with index expressions.

Thanks to Zhou Geng for reporting this bug as poc8 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

NPAR: Fix order of arguments to xnmalloc().

pivot-output: Fix crash when layers axis has no leaves.

Thanks to Zhou Geng for reporting this bug as poc6 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

MCONVERT: Prevent from appearing inside DO IF or LOOP.

Also, fix a typo in a user string.

Thanks to Zhou Geng for reporting this bug as poc5 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

MATRIX: Prevent from appearing inside DO IF or LOOP.

Thanks to Zhou Geng for reporting this bug as poc3 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

MATRIX: Avoid assertion failure when DO IF has multiple ELSEs.

Thanks to Zhou Geng for reporting this bug as poc42 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

expressions: Fix crash on type mismatch corner case.

Thanks to Zhou Geng for reporting this bug as poc37 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

ascii: Avoid assertion failure on width underflow in text_draw().

Thanks to Zhou Geng for reporting this bug as poc33 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

transformations: Fix memory error in trns_chain_prepend().

This only worked if the transformation chain had one element.

Thanks to Zhou Geng for reporting this bug as poc30 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

LIST: Fix bug listing duplicate variables.

Thanks to Zhou Geng for reporting this bug as poc28 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

SHOW: Fix memory leak on error path.

SHOW: Fix crash in SHOW TITLE and SHOW SUBTITLE if there is no (sub)title.

Thanks to Zhou Geng for reporting this bug as poc14 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

po: Update translations from translationproject.org.

u8-line: Fix handling of double-width characters in u8_line_reserve().

This code was terribly confusing.  This adds a little redundancy but it is
easier to understand.

This is difficult logic and more bugs may lurk.

Thanks to Zhou Geng for reporting this bug as poc13 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

u8-line: Fix read past end of buffer in u8_line_find_pos().

Fix bug found by fuzzer.

Thanks to Zhou Geng for reporting this bug as poc9 in the report here:
https://lists.gnu.org/archive/html/bug-gnu-pspp/2024-03/msg00015.html

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

gui: Translate names of aggregation functions in bar chart dialog.

Thanks to Mindaugus for reporting the problem.

Release version 2.0.1.

doc: Document how to run command-line PSPP from the Flatpak.

README.Git: Update to latest version of Gnulib branch stable-202307.

REPEATING DATA: Remove documentation for unimplemented command.

This command once had a buggy implementation, which was removed, but the
documentation remained.

Thanks to Frans Houweling for reporting the inconsistency.

gui: Mark "Show tips at startup" for translation.

Thanks to Mindaugus for reporting that it was missing.

po: Update translations from translationproject.org

DO REPEAT: Accept duplicate names as substitution variables.

Thanks to Frans Houweling for reporting the bug.

CROSSTABS: Fix tabular output when columns or rows are empty.

Thanks to Andreas Hammer for reporting the bug.

AUTORECODE: Fix crash if scratch variables created before source variables.

Thanks to Frans Houweling for reporting this bug.

dictionary: Remove unused functions and prototypes.

psppire: Sort by name or label case-insensitively in dictionary view.

Thanks to Elio Spinello for reporting the bug.

SORT VARIABLES: Add test case for case sensitivity.

CTABLES: Fix crash with single nesting level, no label, and moving labels.

This fixes a crash for the following input:

DATA LIST LIST NOTABLE /year (F4.0).
BEGIN DATA
2020
2021
2022
2020
2020
END DATA.

CTABLES
  /VLABELS VARIABLES=year DISPLAY=NONE
  /TABLE year [C]
  /CLABELS ROWLABELS=OPPOSITE.

Thanks to Frans Houweling for reporting this bug and providing the test
case.

tests: Remove two tests that proved problematic cross-OS and cross-arch.

The test "journal enabled by default interactively" failed in Debian
testing on s390x, powerpc, and ppc64.  I can't reproduce the problem on
x86_64.  This commit removes it.

The test "interactive output appears immediately" failed in Debian testing
on s390x, hppa, powerpc, and ppc64.  It also previously failed on Mac OS.
I can reproduce the problem on x86_64 if readline isn't available, but not
if it is.  (I think it would always be available for Debian).  This commit
removes it.

Thanks to Friedrich Beckmann for reporting the Debian build problems.

doc: set LANG=C for building the tutorial images

The build process fails if the shell has set a different language
setting the us. This patch sets the language during the generation
of the documentation images.

Closes: https://savannah.gnu.org/bugs/?65124

Update releases in appstream metadata to make flathub happy.

Release version 2.0.0.

MacOS: Fix skipped test "convert invalid UTF-8 to ISO-8859-1"

The skipping worked, but the non-skipped test failed on linux
systems.

Revert "Revert "MacOS: skip test "convert invalid UTF-8 to ISO-8859-1"""

This reverts commit bcc19d9457129559b836a0cc6cd81e2c71d42bb5.
Just letting Mac OS crash on invalid conversions seems like the
most reasonable path for now.  Maybe Apple will fix their buggy
iconv.

Revert "i18n.c: added EOPNOTSUPP error code for MacOS"

This reverts commit 1799abc8539bd1a49c72c5723d1fa89ff4463e3f.
Handling EOPNOTSUPP like EILSEQ produced a hang rather than
the expected results, so this was a failed experiment.

Upgrade to stable Gnulib branch stable-202307.

Suggested by Bruno Haible.