math: Coding style updates in some order-stat implementations.

I generally find structure assignments clearer than individual assignments
to each of their members these days.

math: Improve comments.

This includes some changes to parameter names and coding style in
order-stats that I think clarify the code and modernize it.

math: Avoid unneeded extra allocations for fixed-size data structures.

This seems generally a bit cleaner to me.

spv-legacy-decoder: Always give the pivot table a title.

A pivot table must have a title.  Some parts of PSPP rely on that.  The
legacy SPV decoder didn't ensure this, and one SPV in my corpus didn't have
one, which led to null pointer dereferences, so this commit fixes the
problem.

output-item: Add missing new-line printing tables in output_item_dump().

This only affects "pspp-output dump".

output-item: Fix memory leak in output_item_dump().

pivot-table: New functions for setting captions, etc.

pivot-table: Fix pivot_table_dump() null pointer dereference in special case.

This function only gets called from "pspp-output dump", so it's not a very
important bug.

Release version 1.6.0.

perl-module: Copy Perl module from srcdir to builddir before distributing.

I ran into an issue where the Perl tests were failing in distcheck, but
not in check.  I changed the sources for the Perl module, but distcheck
still used the old ones.  It turns out that "make dist" uses files from
the builddir, which "make dist" wasn't updating from the srcdir because
that only happened when the Perl module was actually built, which "make
dist" and "make distcheck" don't do.

This commit fixes the problem by ensuring that the Perl module files get
updated in the builddir on "make dist".

perl-module: Remove test for memory usage.

This test only works if you're lucky.  It doesn't work with Address
Sanitizer and it doesn't seem to work with current versions of Perl.
(It might be that there's a real leak, but I don't know how to debug
it in that case.)

po: Update translations from translationproject.org.

Many thanks to our translators!

gui: For text data import, use the same parser for preview as for import.

There were odd discrepancies between the preview code in the GUI for
text data import and the code in GET DATA /TYPE=TXT that implemented the
eventual import.  This commit unifies the two parsers, dropping the one
that was used only for preview.  This should prevent further discrepancies.

Bug #61809.
Thanks to Friedrich Beckmann for reporting this bug.

data-parser: Make data parser not require a dictionary.

An upcoming commit will make the GUI's text import use this code too, in
a context where a dictionary isn't yet available.  The data parser only
uses the dictionary for one specific purpose that isn't relevant for the
GUI, so remove the need for it.

gui: Make text import assistant accept only one quote character.

This aligns with what SPSS does.

gui: Always use the most comma text import settings.

The heuristic did not perform well in practice according to user reports,
and most files use the defaults.

gui: Honor quotes in the text data import dialog.

The text data import dialog's preview of the data to be read
didn't honor the quotes but always treated " and ' and (weirdly)
parentheses as quotes.  This makes it honor the user's settings.

Bug #61809.
Thanks for Friedrich Beckmann for reporting this bug.

New command SHOW SYSTEM to easily print information useful in bug reports.

po: Update translations from translationproject.org.

po: Update de translation from translationproject.org

Release version 1.5.5.

po: Update translations from translationproject.org.

expressions: Convert SYSMIS into int as INT_MIN during optimization too.

In an expression like LPAD('abc', $sysmis), the LPAD function is evaluated
using a C function that takes an 'int' as its second argument.  During
expression evaluation, out-of-range values get converted into SYSMIS by
the NUM_TO_INTEGER operator that gets automatically inserted to ensure
that, and then SYSMIS gets converted into INT_MIN to pass to the C
function.  This worked OK for runtime evaluation, but the optimizer failed
to do the conversion of SYSMIS to INT_MIN, which yielded undefined
behavior.  Some platforms (e.g. GCC on x86) converted SYSMIS (which is
the second-smallest 'double' value) into INT_MIN, so no problem showed up
there, but other platforms yielded INT_MAX, causing unexpected failures.

This commit fixes the problem by explicitly converting SYSMIS into INT_MIN
during optimization.

Thanks to Friedrich Beckmann for reporting and uncovering the problem.
Bug #62267.

po: Update translations from translationproject.org.

org.fsf.pspp.metainfo: changed links to https / added 1.5.4 release

The debian checker mentionend the http links for the version info.
So I changed them to https. And I added the 1.5.4 release.

po: Update German translation from translationproject.org.

Thanks to the german translation team at translationproject.org

start message to translators with TRANSLATORS

All comments which start with TRANSLATORS are visible for the
translators. The previous message is only visible if the translator
looks into the source code.

MATRIX: Correct error message.

Thanks to Friedrich Beckmann for reporting the mistake.

po: Update Spanish translation from translationproject.org.

Thanks to Francesc Josep Miguel Quesada for the updates!

pivot-table: Avoid null dereference in "pspp-output dump" in corner cases.

CROSSTABS: Fix computation of adjusted standardized residual.

Bug #60982.

psppire-output-view: Export correctly to drivers that don't handle groups.

Thanks to Elias Tsolis for reporting this bug.
Bug #61549.

Yuri Chornoivan contributed some typo fixes

Closes: https://savannah.gnu.org/bugs/?62245
Thank you for your contribution!

po: Update Ukrainian translation from translationproject.org.

Thanks to Yuri Chornoivan for translating.

Release version 1.5.4.

sys-file-encoding: Clean up .c file on distclean.

Found by "make distcheck".

icons: Fix uninstall.

The uninstall target for the icons looked for filenames that began with
"pspp", but the new names for the application icons don't start that way.

Fixes: 25e030629aed ("Rename icon files to match full application ID.")

bug #62189: Fixed clipped numbers in histogram legend

I modified the legend rendering to avoid the clipping of mean and
standard deviation in the legend of the histogram plot. In addition
I changed the number print format to also show reasonable numbers
for small values.

fixed: https://savannah.gnu.org/bugs/index.php?62198

Windows: Native build failed due to missing gnulib dependencies

The windows build failed because the gnulib header files were not
build before the compilation of c files for the native build.
The gnulib headers are
listed in the BUILT_SOURCES but that must be the first dependency
before the object files belonging to the executable. This is the
case for the default make target but not for an individual
executable like src/ui/terminal/pspp. I adapted the make file
to use the default make target.
See: https://www.gnu.org/software/automake/manual/html_node/Sources.html

Windows build: Adapted icon names to org.fsf.pspp naming

Ben changed the icon names to a naming scheme using org.fsf.xxx
The changes were missing in the windows build resulting in a
build failure for the windows target.

svg2png: Use rsvg-convert if GIMP is not available.

The GNOME flatpak SDK has rsvg-convert, which does just fine, but not GIMP,
and I have no interest in building GIMP as a step in building PSPP.

Rename pspp.xml to org.fsf.pspp.xml.

This reflects the convention expected by flatpak and seems to reflect the
overall expected convention.

Rename icon files to match full application ID.

This seems to be the convention.  It makes building a flatpak easier.

org.fsf.pspp.metainfo.xml.in: Fix release dates.

These dates were in YYYY-DD-MM format, but they should be ISO 8601
compliant YYYY-MM-DD format.

configure: Also support gtksourceview 4.x.

This doesn't require any source code changes because 4.x and 3.x are
source compatible for our purposes.

Makefile: Fix running "make dist" before "make all".

Otherwise, there's a race between generating and using config.h, which
causes build failures.  This happens particularly with the PSPP autobuilder.

Switch from recursive to non-recursive use of Gnulib.

This allows for better use of dependencies in Makefiles.  It causes a new
warning from Automake, which I hope to fix through a change to Gnulib
sometime soon.  I'm consulting the other Gnulib maintainers on that:
https://lists.gnu.org/archive/html/bug-gnulib/2022-03/msg00044.html

Gnulib needs Automake 1.14 or later.

tests: Update testsuite results to accomodate new Gnulib.

It seems that libunistring now does line wrapping slightly differently,
perhaps due to Unicode updates.

Update to newest gnulib.

This required a dependency on Automake 1.11 or later.  It also required
dropping C2x compatibility warnings because Gnulib now triggers them.  The
Gnulib tempname module requires linking against $(LIB_GETRANDOM), so this
adds that in each case where the build links against libgl.

spv-light-decoder: Avoid GCC 11.x warning in decode_spvlb_halign().

It seems to be wrong, but GCC can't tell and it's hard to blame it.

expressions: Fix value of $TIME variable and add a test.

Thanks to Frans Houweling for reporting this bug.
Bug #62003.

psppire-dialog-action-crosstabs: Do not add PIVOT or NOPIVOT to command.

The CROSSTABS command does not support /FORMAT=PIVOT or /FORMAT=NOPIVOT.
I can't find any evidence that it ever did.  Perhaps q2c ignored keywords
it didn't recognize?  SPSS does not document support for any such format
keywords, so it's better to remove them from the emitted syntax than to
add support to CROSSTABS.

Thanks to Alexandra Younger for reporting the issue.

lexer: New functions for parsing real numbers in specified ranges.

These will be more useful in the future.

format-parser: Improve comment.

FREQUENCIES: Fix percentiles and median calculation for multiple variables.

The calculations here were using the same space each time for
calculating percentiles and median, but different areas are needed.  This
commit fixes the problem.

Bug #60728.
Thanks to elias tsolis for reporting the problem.

FREQUENCIES: Remove unused pool.

FREQUENCIES: Remove unused struct members.

Fixed misleading results in the Kruskal-Wallis test

Fixed misleading results if the lower bound was in fact higher
than the upper bound.

Replace more uses of 'cnt' by 'n'.

This continues the work begun in commit 339f1956cc72 ("treewide: Replace
<name>_cnt by n_<name>s and <name>_cap by allocated_<name>.") by replacing
more uses of 'cnt' by 'n', which I think is a better choice these days.

windows cross build: Add example build instructions in documentation

I added a description of the required steps to do a windows cross
build.

moments: Spell out "variance" ("var" is easily confused with "variable").

Change how checking for missing values works.

It's more flexible to have the functions that check for missing values
return what kind of missing value was found (or 0 if none), than to have
to pass in the kind of missing values to check for.

expressions: Major work to improve error messages.

This makes the error messages related to expressions much better, by being
more precise about the location of the problem.  It also fixes a number of
documentation and compatibility issues encountered along the way, as well
as redoing the testsuite for expressions to make it easier to understand
and to work on.

expressions: Fix built sources.

The dependencies were incomplete for the built sources, which meant that
build errors often came up if one built particular targets, e.g. for
"make src/ui/terminal/pspp".  This fixes the problem.

expressions: Simplify type declarations for nodes.

The widespread availability of C99 anonymous structs and unions helps to
simplify the node structure.

This will make it a lot easier to add a new member to the expression nodes
for source locators in an upcoming commit.

Convert all Perl build tools to Python and remove Perl build dependency.

Python is much more commonly used these days and easier for beginners
to pick up.

num-out-cmp.pl: Remove unused script.

MATRIX: Update EVAL test to avoid failure on i386.

The i386 buildbot produced different precision for the eigenvalues
(integers rather than almost-integers), which isn't a significant
difference.  This commit should avoid the problem.

matrix: Avoid gsl_linalg_LU_invx() because it was new in GSL 2.6.

Debian only added GSL 2.6 in the current stable (bullseye) but one of the
CI systems is using oldstable (buster), thus failures.

Thanks to Friedrich Beckmann for reporting the problem.

perl-module: Skip memory test if Address Sanitizer is in use.

Otherwise, Address Sanitizer produces unexpected memory behavior and
causes this test to fail even though there is no real leak.

perl-module: Fix build errors and ignore warnings.

This allows the module to build again, for me.

configure: Check for Perl modules needed to build PSPP's Perl module.

Fedora doesn't have Config::Perl::V by default and its absence caused
mysterious build failures.

expressions: Rewrite code generator in Python.

This doesn't change the code that's generated at all.  It's preparation
for doing that later.

Fix build requirements by correctly noting that Python is required.

Building PSPP has required Python since support for the SPV format was
added, because the SPV parser-generators use Python.

Only Python 3+ can reasonably be supported, because support for Python 2.x
ended in April 2020.

Clean up how transformations work.

Transformations had a messy system that included "finalizers" that needed
to be called before a chain could be executed and the need to keep track
of relative offsets for control flow.  This commit reworks and simplifies
the whole thing.

Also adds some INPUT PROGRAM, LOOP, and DO IF tests.

treewide: Replace <name>_cnt by n_<name>s and <name>_cap by allocated_<name>.

I used to think that _cnt was a good suffix for a count representing the
number of items in an array, but I haven't used that convention in a long
time and it looks wrong now.  This changes these to an n_ prefix instead.

Similarly, but in far fewer cases, replace <name>_cap for the allocated
capacity of an array by allocated_<name>.

This doesn't change the name of ref_cnt members used as reference counts.
Those are pure counts, not the length of anything.

This doesn't change the Perl library because that's an external API.

Implement the MATRIX command.

message: Introduce underlining for error message regions.

This will allow for the upcoming matrix language implementation
to give better error messages that clearly show the erroneous
part of the source.

message: Intern file names in msg_location to make them cheaper to copy.

lexer: Allow for negative lookahead within a command.

This allows to getting the location of prior tokens within a command,
which makes it easier to find the end of a group of tokens that was just
parsed by referring to the token at offset -1.

lexer: Drop 'line_pos' from lex_token and lex_source.

It can now be calculated by reading backward in the source buffer.

lexer: Keep entire source file in memory.

Previously, the lexer tried to keep only part of each source file in
memory, the part that wasn't fully parsed yet.  With this commit, the
lexer holds the entire file in memory, even parts that are no longer
needed.  This should make it easier to produce better error messages.

pivot-table: New function pivot_value_new_variable__().

u8-line: Add definition of an initializer.

string-array: New functions for comparing string arrays.

variable-parser: New functions for parsing syntax without a dictionary.

This will acquire its first user in an upcoming commit.

expressions: Simplify function name parsing.

distributions: New module for probability distribution functions.

These functions are currently just used in expressions, but in an upcoming
commit they will also be used in matrices, so this commit makes them more
widely available.

data-writer: New function dfm_put_record_utf8().

This will have another user in the upcoming support for the matrix
language.

lexer: Add tokens for '{', '}', ':', ';' for use in the matrix language.

file-handle-def: New function fh_equal().

This will have its first user in an upcoming commit.

lexer: Factor out functions for counting columns.

These will have additional upcoming users.

lexer: New lex_at_phrase(), lex_get_n() functions.

These will have their first users in upcoming commits.

lexer: Issue error message in forgotten case in lex_force_int_range().

Found by inspection.

lexer: Be consistent across 32/64 bit in lex_force_int_range().

The exact error message that this function reported varied between 32-
and 64-bit platforms for invalid integers that require more than 32 bits
but no more than 64 bits, since "long int" has a different range between
those platforms.  This commit fixes the problem.

This issue caused the test "testing lexer crash due to overflow" to fail
on 32-bit platforms.

Thanks to Friedrich Beckmann for reporting the problem.

doc: Typo fixes, wording and formatting improvements.

segment: Add comment about zero-length segments.

format: Make fmt_check() easier to translate.

any-writer: Add comment.