dictionary: Properly size string buffer in make_hinted_name().

This causes a test failure on 32-bit platforms, where
INT_BUFSIZE_BOUND(unsigned long) is smaller than F26ADIC_STRLEN_MAX + 1.

Fixes: 2ba8dc2955f8 ("spreadsheet-reader: Merge duplicate code with libpspp/str.h.")
Thanks to Friedrich Beckmann for reporting the problem.

MEANS: Allow string variables to be selected as the categorical variable.

The gui did not allow string variables to be the subject of any MEANS command.
However it is entirely appropriate for them to be the independent (categorical)
variable.

spreadsheet-reader: Merge duplicate code with libpspp/str.h.

The tree had two functions for 26-adic spreadsheet number formatting.  This
eliminates the duplication and moves the corresponding parsing function
into str.h as well.

tests: Fix PostgreSQL test.

Portability/Regression: Check OS version to skip test first (1598)

The test

1598: interactive output appears immediately

does not work on MacOS and the plan is to skip that test. I changed
the testcode to first test the OS and skip immediately instead of
first checking the python shell. Without that the test does not
stop on MacOS and runs forever.

Portability: Variable initialization not at beginning of block

Recent changes in segment.c result in compilation errors on older
compilers like on debian buster or MacOS.

../pspp/src/language/lexer/segment.c:1255:7:
error: a label can only be part of a statement
and a declaration is not a statement
       int eol = at_end_of_line (input, n, eof, 1);

I changed the code such that it compiles on MacOS again to
a more traditional way to avoid the compile error.

ods-reader: Support more than a single piece of text in a cell.

This code read the first text content in the first <p> it found in a cell.
This meant that anything more sophisticated than just <p>text<p> broke,
including <p>text<span>some more</span></p>.  This commit fixes it.

The code here was really complicated and I didn't understand it.  I
simplified it a lot to use xmlTextReaderExpand(), which is a lot easier to
use than a state machine at the level we need it.  I also couldn't figure
out how to make the existing caching logic work quite right, so I replaced
it by something simpler which I think will be just fine.

This updates the test by adding some bold text to a cell.

Thanks to elias tsolis for reporting this bug.
Bug #63443.

spreadsheet-test: Fix usage message.

ods-reader: Integrate xmlTextReaderRead() calls into process_node().

This will allow using xmlTextReaderNext() instead of xmlTextReaderRead()
for some kinds of nodes.

tests: Add some keywords for ODS and gnumeric tests.

gui: Update how the Run menu works in the syntax window.

Until now, the Run menu had both "Selection", which ran the current
selection, and "Current line", which ran the current line.  This commit
replaces that by a single menu item "Selection", which runs the current
command if there is no selection and all the selected or partially selected
commands if there is a selection.  This behavior matches SPSS.

Requested by Matthias Faeth.

command-segmenter: New library for dividing syntax into individual commands.

This is a building block for allowing the GUI to run whole commands instead
of just lines.

deque: Replace deque_init_null() by DEQUE_EMPTY_INITIALIZER.

identifier: Fix typo in comment.

CTABLES: Avoid causing nhtsa.sav to appear modified after running tests.

Adding a hard link makes Git think that nhtsa.sav has been modified, before
it checks for real changes, which is sometimes annoying in the interface.
Using a symlink instead avoids the problem.

CTABLES: Refine treatment for applying a summary to nested variables.

In the previous commit, applying a summary to a nest operator caused an
error, which I assumed was the correct behvior.  This commit changes it
to apply the summary to the inner variable.

Thanks to Matthias Faeth for reporting the correct behavior.

CTABLES: Don't crash for attempting to apply a summary to nested variables.

Thanks to Matthias Faeth for reporting this bug.

CTABLES: Stop parsing after a summary spec error.

gui: Support Ctrl+W to close windows and add File|Close to menus.

Requested by Matthias Faeth.

histogram: Improve coding style.

histogram: Fix a couple of bugs.

The bug report wasn't specific enough to know that this fixes
the problem, which was an assertion failure for
  assert (*adjusted_min <= min);
in hist_find_pretty_no_of_bins().

Thanks to Stefan Huber for reporting these bugs.

ods-reader: Do basic validation of OpenDocument format on open.

Without this, ods-reader accepts any Zip file (including XLSX files) as
OpenDocument spreadsheets.

Thanks to Matthias Faeth for reporting the problem.

ods-reader: Don't return NULL from a boolean function.

doc: Fix typo in developer manual.

tests: Skip pty-based test except on GNU/Linux.

It fails on Mac OS but there's no reason to believe the functionality is
really broken there.

Thanks to Friedrich Beckmann for reporting the failure.

perl-module: Skip Pspp.t test if Test::More isn't installed.

This was a requirement but it wasn't noticed until now.

Thanks to Marshall DeBerry for reporting this.

T-TEST: Allow duplicate variable names in pairs list.

"a a b WITH b c c (PAIRED)" makes sense and indicates pairs (a,b), (a,c),
and (b,c).

Thanks to the anonymous reporter.
Bug #64093.

tex: Ignore error output from tex.

tex writes non-error output to stderr sometimes, especially spew from
kpathsea about building formats and fonts.  This confused the tests.

Thanks to Marshall DeBerry for reporting the problem.

tests: Skip PSPP permissions test if permissions don't work as expected.

If permissions don't work from shell, then we can't expect them to work
from PSPP.

Thanks to Marshall DeBerry for reporting the problem.

gui: Ensure that libwidgets-essential uses our header fixes too.

This should fix compile and link errors with Glib before 2.76.

Thanks to Frans Houweling for reporting and debugging the problem with me.

command: Make command names available for translation.

PSPP command names should appear in translated form in labels in output,
but they didn't because their names weren't marked for translation.  This
fixes that problem.

The names still won't appear translated until translators add translations
for them.

Thanks to Ali Alhaidary for reporting the bug at
https://savannah.gnu.org/bugs/?62982

Improve or fix some diagnostic messages.

Thanks to Jaap Verhage for reporting these bugs at
https://lists.gnu.org/archive/html/pspp-dev/2023-05/msg00004.html

PERMISSIONS: Reword error messages to avoid "stat" jargon.

"Cannot stat" doesn't make sense to most people.

Reported by pspp.vertaler@gmail.com at
https://lists.gnu.org/archive/html/pspp-dev/2020-09/msg00058.html

MATRIX DATA: Make N subcommand work properly without ROWTYPE_.

I found this bug myself while experimenting.

Add compatibility code for g_string_free_and_steal() in glib before 2.76.

Thanks to Jeremy Lavergne for reporting this bug.
Bug #64178.

MATRIX DATA: Allow slash before initial VARIABLES subcommand.

pspp-output: Use page setup from command line by default.

pspp-output was ignoring the page setup specified on the command line in
favor of the one embedded in an SPV file.  This is usually wrong, and in
particular it screwed up the examples in the manual by causing them to be
broken across multiple PNG output files, only the first of which was
actually shown in the manual.

Release version 2.0.0-pre1.

Makefiles: Clean some more files created during the build.

combine-files: Allow matching string variables to have different widths.

Requested by Frans Houweling and Alan Mead at
https://lists.gnu.org/archive/html/pspp-users/2015-03/msg00008.html

combine-files: Remove write-only member 'var_sources'.

gui: Fix warnings from g_string_free(..., FALSE).

This construct now causes a warning about an unused return value, so this
commit replaces it in each case with g_string_free_and_steal(), which also
leads to clearer code.

combine-files: Adopt the encoding of the first input file.

Previously, there was no good way to control the output encoding, which was
simply the default encoding.  One could use SET LOCALE, but it seems more
reasonable to use the encoding from one of the input files, and the first
one is the most obvious choice.

Also, improve the warning about incompatible input encodings.

combine-files: Only give an error for different types if they're kept.

Until now, ADD FILES, MATCH FILES, and UPDATE always gave an error if
variables in the input files had different types or widths and they weren't
renamed to avoid it.  This commit makes them only do that if the variables
in question aren't dropped.

combine-files: Fix crash when no files are given.

ADD FILES, MATCH FILES, and UPDATE would crash if no files were given.
This fixes the problem.

CROSSTABS: Add significance of correlations in symmetric measures.

Requested by Domingo J Rubira López at
https://lists.gnu.org/archive/html/pspp-users/2020-11/msg00000.html

CROSSTABS: Make less bad data structures for symmetric stats and Somers D.

These still have nasty fixed index values in them that should be enums,
or named struct members.

Be more careful about checking variable names.

MATRIX: Fix test failure on 32-bit platforms.

Thanks to Friedrich Beckmann for reporting the problem.
Fixes: 505a04fe4cf5 ("Fix checks for valid integer range subset of 'double'.")

SAVE TRANSLATE: Make first '/' optional in syntax.

This matches SPSS behavior.

Thanks to Matthias Faeth for reporting this bug.

Fix checks for valid integer range subset of 'double'.

Previously, I assumed that checking that a 'double' was between LONG_MIN
and LONG_MAX meant that it would convert to a sensible 'long'.  This is
wrong, because LONG_MAX rounds up to a higher 'double', because it has too
many bits for a 53-bit mantissa.  This could cause problems, like for
example LONG_MAX (as a double) turns out to convert back to LONG_MIN (as a
'long').  This commit fixes the problem.

Thanks to Youngseok Choi for reporting the problem.
Reported at https://lists.gnu.org/archive/html/bug-gnu-pspp/2023-04/msg00005.html.

VECTOR: Check that multiple vectors don't create the same variable name.

This is possible but I hadn't realized it before.

Thanks to Youngseok Choi for reporting this bug.
Reported at https://lists.gnu.org/archive/html/bug-gnu-pspp/2023-04/msg00004.html.

treewide: Fix memory leaks from calls to relocate().

These were all avoidable, and I got tired of seeing message from Address
Sanitizer about them.

DATA LIST: Fix crash inside LOOP.

DATA LIST should be allowed inside LOOP if the LOOP is inside INPUT
PROGRAM, and disallowed otherwise.  The latter behavior was not correct
before this commit.

Reported-by: Youngseok Choi <youngseok.main@gmail.com>
Reported-at: https://lists.gnu.org/archive/html/bug-gnu-pspp/2023-04/msg00002.html.

CTABLES: Fix treatment of string variables that differ past the first byte.

CTABLES display was treating string values with more than one byte as the
same if they had the same first byte, because var_get_type() was confused
with var_get_width().  (The former returns 0 for numeric and 1 for string
and the latter returns 0 for numeric and string width for string.)

Bug #64044.

MATRIX: Check format specifier on PRINT command.

Thanks to Youngseok Choi for reporting the bug.

lexer: Avoid reentering the lexer upon error in special cases.

Thanks to Youngseok Choi for reporting the bug.

lexer: Simplify lex_get_error().

lexer: Get rid of useless code in lex_get_error().

This function ellipsized the syntax and then didn't do anything with the
result.

data-out: Make binary output buffer big enough for a null terminator.

The max width for binary output is 16, for P or PK format, plus there
needs to be room for a null terminator, for a total width of 17 bytes.
The buffer here was undersized at only 16 bytes.  This commit fixes the
problem.

Thanks to Youngseok Choi for reporting the bug.

MATRIX: Fix multiplication of empty matrices.

This crashed due to an assertion failure in blas before.
Thanks to Youngseok Choi for reporting the bug.

doc: Improve documentation for GET DATA/TYPE=PSQL.

Reported by Kent Nassen.

Ensure that interactive output appears without a one-command delay.

When pspp was run in the text-based mode interactively, output for a given
command only appeared after the next command was read.  This fixes the
problem and adds a test.

Thanks to the anonymous reporter.

Bug #63910.

Fix typo in manual.

Reported by knassen@chartermi.net.

CLOSE FILE HANDLE: Fix bugs and add test.

In addition to the particular bug that was reported, there was a memory
leak.  This commit fixes both.

Reported by knassen@chartermi.net.

SHOW: Implement SHOW ENVIRONMENT.

Requested by knassen@chartermi.net.

DATA LIST: Fix crash with a bare / at the end of the command.

Embarrassingly, this was in an example from the manual.

Reported by knassen@chartermi.net.

case-map: Make creating a case_map destroy the stage.

This fit the usage model in every case in practice.

dataset: Replace 'compactor' by a translating casewriter.

case-map: Identity map is only when there are no changes at all.

case_map_stage_get_case_map() called a mapping an identity map when no
data was reordered, which left the possibility that data was removed from
the end would be called an identity map.  This seems like a bad idea, so
this commit tightens the criteria.

This is a bigger than necessary change that also avoids per-variable
malloc()s that weren't really needed.

This might be a bug fix.  I haven't identified a particular bug that
it fixes.

case-map: Optimize case_map_create_output_translator() for no-op case.

dictionary: Get rid of case indexes.

Dictionary index (the index into the variables in the dictionary)
and case index (the index into struct ccase for a variable from
the dictionary) have always been independent, but they are
*usually* the same.  It is much cleaner to have an invariant
that they are *always* the same.  This commit makes that the case.

dictionary: Short-circuit no-op case in dict_reorder_var().

dictionary: Always compact immediately upon deletion of a variable.

With this change, the dictionary has a new invariant that the case_indexes
are always a permutation of [0,N) where N is the number of variables in
the dictionary.  Most commonly, the case_indexes are the same as the
dict_indexes, but reordering the dictionary can permute them.

pc+-file-reader: Drop unneeded struct member.

dictionary: Get rid of "internal var" concept.

It's nasty and doesn't conform to the usual invariants.

case-map: Simplify case_map_stage_get_case_map().

A caseproto can't contain -1s anymore, so don't look for them.

case-map: Remove buggy and unused case_map_clone().

The xmemdup() in the implementation copied 'old->proto' to 'new->map',
which can't possibly work.  We could fix it but it wasn't used anyway.

dictionary: Get rid of next_value_idx.

At this point, it was always the number of variables in the dictionary.

caseproto: Disallow -1 elements in caseprotos.

This is a stronger invariant that should make PSPP code easier to
understand.

It required updating dict_get_proto() to avoid intermediate stages in
which a -1 appeared as a width.

caseproto: Allocate base struct and widths separately.

This will allow constructing a caseproto from a passed-in array
without copying it.

dataset: Before deleting variables, make sure new values are added.

This fixes a crash reported privately by knassen(at)chartermi.net.

caseinit: Introduce new caseinit_translate_casereader_to_init_vars().

Makefiles: Make a couple of targets build more quietly.

caseproto: Fix calculation in caseproto_reserve().

This reserved way too much in a lot of cases.

DO REPEAT: Order PRINT output correctly.

This was printed in reverse order, although the commands were executed in
the correct order.

Update README.

The PSPP output subsystem is now pretty good and I don't think that it's
necessary to include it as future work anymore.

I haven't heard anything about OpenBSD in a while, so I don't think it's
necessary to list its tests as an explicit caveat.

These days I tend to prefer hearing bug reports via email.

Add support for variable sets in the system file format.

Variable sets are primarily a GUI feature, but this commit doesn't
implement them in the GUI.

dictionary: Avoid name shadowing in dict_clone().

In this case, it wasn't a bug, but it was confusing.

Avoid another possible null pointer dereference

* modified:   tests/output/tex-strings.c

Avoid possible null pointer dereference

* modified:   src/ui/gui/psppire-encoding-selector.c

treewide: Use struct fmt_spec by value instead of pointer in most cases.

struct fmt_spec is a small struct, only 4 bytes in size.  It doesn't make
sense to pass it by pointer in most cases.  This commit makes that change
treewide.

pivot-table: Force width of weight formats to 40.

It was too confusing when output tables contained **** because of weight
variables with narrow widths.

Recently reported by Andreas Hammer.  I've also noticed the same thing
myself.

dictionary: Make dict_get_weight_format() return by value, not pointer.

This seems like a better interface.

DISPLAY MACROS: New command.

DELETE VARIABLES: Fix bugs related to details of case compaction.

We have to change AUTORECODE and RANK so that they don't add a
transformation, since transformations prevent DELETE VARIABLES.

Thanks to Frans Houweling for reporting the problem.

case-map: New function case_map_clone().

This will acquire its first user in an upcoming commit.

case-map: Use stateless translator in case_map_create_input_translator().

Case mapping isn't stateful, so this could be more efficient in some cases.

casereader-translator: Add a class for casereader translators.

This will make it easier to pass these around from one function to another.

doc: Avoid using stdout in Makefile rule to generate .spv files.

When pspp writes anything to stdout, also writing the .spv file to stdout
causes confusing corruption.  This avoids the problem.