segment: Fix 1-byte read past initialized data when file ends in CR.

Fixes bug #61253.
Thanks to Irfan Ariq for reporting this bug.

Remove some unnecessary gettext macro definitions

Fix compiler warning

Fix memory leak in tokenize_string_segment

Fix memory leak in MCONVERT

Fix memory leak upon failure to create matrix reader

More ASAN_OPTIONS

Use XCALLOC / XZALLOC macros where reasonable

Fix possible segfault when running RANK with bad syntax

* src/language/stats/rank.c (): Initialise the vars member

Fixes bug #61257

Replace numerous instances of xzalloc with XZALLOC

Matrix readers - fix memory leaks

* src/language/data-io/matrix-reader.c (matrix_reader_destroy): free members cvar, svars and fvars

Ignore sanitizer ODR warnings, during testing with -fsanitize=address

* tests/libpspp/sparse-xarray-test.at: Set detect_odr_violation=0

Implement the MCONVERT command.

lexer: Fix use-after-free error in lex_source_get_lookahead().

This code used local variable 'out' as if its value stayed the same from
one iteration of the loop to the next, but in fact its scope meant that
it became indeterminate on each new iteration.  This commit fixes the
problem by moving its declaration to an outer scope.

Thanks to John Darrington for reporting the problem.

Avoid numerical problems with missing weights on non-linear cases.

* src/math/order-stats.c (order_stats_accumulate_idx): Ignore cases
  with missing weight values.

Fix possible incorrect assertion when creating unique casereaders.

* src/data/casereader-translator.c (uniquify): Force dir to be an element of  {0, 1, -1}

Remove unused module src/math/extrema

* src/math/extrema.c: Delete
* src/math/extrema.h: Delete
* src/math/automake.mk: Remove entries for src/math/extrema.c and
  src/math/extrema.h

Options dialog: add checkbox for startup tips

sys-file-encoding: Automatically generate the .c file at build time.

Suggested by John Darrington.

Windows/build-dependencies: Add -fstack-protector flags

For some reason this flag seems to be necessary with the latest
x86_64_w64-mingw32 toolchain.

Windows/build-dependencies: Use correct logical OR operator

Windows/build-dependencies: New flag --no-clean

Add some missing #include directives

* src/language/stats/crosstabs.c: Add missing #include directive.
* src/libpspp/pool.c: Add missing #include directive.

MATRIX DATA: Fully implement.

This command had a partial implementation for correlation matrices that
left out some of the language features.  This commit adds those features.

case: Introduce new functions for numbers and substrings in cases.

Use the case_num_*() functions everywhere in the tree for clarity and
brevity.

sys-file-encoding: Put the buffer-read-only declaration at the very top.

This accidentally got pushed down when license notices were added to a
bunch of files en masse.  It only works if it's at the top.

Remove unneeded Emacs declarations that say that a .c file is in C.

These were there because they were formerly .q files.

DEFINE: Properly support redefining a macro.

Redefining a macro didn't work in simple cases because the macro name was
being expanded in the DEFINE command.

Thanks to Frans Houweling for reporting the bug.

macro: Fix crash for !QUOTE of a quoted string.

This revealed that the tests didn't include anything for !QUOTE and
!UNQUOTE, even though the manual had lots of examples.  I added a test for
these and for !NULL, which had also been forgotten.

Thanks to Frans Houweling for reporting the bug.

Avoid GtkCritical on startup

TeX tests: Use the shell instead of wc to test for maximum line length.

When testing for maximum line length use the shell rather than
relying on wc -L  : The -L flag is not present on some systems.

tests/tex.at: Remove dependence on wc
configure.ac: Remove test for wc -L

Fixes bug #59859

Fix import of ods files with repeated column data.

Fixes bug #61078

Reported-by: Elias Tsolis

Fix crash when double clicking on variable sheet cells when no variable is defined.

Reported-by: Maruthi Pathapati

DEFINE: Only expand macro functions when the name is followed by '('.

Frans Houweling reported that PSPP was flagging an error for !EVAL(!len)
when !len was the name of a defined macro.  This was because !len is short
for the !LENGTH macro function.  This commit fixes the problem.

Tolerate pathnames with spaces

Reported by: Vivien Kraus

macro: Continue expanding macro even in face of errors in call.

In practice, it was more confusing not to expand it than to expand it.

macro: Allow positional arguments to be empty.

It wasn't clear before that this was allowed, but it seems that it should
be for compatibility.

Reported by Frans Houweling.

macro: Make ARG_CHAREND and ARG_ENCLOSE more uniform in struct macro_param.

A few pieces of code want to find the end of a parameter and it's easier
if the "end" token is always the same member.

identifier: Make T_STOP always 0.

This is more sensible default if a token is zero-initialized.

macro: Allow macro A to use its arguments as part of call to macro B.

I overlooked this possibility before.  This implements it.

Thanks to Frans Houweling for reporting the issue.

Turn !* into a single token, for macro expansion purposes.

DEFINE: Equals sign is optional for both positional and keyword parameters.

Thanks to Frans Houweling for reporting this bug.

macro: Properly parse !ENCLOSE keyword arguments.

The opening delimiter was being included in the argument.

Thanks to Frans Houweling for reporting this bug.

DEFINE: Don't use PSPP_CHECK_MACRO_EXPANSION macro in tests.

I found that this macro just obscured things, so I expanded it in each
case and removed the macro itself.

DEFINE: Allow !DEFAULT to follow the argument type declaration.

Frans Houweling reported that SPSS allows either order.

lexer: Change the pipeline to allow more flexible use of macros.

Frans Houweling reported that a use of macros in the following way:

    DEFINE !dir() "/directory/to/my/work" !ENDDEFINE.
    GET FILE=!dir + "/filename.sav".

did not work properly with the newly implemented PSPP macro facility.
Indeed, PSPP has until now implemented string concatenation early in the
lexical pipeline, before macro expansion, so that the above could
not work.  This commit reworks it so that string concatenation happens
as the last stage in lexical analysis.  It allows the above syntax
to work as expected.

str: New function ss_swap().

segment: Make negative numbers into single segments.

configure: Enable GCC warnings to report use of C2x features.

One C2x feature in GCC 11 is the reason that the previous commit
afda22462a88 ("Fix broken build due to missing braces") was needed by
some developers.

Fix broken build due to missing braces

DEFINE: New command.

lexer: Move lex_ellipsize() into string module, as str_ellipsize().

token: Update functional interface and add token_copy(), token_equal().

These will have users in an upcoming commit.

segment: Ignore !ENDDEFINE in /*comments*/ and "strings".

segment: Distinguish snippets from full files.

The comment on segmenter_init() explains what this means:

If IS_SNIPPET is false, then the segmenter will parse as if it's being
given a whole file.  This means, for example, that it will interpret -
or + at the beginning of the syntax as a separator between commands
(since - or + at the beginning of a line has this meaning).

If IS_SNIPPET is true, then the segmenter will parse as if it's being
given an isolated piece of syntax.  This means that, for example, that
it will interpret - or + at the beginning of the syntax as an operator
token or (if followed by a digit) as part of a number.

lexer: Factor out scan error messages into new function.

message: Make msg_emit() take full ownership of its argument.

The way it treated the argument before was just confusing.

message: Break message location out into a separate struct.

This will make it cleaner to have a stack of locations for use in reporting
macro expansion errors.

message: Get rid of 'shipped' member in struct message.

It seemed to me that it wasn't a very clean design, since it required a
message to be modified as part of emitting it.

stringi-set: New functions for not necessarily null terminated strings.

stringi-map: Add some support for non-null-terminated strings.

TITLE and SUBTITLE: Don't treat an unquoted argument as a quoted string.

This will allow the argument to be processed through the macro processor.

lexer: New function lex_next_representation().

lexer: Factor some token inspectors out into new token functions.

doc: Fix operator precedence chart.

Also, improve a few entries.

identifier: Remove TOKEN_N_TYPES from enum token_type.

segment: Refine treatment of start of macro body.

Previously, if the first line of the macro body (the same line as the
closing parenthesis in the DEFINE) was blank, we reported it as a blank
line to the lexer.  The parser for DEFINE could check for that (by seeing
whether the first line of macro body was empty or all-spaces) but it seems
more elegant to do it in the segmenter.  This implements that.

segment: Fix implementation of is_all_spaces().

segment: The body of DEFINE does not have to be on separate lines.

Some examples of one-line DEFINE can be seen at:
https://www.spsstools.net/en/macros/macros-index/utilities/quote-string-on-the-fly/
such as:
DEFINE !client() ABC Inc !ENDDEFINE.

segment-test: Make debugging easier for some kinds of test failures.

token: Rename token_destroy() to token_uninit().

This better fits the convention that "destroy" functions free the argument,
whereas "uninit" frees only the members of the argument structure.

lexer: Remove lex_syntax_mode in favor of segmenter_mode.

These two enums have the same meaning and there was no benefit to having
both of them plus translation back and forth.

po/hu.po: Update to lastest version from translation-project.org

psppire-output-view: Avoid doubling output when exporting or printing.

Outputting a group outputs its contents, but the code here was also
separately outputing the contents, which effectively doubled it.  (PSPP
doesn't currently use nested groups but these would have led to additional
copies.)

This fixes the problem by only printing items that aren't nested inside
any group.

Bug #60464.
Thanks to John Darrington for reporting this bug.

box-whisker: Use consistent array size for box_whisker_hinges().

The prototype said the 'hinges' parameter has 2 elements but the definition
said that it has 3.  This fixes the prototype.

This is harmless because the C standard says these are actually equivalent.

Reported by GCC 11.

format-parser: Fix inconsistent use of "char *" vs "char[NUMBER]".

These are equivalent according to the C standard in function prototypes,
but GCC 11 warns about using them inconsistently between a prototype and
a definition.  This commit avoids the warning.

src/language/utilities/host.c (run_command): Fix memory leak

src/data/format.c (fmt_affix_free): Fix memory leak

src/output/tex.c (post_process_tokens): Fix memory leak

src/output/select.c (select_matches): Fix memory leak

src/output/spv/spv.c (spv_read): Remove unused variable

src/output/output-item.c (output_item_unref): Fix memory leak

src/output/output-item.h (outpt_item_ref): Add WARN_UNUSED_RESULT attribute

src/ouput/output-item.c (output_item_unshare): Use result of output_item_ref

src/output/pivot-table.c (pivot_value_ex_destroy): Fix memory leak

Windows/automake.mk: Use more portable code

* Windows/automake.mk (environment_dir): Avoid GNU Make extensions
* Windows/automake.mk (libgcc_dir): Avoid GNU Make extensions

Suggested-by: Ben Praff <blp@gnu.org>

lexer: Fix typo in comment.

Output drivers: Remove assertions on OUTPUT_ITEM_GROUP

This case was indeed not reached when run from the command line, but certainly
was when exporting from the output viewer.

Added rules to build nsis installers for w32

* Windows/AdvUninstLog.nsh: New file.
* Windows/MUI_EXTRAPAGES.nsh: New file.
* Windows/automake.mk: New file.
* Windows/pspp.nsi: New file.
* Makefile.am: include Windows/automake.mk.
* configure.ac: Add conditional for sizeof ptr.

Added a script to assist building for w32

* Windows/README: New file.
* Windows/build-dependencies: New file.

Refactor SET and SHOW commands so it's harder to forget implementing SHOW.

settings: Add macro settings.

settings: Use modern initializer style.

segment: Allow '.' as separate token with a line, for macros.

The description of macros just says that ^ and \ can't be used as macro
delimiters, so . is probably OK.

psppire-dialog-action-regression: Fix unused variable warning.

GCC said that 'ok' was unused because it's declared in the 'for' loop.

segment: Improve segmentation when DEFINE command has early terminator.

The DEFINE command should not have a command terminator before the final
!ENDDEFINE.  When it does, that ends the whole thing early.  The segmenter
didn't handle this well, instead treating everything up to !ENDDEFINE as
part of the command.  That's probably not the best way because it makes
for confusing error messages.  This improves the behavior.

doc/automake: Use correct syntax for configuring native build

Add w32 handler for "activate-link" signal

The default activate-link handler for GtkAboutDialog does not seem to work on
w32.  So this change implements a special one.

src/ui/gui/help-menu.c (about-new): Add signal handler

Remove unused module subcommand-list

tests/automake.mk: Fix building of test runners

For certain architectures, the order of libraries is important.  Dependent
libraries must appear before the libraries which depend upon them.