better error messages are awesome!

experiments

working

work on better matrix error reporting

work toward better error reporting

message: Intern file names in msg_location to make them cheaper to copy.

lexer: Allow for negative lookahead within a command.

This allows to getting the location of prior tokens within a command,
which makes it easier to find the end of a group of tokens that was just
parsed by referring to the token at offset -1.

segment: Add comment about zero-length segments.

Add missing 'distributions' files.

lexer: Drop 'line_pos' from lex_token and lex_source.

It can now be calculated by reading backward in the source buffer.

lexer: Keep entire source file in memory.

Previously, the lexer tried to keep only part of each source file in
memory, the part that wasn't fully parsed yet.  With this commit, the
lexer holds the entire file in memory, even parts that are no longer
needed.  This should make it easier to produce better error messages.

Revert "work toward better error reporting"

This reverts commit 73d1c7eda1b9ea351bb37c55a9be592a4884a516.

work toward better error reporting

Fix up \s.

Document statistical functions

Use constraints more widely in matrix functions.

check number of args to matrix functions

All the distribution functions, though they're untested.

A few more distributions.

Implement lots of distributions in MATRIX.

work toward distribution functions

MATRIX WRITE examples.

RELEASE tests

MSAVE tests

MATRIX MGET negative tests

MATRIX MGET with factor and splits and TYPE

fix up test output

more improvement

Improve MGET output table.

Basic MGET tests work.

More MATRIX SAVE negative tests.

MATRIX SAVE negative tests

MATRIX SAVE inline positive tests.

MATRIX SAVE positive tests.

GET is well tested.

MATRIX GET works with the active file.

MATRIX GET positive test

READ and WRITE are tested.

format: Make fmt_check() easier to translate.

Test REREAD also.

More READ negative tests.

READ negative tests

Make tests pass again.

matrix docs

MATRIX: Implement HOLD (untested).

MATRIX: Factor out write_file, like read_file.

MATRIX: Fix leak on error path.

Add an example for MATRIX PRINT.

More matrix examples.

work on examples

MATRIX command documentation is complete (but needs examples)

Document more matrix stuff.

documentation

Improve matrix error messages.

MATRIX: Fix memory leaks.

Work on documentation

docs

function documentation

work on docs

MATRIX

dataset: Fix memory leak destroying a dataset that has a permanent_dict.

Found by Address Sanitizer.

pivot-table-test: Fix memory leak when table is not displayed.

Found by Address Sanitizer.

lexer: Fix memory leak merging tokens only some of which come from macros.

Found by Address Sanitizer.

macro: Fix memory leaks in error cases parsing function arguments.

Found by Address Sanitizer.

lexer: Fix memory leak when macro expands as empty.

Found by Address Sanitizer.

macro: Fix memory leak expanding !DO loop over list.

Found by Address Sanitizer.

macro: Fix memory leak with keyword "enclose" arguments.

The memory for the argument was being allocated two places, which caused
the first-allocated block to be leaked.

Found by Address Sanitizer.

segment: Fix read past end of buffer when input ends in '-'.

Thanks to John Darrington for reporting this.
Found by Address Sanitizer.

expressions: Parse multiple sets of parentheses for grouping together.

Fuzzers are fond of driving expression parsers to failure by exhausting
the stack in trivial ways.  This defeats the simplest attempts by
lining up thousands of left parentheses in a row.

I am a bit curious whether the fuzzer will now invent something more
sophisticated, such as nested function calls or non-empty expressions like
1+(1+(1+(1+(1+....

This fixes bug #61286.
Thanks to Irfan Ariq for reporting the bug.

DATA LIST: Fix assertion when RECORDS given twice with decreasing value.

Fixes bug #61285.
Thanks to Irfan Ariq for reporting this bug.

dictionary: Allow dict_set_documents() argument to reference old documents.

merge_dictionary() in combine-file.c includes the old documents in the new
ones by just copying pointers.  dict_set_documents() didn't handle this
properly.  This fixes the problem.

Fixes bug #61258.
Thanks to Irfan Ariq for reporting the problem.

encoding-guesser: Avoid reading uninitialized data for zero-length files.

Found while investigating bug #61254.
Thanks to Irfan Ariq for reporting this bug.

segment: Fix 1-byte read past initialized data when file ends in CR.

Fixes bug #61253.
Thanks to Irfan Ariq for reporting this bug.

Remove some unnecessary gettext macro definitions

Fix compiler warning

Fix memory leak in tokenize_string_segment

Fix memory leak in MCONVERT

Fix memory leak upon failure to create matrix reader

More ASAN_OPTIONS

Use XCALLOC / XZALLOC macros where reasonable

Fix possible segfault when running RANK with bad syntax

* src/language/stats/rank.c (): Initialise the vars member

Fixes bug #61257

Replace numerous instances of xzalloc with XZALLOC

Matrix readers - fix memory leaks

* src/language/data-io/matrix-reader.c (matrix_reader_destroy): free members cvar, svars and fvars

Ignore sanitizer ODR warnings, during testing with -fsanitize=address

* tests/libpspp/sparse-xarray-test.at: Set detect_odr_violation=0

Implement the MCONVERT command.

lexer: Fix use-after-free error in lex_source_get_lookahead().

This code used local variable 'out' as if its value stayed the same from
one iteration of the loop to the next, but in fact its scope meant that
it became indeterminate on each new iteration.  This commit fixes the
problem by moving its declaration to an outer scope.

Thanks to John Darrington for reporting the problem.

Avoid numerical problems with missing weights on non-linear cases.

* src/math/order-stats.c (order_stats_accumulate_idx): Ignore cases
  with missing weight values.

Fix possible incorrect assertion when creating unique casereaders.

* src/data/casereader-translator.c (uniquify): Force dir to be an element of  {0, 1, -1}

Remove unused module src/math/extrema

* src/math/extrema.c: Delete
* src/math/extrema.h: Delete
* src/math/automake.mk: Remove entries for src/math/extrema.c and
  src/math/extrema.h

Options dialog: add checkbox for startup tips

sys-file-encoding: Automatically generate the .c file at build time.

Suggested by John Darrington.

Windows/build-dependencies: Add -fstack-protector flags

For some reason this flag seems to be necessary with the latest
x86_64_w64-mingw32 toolchain.

Windows/build-dependencies: Use correct logical OR operator

Windows/build-dependencies: New flag --no-clean

Add some missing #include directives

* src/language/stats/crosstabs.c: Add missing #include directive.
* src/libpspp/pool.c: Add missing #include directive.

MATRIX DATA: Fully implement.

This command had a partial implementation for correlation matrices that
left out some of the language features.  This commit adds those features.

case: Introduce new functions for numbers and substrings in cases.

Use the case_num_*() functions everywhere in the tree for clarity and
brevity.

sys-file-encoding: Put the buffer-read-only declaration at the very top.

This accidentally got pushed down when license notices were added to a
bunch of files en masse.  It only works if it's at the top.

Remove unneeded Emacs declarations that say that a .c file is in C.

These were there because they were formerly .q files.

DEFINE: Properly support redefining a macro.

Redefining a macro didn't work in simple cases because the macro name was
being expanded in the DEFINE command.

Thanks to Frans Houweling for reporting the bug.