doc: Make the developers guide just a description of file formats.

The other material in the developers guide was mostly obsolete or very
incomplete.  I don't think it really helped any developers.

There were a few possibly valuable parts.  I added them to the source tree,
which is where I think developers would be inclined to look.

Move all command implementations into a single 'commands' directory.

The original division of commands into subdirectories was fairly arbitrary,
and over time it got more confusing, even to me (who made the divisions
to begin with).  I don't see a problem with having them in a single
directory, and it will confuse me less.  This commit moves them all into
one place.

Remove unneeded #includes.

CTABLES: Fix issue with special case for SLABELS POSITION=ROW.

With SLABELS POSITION=ROW and stacked variables with different summaries,
values were shown in the wrong rows.  This fixes the problem.

Thanks to Frans Houweling for reporting the bug.

pivot-table: Fix memory leak in debug print code.

CTABLES: Fix treatment of multiline titles.

Bug #63032.
Thanks to Frans Houweling for reporting this bug.

CTABLES: Make EMPTY independent of other settings on CATEGORIES.

Frans Houweling reported that the following two commands behave
differently:

   CTABLES /TABLE=class > datum BY size
      /CATEGORIES VARIABLES=ALL EMPTY=EXCLUDE
      /CATEGORIES VARIABLES=size TOTAL=YES.
   CTABLES /TABLE=class > datum BY size
      /CATEGORIES VARIABLES=size TOTAL=YES
      /CATEGORIES VARIABLES=ALL EMPTY=EXCLUDE.

There was a good reason for this, which is that CATEGORIES always changes
all the category attributes of whatever variables are named.  That is,
CATEGORIES VARIABLES=ALL overrides TOTAL even if EMPTY is the only
subcommand given.  I don't know what SPSS does here, but this behavior is
surprising enough that I wanted to change it.  This commit does that;
afterward, both of the above commands behave the same way, which
combines effects of TOTAL=YES and EMPTY=EXCLUDE for size and just
EMPTY=EXCLUDE for the class and datum.

examples: Rename variables for nhtsa example to give them better names.

The existing names were taken from question numbers in the questionnaire
(I guess), which weren't meaningful.  This replaces them by meaningful
names.

Thanks to Frans Houweling <fhouweling@email.it> for providing the new
names!

spv-driver: Fix memory leak on error path.

spv: ALlow an extra 01 at the end of X3.

One sample received in a user report had this present.

UPDATE: Improve a test.

MEANS: Improve error messages and coding style.

OUTPUT MODIFY: Improve error messages and coding style.

SET: Improve error messages and coding style.

INSERT: Improve error messages and coding style.

ROC: Improve error messages and coding style.

RANK: Improve error messages and coding style.

ONEWAY: Improve error messages and coding style.

GRAPH: Improve error messages and coding style.

LOGISTIC REGRESSION: Improve error messages and coding style.

GLM: Improve error messages and coding style.

split-file: New function output_split_file_values_peek().

This helper function encapsulates what most of the callers were doing.

casereader: Add const to casereader_peek() and casereader_is_empty().

These don't affect the external state of a casereader even though they can
affect its internal state.

casereader-shim: Fix typo in comment.

Disentangle the interaction parser from the variable parser.

Both GLM and LOGISTIC REGRESSION used the interaction parser, but only GLM
used it to parse interactions in the full sense.  LOGISTIC REGRESSION was
just parsing a list of variables and then creating interactions from them.
This commit moves the interaction parser from variable-parser into GLM and
adds new code to LOGISTIC REGRESSION that satisfies its needs.

GLM: Improve error messages and coding style.

FACTOR: Improve error messages and coding style.

QUICK CLUSTER: Improve error messages and coding style.

MATRIX: Improve error messages.

EXAMINE: Improve error messages and coding style.

expressions: Minor error message improvement.

pool: Support null 'pool' argument in pool_vasprintf().

Other similar functions support a null 'pool', so this function should too.

DESCRIPTIVES: Improve error messages and coding style.

CTABLES: Improve error messages.

CROSSTABS: Improve error messages and coding style.

CORRELATIONS: Improve error messages and coding style.

VECTOR: Improve error messages and coding style.

variable-display: Improve coding style and error messages.

SORT VARIABLES: Improve error messages.

MRSETS: Improve error messages.

MATRIX DATA: Improve error messages.

REREAD: Improve error messages and coding style.

DATASET: Improve error messages and coding style.

FILE HANDLE: Improve error messages and coding style.

GET DATA: Improve coding style and tests.

CORRELATIONS: Rename cmd_correlation() to cmd_correlations() for consistency.

Use lex_error_expecting() in more places.

file-handle-def: Style improvements.

lexer: New function lex_force_match_phrase().

spvxml-helpers: Avoid warning on recent versions of libxml2.

format: Improve error messages.

docs: Improve example in DEFINE.

DATA LIST: Improve error messages and coding style.

LOOP: Improve error messages and coding style.

DO REPEAT: Improve error messages and coding style.

RECODE: Improve error messages and coding style.

T-TEST: Improve error messages and coding style.

SORT CASES: Improve error messages and coding style.

RELIABILITY: Improve error messages and coding style.

REGRESSION: Improve error messages and coding style.

NPAR TESTS: Improve error messages and coding style.

MATRIX: Improve error messages.

GLM: Improve error messages.

FREQUENCIES: Improve error message and coding style.

lexer: Make lex_error_expecting_valist() support a longer list.

FACTOR: Improve error messages and coding style.

EXAMINE: Improve error messages.

NUMERIC, STRING, LEAVE: Improve error messages.

RENAME VARIABLES: Remove obsolete comment.

MODIFY VARS: Remove.

MISSING VALUES: Improve error messages.

DELETE VARIABLES: Improve error messages.

APPLY DICTIONARY: Style improvements.

SAVE TRANSLATE: Improve error messages and implementation of RENAME.

PRINT: Improve error messages.

placement-parser: Improve error messages for format assignment.

PRINT SPACE: Improve error messages.

MATRIX DATA: Improve error messages.

LIST: Improve error messages.

SET: Improve error messages for SET CCx.

Improve error messages for format specifiers.

MATCH FILES, UPDATE, ADD FILES: Improve error messages.

SHOW: Display settings in pivot table.

Assorted improvements to diagnostics.

INSERT: Add testing-only feature for ignoring cascading failures.

This makes it easier to write tests that cause a lot of cascading failures.

AGGREGATE: Bring up to speed.

DEFINE: Don't label a declaration, for C99 compatibility.

Thanks to Friedrich Beckmann for reporting the problem.

Fixes: 36fc62cea799 ("macro: Coding style improvement in macro_tokens_from_string().")Fixes: b8f7ae6610f0 ("DEFINE: Improve error messages for parsing macro body.")

AGGREGATE: Improve stats accumulation data structure.

str: Replace ss_alloc_substring() by ss_clone() and similarly with a pool.

This makes it possible to use in an initializer.

AGGREGATE: Use array instead of linked list.

AGGREGATE: Remove write-only struct member.

macro: Coding style improvement in macro_tokens_from_string().

value: Update comments.

These used to be true but they no longer are, so remove them.

segment: Comment fix.

DEFINE: Improve error messages for parsing macro body.

Without this change, errors always got reported following the macro body,
not for the particular token at issue.

Improve error messages for missing subcommands.

format: Cite variable names in messages reporting incompatible width.

Cite tokens when reporting invalid identifiers.

These functions weren't able to cite a specific token in cases where that
was appropriate.  This fixes the problem.

Improve error messages by citing syntax in more of them.

A while back, PSPP gained the ability to cite particular tokens in
diagnostics, but few of the existing messages were enhanced to do
so.  This commit adds this to several more of them, in particular
all of the messages that used lex_error() and variations.

CTABLES: Allow CAPTIONS, CORNERS, TITLES in TITLES subcommand.

Matthias Faeth reported that SPSS accepts these spellings.