doc: Improve documentation for GET DATA/TYPE=PSQL.

Reported by Kent Nassen.

Ensure that interactive output appears without a one-command delay.

When pspp was run in the text-based mode interactively, output for a given
command only appeared after the next command was read.  This fixes the
problem and adds a test.

Thanks to the anonymous reporter.

Bug #63910.

Fix typo in manual.

Reported by knassen@chartermi.net.

CLOSE FILE HANDLE: Fix bugs and add test.

In addition to the particular bug that was reported, there was a memory
leak.  This commit fixes both.

Reported by knassen@chartermi.net.

SHOW: Implement SHOW ENVIRONMENT.

Requested by knassen@chartermi.net.

DATA LIST: Fix crash with a bare / at the end of the command.

Embarrassingly, this was in an example from the manual.

Reported by knassen@chartermi.net.

case-map: Make creating a case_map destroy the stage.

This fit the usage model in every case in practice.

dataset: Replace 'compactor' by a translating casewriter.

case-map: Identity map is only when there are no changes at all.

case_map_stage_get_case_map() called a mapping an identity map when no
data was reordered, which left the possibility that data was removed from
the end would be called an identity map.  This seems like a bad idea, so
this commit tightens the criteria.

This is a bigger than necessary change that also avoids per-variable
malloc()s that weren't really needed.

This might be a bug fix.  I haven't identified a particular bug that
it fixes.

case-map: Optimize case_map_create_output_translator() for no-op case.

dictionary: Get rid of case indexes.

Dictionary index (the index into the variables in the dictionary)
and case index (the index into struct ccase for a variable from
the dictionary) have always been independent, but they are
*usually* the same.  It is much cleaner to have an invariant
that they are *always* the same.  This commit makes that the case.

dictionary: Short-circuit no-op case in dict_reorder_var().

dictionary: Always compact immediately upon deletion of a variable.

With this change, the dictionary has a new invariant that the case_indexes
are always a permutation of [0,N) where N is the number of variables in
the dictionary.  Most commonly, the case_indexes are the same as the
dict_indexes, but reordering the dictionary can permute them.

pc+-file-reader: Drop unneeded struct member.

dictionary: Get rid of "internal var" concept.

It's nasty and doesn't conform to the usual invariants.

case-map: Simplify case_map_stage_get_case_map().

A caseproto can't contain -1s anymore, so don't look for them.

case-map: Remove buggy and unused case_map_clone().

The xmemdup() in the implementation copied 'old->proto' to 'new->map',
which can't possibly work.  We could fix it but it wasn't used anyway.

dictionary: Get rid of next_value_idx.

At this point, it was always the number of variables in the dictionary.

caseproto: Disallow -1 elements in caseprotos.

This is a stronger invariant that should make PSPP code easier to
understand.

It required updating dict_get_proto() to avoid intermediate stages in
which a -1 appeared as a width.

caseproto: Allocate base struct and widths separately.

This will allow constructing a caseproto from a passed-in array
without copying it.

dataset: Before deleting variables, make sure new values are added.

This fixes a crash reported privately by knassen(at)chartermi.net.

caseinit: Introduce new caseinit_translate_casereader_to_init_vars().

Makefiles: Make a couple of targets build more quietly.

caseproto: Fix calculation in caseproto_reserve().

This reserved way too much in a lot of cases.

DO REPEAT: Order PRINT output correctly.

This was printed in reverse order, although the commands were executed in
the correct order.

Update README.

The PSPP output subsystem is now pretty good and I don't think that it's
necessary to include it as future work anymore.

I haven't heard anything about OpenBSD in a while, so I don't think it's
necessary to list its tests as an explicit caveat.

These days I tend to prefer hearing bug reports via email.

Add support for variable sets in the system file format.

Variable sets are primarily a GUI feature, but this commit doesn't
implement them in the GUI.

dictionary: Avoid name shadowing in dict_clone().

In this case, it wasn't a bug, but it was confusing.

Avoid another possible null pointer dereference

* modified:   tests/output/tex-strings.c

Avoid possible null pointer dereference

* modified:   src/ui/gui/psppire-encoding-selector.c

treewide: Use struct fmt_spec by value instead of pointer in most cases.

struct fmt_spec is a small struct, only 4 bytes in size.  It doesn't make
sense to pass it by pointer in most cases.  This commit makes that change
treewide.

pivot-table: Force width of weight formats to 40.

It was too confusing when output tables contained **** because of weight
variables with narrow widths.

Recently reported by Andreas Hammer.  I've also noticed the same thing
myself.

dictionary: Make dict_get_weight_format() return by value, not pointer.

This seems like a better interface.

DISPLAY MACROS: New command.

DELETE VARIABLES: Fix bugs related to details of case compaction.

We have to change AUTORECODE and RANK so that they don't add a
transformation, since transformations prevent DELETE VARIABLES.

Thanks to Frans Houweling for reporting the problem.

case-map: New function case_map_clone().

This will acquire its first user in an upcoming commit.

case-map: Use stateless translator in case_map_create_input_translator().

Case mapping isn't stateful, so this could be more efficient in some cases.

casereader-translator: Add a class for casereader translators.

This will make it easier to pass these around from one function to another.

doc: Avoid using stdout in Makefile rule to generate .spv files.

When pspp writes anything to stdout, also writing the .spv file to stdout
causes confusing corruption.  This avoids the problem.

zip-reader: Report corrupted Zip archives.

tests: Fix ODR violations rather than ignoring them.

configure: Work around Gnulib warning with GCC 12.x.

This keeps getting in my way.  I assume that either Gnulib or GCC will
eventually get fixed, so work around it for now.

Fix understanding of how long string variable missing values work.

Thanks to Andreas Hammer for reporting this bug at
https://lists.gnu.org/archive/html/pspp-users/2023-02/msg00000.html.

The data file that triggered this bug is ESS10SC.sav, available from
https://ess-search.nsd.no/en/study/172ac431-2a06-41df-9dab-c1fd8f3877e7

dictionary: Fix misuse of DC_* treewide.

The DC_* constants are bit values, but some code was using them as shift
offsets.  This fixes the problem.

CTABLES: Always show computed categories even if they'd be zeros.

With CATEGORIES EXCLUDE=YES, empty computed categories weren't shown.  This
seems counterintuitive, so this commit fixes it.

Thanks to Frans Houweling for reporting this bug.

CTABLES: Don't force the look to include empty rows and columns.

Frans Houweling said that it looked wrong, and I don't have a strong reason
to do it.

pivot-table: Honor blank variable labels.

pivot_value_new_variable() ignored empty-string variable labels.  This
honors them.

Requested by Frans Houweling.

output: Link cairo and libxml2 against liboutput.

This is almost meaningless to me but the bug reporter said it fixed
something.

Bug #63606.
Thanks to Michael Orlitzky for reporting the bug.

AGGREGATE: Fix crash with temporary transformations.

Thanks to Frans Houweling for reporting this bug at
https://lists.gnu.org/archive/html/bug-gnu-pspp/2023-01/msg00004.html

dictionary: Fix invariant that no split file vars means SPLIT_NONE.

Add SHOW SPLIT to enable testing.

Fixes a crash bug reported by Frans Houweling
at https://lists.gnu.org/archive/html/bug-gnu-pspp/2023-01/msg00011.html

CROSSTABS: Always cite all the dimensions if there are too many.

Otherwise, 32-bit and 64-bit systems cite different sets of dimensions,
which makes the test output change between i386 and x86-64.

Thanks to Friedrich Beckmann for reporting this bug.
Bug #63797.

CROSSTABS: Fix confidence interval display for risk estimate output.

Bug #63747.

pivot-table-test: Add paged PDF output too.

render: Fix spanned width distribution for cells not at top or left.

This code always used the widths of rules at the left or top side of the
table, even in cases where the spanned cells were not at the top of left
side of the table.  This obviously made the calculations wrong sometimes.

spv-writer: Use correct namespaces for pageSetup.

This turns out to be important.

output: Correctly define and properly implement column width ranges.

I previously had the idea that SPV files had ranges for both column
widths and row heights, which didn't really make sense, since if
you fix the range of one of those you have to be flexible about the
other.  However, these settings actually control just column widths,
in two sets of columns: the columns for row headings and the columns
for column headings.  This implements those properly.

spv-driver: Add page_setup to output files and allow user to configure them.

This seems better than what I see happening otherwise, which can be that
the default page_setup that SPSS Viewer picks is a ridiculous one, like a
postcard page size.

spv: Fix crash reading a page_setup without headings.

The SPV driver can output such a page_setup.

cairo: Fix crashes and bugs in 'setup' call.

Changing the page_setup was not properly supported for PNG and SVG output,
because it assert-failed in xr_set_surface_size().  In addition, for all
kinds of output, it didn't account for margins properly in the page size.
This fixes the problem and unifies page setup between initial driver
creation and update.

This wasn't noticed before because output_set_page_setup() wasn't used
much, but it could be triggered with the pspp-output utility, converting
from an SPV file that contained a page_setup.  It will become more
important because an upcoming commit will cause the SPV driver to output
a page_setup every time.

output: Use page_setup for parsing cairo page setup.

This will make it easier to add page_setup support to the SPV driver.

output: Add null sentinel automatically to parse_enum() arguments.

output: Refactor driver options to avoid so much copying.

output: Modernize how drivers are initialized.

ascii: Improve look of dashed line ends.

Until now, partial ends of horizontal dashed lines were rendered as
U+2574 BOX DRAWINGS LIGHT LEFT and U+2576 BOX DRAWINGS LIGHT RIGHT,
which are solid lines.  This looks funny at the end of a dashed line,
especially in some fonts.  This commit changes these ends to
U+254C BOX DRAWINGS LIGHT DOUBLE DASH HORIZONTAL, which does extend all the
way across the character cell but looks much better.

pivot-output: When there's no dimension border, use the category border.

This is compatible behavior.

pivot-table: Add more tests for category and dimension borders.

output: Add debugging code to rendering and table code.

table: Make debug code unconditional.

The debugging code in table_vline() and table_hline() was in practice
always enabled, but because of the way it was written each of the tests
was being re-tested in an assertion.  It seems better to just enable it
all the time and avoid duplication.

render: Fix typo in comment.

pivot-table: Fix buffer overflow in corner case in pivot_table_dump().

Dumping a table with a layer dimension that has no leaves read from an
invalid pointer.  This fixes the problem.  This functionality isn't used
in PSPP, only by "pspp-output dump".

pivot-table: Fix buffer overflow in pivot_table_dump() in corner case.

This occurred when categories were more deeply nested into groups than
there were leaf categories.  This functionality isn't used in PSPP, only
by "pspp-output dump".

table: Fix use of uninitialized data.

Fixes: 62a04ffbf5aa ("output: Combine color and stroke into table_border_style.")

CTABLES: Avoid uninitialized variable warning in some GCC versions.

output: Combine color and stroke into table_border_style.

Rules in tables have a line style (stroke) and a color.  Until now, these
have been mostly maintained separately.  This commit combines them in most
places.

render: Get rid of RENDER_LINE_* in favor of similar TABLE_STROKE_*.

These had the same values.  They were separated for abstraction reasons
that don't seem to be needed, and eliminating one of them eliminates some
conversions.

table: Rename TAB_* to TABLE_CELL_* and reduce from 16 to 8 bits each.

table: Drop support for -1 as style to table_hline(), table_vline().

The callers didn't ever pass a style of -1.

table: Remove table_box().

It was only used from table_put() to erase any rules within a joined cell,
but the client code didn't ever put rules in a joined cell, so it was only
used as a no-op.

ONEWAY: Fix incorrect, duplicate "(J) Family" label.

ONEWAY output should contain dimensions labeled "(I) Family" and
"(J) Family", but they incorrectly both had the latter label.  This fixes
the problem.

Thanks to Andreas Hammer for reporting the bug.

Fixes: 5cab4cf3322f ("output: Introduce pivot tables.")

doc: Make the developers guide just a description of file formats.

The other material in the developers guide was mostly obsolete or very
incomplete.  I don't think it really helped any developers.

There were a few possibly valuable parts.  I added them to the source tree,
which is where I think developers would be inclined to look.

Move all command implementations into a single 'commands' directory.

The original division of commands into subdirectories was fairly arbitrary,
and over time it got more confusing, even to me (who made the divisions
to begin with).  I don't see a problem with having them in a single
directory, and it will confuse me less.  This commit moves them all into
one place.

Remove unneeded #includes.

CTABLES: Fix issue with special case for SLABELS POSITION=ROW.

With SLABELS POSITION=ROW and stacked variables with different summaries,
values were shown in the wrong rows.  This fixes the problem.

Thanks to Frans Houweling for reporting the bug.

pivot-table: Fix memory leak in debug print code.

CTABLES: Fix treatment of multiline titles.

Bug #63032.
Thanks to Frans Houweling for reporting this bug.

CTABLES: Make EMPTY independent of other settings on CATEGORIES.

Frans Houweling reported that the following two commands behave
differently:

   CTABLES /TABLE=class > datum BY size
      /CATEGORIES VARIABLES=ALL EMPTY=EXCLUDE
      /CATEGORIES VARIABLES=size TOTAL=YES.
   CTABLES /TABLE=class > datum BY size
      /CATEGORIES VARIABLES=size TOTAL=YES
      /CATEGORIES VARIABLES=ALL EMPTY=EXCLUDE.

There was a good reason for this, which is that CATEGORIES always changes
all the category attributes of whatever variables are named.  That is,
CATEGORIES VARIABLES=ALL overrides TOTAL even if EMPTY is the only
subcommand given.  I don't know what SPSS does here, but this behavior is
surprising enough that I wanted to change it.  This commit does that;
afterward, both of the above commands behave the same way, which
combines effects of TOTAL=YES and EMPTY=EXCLUDE for size and just
EMPTY=EXCLUDE for the class and datum.

examples: Rename variables for nhtsa example to give them better names.

The existing names were taken from question numbers in the questionnaire
(I guess), which weren't meaningful.  This replaces them by meaningful
names.

Thanks to Frans Houweling <fhouweling@email.it> for providing the new
names!

spv-driver: Fix memory leak on error path.

spv: ALlow an extra 01 at the end of X3.

One sample received in a user report had this present.

UPDATE: Improve a test.

MEANS: Improve error messages and coding style.

OUTPUT MODIFY: Improve error messages and coding style.

SET: Improve error messages and coding style.

INSERT: Improve error messages and coding style.

ROC: Improve error messages and coding style.

RANK: Improve error messages and coding style.

ONEWAY: Improve error messages and coding style.

GRAPH: Improve error messages and coding style.

LOGISTIC REGRESSION: Improve error messages and coding style.

GLM: Improve error messages and coding style.