parse zlib header and trailer

put common state into struct

actually use the new state machine

zlib-compressed data compiles

work (zlib works?)

work

work

work

work

work

work

work

work on rust

more library work

more work on library

Work on system file library.

feature complete

I think it's complete.

work

rust

work on rust version of pspp-dump-sav

MATRIX: Check format specifier on PRINT command.

Thanks to Youngseok Choi for reporting the bug.

lexer: Avoid reentering the lexer upon error in special cases.

Thanks to Youngseok Choi for reporting the bug.

lexer: Simplify lex_get_error().

lexer: Get rid of useless code in lex_get_error().

This function ellipsized the syntax and then didn't do anything with the
result.

data-out: Make binary output buffer big enough for a null terminator.

The max width for binary output is 16, for P or PK format, plus there
needs to be room for a null terminator, for a total width of 17 bytes.
The buffer here was undersized at only 16 bytes.  This commit fixes the
problem.

Thanks to Youngseok Choi for reporting the bug.

MATRIX: Fix multiplication of empty matrices.

This crashed due to an assertion failure in blas before.
Thanks to Youngseok Choi for reporting the bug.

doc: Improve documentation for GET DATA/TYPE=PSQL.

Reported by Kent Nassen.

Ensure that interactive output appears without a one-command delay.

When pspp was run in the text-based mode interactively, output for a given
command only appeared after the next command was read.  This fixes the
problem and adds a test.

Thanks to the anonymous reporter.

Bug #63910.

Fix typo in manual.

Reported by knassen@chartermi.net.

CLOSE FILE HANDLE: Fix bugs and add test.

In addition to the particular bug that was reported, there was a memory
leak.  This commit fixes both.

Reported by knassen@chartermi.net.

SHOW: Implement SHOW ENVIRONMENT.

Requested by knassen@chartermi.net.

DATA LIST: Fix crash with a bare / at the end of the command.

Embarrassingly, this was in an example from the manual.

Reported by knassen@chartermi.net.

case-map: Make creating a case_map destroy the stage.

This fit the usage model in every case in practice.

dataset: Replace 'compactor' by a translating casewriter.

case-map: Identity map is only when there are no changes at all.

case_map_stage_get_case_map() called a mapping an identity map when no
data was reordered, which left the possibility that data was removed from
the end would be called an identity map.  This seems like a bad idea, so
this commit tightens the criteria.

This is a bigger than necessary change that also avoids per-variable
malloc()s that weren't really needed.

This might be a bug fix.  I haven't identified a particular bug that
it fixes.

case-map: Optimize case_map_create_output_translator() for no-op case.

dictionary: Get rid of case indexes.

Dictionary index (the index into the variables in the dictionary)
and case index (the index into struct ccase for a variable from
the dictionary) have always been independent, but they are
*usually* the same.  It is much cleaner to have an invariant
that they are *always* the same.  This commit makes that the case.

dictionary: Short-circuit no-op case in dict_reorder_var().

dictionary: Always compact immediately upon deletion of a variable.

With this change, the dictionary has a new invariant that the case_indexes
are always a permutation of [0,N) where N is the number of variables in
the dictionary.  Most commonly, the case_indexes are the same as the
dict_indexes, but reordering the dictionary can permute them.

pc+-file-reader: Drop unneeded struct member.

dictionary: Get rid of "internal var" concept.

It's nasty and doesn't conform to the usual invariants.

case-map: Simplify case_map_stage_get_case_map().

A caseproto can't contain -1s anymore, so don't look for them.

case-map: Remove buggy and unused case_map_clone().

The xmemdup() in the implementation copied 'old->proto' to 'new->map',
which can't possibly work.  We could fix it but it wasn't used anyway.

dictionary: Get rid of next_value_idx.

At this point, it was always the number of variables in the dictionary.

caseproto: Disallow -1 elements in caseprotos.

This is a stronger invariant that should make PSPP code easier to
understand.

It required updating dict_get_proto() to avoid intermediate stages in
which a -1 appeared as a width.

caseproto: Allocate base struct and widths separately.

This will allow constructing a caseproto from a passed-in array
without copying it.

dataset: Before deleting variables, make sure new values are added.

This fixes a crash reported privately by knassen(at)chartermi.net.

caseinit: Introduce new caseinit_translate_casereader_to_init_vars().

Makefiles: Make a couple of targets build more quietly.

caseproto: Fix calculation in caseproto_reserve().

This reserved way too much in a lot of cases.

DO REPEAT: Order PRINT output correctly.

This was printed in reverse order, although the commands were executed in
the correct order.

Update README.

The PSPP output subsystem is now pretty good and I don't think that it's
necessary to include it as future work anymore.

I haven't heard anything about OpenBSD in a while, so I don't think it's
necessary to list its tests as an explicit caveat.

These days I tend to prefer hearing bug reports via email.

Add support for variable sets in the system file format.

Variable sets are primarily a GUI feature, but this commit doesn't
implement them in the GUI.

dictionary: Avoid name shadowing in dict_clone().

In this case, it wasn't a bug, but it was confusing.

Avoid another possible null pointer dereference

* modified:   tests/output/tex-strings.c

Avoid possible null pointer dereference

* modified:   src/ui/gui/psppire-encoding-selector.c

treewide: Use struct fmt_spec by value instead of pointer in most cases.

struct fmt_spec is a small struct, only 4 bytes in size.  It doesn't make
sense to pass it by pointer in most cases.  This commit makes that change
treewide.

pivot-table: Force width of weight formats to 40.

It was too confusing when output tables contained **** because of weight
variables with narrow widths.

Recently reported by Andreas Hammer.  I've also noticed the same thing
myself.

dictionary: Make dict_get_weight_format() return by value, not pointer.

This seems like a better interface.

DISPLAY MACROS: New command.

DELETE VARIABLES: Fix bugs related to details of case compaction.

We have to change AUTORECODE and RANK so that they don't add a
transformation, since transformations prevent DELETE VARIABLES.

Thanks to Frans Houweling for reporting the problem.

case-map: New function case_map_clone().

This will acquire its first user in an upcoming commit.

case-map: Use stateless translator in case_map_create_input_translator().

Case mapping isn't stateful, so this could be more efficient in some cases.

casereader-translator: Add a class for casereader translators.

This will make it easier to pass these around from one function to another.

doc: Avoid using stdout in Makefile rule to generate .spv files.

When pspp writes anything to stdout, also writing the .spv file to stdout
causes confusing corruption.  This avoids the problem.

zip-reader: Report corrupted Zip archives.

tests: Fix ODR violations rather than ignoring them.

configure: Work around Gnulib warning with GCC 12.x.

This keeps getting in my way.  I assume that either Gnulib or GCC will
eventually get fixed, so work around it for now.

Fix understanding of how long string variable missing values work.

Thanks to Andreas Hammer for reporting this bug at
https://lists.gnu.org/archive/html/pspp-users/2023-02/msg00000.html.

The data file that triggered this bug is ESS10SC.sav, available from
https://ess-search.nsd.no/en/study/172ac431-2a06-41df-9dab-c1fd8f3877e7

dictionary: Fix misuse of DC_* treewide.

The DC_* constants are bit values, but some code was using them as shift
offsets.  This fixes the problem.

CTABLES: Always show computed categories even if they'd be zeros.

With CATEGORIES EXCLUDE=YES, empty computed categories weren't shown.  This
seems counterintuitive, so this commit fixes it.

Thanks to Frans Houweling for reporting this bug.

CTABLES: Don't force the look to include empty rows and columns.

Frans Houweling said that it looked wrong, and I don't have a strong reason
to do it.

pivot-table: Honor blank variable labels.

pivot_value_new_variable() ignored empty-string variable labels.  This
honors them.

Requested by Frans Houweling.

output: Link cairo and libxml2 against liboutput.

This is almost meaningless to me but the bug reporter said it fixed
something.

Bug #63606.
Thanks to Michael Orlitzky for reporting the bug.

AGGREGATE: Fix crash with temporary transformations.

Thanks to Frans Houweling for reporting this bug at
https://lists.gnu.org/archive/html/bug-gnu-pspp/2023-01/msg00004.html

dictionary: Fix invariant that no split file vars means SPLIT_NONE.

Add SHOW SPLIT to enable testing.

Fixes a crash bug reported by Frans Houweling
at https://lists.gnu.org/archive/html/bug-gnu-pspp/2023-01/msg00011.html

CROSSTABS: Always cite all the dimensions if there are too many.

Otherwise, 32-bit and 64-bit systems cite different sets of dimensions,
which makes the test output change between i386 and x86-64.

Thanks to Friedrich Beckmann for reporting this bug.
Bug #63797.

CROSSTABS: Fix confidence interval display for risk estimate output.

Bug #63747.

pivot-table-test: Add paged PDF output too.

render: Fix spanned width distribution for cells not at top or left.

This code always used the widths of rules at the left or top side of the
table, even in cases where the spanned cells were not at the top of left
side of the table.  This obviously made the calculations wrong sometimes.

spv-writer: Use correct namespaces for pageSetup.

This turns out to be important.

output: Correctly define and properly implement column width ranges.

I previously had the idea that SPV files had ranges for both column
widths and row heights, which didn't really make sense, since if
you fix the range of one of those you have to be flexible about the
other.  However, these settings actually control just column widths,
in two sets of columns: the columns for row headings and the columns
for column headings.  This implements those properly.

spv-driver: Add page_setup to output files and allow user to configure them.

This seems better than what I see happening otherwise, which can be that
the default page_setup that SPSS Viewer picks is a ridiculous one, like a
postcard page size.

spv: Fix crash reading a page_setup without headings.

The SPV driver can output such a page_setup.

cairo: Fix crashes and bugs in 'setup' call.

Changing the page_setup was not properly supported for PNG and SVG output,
because it assert-failed in xr_set_surface_size().  In addition, for all
kinds of output, it didn't account for margins properly in the page size.
This fixes the problem and unifies page setup between initial driver
creation and update.

This wasn't noticed before because output_set_page_setup() wasn't used
much, but it could be triggered with the pspp-output utility, converting
from an SPV file that contained a page_setup.  It will become more
important because an upcoming commit will cause the SPV driver to output
a page_setup every time.

output: Use page_setup for parsing cairo page setup.

This will make it easier to add page_setup support to the SPV driver.

output: Add null sentinel automatically to parse_enum() arguments.

output: Refactor driver options to avoid so much copying.

output: Modernize how drivers are initialized.

ascii: Improve look of dashed line ends.

Until now, partial ends of horizontal dashed lines were rendered as
U+2574 BOX DRAWINGS LIGHT LEFT and U+2576 BOX DRAWINGS LIGHT RIGHT,
which are solid lines.  This looks funny at the end of a dashed line,
especially in some fonts.  This commit changes these ends to
U+254C BOX DRAWINGS LIGHT DOUBLE DASH HORIZONTAL, which does extend all the
way across the character cell but looks much better.

pivot-output: When there's no dimension border, use the category border.

This is compatible behavior.

pivot-table: Add more tests for category and dimension borders.

output: Add debugging code to rendering and table code.

table: Make debug code unconditional.

The debugging code in table_vline() and table_hline() was in practice
always enabled, but because of the way it was written each of the tests
was being re-tested in an assertion.  It seems better to just enable it
all the time and avoid duplication.

render: Fix typo in comment.

pivot-table: Fix buffer overflow in corner case in pivot_table_dump().

Dumping a table with a layer dimension that has no leaves read from an
invalid pointer.  This fixes the problem.  This functionality isn't used
in PSPP, only by "pspp-output dump".

pivot-table: Fix buffer overflow in pivot_table_dump() in corner case.

This occurred when categories were more deeply nested into groups than
there were leaf categories.  This functionality isn't used in PSPP, only
by "pspp-output dump".

table: Fix use of uninitialized data.

Fixes: 62a04ffbf5aa ("output: Combine color and stroke into table_border_style.")

CTABLES: Avoid uninitialized variable warning in some GCC versions.