ascii: Always include <sys/ioctl.h> if we're calling ioctl.

This file included sys/ioctl.h if it was necessary to use the TIOCGWINSZ
constant, but in fact it's needed to call ioctl() at all, so this commit
moves the #include so that it's included whenever we use ioctl().

Bug #60069.
Reported by Jeremy Lavergne.

psppire-output-view: Remove more dead code.

psppire-output-view: Fix display of groups.

Bug introduced in commit 507ebaea3673 ("output: Make groups contain
their subitems, and get rid of spv_item.").

Reported by John Darrington.

psppire-output-view: Remove dead code.

/ui/gui/psppire-var-info.c (__set_property): Remove redundant test.

Found by cppcheck.

src/libpspp/zip-reader.c (probe_magic): Fix inappropriate return value.

Found by cppcheck.

src/language/stats/autorecode.c (cmd_autorecode): Remove redundant test.

Found by cppcheck.

src/data/sys-file-reader.c: (read_header): Remove redundant test.

Found by cppcheck.

src/math/wilcoxon-sig.c (count_sums_to_W): Avoid use of unsigned value.

Use signed long int, not unsigned long int.

Found by cppcheck.

spv-light-decoder: Use unsigned int, not int, for %x with sscanf().

Found by cppcheck.
Reported by John Darrington.

spv-writer: Avoid obsolete function asctime().

Found by cppcheck.
Reported by John Darrington.

spvbin-helpers: Properly handle parsing strings with no destination.

binary-parser-generator will pass a null pointer to spvbin_parse_string()
or spvbin_parse_bestring() for a string that should be parsed but not
stored.  In such a case, the implementation would dereference a null
pointer.  This fixes the problem.

This is only a theoretical problem because the grammars PSPP uses now
always store the strings that they parse.

Found by cppcheck.
Reported by John Darrington.

spv-light-decoder: Fix check for valid decimal point characters.

Found by cppcheck.
Reported by John Darrington.

spv: Add support for page breaks.

spv: Remove code that was just #if 0'd out before.

Commit 507ebaea3673 ("output: Make groups contain their subitems, and get rid of
spv_item.") should have removed this code, but it was overlooked.

output: Replace OUTPUT_ITEM_PAGE_SETUP by a new driver function.

OUTPUT_ITEM_PAGE_SETUP was a special case that only the Cairo and SPV
drivers could implement, and it could only come first in the output stream
anyway, so it didn't make much sense.  This commit gets rid of it in favor
of adding a new driver class function for setting the page setup.

output: Make groups contain their subitems, and get rid of spv_item.

Until now, the output subsystem has had two different ideas for output
items: struct output_item, which is the primary representation, and
struct spv_item, which represents an output item read from an .spv file.
The biggest difference, until now, has been that spv_item contains its
children, whereas output_item bracketed children inside open/close pairs.
This commit unifies them under output_item, making output_item adopt the
container abstraction.

output-item: Add basic support for visibility.

zip-reader: Make the zip_reader reference counted.

This will be useful in an upcoming commit.

zip-reader: Switch to a more usual error reporting mechanism.

Having the client pass in a string buffer was clever but it gave the
zip_reader some shared state with its client that will be difficult to
deal with in future use cases.

zip-reader: Fix file descriptor leak in zip_reader_create().

zip-reader: Use endian conversion functions from integer-format.h.

DEBUG EVALUATE: Use output_log() instead of printf().

I found that with upcoming changes to the output engine, the relative
ordering of output from printf() and from the output engine changed.  This
commit makes it all go through the output engine, which keeps it
consistent as the output engine changes.

spv-legacy-decoder: Make 'data' parameter to decode_spvdx_table() const.

output: New function output_log().

llx: Introduce new iteration macros and some users.

str: Avoid passing null pointer to memcpy() in ds_put_substring().

pspp-output: Fix typo in user message.

output-item: Allocate correct size in message_item_create().

configure: Require @clicksequence to be present.

Occasionally someone tries to build with a really old Texinfo.  It doesn't
work now, although it once did, but before this commit it would
successfully configure.  By preventing configure from finishing, I think
that this will produce a clearer error message earlier in the build
process, ultimately making life easier for users.

Bug #59818.

output: Add missing chart.h.

Fixes: 29917c4f5908 ("output-item: Collapse the inheritance hierarchy into a single struct.")

output-item: Collapse the inheritance hierarchy into a single struct.

When I designed this inheritance hierarchy, what was really needed was a
bit of a mystery.  Now, it's pretty clear what is really going to be here,
and it simplifies and clarifies code a lot to just have a struct with an
embedded union.  It also removes, net, about 1000 lines of code.

output-item: Make command name part of every output_item.

Until now, group_items and text_items have had a command name, but SPV
files make the command name part of every output_item.  This change
make output_item better aligned.

cairo-fsm: Remove dead code in xr_fsm_create().

This code can't be reached because code above it exits the function in the
case that it handles.

output: Change command names from uppercase to title case.

This is compatible and easier to read.

str: Add function xstrdup_if_nonnull() and introduce many users.

spv-file-format: Update understanding of commandName attribute.

text-item: Simplify text_item further to just hold a pivot_value.

pivot_value has built-in support for font styling, so it eliminates the
need for a separate font_style object.

output: Rename page-eject-item to page-break-item.

Seems like a better name to me.

spv-file-format: More detailed requirements for structure members.

text-item: Fix reference leak in text_item_to_table_item().

spv-file-format: Update heading, label elements in structure XML.

table-item: Don't unshare a pivot_table upon adding to table_item.

I don't know a reason to do so.

spv-writer: Consistently use label from output_item.

output: Make spv-writer code understand output_item.

pivot-table: Test round-tripping to an .spv file.

Displaying a pivot table directly should produce the same results as
writing it to an .spv file and then re-reading the .spv file.  This wasn't
consistently the case before the last few patches.  This set of test
updates guards against regression.

pivot-table: Fix handling of current-layer in spv files, and update display.

spv-light-decoder: Support special format 40 in decode_spvlb_value().

This was overlooked in implementing the format in commit 5bf763272ad7
("spv-file-format: Describe format 40 and the meaning of 'small'.")

spv-light-decoder: Drop special case for dim 0 in decode_data_index().

pivot-table: Implement hiding footnotes.

pivot-table: Add test for footnotes.

pivot-table: Always put footnote markers in sorted order.

This is compatible behavior.

ascii: Include footnote markers in output.

pivot-table: Allow footnote marker style to change after creation.

Footnote markers can be set as numeric or alphabetic.  Until now, the code
for this has only honored this setting at the time the footnote was added.
With this commit, changes in this setting are also honored after adding it.

cairo-fsm: Honor displaying footnote markers as subscripts.

spv-light-decoder: Add back character set encoding support.

Originally, SPV light member decoding would obtain the member's declared
character set encoding and recode all strings from that encoding into
UTF-8.

The SPV file submitted along with bug #59837, however, showed that SPV
files actually contain UTF-8 strings despite their declared character
encoding.  This SPV file declared windows-1253 encoding.  It contained 221
unique strings, 52 of which contained non-ASCII characters, and all of
which were valid UTF-8.  Therefore, commit db9a44802bb9
("spv-light-decoder: Text strings are all UTF-8 encoded.") changed the
SPV light member decoder to treat all strings as UTF-8 encoded.

Unfortunately, further examination of the SPV corpus showed that there is
no consistency.  Some files do contain all UTF-8 despite declaring another
character set.  For example:

00764b1c.spv: windows-1251: 481 unique strings, 123 non-ASCII, 123 UTF-8.
009bf8ba.spv: windows-1252: 76 unique strings, 9 non-ASCII, 9 UTF-8.
00b033b6.spv: windows-1252: 389 unique strings, 16 non-ASCII, 16 UTF-8.
014fc3df.spv: ISO_8859-1:1987: 81 unique strings, 4 non-ASCII, 4 UTF-8.
01a20a32.spv: windows-1254: 71 unique strings, 10 non-ASCII, 10 UTF-8.
01d41135.spv: windows-1251: 142 unique strings, 51 non-ASCII, 51 UTF-8.
01d7942a.spv: windows-1251: 64 unique strings, 43 non-ASCII, 0 UTF-8.
0203e88a.spv: windows-1254: 82 unique strings, 4 non-ASCII, 0 UTF-8.
0247cf5a.spv: windows-1256: 236 unique strings, 5 non-ASCII, 0 UTF-8.
026777ed.spv: 027b66dd.spv: windows-1252: 224 unique strings, 2 non-ASCII, 0 UTF-8.
02cc8c22.spv: windows-1254: 79 unique strings, 1 non-ASCII, 1 UTF-8.
...

Others are entirely non-UTF-8:

00029fbf.spv: windows-1251: 115 unique strings, 88 non-ASCII, 0 UTF-8.
00f101f5.spv: windows-1252: 94 unique strings, 1 non-ASCII, 0 UTF-8.
00ff0628.spv: windows-1252: 112 unique strings, 14 non-ASCII, 0 UTF-8.
01d7942a.spv: windows-1251: 64 unique strings, 43 non-ASCII, 0 UTF-8.
0203e88a.spv: windows-1254: 82 unique strings, 4 non-ASCII, 0 UTF-8.
0247cf5a.spv: windows-1256: 236 unique strings, 5 non-ASCII, 0 UTF-8.
027b66dd.spv: windows-1252: 224 unique strings, 2 non-ASCII, 0 UTF-8.
03235aa7.spv: windows-1254: 198 unique strings, 18 non-ASCII, 0 UTF-8.
07a43c5c.spv: ISO-8859-15: 124 unique strings, 13 non-ASCII, 0 UTF-8.
07a85498.spv: windows-1254: 86 unique strings, 1 non-ASCII, 0 UTF-8.
07a91f3e.spv: windows-1252: 111 unique strings, 13 non-ASCII, 0 UTF-8.
0ad295d8.spv: windows-1252: 81 unique strings, 1 non-ASCII, 0 UTF-8.
0ceb843b.spv: windows-1252: 3108 unique strings, 392 non-ASCII, 0 UTF-8.

and still others are a mix:

02f274e6.spv: windows-1252: 746 unique strings, 77 non-ASCII, 27 UTF-8.
0a7be05b.spv: windows-1255: 334 unique strings, 122 non-ASCII, 113 UTF-8.
4c7a575d.spv: windows-1250: 400 unique strings, 73 non-ASCII, 72 UTF-8.
785b0737.spv: windows-1250: 322 unique strings, 164 non-ASCII, 158 UTF-8.
94365e08.spv: windows-1250: 353 unique strings, 77 non-ASCII, 2 UTF-8.

This commit just gives up and interprets any string that is valid UTF-8 as
UTF-8.  So far, it works in practice.

pspp-output: New "strings" developer command.

string-array: New function string_array_uniq().

pspp-output: Minor coding style, comment fixes.

pspp-output: Don't write binary data to a terminal for dump-legacy-data.

pspp-output: Add --help-developer option.

pivot-table: Minor coding style improvements.

pivot-table: Tolerate nulls in pivot_value_clone().

These members should not be null, but there is little cost and perhaps some
benefit in allowing it.

spv-legacy-decoder: Initialize all members for SPV_VALUE_TEXT.

These were supposed to always be nonnull but this code didn't do it
properly.

spv-legacy-decoder: Set data_index and presentation_index in leaves.

This allows the new assertions in clone_category() to pass.

spv-select: Allow structure_member and png_member to be selected also.

pivot-table: Fix cut and paste error in pivot_value_clone().

Make the Cairo and Pango libraries required rather than optional.

This eliminates a lot of difficult-to-maintain conditional compilation.
It also fixes the broken build of the manual when Cairo was not available.

Add support for PNG images in .spv files.

This also allows us to save charts to .spv files as images.

zip-writer: Add functions for writing a member over multiple calls.

cairo-fsm: Tolerate negative "space" argument to xr_fsm_draw_slice().

Fixes infinite loop converting the .spv file attached to bug #59837
to a PDF file.

spv-file-format: Revise .spv light member documentation.

spv: Encode and decode AHEX format in light binary members.

spv-light-decoder: Text strings are all UTF-8 encoded.

Thanks to elias tsolis for reporting this bug.
Bug #59837.

perl-module: Fix to build with recent changes.

spv-file-format: Describe format 40 and the meaning of 'small'.

pivot-table: Implement SET SMALL.

pivot-table: Incorporate format settings.

This allows pivot tables to save the decimal point and custom
currency settings that were in effect when they were created,
and to honor the ones read from an .spv file.

Make data input and output take a fmt_settings structure.

This will allow pivot_table formatting to supply its own.

format: Move epoch into struct fmt_settings.

format: Make format settings structure smaller and cheaper.

Until now, there has only been one copy of the fmt_settings structure in a
given PSPP process, so it hardly mattered what size it was.  In an upcoming
commit, there will be one copy per pivot table, so it becomes more
important.  This commit shrinks it.

format: Fix typo in comment.

configure: Ensure the version always has 3 parts in PSPP_CHECK_XGETTEXT.

Makes configure succeed on Debian for me, where "xgettext --version" prints
0.21 as the version.

acinclude.m4 (PSPP_CHECK_XGETTEXT): Use sed instead of parameter expansion

Several persons have said that the initial version of this macro failed on their
systems.  Hopefully this will work better.

pivot-table: Add more tests for pivot table rendering.

Recent gettext to version 0.20 or later

output: Make table_item a pivot_table, table_cell a pivot_value.

This greatly simplifies a lot of glue code and it brings the
internal representation of tables in output closer to the .spv
format representation, which will make better compatibility
possible in the future.

This commit gets rid of render-test, which was very specific
to the lower-level "table" representation, and replaces it
by pivot-table-test, which works in terms of the higher-level
pivot table representation.

csv: Change footnote format.

pivot-table: Add some more utility functions for pivot data structures.

pivot-table: Define numeric formats of categories as well as their cells.

pivot-table: Don't rely on xcalloc (0, x) returning nonnull.

I believe that glibc and gnulib ensure this, but I would rather not rely
on that.

pivot-output: Fix typo in comment.

render: Simplify 'pages' array in struct render_pager.

output: Drop TAB_FIX and the idea of a configurable fixed-width font.

Maybe it would be a good idea to make the fixed-width font configurable,
but it makes compatibility harder.

text-item: Use struct font_style instead of individual fields.

The foreground and background colors can't be represented in SPV files,
but it seems like an improvement nonetheless.

This also eliminates the last use of TAB_FIX in the tree.  An upcoming
commit will remove TAB_FIX entirely.

table-item: Make caption into table_cell too.

table-item: Change title from table_item_text to table_cell.

table-item: Remove barely used parameters from table_item_create().

The 'title' and 'caption' parameters were always NULL in practice, and
only one caller supplied nonnull 'notes'.

table-provider: Remove "const" from struct table_cell members.

Until now, this struct has been used only in one particular place, where
the "const" is easy to handle.  In an upcoming commit, it will be used more
widely, making the const-ness impractical to maintain, so this commit
removes it.

output-item: Make label a part of every output_item.

I didn't understand before that every output_item had a label of its own
that users could separately edit.  The spv file format makes that clear,
though, so this commit acknowledges it.