lexer: New function lex_force_int_range().

This simplifies parsing code that needs an integer in a particular range.

Fix bug where attempting to rendering an empty bar chart would crash

doc: Update documentation for SET command to match recent code changes.

q2c: Remove, since it is no longer used.

This was the only tool that needed the build system's C compiler, so also
remove the parts of the build system that supported that.

SET: Reimplement parser without q2c.

CROSSTABS: Reimplement parser without q2c.

Avoid useless warnings on stderr.

src/libpspp/i18n.c (create_iconv): New argument 'warn'

src/ui/gui/main.c: Add a startup tip for Windows

psppire-import-spreadsheet.c: Fix typo

src/output/spv/automake.mk: Add some explicit dependencies to help cross building

src/language/expressions/automake.mk: Fix build issues when cross building

gui: Include line number in error messages generated from syntax windows.

gui: Label unnamed syntax windows as "Untitled" in error messages.

Seems a little more user-friendly than just omitted a filename entirely.

Add syntax mode radio button to syntax editor window.

A number of users have reported problems with the syntax mode.  I am not
sure why.  This should allow them to select the syntax mode they actually
need to use, just in case.  The default should be unchanged (it is still
Auto).

pivot-table: Reduce size of struct pivot_value from 80 bytes to 40.

pivot-table: Reduce size of struct pivot_value from 96 bytes to 80.

format: Reduce size of struct fmt_spec from 6 bytes to 4.

format: Reduce size of struct fmt_spec from 12 bytes to 6.

DELETE VARIABLES: Fix crash when deleting and adding vars at same time.

Thanks to Ricardo Mejias for reporting the problem:
https://lists.gnu.org/archive/html/pspp-users/2021-03/msg00025.html

Improve error message for creating a new string var with COMPUTE or IF.

tests: Ignore .pspprc in a different way, to fix running TeX on Fedora.

On Fedora, the 'tex' program generates per-user formats in the user's
home directory.  With the way that atlocal previously set $HOME to
/nonexistent, this failed, because formats can't be found or created in
/nonexistent.  This fixes the problem by using a different way to avoid
making pspp look for .pspprc.

ascii: Always include <sys/ioctl.h> if we're calling ioctl.

This file included sys/ioctl.h if it was necessary to use the TIOCGWINSZ
constant, but in fact it's needed to call ioctl() at all, so this commit
moves the #include so that it's included whenever we use ioctl().

Bug #60069.
Reported by Jeremy Lavergne.

psppire-output-view: Remove more dead code.

psppire-output-view: Fix display of groups.

Bug introduced in commit 507ebaea3673 ("output: Make groups contain
their subitems, and get rid of spv_item.").

Reported by John Darrington.

psppire-output-view: Remove dead code.

/ui/gui/psppire-var-info.c (__set_property): Remove redundant test.

Found by cppcheck.

src/libpspp/zip-reader.c (probe_magic): Fix inappropriate return value.

Found by cppcheck.

src/language/stats/autorecode.c (cmd_autorecode): Remove redundant test.

Found by cppcheck.

src/data/sys-file-reader.c: (read_header): Remove redundant test.

Found by cppcheck.

src/math/wilcoxon-sig.c (count_sums_to_W): Avoid use of unsigned value.

Use signed long int, not unsigned long int.

Found by cppcheck.

spv-light-decoder: Use unsigned int, not int, for %x with sscanf().

Found by cppcheck.
Reported by John Darrington.

spv-writer: Avoid obsolete function asctime().

Found by cppcheck.
Reported by John Darrington.

spvbin-helpers: Properly handle parsing strings with no destination.

binary-parser-generator will pass a null pointer to spvbin_parse_string()
or spvbin_parse_bestring() for a string that should be parsed but not
stored.  In such a case, the implementation would dereference a null
pointer.  This fixes the problem.

This is only a theoretical problem because the grammars PSPP uses now
always store the strings that they parse.

Found by cppcheck.
Reported by John Darrington.

spv-light-decoder: Fix check for valid decimal point characters.

Found by cppcheck.
Reported by John Darrington.

spv: Add support for page breaks.

spv: Remove code that was just #if 0'd out before.

Commit 507ebaea3673 ("output: Make groups contain their subitems, and get rid of
spv_item.") should have removed this code, but it was overlooked.

output: Replace OUTPUT_ITEM_PAGE_SETUP by a new driver function.

OUTPUT_ITEM_PAGE_SETUP was a special case that only the Cairo and SPV
drivers could implement, and it could only come first in the output stream
anyway, so it didn't make much sense.  This commit gets rid of it in favor
of adding a new driver class function for setting the page setup.

output: Make groups contain their subitems, and get rid of spv_item.

Until now, the output subsystem has had two different ideas for output
items: struct output_item, which is the primary representation, and
struct spv_item, which represents an output item read from an .spv file.
The biggest difference, until now, has been that spv_item contains its
children, whereas output_item bracketed children inside open/close pairs.
This commit unifies them under output_item, making output_item adopt the
container abstraction.

output-item: Add basic support for visibility.

zip-reader: Make the zip_reader reference counted.

This will be useful in an upcoming commit.

zip-reader: Switch to a more usual error reporting mechanism.

Having the client pass in a string buffer was clever but it gave the
zip_reader some shared state with its client that will be difficult to
deal with in future use cases.

zip-reader: Fix file descriptor leak in zip_reader_create().

zip-reader: Use endian conversion functions from integer-format.h.

DEBUG EVALUATE: Use output_log() instead of printf().

I found that with upcoming changes to the output engine, the relative
ordering of output from printf() and from the output engine changed.  This
commit makes it all go through the output engine, which keeps it
consistent as the output engine changes.

spv-legacy-decoder: Make 'data' parameter to decode_spvdx_table() const.

output: New function output_log().

llx: Introduce new iteration macros and some users.

str: Avoid passing null pointer to memcpy() in ds_put_substring().

pspp-output: Fix typo in user message.

output-item: Allocate correct size in message_item_create().

configure: Require @clicksequence to be present.

Occasionally someone tries to build with a really old Texinfo.  It doesn't
work now, although it once did, but before this commit it would
successfully configure.  By preventing configure from finishing, I think
that this will produce a clearer error message earlier in the build
process, ultimately making life easier for users.

Bug #59818.

output: Add missing chart.h.

Fixes: 29917c4f5908 ("output-item: Collapse the inheritance hierarchy into a single struct.")

output-item: Collapse the inheritance hierarchy into a single struct.

When I designed this inheritance hierarchy, what was really needed was a
bit of a mystery.  Now, it's pretty clear what is really going to be here,
and it simplifies and clarifies code a lot to just have a struct with an
embedded union.  It also removes, net, about 1000 lines of code.

output-item: Make command name part of every output_item.

Until now, group_items and text_items have had a command name, but SPV
files make the command name part of every output_item.  This change
make output_item better aligned.

cairo-fsm: Remove dead code in xr_fsm_create().

This code can't be reached because code above it exits the function in the
case that it handles.

output: Change command names from uppercase to title case.

This is compatible and easier to read.

str: Add function xstrdup_if_nonnull() and introduce many users.

spv-file-format: Update understanding of commandName attribute.

text-item: Simplify text_item further to just hold a pivot_value.

pivot_value has built-in support for font styling, so it eliminates the
need for a separate font_style object.

output: Rename page-eject-item to page-break-item.

Seems like a better name to me.

spv-file-format: More detailed requirements for structure members.

text-item: Fix reference leak in text_item_to_table_item().

spv-file-format: Update heading, label elements in structure XML.

table-item: Don't unshare a pivot_table upon adding to table_item.

I don't know a reason to do so.

spv-writer: Consistently use label from output_item.

output: Make spv-writer code understand output_item.

pivot-table: Test round-tripping to an .spv file.

Displaying a pivot table directly should produce the same results as
writing it to an .spv file and then re-reading the .spv file.  This wasn't
consistently the case before the last few patches.  This set of test
updates guards against regression.

pivot-table: Fix handling of current-layer in spv files, and update display.

spv-light-decoder: Support special format 40 in decode_spvlb_value().

This was overlooked in implementing the format in commit 5bf763272ad7
("spv-file-format: Describe format 40 and the meaning of 'small'.")

spv-light-decoder: Drop special case for dim 0 in decode_data_index().

pivot-table: Implement hiding footnotes.

pivot-table: Add test for footnotes.

pivot-table: Always put footnote markers in sorted order.

This is compatible behavior.

ascii: Include footnote markers in output.

pivot-table: Allow footnote marker style to change after creation.

Footnote markers can be set as numeric or alphabetic.  Until now, the code
for this has only honored this setting at the time the footnote was added.
With this commit, changes in this setting are also honored after adding it.

cairo-fsm: Honor displaying footnote markers as subscripts.

spv-light-decoder: Add back character set encoding support.

Originally, SPV light member decoding would obtain the member's declared
character set encoding and recode all strings from that encoding into
UTF-8.

The SPV file submitted along with bug #59837, however, showed that SPV
files actually contain UTF-8 strings despite their declared character
encoding.  This SPV file declared windows-1253 encoding.  It contained 221
unique strings, 52 of which contained non-ASCII characters, and all of
which were valid UTF-8.  Therefore, commit db9a44802bb9
("spv-light-decoder: Text strings are all UTF-8 encoded.") changed the
SPV light member decoder to treat all strings as UTF-8 encoded.

Unfortunately, further examination of the SPV corpus showed that there is
no consistency.  Some files do contain all UTF-8 despite declaring another
character set.  For example:

00764b1c.spv: windows-1251: 481 unique strings, 123 non-ASCII, 123 UTF-8.
009bf8ba.spv: windows-1252: 76 unique strings, 9 non-ASCII, 9 UTF-8.
00b033b6.spv: windows-1252: 389 unique strings, 16 non-ASCII, 16 UTF-8.
014fc3df.spv: ISO_8859-1:1987: 81 unique strings, 4 non-ASCII, 4 UTF-8.
01a20a32.spv: windows-1254: 71 unique strings, 10 non-ASCII, 10 UTF-8.
01d41135.spv: windows-1251: 142 unique strings, 51 non-ASCII, 51 UTF-8.
01d7942a.spv: windows-1251: 64 unique strings, 43 non-ASCII, 0 UTF-8.
0203e88a.spv: windows-1254: 82 unique strings, 4 non-ASCII, 0 UTF-8.
0247cf5a.spv: windows-1256: 236 unique strings, 5 non-ASCII, 0 UTF-8.
026777ed.spv: 027b66dd.spv: windows-1252: 224 unique strings, 2 non-ASCII, 0 UTF-8.
02cc8c22.spv: windows-1254: 79 unique strings, 1 non-ASCII, 1 UTF-8.
...

Others are entirely non-UTF-8:

00029fbf.spv: windows-1251: 115 unique strings, 88 non-ASCII, 0 UTF-8.
00f101f5.spv: windows-1252: 94 unique strings, 1 non-ASCII, 0 UTF-8.
00ff0628.spv: windows-1252: 112 unique strings, 14 non-ASCII, 0 UTF-8.
01d7942a.spv: windows-1251: 64 unique strings, 43 non-ASCII, 0 UTF-8.
0203e88a.spv: windows-1254: 82 unique strings, 4 non-ASCII, 0 UTF-8.
0247cf5a.spv: windows-1256: 236 unique strings, 5 non-ASCII, 0 UTF-8.
027b66dd.spv: windows-1252: 224 unique strings, 2 non-ASCII, 0 UTF-8.
03235aa7.spv: windows-1254: 198 unique strings, 18 non-ASCII, 0 UTF-8.
07a43c5c.spv: ISO-8859-15: 124 unique strings, 13 non-ASCII, 0 UTF-8.
07a85498.spv: windows-1254: 86 unique strings, 1 non-ASCII, 0 UTF-8.
07a91f3e.spv: windows-1252: 111 unique strings, 13 non-ASCII, 0 UTF-8.
0ad295d8.spv: windows-1252: 81 unique strings, 1 non-ASCII, 0 UTF-8.
0ceb843b.spv: windows-1252: 3108 unique strings, 392 non-ASCII, 0 UTF-8.

and still others are a mix:

02f274e6.spv: windows-1252: 746 unique strings, 77 non-ASCII, 27 UTF-8.
0a7be05b.spv: windows-1255: 334 unique strings, 122 non-ASCII, 113 UTF-8.
4c7a575d.spv: windows-1250: 400 unique strings, 73 non-ASCII, 72 UTF-8.
785b0737.spv: windows-1250: 322 unique strings, 164 non-ASCII, 158 UTF-8.
94365e08.spv: windows-1250: 353 unique strings, 77 non-ASCII, 2 UTF-8.

This commit just gives up and interprets any string that is valid UTF-8 as
UTF-8.  So far, it works in practice.

pspp-output: New "strings" developer command.

string-array: New function string_array_uniq().

pspp-output: Minor coding style, comment fixes.

pspp-output: Don't write binary data to a terminal for dump-legacy-data.

pspp-output: Add --help-developer option.

pivot-table: Minor coding style improvements.

pivot-table: Tolerate nulls in pivot_value_clone().

These members should not be null, but there is little cost and perhaps some
benefit in allowing it.

spv-legacy-decoder: Initialize all members for SPV_VALUE_TEXT.

These were supposed to always be nonnull but this code didn't do it
properly.

spv-legacy-decoder: Set data_index and presentation_index in leaves.

This allows the new assertions in clone_category() to pass.

spv-select: Allow structure_member and png_member to be selected also.

pivot-table: Fix cut and paste error in pivot_value_clone().

Make the Cairo and Pango libraries required rather than optional.

This eliminates a lot of difficult-to-maintain conditional compilation.
It also fixes the broken build of the manual when Cairo was not available.

Add support for PNG images in .spv files.

This also allows us to save charts to .spv files as images.

zip-writer: Add functions for writing a member over multiple calls.

cairo-fsm: Tolerate negative "space" argument to xr_fsm_draw_slice().

Fixes infinite loop converting the .spv file attached to bug #59837
to a PDF file.

spv-file-format: Revise .spv light member documentation.

spv: Encode and decode AHEX format in light binary members.

spv-light-decoder: Text strings are all UTF-8 encoded.

Thanks to elias tsolis for reporting this bug.
Bug #59837.

perl-module: Fix to build with recent changes.

spv-file-format: Describe format 40 and the meaning of 'small'.

pivot-table: Implement SET SMALL.

pivot-table: Incorporate format settings.

This allows pivot tables to save the decimal point and custom
currency settings that were in effect when they were created,
and to honor the ones read from an .spv file.

Make data input and output take a fmt_settings structure.

This will allow pivot_table formatting to supply its own.