spv-light-decoder: Add back character set encoding support.

Originally, SPV light member decoding would obtain the member's declared
character set encoding and recode all strings from that encoding into
UTF-8.

The SPV file submitted along with bug #59837, however, showed that SPV
files actually contain UTF-8 strings despite their declared character
encoding.  This SPV file declared windows-1253 encoding.  It contained 221
unique strings, 52 of which contained non-ASCII characters, and all of
which were valid UTF-8.  Therefore, commit db9a44802bb9
("spv-light-decoder: Text strings are all UTF-8 encoded.") changed the
SPV light member decoder to treat all strings as UTF-8 encoded.

Unfortunately, further examination of the SPV corpus showed that there is
no consistency.  Some files do contain all UTF-8 despite declaring another
character set.  For example:

00764b1c.spv: windows-1251: 481 unique strings, 123 non-ASCII, 123 UTF-8.
009bf8ba.spv: windows-1252: 76 unique strings, 9 non-ASCII, 9 UTF-8.
00b033b6.spv: windows-1252: 389 unique strings, 16 non-ASCII, 16 UTF-8.
014fc3df.spv: ISO_8859-1:1987: 81 unique strings, 4 non-ASCII, 4 UTF-8.
01a20a32.spv: windows-1254: 71 unique strings, 10 non-ASCII, 10 UTF-8.
01d41135.spv: windows-1251: 142 unique strings, 51 non-ASCII, 51 UTF-8.
01d7942a.spv: windows-1251: 64 unique strings, 43 non-ASCII, 0 UTF-8.
0203e88a.spv: windows-1254: 82 unique strings, 4 non-ASCII, 0 UTF-8.
0247cf5a.spv: windows-1256: 236 unique strings, 5 non-ASCII, 0 UTF-8.
026777ed.spv: 027b66dd.spv: windows-1252: 224 unique strings, 2 non-ASCII, 0 UTF-8.
02cc8c22.spv: windows-1254: 79 unique strings, 1 non-ASCII, 1 UTF-8.
...

Others are entirely non-UTF-8:

00029fbf.spv: windows-1251: 115 unique strings, 88 non-ASCII, 0 UTF-8.
00f101f5.spv: windows-1252: 94 unique strings, 1 non-ASCII, 0 UTF-8.
00ff0628.spv: windows-1252: 112 unique strings, 14 non-ASCII, 0 UTF-8.
01d7942a.spv: windows-1251: 64 unique strings, 43 non-ASCII, 0 UTF-8.
0203e88a.spv: windows-1254: 82 unique strings, 4 non-ASCII, 0 UTF-8.
0247cf5a.spv: windows-1256: 236 unique strings, 5 non-ASCII, 0 UTF-8.
027b66dd.spv: windows-1252: 224 unique strings, 2 non-ASCII, 0 UTF-8.
03235aa7.spv: windows-1254: 198 unique strings, 18 non-ASCII, 0 UTF-8.
07a43c5c.spv: ISO-8859-15: 124 unique strings, 13 non-ASCII, 0 UTF-8.
07a85498.spv: windows-1254: 86 unique strings, 1 non-ASCII, 0 UTF-8.
07a91f3e.spv: windows-1252: 111 unique strings, 13 non-ASCII, 0 UTF-8.
0ad295d8.spv: windows-1252: 81 unique strings, 1 non-ASCII, 0 UTF-8.
0ceb843b.spv: windows-1252: 3108 unique strings, 392 non-ASCII, 0 UTF-8.

and still others are a mix:

02f274e6.spv: windows-1252: 746 unique strings, 77 non-ASCII, 27 UTF-8.
0a7be05b.spv: windows-1255: 334 unique strings, 122 non-ASCII, 113 UTF-8.
4c7a575d.spv: windows-1250: 400 unique strings, 73 non-ASCII, 72 UTF-8.
785b0737.spv: windows-1250: 322 unique strings, 164 non-ASCII, 158 UTF-8.
94365e08.spv: windows-1250: 353 unique strings, 77 non-ASCII, 2 UTF-8.

This commit just gives up and interprets any string that is valid UTF-8 as
UTF-8.  So far, it works in practice.

pspp-output: New "strings" developer command.

string-array: New function string_array_uniq().

pspp-output: Minor coding style, comment fixes.

pspp-output: Don't write binary data to a terminal for dump-legacy-data.

pspp-output: Add --help-developer option.

pivot-table: Minor coding style improvements.

pivot-table: Tolerate nulls in pivot_value_clone().

These members should not be null, but there is little cost and perhaps some
benefit in allowing it.

spv-legacy-decoder: Initialize all members for SPV_VALUE_TEXT.

These were supposed to always be nonnull but this code didn't do it
properly.

spv-legacy-decoder: Set data_index and presentation_index in leaves.

This allows the new assertions in clone_category() to pass.

spv-select: Allow structure_member and png_member to be selected also.

pivot-table: Fix cut and paste error in pivot_value_clone().

Make the Cairo and Pango libraries required rather than optional.

This eliminates a lot of difficult-to-maintain conditional compilation.
It also fixes the broken build of the manual when Cairo was not available.

Add support for PNG images in .spv files.

This also allows us to save charts to .spv files as images.

zip-writer: Add functions for writing a member over multiple calls.

cairo-fsm: Tolerate negative "space" argument to xr_fsm_draw_slice().

Fixes infinite loop converting the .spv file attached to bug #59837
to a PDF file.

spv-file-format: Revise .spv light member documentation.

spv: Encode and decode AHEX format in light binary members.

spv-light-decoder: Text strings are all UTF-8 encoded.

Thanks to elias tsolis for reporting this bug.
Bug #59837.

perl-module: Fix to build with recent changes.

spv-file-format: Describe format 40 and the meaning of 'small'.

pivot-table: Implement SET SMALL.

pivot-table: Incorporate format settings.

This allows pivot tables to save the decimal point and custom
currency settings that were in effect when they were created,
and to honor the ones read from an .spv file.

Make data input and output take a fmt_settings structure.

This will allow pivot_table formatting to supply its own.

format: Move epoch into struct fmt_settings.

format: Make format settings structure smaller and cheaper.

Until now, there has only been one copy of the fmt_settings structure in a
given PSPP process, so it hardly mattered what size it was.  In an upcoming
commit, there will be one copy per pivot table, so it becomes more
important.  This commit shrinks it.

format: Fix typo in comment.

configure: Ensure the version always has 3 parts in PSPP_CHECK_XGETTEXT.

Makes configure succeed on Debian for me, where "xgettext --version" prints
0.21 as the version.

acinclude.m4 (PSPP_CHECK_XGETTEXT): Use sed instead of parameter expansion

Several persons have said that the initial version of this macro failed on their
systems.  Hopefully this will work better.

pivot-table: Add more tests for pivot table rendering.

Recent gettext to version 0.20 or later

output: Make table_item a pivot_table, table_cell a pivot_value.

This greatly simplifies a lot of glue code and it brings the
internal representation of tables in output closer to the .spv
format representation, which will make better compatibility
possible in the future.

This commit gets rid of render-test, which was very specific
to the lower-level "table" representation, and replaces it
by pivot-table-test, which works in terms of the higher-level
pivot table representation.

csv: Change footnote format.

pivot-table: Add some more utility functions for pivot data structures.

pivot-table: Define numeric formats of categories as well as their cells.

pivot-table: Don't rely on xcalloc (0, x) returning nonnull.

I believe that glibc and gnulib ensure this, but I would rather not rely
on that.

pivot-output: Fix typo in comment.

render: Simplify 'pages' array in struct render_pager.

output: Drop TAB_FIX and the idea of a configurable fixed-width font.

Maybe it would be a good idea to make the fixed-width font configurable,
but it makes compatibility harder.

text-item: Use struct font_style instead of individual fields.

The foreground and background colors can't be represented in SPV files,
but it seems like an improvement nonetheless.

This also eliminates the last use of TAB_FIX in the tree.  An upcoming
commit will remove TAB_FIX entirely.

table-item: Make caption into table_cell too.

table-item: Change title from table_item_text to table_cell.

table-item: Remove barely used parameters from table_item_create().

The 'title' and 'caption' parameters were always NULL in practice, and
only one caller supplied nonnull 'notes'.

table-provider: Remove "const" from struct table_cell members.

Until now, this struct has been used only in one particular place, where
the "const" is easy to handle.  In an upcoming commit, it will be used more
widely, making the const-ness impractical to maintain, so this commit
removes it.

output-item: Make label a part of every output_item.

I didn't understand before that every output_item had a label of its own
that users could separately edit.  The spv file format makes that clear,
though, so this commit acknowledges it.

html: Step toward better handling of text_items.

There's more work to do to get the fonts, especially, correct.

pivot-table: Fix memory leak in pivot_table_destroy()

PSPPIRE: Add user hints dialog on startup

tests: Break off --draw-mode from render-test into ascii-test.

My plan is for render-test to go away in favor of a comprehensive test for
pivot tables, which are the only kinds of tables that actually matter.
The --draw-mode tests are a different kind of beast, so it makes sense to
keep them and put them in a different place.

output: Improve comments.

pivot-table: Update comments to drop mention of omit_empty.

Commit 0200682d517f ("pivot-table: Change the default format to omit
empty rows and columns.") eliminated the need for this.

pspp-output: New feature for retrieving the default look.

pivot-table: Don't allow data cells for nonexistent categories.

spv-file-format: Footnotes can't refer to footnotes.

pivot-output: Fix vertical line presence and style.

This code failed to draw dividers between groups and it didn't
follow the same pattern as SPSS for choosing between
"dimension" and "category" style for vertical dividers.  This
commit fixes both problems.

pivot-output: Fix drawing lines between dimensions within a heading.

pivot-output: Replicate dimension headings when divided by vertical rules.

This introduces a comment into compose_headings() that explains the
problem that it fixes.

perl-module/README: update version references

pivot-output: Really fix formatting of the corner cell.

Commit 981e88e2f5b4 ("pivot-output: Fill corner cell even without
corner text.") purported to do this, but it missed the most
important issue.

output: Remove superscript support.

The previous commit df5005061c03 ("pivot-output: Implement superscript.")
finished this support, but on further inspection, there's nothing in the
non-legacy .spv format that can set a superscript.  The legacy .spv format
appears to be able to do it; I'll worry about that if it gets implemented
later.

pivot-output: Implement superscript.

spv-file-format: Document "show-title" option.

ascii: Support dashed lines in output.

Unicode has thick lines too, so that's another opportunity for future
expansion.

ascii: Refactor definition of box characters.

cairo-fsm: Implement dashed lines.

pivot-table: Fix incorrect allocation count in pivot_table_dump().

tests: Be consistent about adding to $(check_PROGRAMS).

Some tests were added at the top of the file, some just above the
definition of their sources, and some in both places (!).

table: Add comment.

spv-file-format: Document CSS in more detail.

spv-css-parser: Parse text color also.

spv-css-parser: The font-size is really "px" even though it says "pt".

output: Eliminate duplicated color parsing code.

html: Make <th> cells be font-weight: normal by default.

This overrides typical web browser defaults.  That seems reasonable, since
the driver styles all the cells according to the user specifications.  We
could just use <td> for all cells, but there might be semantic value in
having properly marked header cells.

html: Implement rotated cells.

cairo-fsm: Always center rotated cells.

pivot-output: Implement header rotation correctly.

This code had the wrong notion of which headers to rotate.  It also didn't
implement the observed behavior of rotated headers always being centered
both horizontally and vertically.

html: Implement more styling features.

pivot-output: Fill corner cell even without corner text.

This ensure that any background in the corner style is drawn.

spv-file-format: Better document MANIFEST.MF.

pivot-table: Include pivot table subtype in pivot_table_dump() output.

html: Fix border-right for non-square tables.

Fixes: b11b5d874764 ("table: Get rid of accessor functions for 'h' and 'n' members.")

Remove dummy-prerequisite rule

As Ben pointed out, this probably did more harm than good.  So instead,
this change adds some explicit dependencies where prerequisites are
known to be necessary.

spv-file-format: Better describe structure member labels and table notes.

psppire-output-view: Set tooltips on tables from table_item notes.

psppire-window: Fix use-after-free error in read_spv_file().

spv_item_get_table() returns a borrowed reference, but read_spv_file()
treated it as if it owned it.  This fixes the problem.

This fixes crashes opening .spv files in PSPPIRE with File|Open.

Also, change spv_item_get_table() to return a const pointer, to make it
clearer that the reference is a borrowed one.

table: Get rid of accessor functions for 'h' and 'n' members.

It's easier to read them directly.

table: Delete some functions that were unused or barely used.

message-item: Fix reference counting in message_item_to_text_item().

This function should take ownership of the message_item passed in, but it
leaked a reference to it.

render: Only scale to fit vertically with drivers that support it.

Fixes: bdd73954cd30 ("cairo: Support scaling tables to fit page width and page length.")

html: Pop up tooltip with table notes in output.

I can't see how to do this for ODP or PDF output.  (PDF supports tooltips
but Cairo doesn't expose the feature; ODP doesn't seem to support it at
all.)

cairo: Label pages in PDFs with page numbers.

These normally wouldn't do much, but PSPP does support an "initial page
number" setting, and if that is set to anything but 1 then it will make
a difference.

cairo: Support scaling tables to fit page width and page length.

cairo-fsm: Remove code that was #if'd out.

This was missed during an earlier refactoring.

po: Update French translation from translationproject.org.

Thanks to Stéphane Aulery <lkppo@free.fr>.

tex-rendering.c: Add missing include directive

Make cross-building slightly more reliable

Fix reproducibility issues in png files

Start of a crosstabs example

Add copyright and licence notices to files which lack them

Fix compiler warning