psppire-output-view: Fix background color for output viewer.

psppire-output-view: Add titles for groups.

cairo: Render group_open_items.

tutorial: Fix duplicate definition of node name "examine".

Emacs, at least, confused this "examine" with the "EXAMINE" node for the
EXAMINE command, and prevented me from visiting the latter documentation.

tests: Tag all the tests that take more than about 1s as "slow".

This makes it possible to run a quicker set of tests, which still have
pretty good coverage, with something like this:
    make -j10 check TESTSUITEFLAGS='-j10 -k !slow'

table-stomp: Remove dead code.

Nothing used this code anymore.

cairo: Improve comment.

cairo: Fix word-wrapping of ".000" and similar.

The Unicode line-breaking algorithm (or perhaps Pango's implementation of
it) is willing to break after the period in ".000".  This looks odd.  This
commit works around the problem.

output: Introduce group_item in place of TEXT_ITEM_COMMAND_OPEN and CLOSE.

This allows groups to be nested.

text-item: Merge "title" and "subtitle" items into a new "page title".

This better matches SPSS behavior.

cairo: New macros XR_LINE_WIDTH and XR_LINE_SPACE.

This makes the code a little easier to read in places.

driver: New function output_driver_parse_option().

This moves this function out of terminal-opts.c so that other code can use
it too.

output: Add support for alternating row colors.

output: Add support for layer info in table output.

output: Implement styling for titles and captions.

output: Implement styling for footnotes.

cairo: Remove debug print.

tab: Support cell-specific styles.

output: Add support for colors for rules.

output: Support styles for text items.

output: Add support for fonts.

output: Add support for cell margins.

Until now, space between cells was implemented by adding some space on the
sides of rules.  That worked fine before cells could have colored
backgrounds, but now it means that the backgrounds don't reach all the way
to the rules.  Thus, this commit adds configurable margins to the cells
themselves.

output: Add support for colors in cells.

Background colors aren't painted very well until the following commit adds
support for cell margins.

output: Add support for dashed, thick, and thin rules.

output: Add support for vertical alignment of cells.

It makes sense to bottom-align top headings but to top-align data cells,
for example.

tab: Expand space for table options from 8 to 16 bits each.

Upcoming commits will need the extra bits.

testsuite: Enable color output for tests.

render: Update style of footnote rendering.

output: Expand footnote support.

This adds support for multiple footnotes per table cell and the ability
to add footnotes to titles and captions.

format: New function fmt_from_u32().

This functionality will be useful for reading SPV files as well as SAV
files.

string-map: New functions for searching by non-null terminated keys.

The first user will be added in an upcoming commit.

str: New functions ss_starts_with() and ss_find_substring().

These will have their first users in an upcoming commit.

integer-format: Add some useful helper functions.

These functions already existed in float-format.c, but they are more
generally useful, so this commit moves them into integer-format.h.

CROSSTABS: Make treatment of crosstab variables and values more uniform.

CROSSTABS: Rename pivot_table to crosstabulation.

This will make things easier later when real pivot tables are introduced at
a higher level.

output: Factor common code for command name tracking out of all drivers.

This reduces redundancy.

message: Refactor initializations for struct msg throughout the tree.

A new member will be added in an upcoming commit, and the new style of
initialization ensures that the member will always be initialized

variable: Make property function return untranslated versions.

This makes it possible for the callers to do the translation at the time
it is needed.  It will be particularly useful in an upcoming commit.

missing-values: New function mv_to_string().

This seems like something that should be handled by the missing value code,
not by SYSFILE INFO.

bt, abt: Add initialization and iteration macros.

dictionary: New function dict_get_weight_format().

Just a convenience.

ascii: Get rid of the idea of pages.

In the era when I started writing this code, people still printed output on
dot-matrix printers and fanfold paper.  That's no longer a realistic use
case: today, no one prints plain text output.  It's just for viewing on a
screen, and on a screen there is no need or desire to break tables up
vertically into virtual "pages".

table: Get rid of TAL_GAP.

This is only necessary in pathological cases.  Those cases don't really
come up in normal usage and as PSPP shifts toward pivot tables they won't
come up at all.

cairo: Get rid of useless parameter 'y' to xr_layout_cell_text().

categoricals: Convert tabs to spaces.

categoricals: Update style and modernize.

categoricals: Get rid of 'df_prod' array.

It brought minimal value in that everything it did could be recalculated
on the fly without increasing the big-O cost.

categoricals: Drop 'n_vals' member from struct variable_node.

It was redundant with counting the elements in valmap, which wasn't
used many places anyway.

categoricals: Add array of variable_nodes to reduce hash lookups.

categoricals: Avoid setting value_node indexes multiple times.

A given variable_node can be in more than one interaction, but it's only
necessary to set the variable_node's value_node indexes once each.

categoricals: Give "reverse" members more descriptive, shorter names.

categoricals: Remove unused function categoricals_get_n_variables().

This function output debugging info on stdout, so clearly it wasn't
important.

categoricals: Don't warn on hash collisions.

Hash collisions are not errors.

categoricals: Improve comments.

categoricals: Remove 'dep_excl' parameter.

It was not used for anything.

tests: Add "categorical" keyword to tests that use categoricals.

This makes it easier to run tests just for these.

interaction: Better document and update code to modern style.

output: Remove support for nested tables.

They are no longer used.

SYSFILE INFO: Get rid of nested tables.

Nested tables aren't really necessary and make a number of things harder in
the output subsystem.  SYSFILE INFO and DISPLAY, which share code, were the
only code that used them, so this removes them from that code.

get-data-psql.at: Make test work with Debian pg_wrapper arrangement.

It had been years since I tested Postgres, but I was making a change that
would affect the Postgres test, and I found out that the test didn't work.
This fixes it.

segment: Fix behavior when #! line is not new-line terminated.

The code here is supposed to maintain a invariant that, when it returns a
nonnegative value, it initializes *type, but it failed to do that when a
#! line did not end in a new-line.  This fixes the problem.

Bug #55101.
Thanks for Friedrich Beckmann for narrowing down the problem.
Found by the Debian buildd: https://buildd.debian.org/status/fetch.php?pkg=pspp&arch=arm64&ver=1.2.0-1&stamp=1543183214&raw=0

ascii: Fix assertion in ascii_output_table_item().

The previous assertion did not actually detect the bug it was intended to
cover.

ascii: Update min_breaks along with width and length.

min_breaks has to be no larger than the page width (or length), otherwise
the rendering algorithm fails, but the automatic update for TTYs didn't
take that into account.

render: Use "long long" instead of "double" for arithmetic.

When I wrote this code in 2010, it seemed reasonable to me to use
floating-point arithmetic to do large integer calculations, because 64-bit
machines were not yet pervasive.  Over 8 years later, 32-bit machines are
now a rarity.  This commit switches types and modernizes the coding style.

This fixed an assertion failure that I was getting mysteriously while
rendering a particular table.  I didn't investigate further because using
integers seemed like a much better idea anyway.

tests: Disable Address Sanitizer SIGSEGV handler for intentional SIGSEGV.

FREQUENCIES: Avoid buffer overrun when there is no valid data.

Reported by Address Sanitizer.

ONEWAY: Fix use of stack-allocated variable outside its scope.

The 'payload' object is a kind of class and should be allocated statically.

Found by Address Sanitizer.

render: Fix pathological case where column minimum width exceeds maximum.

data-out: Clarify the meaning of the 'encoding' parameter.

Signed-off-by: Ben Pfaff <blp@cs.stanford.edu>

psppire: Fix multiple definitions of align_enum_type and two others.

These were defined in both psppire-dict.c and widgets.c, which causes a
problem building with -fno-common (which is desirable because it allows
Address Sanitizer to work better).

Check for python interpreter at configure time and document the requirement.

test-date-input.py: Make compatible with Python 3.

fixed setting the font size via css syntax - Closes Bug #55006

The pspp 1.2.0 release showed a problem with setting the font via
the font selection dialog. The root cause is that the style
setting should be done via css syntax and not pango syntax. I
changed the code to do the style setting via css syntax.

See: https://savannah.gnu.org/bugs/?55006

The minimum width setting in the comment dialog does not work how
it is implemented. I removed that code part as it does not seem
to be crucial. At least on MacOS the default
width is large enough to hold 80 characters. Even without that
the user can increase the size of the dialog.

changed install directory for pspp.appdata.xml to metainfo

The default directory for the appdata xml file changed
from appdata to metainfo. During debian package development
lintian complained about the wrong location.

changed emacs mode description to comply with elpa

During the debian package development lintian proposed
to install emacs mode via the elpa system. I changed
the pspp emacs mode description to comply to elpa.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

Release version 1.2.0.

Add support for MTIME and YMDHMS.

tests: Refactor data-out tests for dates and times.

README.Git: Upgrade recommended version of Gnulib.

Thanks to Frans Houweling <fhouweling@email.it> and Bruno Haible for
identifying a problem with the previous version.

fixed strange character in polish translation email

The strange character results in a build failure on MacOS

hash-functions: Avoid signed integer overflow.

cppcheck reported that 0xdeadbeef + 8 yielded signed integer overflow.
This is probably harmless, as long as the compiler doesn't do something
really strange, but it's even better if we just ensure that this
arithmetic is done as unsigned.

Reported by John Darrington.

Fix possible null pointer dereference in linreg_predict.

Found by cppcheck.

PsppireSpreadSheetModel: Remove useless check and substitute a useful one.

Found by cppcheck.

configure.ac: Recent ssw to 0.3+

PspppireImportAssistant: New function textfile_create_reader.

* src/ui/gui/psppire-import-assistant.c (textfile_create_reader): New function.

lexer: Fix details of journaling.

This fixes test 1075: ASCII driver syntax printback.

Reported by John Darrington and Jeremy Lavergne.
Fixes: b4f585e70eca ("lexer: Fix buffer overread in journaling when source does not end in \n.")
Fixes: e0f9210e814d ("lexer: Add support for embedded \0 bytes and missing trailing new-line.")

Reference count struct dictionary.

This change:

* Adds a ref count to struct dictionary.
* Wraps dict_destroy in a ref-counted wrapper dict_unref.
* Replaces most calls to dict_destroy with dict_unref.
* Adds a new function dict_ref.
* Changes PsppireDict so take a reference to the struct dict it contains.
* Fixes some leaked dictionaries in PsppireImportAssistant.

lexer: Fix buffer overread in journaling when source does not end in \n.

An earlier commit removed the requirement that a source file ends in \n,
but the lexer still made that assumption.  This is intended to fix the
problem.  (Probably, some new tests should be added.)

Thanks to John Darrington for reporting the problem.

Fixes: e0f9210e814d ("lexer: Add support for embedded \0 bytes and missing trailing new-line.")

psppire-import-assistant.c (psppire_import_assistant_generate_syntax): Append newline at end of syntax.

src/data/mdd-writer.c: Avoid compiler warning

value-variant.c: Avoid read from beyond end of buffer in string values.

sys-file-reader: Tolerate missing MRSETS label source value.

Bug #54724.
Thanks to Peter Lemenkov <lemenkov@gmail.com> for reporting this bug.

pspp-dump-sav: Better handle unreasonable variable label lengths.

Bug #54725.
Thanks to Peter Lemenkov for reporting this bug.

variable-parser: Fix null deref on error path in parse_DATA_LIST_vars().

Bug #54685.
Thanks to Tianxiao Gu for reporting this bug.

lexer: Add support for embedded \0 bytes and missing trailing new-line.

The lexer, at a low level, has not supported \0 bytes in the input stream
because it used such a byte as the end-of-input indicator.  This caused
some awkwardness for the higher-level lexer, which had to remove and flag
\0 bytes as it read them.  This caused a bug in the higher-level lexer,
which raised an error for each \0 byte it removed but did so when the
lexer was in an intermediate state, which could read uninitialized data.

This commit fixes the problem by adding support for \0 bytes to the
low-level lexer (segmenter).  At the same time, it adds support for input
that doesn't end in a new-line character.

Bug #54664.
Thanks to Tianxiao Gu for reporting this bug.

DO REPEAT: Avoid relying on null terminators.

find_dummy_var() currently relies on the string passed in to have a null
terminator (even though it accepts a length).  This is safe in the current
tree but an upcoming commit will not ensure that it is null-terminated, so
this commit removes the dependency.

command-name: Avoid read past end of input buffer in find_word().

When the input substring S is not null-terminated, find_word() could read
past its end looking for a non-digit.  This fixes the problem.