output: Factor common code for command name tracking out of all drivers.

This reduces redundancy.

message: Refactor initializations for struct msg throughout the tree.

A new member will be added in an upcoming commit, and the new style of
initialization ensures that the member will always be initialized

variable: Make property function return untranslated versions.

This makes it possible for the callers to do the translation at the time
it is needed.  It will be particularly useful in an upcoming commit.

missing-values: New function mv_to_string().

This seems like something that should be handled by the missing value code,
not by SYSFILE INFO.

bt, abt: Add initialization and iteration macros.

dictionary: New function dict_get_weight_format().

Just a convenience.

ascii: Get rid of the idea of pages.

In the era when I started writing this code, people still printed output on
dot-matrix printers and fanfold paper.  That's no longer a realistic use
case: today, no one prints plain text output.  It's just for viewing on a
screen, and on a screen there is no need or desire to break tables up
vertically into virtual "pages".

table: Get rid of TAL_GAP.

This is only necessary in pathological cases.  Those cases don't really
come up in normal usage and as PSPP shifts toward pivot tables they won't
come up at all.

cairo: Get rid of useless parameter 'y' to xr_layout_cell_text().

categoricals: Convert tabs to spaces.

categoricals: Update style and modernize.

categoricals: Get rid of 'df_prod' array.

It brought minimal value in that everything it did could be recalculated
on the fly without increasing the big-O cost.

categoricals: Drop 'n_vals' member from struct variable_node.

It was redundant with counting the elements in valmap, which wasn't
used many places anyway.

categoricals: Add array of variable_nodes to reduce hash lookups.

categoricals: Avoid setting value_node indexes multiple times.

A given variable_node can be in more than one interaction, but it's only
necessary to set the variable_node's value_node indexes once each.

categoricals: Give "reverse" members more descriptive, shorter names.

categoricals: Remove unused function categoricals_get_n_variables().

This function output debugging info on stdout, so clearly it wasn't
important.

categoricals: Don't warn on hash collisions.

Hash collisions are not errors.

categoricals: Improve comments.

categoricals: Remove 'dep_excl' parameter.

It was not used for anything.

tests: Add "categorical" keyword to tests that use categoricals.

This makes it easier to run tests just for these.

interaction: Better document and update code to modern style.

output: Remove support for nested tables.

They are no longer used.

SYSFILE INFO: Get rid of nested tables.

Nested tables aren't really necessary and make a number of things harder in
the output subsystem.  SYSFILE INFO and DISPLAY, which share code, were the
only code that used them, so this removes them from that code.

get-data-psql.at: Make test work with Debian pg_wrapper arrangement.

It had been years since I tested Postgres, but I was making a change that
would affect the Postgres test, and I found out that the test didn't work.
This fixes it.

segment: Fix behavior when #! line is not new-line terminated.

The code here is supposed to maintain a invariant that, when it returns a
nonnegative value, it initializes *type, but it failed to do that when a
#! line did not end in a new-line.  This fixes the problem.

Bug #55101.
Thanks for Friedrich Beckmann for narrowing down the problem.
Found by the Debian buildd: https://buildd.debian.org/status/fetch.php?pkg=pspp&arch=arm64&ver=1.2.0-1&stamp=1543183214&raw=0

ascii: Fix assertion in ascii_output_table_item().

The previous assertion did not actually detect the bug it was intended to
cover.

ascii: Update min_breaks along with width and length.

min_breaks has to be no larger than the page width (or length), otherwise
the rendering algorithm fails, but the automatic update for TTYs didn't
take that into account.

render: Use "long long" instead of "double" for arithmetic.

When I wrote this code in 2010, it seemed reasonable to me to use
floating-point arithmetic to do large integer calculations, because 64-bit
machines were not yet pervasive.  Over 8 years later, 32-bit machines are
now a rarity.  This commit switches types and modernizes the coding style.

This fixed an assertion failure that I was getting mysteriously while
rendering a particular table.  I didn't investigate further because using
integers seemed like a much better idea anyway.

tests: Disable Address Sanitizer SIGSEGV handler for intentional SIGSEGV.

FREQUENCIES: Avoid buffer overrun when there is no valid data.

Reported by Address Sanitizer.

ONEWAY: Fix use of stack-allocated variable outside its scope.

The 'payload' object is a kind of class and should be allocated statically.

Found by Address Sanitizer.

render: Fix pathological case where column minimum width exceeds maximum.

data-out: Clarify the meaning of the 'encoding' parameter.

Signed-off-by: Ben Pfaff <blp@cs.stanford.edu>

psppire: Fix multiple definitions of align_enum_type and two others.

These were defined in both psppire-dict.c and widgets.c, which causes a
problem building with -fno-common (which is desirable because it allows
Address Sanitizer to work better).

Check for python interpreter at configure time and document the requirement.

test-date-input.py: Make compatible with Python 3.

fixed setting the font size via css syntax - Closes Bug #55006

The pspp 1.2.0 release showed a problem with setting the font via
the font selection dialog. The root cause is that the style
setting should be done via css syntax and not pango syntax. I
changed the code to do the style setting via css syntax.

See: https://savannah.gnu.org/bugs/?55006

The minimum width setting in the comment dialog does not work how
it is implemented. I removed that code part as it does not seem
to be crucial. At least on MacOS the default
width is large enough to hold 80 characters. Even without that
the user can increase the size of the dialog.

changed install directory for pspp.appdata.xml to metainfo

The default directory for the appdata xml file changed
from appdata to metainfo. During debian package development
lintian complained about the wrong location.

changed emacs mode description to comply with elpa

During the debian package development lintian proposed
to install emacs mode via the elpa system. I changed
the pspp emacs mode description to comply to elpa.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

po: Update translations from translationproject.org.

Release version 1.2.0.

Add support for MTIME and YMDHMS.

tests: Refactor data-out tests for dates and times.

README.Git: Upgrade recommended version of Gnulib.

Thanks to Frans Houweling <fhouweling@email.it> and Bruno Haible for
identifying a problem with the previous version.

fixed strange character in polish translation email

The strange character results in a build failure on MacOS

hash-functions: Avoid signed integer overflow.

cppcheck reported that 0xdeadbeef + 8 yielded signed integer overflow.
This is probably harmless, as long as the compiler doesn't do something
really strange, but it's even better if we just ensure that this
arithmetic is done as unsigned.

Reported by John Darrington.

Fix possible null pointer dereference in linreg_predict.

Found by cppcheck.

PsppireSpreadSheetModel: Remove useless check and substitute a useful one.

Found by cppcheck.

configure.ac: Recent ssw to 0.3+

PspppireImportAssistant: New function textfile_create_reader.

* src/ui/gui/psppire-import-assistant.c (textfile_create_reader): New function.

lexer: Fix details of journaling.

This fixes test 1075: ASCII driver syntax printback.

Reported by John Darrington and Jeremy Lavergne.
Fixes: b4f585e70eca ("lexer: Fix buffer overread in journaling when source does not end in \n.")
Fixes: e0f9210e814d ("lexer: Add support for embedded \0 bytes and missing trailing new-line.")

Reference count struct dictionary.

This change:

* Adds a ref count to struct dictionary.
* Wraps dict_destroy in a ref-counted wrapper dict_unref.
* Replaces most calls to dict_destroy with dict_unref.
* Adds a new function dict_ref.
* Changes PsppireDict so take a reference to the struct dict it contains.
* Fixes some leaked dictionaries in PsppireImportAssistant.

lexer: Fix buffer overread in journaling when source does not end in \n.

An earlier commit removed the requirement that a source file ends in \n,
but the lexer still made that assumption.  This is intended to fix the
problem.  (Probably, some new tests should be added.)

Thanks to John Darrington for reporting the problem.

Fixes: e0f9210e814d ("lexer: Add support for embedded \0 bytes and missing trailing new-line.")

psppire-import-assistant.c (psppire_import_assistant_generate_syntax): Append newline at end of syntax.

src/data/mdd-writer.c: Avoid compiler warning

value-variant.c: Avoid read from beyond end of buffer in string values.

sys-file-reader: Tolerate missing MRSETS label source value.

Bug #54724.
Thanks to Peter Lemenkov <lemenkov@gmail.com> for reporting this bug.

pspp-dump-sav: Better handle unreasonable variable label lengths.

Bug #54725.
Thanks to Peter Lemenkov for reporting this bug.

variable-parser: Fix null deref on error path in parse_DATA_LIST_vars().

Bug #54685.
Thanks to Tianxiao Gu for reporting this bug.

lexer: Add support for embedded \0 bytes and missing trailing new-line.

The lexer, at a low level, has not supported \0 bytes in the input stream
because it used such a byte as the end-of-input indicator.  This caused
some awkwardness for the higher-level lexer, which had to remove and flag
\0 bytes as it read them.  This caused a bug in the higher-level lexer,
which raised an error for each \0 byte it removed but did so when the
lexer was in an intermediate state, which could read uninitialized data.

This commit fixes the problem by adding support for \0 bytes to the
low-level lexer (segmenter).  At the same time, it adds support for input
that doesn't end in a new-line character.

Bug #54664.
Thanks to Tianxiao Gu for reporting this bug.

DO REPEAT: Avoid relying on null terminators.

find_dummy_var() currently relies on the string passed in to have a null
terminator (even though it accepts a length).  This is safe in the current
tree but an upcoming commit will not ensure that it is null-terminated, so
this commit removes the dependency.

command-name: Avoid read past end of input buffer in find_word().

When the input substring S is not null-terminated, find_word() could read
past its end looking for a non-digit.  This fixes the problem.

MATRIX DATA: Fix memory leaks

sys-file-reader: Fix null deref on bad $@Role attribute.

When a variable had a bad $@Role attribute, this was effectively read as
an attribute without any values.  This is the only way to produce such an
attribute.  The system file reader assumed that every attribute had at
least one value and segfaulted if $@Role did not.

This commit fixes both the ultimate cause of the segfault, by dropping
attributes with no values, and the proximate cause, by ignoring $@Role
attributes with no values.  Either fix by itself would be sufficient to
avoid the segfault.

Thanks to Tianxiao Gu for reporting the problem.
Bug #54687.

Increase the required Gtk+ version to 3.18.0

Since ssw requires this version it is not sensible for
pspp have different requirements.

* configure.ac: Update Gtk+ version number.
* INSTALL: Update Gtk+ version number.

Recommend Gtk+ version 3.22 or later.

Adresses concern in bug #52500

* INSTALL: Add a comment about GTK+ version

ODS reader: Deal with case where /READNAMES vs. non-unity column spans.

* src/data/ods-reader.c (ods_make_reader): Populate var_specs for the entire
  column span.
* tests/language/data-io/readnames.ods: New file
* tests/automake.mk:  Add it.
* tests/language/data-io/get-data-spreadsheet.at:  New test.

Change signature of sheet syntax generator function.

* src/ui/gui/psppire-import-assistant.c (sheet_spec_gen_syntax): Pass mutable string
instead of returning char *.

Import Assistant: Disallow editing of the data sheet previewer.

* src/ui/gui/psppire-import-assistant.c (formats_page_create): Set the editable
property on the data sheet.

Gui Import Assistant: Populate the assistant when importing spreadsheets.

* src/ui/gui/psppire-import-assistant.c

Whitespace changes only

Update comments.

* src/data/spreadsheet-reader.h (struct spreadsheet_read_options): Elaborate
  comments.

Import Assistant: Fix minor memory leak.

* src/ui/gui/psppire-import-assistant.c (prepare_formats_page): Reduce scope and
  introduce dereference variable when no longer needed.

Fix crash when attempting to add a new variable in the middle of the dictionary.

Fixes bug #52551.

* src/ui/gui/psppire-variable-sheet.c (change_var_property): Don't attempt to
  alter a variable property if it's index is more than one below the last index.

Updated translations from translationproject.org

* po/uk.po: Update Ukranian translation.

gui: fixed crash when entering data for user defined currency variable

psppire crashed when data is entered for a variable of type
user defined currency. The bug description is:

https://savannah.gnu.org/bugs/index.php?54036

which was first reported by Larissa Setzer. The reason was
that currency format was not handled as number. This patch
fixes this bug.

tests: Add missing file.

Fixes: 59e520005100 ("New command SAVE DATA COLLECTION.")

New command SAVE DATA COLLECTION.

Requested by Dave Trollope.

Make libxml2 a required build dependency.

This makes the logic for what is required versus optional much simpler.  An
upcoming commit will introduce a new libxml2 user.

SAVE TRANSLATE: Allow variable names with space, etc. in output.

The SPSS manuals actually document this to work and I've never noticed
before.  This fixes the feature omission.

Reported by Elio Spinello <elio@drspinello.com>.

lexer: Fix implementation of lex_force_string_or_id().

Change a test to make sure that it works.

Found by inspection.

Updated hungarian translation from translationproject.org

k-means dialog - number of clusters gtkentry field not visible

The gtkentry field for the number of clusters in the k-means dialog
has a width of zero.
Number entries in this field are not visible with this width, although
the edit is done. I changed the width_chars to 5. Then the field is
visible in the dialog.

psppire_data_window: Don't crash when trying to delete cases when none are selected

psppire_data_editor: Don't crash when trying to insert when no variable or case is selected

Frequencies Piecharts (gui): Emit 'NOMISSING' when appropriate.

Fixes bug #52394.

Fix compiler warning

Avoid compiler warnings when building without readline

Recent spread-sheet-widget to version 0.2

Provide wrapper for gtk_menu_popup_at_pointer.

This should keep older versions of Gtk+ happy.  Tested on Gtk+-3.18

Rename myreversefunc -> psppire_data_store_string_to_value

PsppireVariableSheet: Do not immediately display dialogs of cell renderers

Fix inappropriate comments in headers

marshaller-list: Remove unused marshallers

Set the variable display width instead of adding an override.

When the column width is dragged in the datasheet, instead of adding
a size override, change the variable's display width accordingly.

psppire-window: Avoid writing null pointer constant as '\0'.

Found by GCC 7.2.

psppire-delimited-text: Clear entire 'cache_starts' buffer.

The buffer is an array of 512 elements, not 512 bytes.

Found by GCC 7.2.