src/data/mdd-writer.c: Avoid compiler warning

value-variant.c: Avoid read from beyond end of buffer in string values.

sys-file-reader: Tolerate missing MRSETS label source value.

Bug #54724.
Thanks to Peter Lemenkov <lemenkov@gmail.com> for reporting this bug.

pspp-dump-sav: Better handle unreasonable variable label lengths.

Bug #54725.
Thanks to Peter Lemenkov for reporting this bug.

variable-parser: Fix null deref on error path in parse_DATA_LIST_vars().

Bug #54685.
Thanks to Tianxiao Gu for reporting this bug.

lexer: Add support for embedded \0 bytes and missing trailing new-line.

The lexer, at a low level, has not supported \0 bytes in the input stream
because it used such a byte as the end-of-input indicator.  This caused
some awkwardness for the higher-level lexer, which had to remove and flag
\0 bytes as it read them.  This caused a bug in the higher-level lexer,
which raised an error for each \0 byte it removed but did so when the
lexer was in an intermediate state, which could read uninitialized data.

This commit fixes the problem by adding support for \0 bytes to the
low-level lexer (segmenter).  At the same time, it adds support for input
that doesn't end in a new-line character.

Bug #54664.
Thanks to Tianxiao Gu for reporting this bug.

DO REPEAT: Avoid relying on null terminators.

find_dummy_var() currently relies on the string passed in to have a null
terminator (even though it accepts a length).  This is safe in the current
tree but an upcoming commit will not ensure that it is null-terminated, so
this commit removes the dependency.

command-name: Avoid read past end of input buffer in find_word().

When the input substring S is not null-terminated, find_word() could read
past its end looking for a non-digit.  This fixes the problem.

MATRIX DATA: Fix memory leaks

sys-file-reader: Fix null deref on bad $@Role attribute.

When a variable had a bad $@Role attribute, this was effectively read as
an attribute without any values.  This is the only way to produce such an
attribute.  The system file reader assumed that every attribute had at
least one value and segfaulted if $@Role did not.

This commit fixes both the ultimate cause of the segfault, by dropping
attributes with no values, and the proximate cause, by ignoring $@Role
attributes with no values.  Either fix by itself would be sufficient to
avoid the segfault.

Thanks to Tianxiao Gu for reporting the problem.
Bug #54687.

Increase the required Gtk+ version to 3.18.0

Since ssw requires this version it is not sensible for
pspp have different requirements.

* configure.ac: Update Gtk+ version number.
* INSTALL: Update Gtk+ version number.

Recommend Gtk+ version 3.22 or later.

Adresses concern in bug #52500

* INSTALL: Add a comment about GTK+ version

ODS reader: Deal with case where /READNAMES vs. non-unity column spans.

* src/data/ods-reader.c (ods_make_reader): Populate var_specs for the entire
  column span.
* tests/language/data-io/readnames.ods: New file
* tests/automake.mk:  Add it.
* tests/language/data-io/get-data-spreadsheet.at:  New test.

Change signature of sheet syntax generator function.

* src/ui/gui/psppire-import-assistant.c (sheet_spec_gen_syntax): Pass mutable string
instead of returning char *.

Import Assistant: Disallow editing of the data sheet previewer.

* src/ui/gui/psppire-import-assistant.c (formats_page_create): Set the editable
property on the data sheet.

Gui Import Assistant: Populate the assistant when importing spreadsheets.

* src/ui/gui/psppire-import-assistant.c

Whitespace changes only

Update comments.

* src/data/spreadsheet-reader.h (struct spreadsheet_read_options): Elaborate
  comments.

Import Assistant: Fix minor memory leak.

* src/ui/gui/psppire-import-assistant.c (prepare_formats_page): Reduce scope and
  introduce dereference variable when no longer needed.

Fix crash when attempting to add a new variable in the middle of the dictionary.

Fixes bug #52551.

* src/ui/gui/psppire-variable-sheet.c (change_var_property): Don't attempt to
  alter a variable property if it's index is more than one below the last index.

Updated translations from translationproject.org

* po/uk.po: Update Ukranian translation.

gui: fixed crash when entering data for user defined currency variable

psppire crashed when data is entered for a variable of type
user defined currency. The bug description is:

https://savannah.gnu.org/bugs/index.php?54036

which was first reported by Larissa Setzer. The reason was
that currency format was not handled as number. This patch
fixes this bug.

tests: Add missing file.

Fixes: 59e520005100 ("New command SAVE DATA COLLECTION.")

New command SAVE DATA COLLECTION.

Requested by Dave Trollope.

Make libxml2 a required build dependency.

This makes the logic for what is required versus optional much simpler.  An
upcoming commit will introduce a new libxml2 user.

SAVE TRANSLATE: Allow variable names with space, etc. in output.

The SPSS manuals actually document this to work and I've never noticed
before.  This fixes the feature omission.

Reported by Elio Spinello <elio@drspinello.com>.

lexer: Fix implementation of lex_force_string_or_id().

Change a test to make sure that it works.

Found by inspection.

Updated hungarian translation from translationproject.org

k-means dialog - number of clusters gtkentry field not visible

The gtkentry field for the number of clusters in the k-means dialog
has a width of zero.
Number entries in this field are not visible with this width, although
the edit is done. I changed the width_chars to 5. Then the field is
visible in the dialog.

psppire_data_window: Don't crash when trying to delete cases when none are selected

psppire_data_editor: Don't crash when trying to insert when no variable or case is selected

Frequencies Piecharts (gui): Emit 'NOMISSING' when appropriate.

Fixes bug #52394.

Fix compiler warning

Avoid compiler warnings when building without readline

Recent spread-sheet-widget to version 0.2

Provide wrapper for gtk_menu_popup_at_pointer.

This should keep older versions of Gtk+ happy.  Tested on Gtk+-3.18

Rename myreversefunc -> psppire_data_store_string_to_value

PsppireVariableSheet: Do not immediately display dialogs of cell renderers

Fix inappropriate comments in headers

marshaller-list: Remove unused marshallers

Set the variable display width instead of adding an override.

When the column width is dragged in the datasheet, instead of adding
a size override, change the variable's display width accordingly.

psppire-window: Avoid writing null pointer constant as '\0'.

Found by GCC 7.2.

psppire-delimited-text: Clear entire 'cache_starts' buffer.

The buffer is an array of 512 elements, not 512 bytes.

Found by GCC 7.2.

Avoid unfounded warnings from GCC 7.2.

GCC thinks that these printf formats can produce output longer than the
buffer that is available for them.  I think that it is wrong, but it is
easy enough to use larger (or variable-length) buffers, so this commit
does that.

data-in: Fix parsing time delimiters in parse_date().

Found by GCC 7.1.
Reported by John Darrington.

SORT VARIABLES: Improve stability of sort.

The sort was being made "stable" by comparing variables' addresses in
memory.  There's nothing particularly predictable about that, especially
from one malloc implementation to another.  This commit fixes the stability
by comparing the variables' dictionary indexes instead.

Bug #52072.

scan: Add cast to silence Clang warning about converting enum types.

psppire-output-view: Use correct enumeration type in call.

gtk_widget_override_background_color() takes GtkStateFlags, not
GtkStateType.

Found by Clang.

cairo-chart: Make it clear that fabs() of integer values is intended.

Reported by Clang.

PRINT: Remove unused function.

Reported by Clang.

pc+-file-reader, sys-file-reader: Fix misuses of zero as null pointer.

Found by Clang.
Reported by Friedrich Beckmann.
Bug #52045.

float-format: Remove unused functions.

Reported by Clang.

compiler: Fix test for "optimize" attribute.

This was introduced with GCC 4.4.  This fixes build warnings compiling with
Clang, which pretends to be GCC 4.3 and does not support the "optimize"
attribute.

po: Update translations from translationproject.org.

PsppireDataStore (myreversefunc): Insert variables if attempting to access variable beyond the last

uint -> guint

changed abs to labs function to avoid warning

During compilation on MacOS with clang I saw a warning about
a type mismatch for the abs function. I adapted the function
from abs to labs.

removed duplicate const declaration

During clang compilation the following warning

  duplicate 'const' declaration specifier [-Wduplicate-decl-specifier]
  extern const char const examples_dir[];
                  ^
is shown. I removed the duplicate const declaration to avoid the
warning.

Disable drag and drop on sheet axes for which there is no connected signal

Set the "editable" properties of the sheets to TRUE

Fix some compiler warnings

PsppireImportAssistant.c: Remove unused function

PsppireDataSheet.c: Indicate filtered out cases in the row headers

Merge remote-tracking branch 'origin/sheet'

src/output/cairo.c (xr_chart_renderer): Set the chart size to 0.8 of the smallest page dimension

src/output/cairo.c (xr_chart_render): New variable chart_height

pspp.appdata.xml: Update and upgrade.

I added a number of elements suggested by Richard Hughes way back in
August 2016, plus some automatically added by "appstream-util upgrade".
It looks like the whole file changed because appstream-util reindented it,
but if you view ignoring white space changes you can see that the actual
changes are much smaller.

Revert "Revert "Revert "added a description how to update linux distributions"""

This reverts commit d7e52c8488b7cc4b7352f2057922c779b6ee25b1.

Revert "GNU/Linux installation/update - Use GNU/Linux wording - Remove Ubuntu"

This reverts commit 3d183ce2adfc32a104c91baa3ab5909d6f7afaa1.

Update translations from translationproject.org.

GNU/Linux installation/update - Use GNU/Linux wording - Remove Ubuntu

I changed the wording to GNU/Linux throughout the text and removed
the reference to Ubuntu.

Revert "Revert "added a description how to update linux distributions""

This reverts commit ad4f9604cc877272fe504234e8b9078a7ce76e17.

Focus the sheet when the user hits enter in the datum entry

PsppireValueEntry: New signal - edit-done

Whitespace changes

PsppireDataEditor: focus the datum entry widget when F2 is pressed

Emit the "items-changed" signal upon data_store_set_value

Fix memory leak

Correct URL in documentation.

Improve bug reporting documentation, and mention pspp-security list.

Set the cell value when the reference entry changes

Whitespace changes only

Make the default view the variable view instead of the data view

examples/physiology.sav: Set the display width of the 'sex' variable.

Revert "added a description how to update linux distributions"

This reverts commit 0ec7c606844768cfc501d6213ffa17ebdfda1bab.

PsppireDict: Add a quarter of a unit to the displayed width.

This avoids the text appearing cramped.

Whitespace changes only

Recent the dependency on spread-sheet-widget

Honour the display width variable property

Cope with changes to ssw_axis_model (upstream)

added a description how to update linux distributions

The usual way to obtain pspp in linux distributions is to
use the pspp version which is part of the distribution. I
described ways to update the pspp version by using backports,
a ppa or creating a new binary package from a source package.

Merge remote-tracking branch 'origin/master' into sheet

tests: Add pspp-convert.at to Git.

This was accidentally omitted from the repository.

Release version 1.0.1.

po: Update translations from translationproject.org.

sys-file-reader: Avoid assert-fail for duplicate attribute names.

CVE-2017-12961.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1482436.
See also http://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2017-12961.
See also http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2017-12961.
Found by team OWL337, using the collAFL fuzzer.

sys-file-reader: Better handle duplicate names without long names.

The reader did not properly handle the case where variable short names
had duplicates and the system file did not include long names.  In this
case, the reader still tried to use the (duplicate) short names as the
long names, which could in some cases cause a secondary name collision in
the no-long-names case in parse_long_var_names(), and assert-failed.

This commit first fixes the handling of duplicate short names: it sets
the long name to the unique chosen short name, instead of the original
duplicate short name.  Then as an additional measure it refactors the code
a little to always handle duplicates in rename_var_and_save_short_names().
I am not sure that that is necessary but it's a little bit of a code
cleanup anyhow.

CVE-2017-12960.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1482433.
See also http://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2017-12960.
See also http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2017-12960.
Found by team OWL337, using the collAFL fuzzer.

sys-file-reader: Fully verify multiple response set names.

Until now, the code only checked the first character of the name, which
made it possible to assert-fail when the mrset was actually added.

CVE-2017-12959.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1482432.
See also http://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2017-12959.
See also http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2017-12959.
Found by team OWL337, using the collAFL fuzzer.

data-out: Pass correct width to value_str() in output_AHEX().

AHEX16 is short enough to work as a short string, but output_AHEX() was
treating it as a long string, which caused string data to be dereferenced
as a pointer.

CVE-2017-12958.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1482429.
See also http://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2017-12958.
See also http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2017-12958.
Found by team OWL337, using the collAFL fuzzer.

pspp-convert: Fix crash when the output file cannot be created.