sys-file-reader: Better handle duplicate names without long names.

The reader did not properly handle the case where variable short names
had duplicates and the system file did not include long names.  In this
case, the reader still tried to use the (duplicate) short names as the
long names, which could in some cases cause a secondary name collision in
the no-long-names case in parse_long_var_names(), and assert-failed.

This commit first fixes the handling of duplicate short names: it sets
the long name to the unique chosen short name, instead of the original
duplicate short name.  Then as an additional measure it refactors the code
a little to always handle duplicates in rename_var_and_save_short_names().
I am not sure that that is necessary but it's a little bit of a code
cleanup anyhow.

CVE-2017-12960.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1482433.
See also http://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2017-12960.
See also http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2017-12960.
Found by team OWL337, using the collAFL fuzzer.

sys-file-reader: Fully verify multiple response set names.

Until now, the code only checked the first character of the name, which
made it possible to assert-fail when the mrset was actually added.

CVE-2017-12959.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1482432.
See also http://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2017-12959.
See also http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2017-12959.
Found by team OWL337, using the collAFL fuzzer.

data-out: Pass correct width to value_str() in output_AHEX().

AHEX16 is short enough to work as a short string, but output_AHEX() was
treating it as a long string, which caused string data to be dereferenced
as a pointer.

CVE-2017-12958.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1482429.
See also http://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2017-12958.
See also http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2017-12958.
Found by team OWL337, using the collAFL fuzzer.

pspp-convert: Fix crash when the output file cannot be created.

Fix some typos (found by codespell)

Most of them were in documentation and comments.

Signed-off-by: Stefan Weil <sw@weilnetz.de>

Remove PSEAL macro.  It is no longer useful.

Increase version number to 1.0.0.

It's time.

Update translations from translationproject.org.

po: Use "rsync" instead of "wget" for po-update target.

This is much faster.

Release PSPP version 0.11.0.

Ignore all files under src/ui/gui/icons except a few actual source files.

doc: Ignore generated documentation files.

Update German and Dutch translations from translationproject.org

Update translations from translationproject.org

system-file-format: More string fields with null bytes spotted.

Manoharan <s.manoharan@auckland.ac.nz> reported that he has also seen
system files that contain string fields with compressed null bytes, so
reword the description to make this sound less exotic.

Update version number to 0.10.5-pre3.

This pre-release is primarily to get the CVE-2017-10791 and CVE-2017-10792
fixes into a tarball for folks who find tarballs easier to work with.

linreg: Comment out unused function to avoid compiler warning.

sys-file-reader: Ignore duplicate value labels written by ReadStat.

The ReadStat software writes duplicate value labels due to a
misunderstanding of string widths.  This change make PSPP ignore these
duplicates.

sys-file-reader: Tolerate nominal case size of 0 without warning.

The software at https://github.com/WizardMac/ReadStat seems to always write
0, so there's not much value in warning.

sys-file-reader: Accept document records with no document lines.

This allows PSPP to accept system files that appear to be produced by the
ReadStat software at https://github.com/WizardMac/ReadStat.

Thanks to ftr for reporting this bug via pspp-users at:
http://lists.gnu.org/archive/html/pspp-users/2017-07/msg00002.html

Linreg.c: Remove QR decomposition optimisation.

Fixes bug #51373.

linreg.c: Fix typo

doc/expressions.texi: Correct documentation of MISSING and SYSMIS functions.

spv-file-format: Improve description of file format.

doc: Mark SPSS Viewer format chapter properly as an appendix.

Otherwise some of the output looked a little confused when it went through
TeX.

doc: Keep copyright and license comments from showing up in TeX output.

The "\input texinfo" line is what changes the comment syntax from TeX
syntax to Texinfo syntax, so it has to go before the @c comments or else
those comments show up in output produced by TeX.

spv-file-format: Improve description of structure member format.

tests: Use path search for zip-test instead of full path.

This allows "check-valgrind" to work properly since it relies on putting
wrappers early in $PATH.

Update to newest Gnulib.

Harry Thijssen reported an issue with the previous version on Windows.
John Darrington suggested an update, since the Gnulib developers have been
working through related problems.

doc/statistics.texi: Add comma after @xref.

Apparently older versions of makeinfo insist on this.

Reported-by: Harry Thijssen
Fix-by: Ben Pfaff

tests: Avoid failure based on encoding name differences.

glibc and Mac OS X call the ASCII encoding by different names, which caused
differing output and a test failure.  This fixes the problem.

Reported by Jeremy Lavergne.

spv-file-format: Add much more detail.

zip-reader: Use xstrdup() instead of strdup().

Move XML declarations to the start of .ui files.

Apparently xgettext complains if comments start the file.

Fix erroneous subsitute by previous commit.

Commit 691a034d7f2139076fa012739dffd40ef5db4a9b  inadvertenntly
commented out the first line of every .at file.  This commit
fixes that.

Add copyright and licence notices to files which lack them.

The savannah hackers have been recently complaining about lack of copyright/licence notices.

tests: Add tests against regression for two previously fixed bugs.

sys-file-reader: Fix integer overflows in parse_long_string_missing_values().

Crafted system files caused integer overflow errors that in turn caused
aborts.  This fixes the problem.

CVE-2017-10791.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1467004.
See also https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=866890.
See also https://security-tracker.debian.org/tracker/CVE-2017-10791.
Found by team OWL337, using the collAFL fuzzer.

sys-file-reader: Avoid null dereference skipping bad extension record 18.

read_record() assumed that read_extension_record() never set its output
argument to NULL when it returned true, but this is possible in an error
case.

CVE-2017-10792.
See also https://bugzilla.redhat.com/show_bug.cgi?id=1467005.
See also https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=866890.
See also https://security-tracker.debian.org/tracker/CVE-2017-10792.
Reported by team OWL337, with fuzzer collAFL.

Update version number to 0.10.5-pre2.

This prerelease is to update the Gnulib version, to fix the GCC 7 problems.

README.Git: Recommend newer Gnulib, to avoid GCC 7 segfaults.

Reported by Matthias Klose <doko@debian.org>
at https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=853623.

Bug #51318.

perl-module: Avoid VERSION redefinition warning from compiler.

If the PSPP version includes a suffix like "-pre1", then Perl will strip
that suffix from the version it passes to the compiler using -DVERSION=...,
and <config.h> will re-define it with the full version string.  This causes
a warning.

This change avoids the warning.  I am not yet aware of a new problem that
it causes.

FACTOR: Improve calculation of Kaiser-Meyer-Olkin and add a test

FACTOR: Add Anti-image matrix output

Updated German translation from translationproject.org

Add documentation for MATRIX DATA /N

MATRIX DATA: Add /N subcommand

Allow dialog boxes to be cancelled by hitting the Escape key.

Closes bug #51225

Fixed perl regression problem due to Version name - Fixes Bug #51218

The regression failed in some perl tests due to an incompatible
pspp version number. I changed to a version number that includes
a "-". The problem is described in acinclude.m4. See

  The PSPP autobuilder appends a build number to the PSPP version number,
  e.g. "0.7.2-build40".  But Perl won't parse version numbers that contain
  anything other than digits and periods, so "-build" causes an error.  So we
  define $(VERSION_FOR_PERL) that drops everything from the hyphen onward.
  VERSION_FOR_PERL=`echo "$VERSION" | sed 's/-.*//'`
  AC_SUBST([VERSION_FOR_PERL])

The version name was 0.10.5pre1 without a "-". Therefore the version name
for perl results in a problem.

Use a more reliable way of setting the initial state of PsppireDialogAction objects.

Fix bug where the Examine subdialogs appeared multiple times.

Update translations from translationproject.org

Remove duplicate accelerator from the one-way anova menuitem.

Reported-by: Yuri Chornoivan

Update version number to 0.10.5pre1, for translations.

K Independent Samples Dialog: Fix compiler warnings.

Updated the Dutch translation from translationproject.org

Remove commented out code

Fix potential crash if matrix file variables are of unexpected types

Fix buffer overflow which could occur if the matrix reader encounters a badly formed file.

Remove unreachable code

matrix-reader: Use strcpy() on char arrays, in next_matrix_from_reader().

Fixes GCC warning "pointer targets in passing argument 1 of 'strcpy'
differ in signedness".

factor: Fix return type of do_factor_by_matrix().

This function had a "bool" return type but nothing used it.

Fixes GCC warning "'return' with no value, in function returning non-void".

Reported by Jeremy Lavergne.

New Dialog: Non Parametric | K Indepdendent Samples

PsppireValueEntry: Use a more reliable way to override parent property.

Setting the property in the _new function doesn't work if the object is constructed
via GtkBuilder for example.

Zip Reader: initialise error string earlier.

Fixed a bug which could have caused a crash if pspp were presented
with a corrupt zip file.

Fixed bug which caused a crash in GET DATA

MEANS: Prevent parser from entering infinite loop.

Fixes bug #51008
.

src/math/linreg.c: Don't calculate the intercept for regression through the origin

src/math/linreg.c: Encapsulate this object better.

REGRESSION: Implement /ORIGIN subcommand.

DESCRIPTIVES: Fix a bug where the parser could enter an infinite loop

FACTOR: Don't try to perform analysis if there are no variables.

FACTOR: Do not try to run an analysis if no matrix is present

FACTOR: Fix a crash when bad input was presented

FACTOR: Make idata parameters const where they can be.

DATA MATRIX: Avoid crash on invalid input

Fix memory leaks in FACTOR/MATRIX

Remove unused variable

FACTOR: Use consistent indexing when displaying matrices.

In any sane use case this will make no difference, since
all covariance and correlation matrices are symetrical.
However for correctness and ease of debugging this helps.

matrix reader: Fix bug which incorrectly read in matrix material.

MATRIX DATA: Allow non-symetric matrices if /FORMAT = FULL.

Matrix reader, fix comment to reflect reality.

MATRIX DATA: Cope with long variable names

FACTOR: Allow an option '=' after MATRIX

REGRESSION: Allow independent variables to be specified on the ENTER subcommand.

This is more typical of the syntax that third party software generates.

FACTOR: Add printout of the covariance matrix and add a test

FACTOR: New subcommand: MATRIX IN

New function covariance_from_correlation

New module matrix-reader

Added a new module to help read the files created by MATRIX DATA

MATRIX DATA: Fix crash when duplicate variables are specified

MATRIX DATA: Handle multiple splits properly

MATRIX DATA: Rewrite to canonical rowtype values

Updated the French translation from translationproject.org

Added the MATRIX DATA procedure.

parse_DATA_LIST_vars: Reduce scope of variable 'name2'

Whitespace changes only: Remove trailing whitespace

Do not allow value labels dialog to enter a label for an invalid value.

Fixes bug #45429

Remove inappropriate single selection-mode properties from dialog actions.

Closes bug #50029

Don't try to use TIOCGWINSZ if termios.h is not available.

Fix grammatical error in NEWS