sys-file-reader: Tolerate nonsensical opcodes in compressed data.

Compressed data in .sav files uses a set of 256 opcodes, some of which make
sense only for numeric data and others of which only make sense for string
data.  However, Jereme Thomas <jereme.thomas@gmail.com> has provided one
file, written by SPSS 14, that uses an opcode that seems to makes sense
only for numeric data in a string field.  So this commit adds support for
these opcodes, although it still warns about the ones other than the exact
one found in the file provided by Jereme.

Release PSPP 0.6.2-rc1.

Update Dutch and Brazilian Portuguese translations.

Thanks to Michel Boaventura, Harry Thijssen, and the coordinators at
translationproject.org.

Make GtkItemEntry compatible with GTK+ 2.17.4 and later.

GTK+ 2.17.4 breaks GtkEntry's buffer into a separate class named
GtkEntryBuffer and eliminates the associated members from GtkEntry.
The GtkItemEntry code in lib/gtksheet attempted to use some of those
members directly, which no longer works, so this commit changes that
code to use public function interfaces instead.  Some of these public
function interfaces were introduced in GTK+ 2.17.4, so those pieces
are conditionalized on the version of GTK+ detected at build time.

This commit makes PSPPIRE compiled with GTK+ before 2.17.4 work properly
only when used with GTK+ before 2.17.4, and similarly when PSPPIRE is
compiled with GTK+ 2.17.4 or later.  There may be a way to avoid that, but
it is not entirely obvious.

With feedback from John Darrington.

Don't pad variable labels written to system files.

Previously, the code to write variable labels to system files accidentally
padded out the variable labels on the right with spaces to a multiple of 4
bytes in length.  With this commit, variable labels will no longer be
padded.

This fixes a genuine bug for variable labels longer than 252 bytes, which
previously were padded out to 256 bytes.  Variable labels are limited to
a maximum of 255 bytes, so PSPP refused to read such files.

Reported-by: Robert Westlund <rob@kinesissurvey.com>

Merge commit 'origin/stable' into stable

Release PSPP 0.6.2-pre6.

Add Brazilian Portuguese translation.

Thanks to Michel Boaventura <michel@cecaps.ufmg.br> and the coordinators
at translationproject.org.

T-TEST: Also fix the case where the correlation is slightly less than -1.0.

Thanks to John Darrington for pointing out the omission.

Update to latest nl.po.

Thanks to unknown-1 and the coordinators at translationproject.org.

T-TEST: Avoid NaN in paired-sample correlation significance calcuation.

Sometimes the correlation comes out just above 1.0 due to inaccuracy of
machine calculation, which causes sqrt(1-corr**2) to yield NaN.  This
commit forces the correlation into the valid range, fixing the problem.

Thanks to Matej Cepl <mcepl@redhat.com> for reporting the problem.
Thanks to John Darrington for suggesting the fix.

pspp_linreg(): Use cache->n_coeffs to set the dimensions of sw, instead of
       cache->n_indeps, which may give incorrect dimension in the case
       of categorical variables. Fixes bug referenced in bug report
       26861.

Release PSPP 0.6.2-pre5.

Fix reversed logic in when to append "/" to path in previous commit.

Fix failure to write output file in GUI on Windows when HOMEPATH is "\".

Thanks to Michel Boaventura for reporting this problem:
http://lists.gnu.org/archive/html/pspp-dev/2009-07/msg00064.html

REGRESSION: Fix access beyond end of allocated region.

From Jason Stover, with modification for stable since the
design_matrix_get_n_cols function does not exist on this branch.

Bug #26861.

Return 0.0 for mean of a categorical variable. Fixes bug mentioned in bug report 26861.

Fixed bug reporting the significance of paired value t-test.

Due to a cut and paste error, the significance of paired
t-tests was wrong when the value of T was positive.
Thanks to Mike Griffiths for reporting this problem.

Fixed bug reporting the significance of paired value t-test.

Due to a cut and paste error, the significance of paired
t-tests was wrong when the value of T was positive.
Thanks to Mike Griffiths for reporting this problem.

Use Harry Thijssen's real name instead of his nick "unknown-1", at his request.

Release PSPP 0.6.2-pre4.

Update to latest nl.po.

Thanks to unknown-1 and the coordinators at translationproject.org.

gui: Fix brown-paper-bag bug in output file name selection.

Thanks to michel@cecaps.ufmg.br for reporting the bug and the fix.

CROSSTABS: Handle long string variables without crashing (bug #26131).

Release PSPP 0.6.2-pre3.

Add Dutch translation.

Thanks to unknown-1 and the coordinators at translationproject.org.

Fix segfault drawing pie charts with old versions of libplot.

If chart_create returned null, we dereferenced a null pointer just below.
Avoid doing this.

Also add similar fixes to other code that calls chart_create.  It may not
be necessary in every case.

Reported by Jason Stover.

Release PSPP 0.6.2-pre2.

Correct default_output_path function on Windows.

Ensure that windows opens the right file for output.

Thanks to Michel Boaventura for reporting this problem.
Fixes bug #26542

Relocate the locale directory.

Based on commit 31e674bbb in master, but stable refers to locale_dir from
different files.

Thanks to Michel Boaventura for reporting the problem.

Release PSPP 0.6.2 prerelease 1.

chart: Fix format string issues in draw_tick callers.

The 'label' argument to draw_tick is used as a printf-type format string,
so callers must pass "%s" to safely use an arbitrary string as a label.

Also, hist_draw_bar was doing its own snprintf, but this commit changes it
to take advantage of that provided by draw_tick.

chart: Fix format string issues in chart_write_title callers.

The 'title' argument to chart_write_title is used as a printf-type format
string, so callers must pass "%s" to safely use an arbitrary string as a
title.

sys-file-reader: Don't warn if compression bias field is 0.

Some software writes a value of 0 to the compression bias field.  We
expect that this field has a value of 100 and warn if we see any other
value, but there is no real need to do so (because it is very likely
that we can read the file correctly in any case).  So suppress the
warning if we see a value of 0 here, because it bothers users.

Thanks to Tony Reardon <tony@sir.com.au> for reporting this
unnecessary warning.

por-file-reader: Tolerate short lines when detecting portable files.

When the portable file reader reads a file, it assumes that a line
shorter than 80 bytes should actually be padded out on the right with
spaces, because this is a fairly common problem in practice, perhaps
due to text editors or other software that drops spaces at the end of
a line.

However, pfm_detect, the function that is supposed to detect whether
a given file is an SPSS portable file, did not apply this heuristic to
the data that it read at the beginning of the file, and thus files in
which the first few lines were truncated this way were not detected
properly as portable files.

This commit fixes the problem by making pfm_detect a little bit
smarter.  It would probably be better to actually unify the
file-reading logic, instead of implementing it in two separate places,
but this appears to work adequately too.

Thanks to Tony Reardon <tony@sir.com.au> for reporting the problem
and supplying a file that demonstrated it.

data-parser: Treat " ," the same as ",".

The data parser (used e.g. by DATA LIST) was unintentionally treating
soft separators (e.g. white space) followed by a hard separator (e.g.
a comma) as an empty field, but in fact it should be treated as just a
single separator.  This fixes it and adds a test.

Thanks to pascal barbedor <pbarbedor@gmail.com> for reporting the problem.

Ensure that NUMERIC's format (if any) is a valid output format.

Thanks to Pascal Barbedor for reporting this problem.

Change g_print to g_warning

Use the replacement rename function from gnulib.

Use the gnulib replacement rename function, to
overcome problems on certain systems saving a
file when that filename already exists. Closes bug #25795

Allow users to set the precision of output statistics.

Instead of hard coding the width and decimals of output
numbers, respect the default format in most instances.
Counts are normally displayed with the format of the weight
variable, if any.  Closes patch #6785

Fixed bug where piecharts with many segments crashed.

Make sure that we don't index beyond the bounds of the
data_colour array.

Fixed bug writing portable files.

Don't append slash to sysmis values when writing portable
files.  Fixes bug #26034

Added #include <config.h> to files as appropriate.

Thanks to Michel Boaventura for reporting this problem.

Fix corrupted .sav files on w32 builds

Added the O_BINARY flag to the mode of files
created with open, so that lines aren't appended
with extraneous characters, thus corrupting .sav
files.

Correct typo in BINOMIAL section of user manual.

Thanks to Erik Frebold for pointing out this problem.
Closes bug #25892

Fixed a bug reading empty strings from Postgres databases.

Fixed a bug in the Postgresql import feature, where a segfault
would occur when a reading a database which contained string
fields with only null, or zero length values.

Thanks to Joerg Schmengle for reporting this.

Fix bug 25677

Prevent data sheet from traversing into an invalid column.

Thanks to James R. Van Zandt for reporting this problem.

Relocate path names when searching for files.

When searching for configuration files etc. in a
search path, relocate the filenames before testing
for their existence.  Closes bug #25508

Silently ignore some inrecognised subtypes.

When reading system files, record subtypes of which the developers are
aware but which pspp doesn't yet support are silently ignored.  Subtypes
which the developers are unaware provoke a message requesting the user
to send us a sample.

Added a set of per binary LDFLAGS parameters.

Added two optional variables PSPP_LDFLAGS and PSPPIRE_LDFLAGS for the convenience of package creators who need to be able to pass flags to one program but not the other.

Use gnulib 'close' module, for compatibility with newest Gnulib.

Otherwise at link we get an undefined reference to symbol
_close_used_without_requesting_gnulib_module_close.

Thanks to Michel Boaventura for reporting the problem.

Move definition of OUTPUT_FILE_NAME to before first use.

Problem manifested itself when building with cygwin.
Reported by unknown-1

Marked CORRELATIONS and PEARSON CORRELATIONS as unimplemented.

These commands were defined in command.def, but only the parser
was actually implemented; they didn't actually do anything.
Marking them as unimplemented until they're finished.

Added (source) configurable default output directory.

Some systems expect files to be dumped in the home directory
instead of the current directory.  This change makes that
easier.

Fix crash in tabulating long-string variables in CROSSTABS.

Fixes bug #24557.

Do not assume that canonicalize_file_name() always returns non-null.

Fixes bug #24569.

Make src/libpspp/version.c depend on Makefile.

This ensures that re-running "configure" with different settings causes
version.c to be rebuilt.

Thanks to Ivy Foster <ivy.foster@gmail.com> for reporting the problem.

Update NEWS for 0.6.1.

Fixed problems when building with --enable-relocatable

Added the INSTALLDIR macro to tests/dissect-sysfile.
Relocated the pathname of the splash screen graphic.

Use Gnulib module "regex", to fix linking on Mingw.

The GUI code uses POSIX regular expressions, which Mingw has in a separate
library (-lregex).  We could just search for that library, but by including
our own implementation (via Gnulib) we also work around known bugs in
system regular expression implementations.

Update NEWS for 0.6.1-rc2.

Add ".sav" or ".por" suffix to filename when saving with Save_As

Closes bug #23137

(This is a cross-port of commit 169887f6d6d7bf5c10d5b05786aa3fd252040c93
from the master branch, originally authored and committed by John
Darrington.)

Only use -fgnu89-inline if the compiler actually supports it.

Jason Stover pointed out that we were using -fgnu89-inline even when the
compiler didn't support it.  Obviously that's not good.

Also warn about missing prerequisites as we encounter them (bug #24445).

It can happen that configure bails out in the middle due to some issue
that PSPP cannot directly control; for example, AC_CHECK_SIZEOF exits
unconditionally if it fails.  If this happens then, before, we would fail
to warn about missing required prerequisites that could well have been
the actual cause of the failure, because we only warn about these at
the end of the run.

Now, we warn about missing prerequisites both at time of detection and
in a summary at the end, to head off this problem.

Thanks to Jim Orr for allowing me to notice the problem.

Add note to INSTALL explaining how to use libraries from /usr/local.

Several users have had trouble building PSPP with self-built GSL, etc.
that were installed to /usr/local.  Explain how to do it here to be
more friendly to Unix novices.

Thanks to Jim Orr for making me realize that this was important.

Add pspp-dev.dvi to CLEANFILES.

Automake does not seem to clean this file automatically.  (Is this an
Automake bug?)

Append $(EXEEXT_FOR_BUILD) to output file name when building q2c.

Thanks to "Michel Boaventura" <michel.boaventura@gmail.com> for reporting
this problem and to John Darrington for assisting with the solution.

Update NEWS for 0.6.1 release.

Don't append % to count totals.

There was an erroneous '%' appended to the totals for count
values. This change removes it.  Fixes bug #24003

Don't destroy dictionary on error if we didn't create it.

Avoid assertion failure on bad input.  Closes bug #24031

Fixed bug which caused a crash if "end data." was not left aligned.

Merge branch 'master' of ssh://jmd@git.sv.gnu.org/srv/git/pspp

Work around bug #24033 (appending to output in cygwin).

Cygwin (and perhaps other w32 platforms) cannot write to a file
whilst it is open for reading.  This kludge therefore closes the
output after pasting into the output viewer and re-opens when new
data is appended.  It'll be slow if the output file becomes large.

Start generating ChangeLog automatically from Git commit messages.

Thus, at the same time we rename the existing ChangeLog files to
OChangeLog and add them to EXTRA_DIST to make sure that they get
distributed.

Estimate parameters. Moved some code to re-usable functions.

Pointer DEPVAR is now required to be set correctly in linreg.c

Initial versions of functions to estimate parameters
via the covariance matrix

Initialise label for piechart slices.
(Closes bug #24014

Bump minor version number so that git builds are distinct from released version

Use standard C99 isfinite, isnan, isinf in place of GSL substitutes.

In change a9afcdd22, "Use gsl_isnan instead of isnan, ...," isfinite,
isnan, and isinf were changed to use the GSL substitutes because of
lack of portability of the C99 versions.  Now, gnulib has portable
versions of all of these, so change them back.

This commit changes calls to gsl_finite() to call isfinite() instead
of the equivalent finite().  isfinite() is correct here: both gsl_finite()
and finite() return true for NaNs, which is a surprising result given
that a NaN is definitely not finite, but isfinite() returns false and,
more importantly, behaves as actually wanted in each place it is used
in PSPP code.

This commit requires upgrading gnulib to at least change 5183a0e3c,
"Add missing dependencies on new m4/exponent[fdl].m4 files," or later,
and re-running "make -f Smake".

Constness

Changed the default WORKSPACE value to 64MB.
Corrected documentation of WORKSPACE.
When --testing-mode is set, workspace can now be arbitrarily low.

New function for adding a numbering column to a casereader.

Merge branch 'master' of ssh://jmd@git.sv.gnu.org/srv/git/pspp

Conflicts:

src/math/ChangeLog

Merge with recent change by Jason.

Removed the value_cnt associated with the caseordering
Made sure that sort_execute returns a casereader the same
dimensions as its subject.

Dropped weight argument. Corrected update of entries of the covariance matrix

No longer store entire data set in memory.
Accumulate covariance matrix using covariance_pass_two

Why does git only commit some of the changes if you don't pass the -a flag?

Deleted lib/gsl-extras and updated gsl dependence to 1.8

Recurse to simplify flow of covariance_pass_two(). Move tests for V2 into for loop.

Merge branch 'master' of ssh://jstover@git.sv.gnu.org/srv/git/pspp

Fixed update of covariance matrix when both variables are categorical.
Added function to access counted categories.

Make PSPP_LINK2_IFELSE macro work with Autoconf earlier than 2.62.

Fixed updating of covariance matrix when both variables
are categorical. Reported by John Darrington

Added functions to compute covariance matrix.

Autodetect and fix GSL use of GCC-style "extern inline".

Enable users of dist tarballs to use --enable-gui-tools.

Formerly, we didn't distribute the necessary files.