Fix recently introduces bug in LIST /CASES

Commit 4e5a6cc044c6c82e6c4d842bf056579b6bc47d48 contained a bug.  This change
corrects the bug, and updates a test, such that the bug will be caught, should
it ever reappear.

Fix invalid read in ROC vs. TEMP

Partial fix for bug #38833

Correct error message from previous commit.

Commit 49b3e593c078b40d7c72379b4f8622a1ea8d7ea1 produced a misleading
and non-sensical error message.  This change fixes that.

Fixed a crash when RECODE attempted to increase the length of a string beyond the width of the variable.

Reported-by: Cristoph Amthor

Added missing headers to terminal-reader.c

Update ABOUT-NLS from gettext

FLIP: Fix use-after-free error with temporary transformations.

The FLIP procedure keeps a reference to the  dictionary from before running
a procedure and then uses that reference after calling proc_commit().  When
temporary transformations are present, this dictionary disappears.  The
"SPLIT FILE  - vs procedures" test triggers this issue because it uses
FILTER, which is implemented as a temporary transformation.

This commit fixes the problem by avoiding a reference to the old
dictionary after proc_commit().

Reported by John Darrington.
Bug #38820.

convert list.q to list.c

Reviewed-by: Ben Pfaff

u8-istream: Fix reading UTF-16 and UTF-32 files.

Before this commit, u8_istream_for_fd() would obtain the correct encoding
from encoding_guess_head_encoding() for UTF-16 and UTF-32 files, and then
it would ignore it and use the default encoding returned by
encoding_guess_parse_encoding().  This commit fixes the problem.

u8-istream: Fix handling of UTF-8 byte order marks.

The UTF-8 special case state didn't skip over an initial byte order mark.
This fixes it.

Reported by Dr. Holger Handstein <post@handundstein.de>.
Signed-off-by: Ben Pfaff <blp@cs.stanford.edu>

encoding-guesser: New function encoding_guess_bom_length().

tests: Make "read ISO-8859-1 as Auto,ISO-8859-1" failures easier to read.

By putting new-lines in the input and output, it becomes unnecessary to
scroll thousands of columns to the right to spot the differences.

Fixed crash with EXAMINE vs. SPLIT

Partial fix for bug #38820

Fixed crash with GLM and MEANS vs. SPLIT

Partial fix for bug #38820

Do not try to set box=unicode if the driver is not the text driver.

Avoid test failures due to wrong terminal settings

Added test for known split file problems

Fixed crash in error path for GET DATA

Added strcasestr to list of gnulib modules

Use the select and pipe2 modules from gnulib

Widen the criteria for assuming the terminal is utf capable.

Assume the terminal is UTF-8 capable if the TERM and XTERM_LOCALE environment
variables seem to suggest that.

Update documentation for the STRING command.

The text wasn't entirely clear.  Hopefully this is an improvement.

Reported by: Ronald Crichton

Changed "Text files" to "Text Files"

Reported-By: Jack Tanner

terminal-reader.c: Added missing #include directive

Terminal reader: Interruptable command line interface

This change alters the behaviour of the command line interface such that
upon receiving SIGINT, instead of immediately aborting, the current command
being read will be interrupted and a new PSPP> prompt appears.

Reviewed-by: Ben Pfaff

Ascii driver: Default to box=unicode iff the charset is UTF8

AUTORECODE: Avoid use-after-free error with TEMPORARY.

When TEMPORARY is in effect, proc_commit() destroys the temporary
dictionary.  This means that any procedure that does not somehow disable
temporary transformations and refers to a variable following proc_commit()
has a use-after-free error.

Until now, AUTORECODE had this problem.  This commit fixes it and adds a
test.

Bug #32757.

AUTORECODE: Trim trailing white space correctly.

The existing code trimmed off everything starting at the first space.
The new version trims off only trailing spaces.

Found by inspection.

po: Update Dutch translation from translationproject.org.

ascii: Omit whitespace at the end of a line.

Long string variables tend not to be completely filled with data, which
means that they end in a lot of spaces.  The ASCII output driver didn't
handle these well.  Instead, it put a blank line in the cell for each
trailing space.

This fixes the problem and adds a test.

Reported by Ronald Crichton.
Bug #38672.

Fixed crash when processing regression with bad syntax

Rename some identifiers for consistency

CORRELATIONS: Fix crash with separate sets of row and column variables.

When WITH is specified, the column variables start at offset corr->n_vars1
within corr->vars.  The calculation previously used here was incorrect and
caused an access beyond the end of the corr->vars array.

The code would be clearer if there were separate row_vars and col_vars
arrays, but that would be a larger change.

Bug #38661.
Reported by William Rogers.

ascii.c: Use symbol instead of constant literal

Fixed bug displaying unicode box characters.

Also added a test for this.  Closes bug #38647

RELIABILITY: Fix memory leaks and dereferences of uninitialized pointers.

The 'total' struct and 'm' array in struct reliability were allocated once
per case group, but freed exactly once.  If there were no case groups,
this caused a null dereference.  If there was more than one case group,
this caused a memory leak.  This commit fixes both problems.

This commit also fixes a related crash on bad syntax due to dereferencing
a null pointer in reliability_destroy().

Bug #38660.
Reported by William Rogers.

Fix compiler warning in gnumeric-reader.c

Work-around bug in GCC 4.4.5

Gcc 4.4.5 seems to be buggy.  For some reason it miscompiles the code in
casereader_count_cases__ when compiled with -O2 by not allocating enough
stack.  This commit works around that problem by putting a dummy variable
on the stack.

Reviewed-by Ben Pfaff.

ods-reader: Fix GCC warning.

ods-reader.c: In function 'ods_file_casereader_read':
ods-reader.c:941:3: error: ISO C90 forbids mixed declarations and code

ONEWAY /POSTHOC: Annotate output with dependent variable

The Multiple Comparisons table did not specify the variable to which it refered.  This could be confusing
if more than one variable was specified.
Fixes bug #38635

Updated lt.po from translationproject.org

Fixed some memory allocation issues in the Gnumeric import code

Fix memory allocation issues in ods-reader

Imported new lt.po file from translation-project.

Fix order of text-import subdialogs.

Commit 29c1450251805417aacb9cecc84b03c81137c137 inadvertently reversed the
order of display of the the first-line and seperator subdialogs.  Amoung
other problems, this meant that controls of the former were no longer
respected.  This change restores the original order.

MATCH FILES: Fix bugs along error path.

Also add test to prevent later regression.

Reported by Ronald Crichton <Ronald.Crichton@cit.edu.au>.

gui: Fix GCC warning in page-file source file.

src/ui/gui/page-file.c: In function 'init_file':
src/ui/gui/page-file.c:84:35: warning: variable 'opts' set but not
    used

Updated NEWS to match the version number

Reorganised the text-data import assistant into separate files for each page

This will hopefully make it easier to add new functionality.
Reviewed-by: Ben Pfaff

configure: Increase version number to 0.7.10.

Suggested by John Darrington.

FILE HANDLE: Use system native line ends by default.

Requested by Ronald Crichton.

FILE HANDLE: Add new ENDS subcommand to control new-lines in output.

Requested by Ronald Crichton.

SET: Fix format specifier in show_workspace().

GCC reported that %ld is not the correct format specifier for a size_t.

Fix confusion over workspace units.

Added the SHOW WORKSPACE command which was absent.

Reported-by: Stefan Tzeggai

Documentation:  Mention the units of the WORKSPACE setting

RANK: Fix crash ranking multiple variables without any rank specs.

Incidentally fixes a small memory leak in the same situation.

Bug #38482.
Reported by John Darrington.

Fix warnings introduced by minor type errors in recently added code.

Added a (non-shipped) gui test-program to test spreadsheet readers.

This program is usefull for testing the behaviour of the ods_reader and the gnumeric_reader.

Ref count the gnumeric reader

main.c: Replaced macro with a static const

This is the GNU recommended way, and ensures that not-compiled code does not become out
of date.

New module: psppire-spreadsheet-model.c

 Provides an implementation of a GtkTreeModel which can be used to
display the meta data of Gnumeric or Opendocument spreadsheet files.
Potentially, other spreadsheet files could be added too.
Used for upcomming gui features.

Fix remaining leaks in Gnumeric reader

Fixed some more errors in the spreadsheet readers

zip-reader.c: Fix memory leak

zip-test.c: Remove erroneous call to zip_member_unref

zip-reader.c: Replace [cm]alloc by their x*alloc counterparts

Fixed crash reading ODS spreadsheets and added a test case

Added a feature to read the meta data from spreadsheet files.

This is in preparation for upcoming features.

Zip Reader: Take members from the index if they exist.

This allows readers to be iterated more than once.

Fixed a bug reading gnumeric files.

Importing  gnumeric spreadsheets would assert-fail if there were empty columns at the start of the sheet.

Examine vs. Boxplots: Avoid labels overlapping one another

One factored boxplots remove the name of the factor variables, since
these can be inferred from the chart title.  Also trim off any
leading whitespace from the values.  This reduces the chances of the
labels clashing with one another when many boxplots appear on the
same chart.

Closes bug #38132

Output Viewer Export: Automatically append filename suffix

When exporting the output viewer using the file chooser, automatically append
a . and a three letter suffix indicating the format of the export.
Closes bug #38133

REGRESSION: Added mention of the dependent variable to table titles.

Closes #34732

Fixed compiler warning placement-parser.c

casereader: Remove casereader_split() function.

It no longer has any users.

Reported by John Darrington.

RANK: Add support for temporary transformations.

Bug #37999.
Reported by Zoltan Fabian.

RANK: Adopt a new ranking implementation.

Before this commit, the implementation of RANK made multiple passes
through the active file, opening and closing it (with proc_open()
and proc_commit()) as many times as there were input variables.
This worked in simple cases, but it could never work with
TEMPORARY since the second proc_open() will see a different set
of data from the first one.

This commit rewrites RANK to open and read the active file only
once.  It does not make RANK properly work with TEMPORARY, but
it brings it much closer.  It may also be faster in some cases
because, although it makes the same number of passes through
the input data (necessarily), each pass discards all the input
columns except the ones that are really need for that pass.

RANK: Create all variables together, in order.

An upcoming commit will rewrite the RANK implementation so that the
new variables are not created until after a pass through the data.
(This makes sense because their values cannot actually be determined
until that pass is complete, so there is no point in allocating space
for them in cases.)  To do that, it is necessary to figure out the
variable names (and that they will be valid variable names) in
advance.  This commit switches to that approach in advance.

This approach has another small advantage: the order of the variables
added by RANK to the dictionary does not depend on whether the
variables are named by the user or by generating a name.  (This
is why the rank.at test case changes.)

RANK: Simplify rank_sorted_file() with new function sum_weights().

This makes the code easier to read and possibly even faster.

RANK: Simplify fraction_name() function.

The caller only needs a constant string so we might as well just return
one directly rather than through a static buffer.

RANK: Put #include directives into typical order.

RANK: Remove write-only struct member 'ascending'.

RANK: Lowercase the name of "enum RANK_FUNC".

It is fairly unusual to give a type an all-uppercase name.  The name looks
more natural to me in lowercase.

transformations: Relax the rules for transformation finalizing.

The trns_chain data structure has a barely useful concept called
"finalization".  In practice this is used to make sure that control
structures (e.g. DO IF) that are opened get closed (e.g. END IF).  There
are currently some restrictions on finalizing: namely, transformations
can't be added after a chain is finalized.  Since finalizers are barely
used, we can relax this restriction, which this commit does.  This will be
used in an upcoming commit where the ability to add a transformation to a
finalized change becomes useful for a corner case.

subcase: New function subcase_add_vars_always().

This function will be used in an upcoming commit.

casegrouper: Add comments.

Ensure that RELIABILITY is always fully constructed.

Commit e94a39ff572a51907545497c26faccdf4b2c5ada added a 'no crash' test
checking that RELIABILITY's destructor didn't cause any problems when
the procedure was presented with invalid syntax.  Unfortunately the
associated fix was only half done.  The scale_name variable was being
destroyed when it hadn't been initialised.  This change fixes that.

Reported-by: Jeremy Lavergne

Reliability: Fix crash on invalid syntax

Improve the printing size on Windows.

There were reports that on Windoze the printed output was tiny.  I
think this commit might improve things a little.

Fix xr to point unit conversion in cairo output driver.

The conversion between points (1/72") and xr units was wrong.
This meant that some things were slightly the wrong size.

Reviewed-by: Ben Pfaff

Output window: properly handle the dispose/finalisation

Document and implement "precision record" in portable file format.

Remove configure flag --enable-anachronistic-dependencies

This flag was a kludge and is not used anymore anyway.

lexer: Generalize lex_match_phrase() to handle any syntax.

This makes lex_match_phrase() slightly more useful.  It also eliminates
the ASCII-only requirement.

scan: Introduce string_lexer for simple tokenizing of a string.

The following commit will introduce a user outside of the tests.

segment: Don't require the input to end in a new-line.

segment: Separate SEG_N_TYPES from enum segment_type.

With SEG_N_TYPES not actually a member of enum segment_type, GCC doesn't
complain if it's missing from a switch statement on that type.

identifier: Make lex_id_get_length() handle Unicode.

This function's only caller is documented only to handle ASCII, so this
commit does not fix any bug, but it seems better to generalize our code.

cairo: Include command name in error messages.

Commit ddb7b52128d8 (output: Make errors, warnings, and notes into a new
"message_item".) changed command name tracking to a responsibility of
individual output drivers, and converted the output drivers to do it.
However, the conversion of the cairo driver was incomplete.  This commit
fixes that problem.

Reported by John Darrington.