Merge remote branch 'origin/master' into import-gui

psppire-cell-renderer-button: Translate coords before propagating event.

When propagating a right-click upward, the x and y coordinates in the
event are those for the button, not for the parent window, but the parent
window's signal handlers will expect that they are relative to the parent
window.  This commit makes that so.

Without this commit, the following scenario occurs:

1. Open a dataset with at least two cases.
2. Switch to the Data View
3. Place the pointer over (say) the tenth row header button.
4. Click the left mouse button.
5. Click the right mouse button.
6. The popup menu appears (as it should), but row 1 gets selected instead
   of row 10.

With this commit, in step 6 the correct row is selected.

Bug #38922.
Reported by John Darrington.

Merge 'psppsheet' into 'master'.

This merge required considerable manual resolution in
text-data-import-dialog.c because that file was split into multiple files
on master.

Remove unused variable assigned in expression.

Found by clang analayzer

psppire-window: Disconnect signal handlers before unregistering.

Otherwise, the call to psppire_window_register_remove() calls back into
remove_menuitem() via the "remove" signal, but window->menu referenced in
that callback has already been freed.

Found by valgrind.

psppire-data-sheet: Disconnect clipboard owner-change signal on dispose.

Otherwise, any clipboard change in ownership (e.g. clicking on some cells
and typing Control+C), even after a given PsppireDataSheet closes, still
calls into on_owner_change() and commits a use-after-free error.

Reported by John Darrington.

psppire-data-sheet: Obtain data sheet targets via callback.

Calling gtk_clipboard_wait_is_target_available() within on_owner_change()
seems to cause Window|Split to act oddly (the right panes were empty),
perhaps because gtk_clipboard_wait_is_target_available() has a nested main
loop.  Switching to gtk_clipboard_request_targets() fixes the problem.

Reported by John Darrington.

psppire-data-sheet: Remove stray debug printf.

Reported by John Darrington.

Updated gnulib version

Merge remote branch 'origin/master' into import-gui

Add necessary initialisation to spreadsheet-test.c

list.c Use "long" instead of "int" for command parameters.

Commit 4e5a6cc044c6c82e6c4d842bf056579b6bc47d48 used int instead of long for the
parameters of the LIST command.  This caused compiler warnings and problems on
64 bit machines.  This change fixes that.

Fixed crash in error path of MEANS command

Add necessary initialisation to spreadsheet-test.c

Merge remote branch 'origin/master' into import-gui

ODS reader: Make the destroy method safer.

It seems this was causing use after delete errors when there was an empty reader.

Fix constness warnings

Fix recently introduces bug in LIST /CASES

Commit 4e5a6cc044c6c82e6c4d842bf056579b6bc47d48 contained a bug.  This change
corrects the bug, and updates a test, such that the bug will be caught, should
it ever reappear.

Fix invalid read in ROC vs. TEMP

Partial fix for bug #38833

Correct error message from previous commit.

Commit 49b3e593c078b40d7c72379b4f8622a1ea8d7ea1 produced a misleading
and non-sensical error message.  This change fixes that.

Fixed a crash when RECODE attempted to increase the length of a string beyond the width of the variable.

Reported-by: Cristoph Amthor

Added missing headers to terminal-reader.c

Update ABOUT-NLS from gettext

FLIP: Fix use-after-free error with temporary transformations.

The FLIP procedure keeps a reference to the  dictionary from before running
a procedure and then uses that reference after calling proc_commit().  When
temporary transformations are present, this dictionary disappears.  The
"SPLIT FILE  - vs procedures" test triggers this issue because it uses
FILTER, which is implemented as a temporary transformation.

This commit fixes the problem by avoiding a reference to the old
dictionary after proc_commit().

Reported by John Darrington.
Bug #38820.

convert list.q to list.c

Reviewed-by: Ben Pfaff

u8-istream: Fix reading UTF-16 and UTF-32 files.

Before this commit, u8_istream_for_fd() would obtain the correct encoding
from encoding_guess_head_encoding() for UTF-16 and UTF-32 files, and then
it would ignore it and use the default encoding returned by
encoding_guess_parse_encoding().  This commit fixes the problem.

u8-istream: Fix handling of UTF-8 byte order marks.

The UTF-8 special case state didn't skip over an initial byte order mark.
This fixes it.

Reported by Dr. Holger Handstein <post@handundstein.de>.
Signed-off-by: Ben Pfaff <blp@cs.stanford.edu>

encoding-guesser: New function encoding_guess_bom_length().

tests: Make "read ISO-8859-1 as Auto,ISO-8859-1" failures easier to read.

By putting new-lines in the input and output, it becomes unnecessary to
scroll thousands of columns to the right to spot the differences.

Fixed crash with EXAMINE vs. SPLIT

Partial fix for bug #38820

Fixed crash with GLM and MEANS vs. SPLIT

Partial fix for bug #38820

Do not try to set box=unicode if the driver is not the text driver.

Avoid test failures due to wrong terminal settings

Added test for known split file problems

Fixed crash in error path for GET DATA

Added strcasestr to list of gnulib modules

Use the select and pipe2 modules from gnulib

Widen the criteria for assuming the terminal is utf capable.

Assume the terminal is UTF-8 capable if the TERM and XTERM_LOCALE environment
variables seem to suggest that.

Update documentation for the STRING command.

The text wasn't entirely clear.  Hopefully this is an improvement.

Reported by: Ronald Crichton

Changed "Text files" to "Text Files"

Reported-By: Jack Tanner

terminal-reader.c: Added missing #include directive

Terminal reader: Interruptable command line interface

This change alters the behaviour of the command line interface such that
upon receiving SIGINT, instead of immediately aborting, the current command
being read will be interrupted and a new PSPP> prompt appears.

Reviewed-by: Ben Pfaff

Ascii driver: Default to box=unicode iff the charset is UTF8

AUTORECODE: Avoid use-after-free error with TEMPORARY.

When TEMPORARY is in effect, proc_commit() destroys the temporary
dictionary.  This means that any procedure that does not somehow disable
temporary transformations and refers to a variable following proc_commit()
has a use-after-free error.

Until now, AUTORECODE had this problem.  This commit fixes it and adds a
test.

Bug #32757.

AUTORECODE: Trim trailing white space correctly.

The existing code trimmed off everything starting at the first space.
The new version trims off only trailing spaces.

Found by inspection.

po: Update Dutch translation from translationproject.org.

ascii: Omit whitespace at the end of a line.

Long string variables tend not to be completely filled with data, which
means that they end in a lot of spaces.  The ASCII output driver didn't
handle these well.  Instead, it put a blank line in the cell for each
trailing space.

This fixes the problem and adds a test.

Reported by Ronald Crichton.
Bug #38672.

Fixed crash when processing regression with bad syntax

Rename some identifiers for consistency

CORRELATIONS: Fix crash with separate sets of row and column variables.

When WITH is specified, the column variables start at offset corr->n_vars1
within corr->vars.  The calculation previously used here was incorrect and
caused an access beyond the end of the corr->vars array.

The code would be clearer if there were separate row_vars and col_vars
arrays, but that would be a larger change.

Bug #38661.
Reported by William Rogers.

Update casereader.c from master

Merge remote branch 'origin/master' into import-gui

ascii.c: Use symbol instead of constant literal

Fixed bug displaying unicode box characters.

Also added a test for this.  Closes bug #38647

RELIABILITY: Fix memory leaks and dereferences of uninitialized pointers.

The 'total' struct and 'm' array in struct reliability were allocated once
per case group, but freed exactly once.  If there were no case groups,
this caused a null dereference.  If there was more than one case group,
this caused a memory leak.  This commit fixes both problems.

This commit also fixes a related crash on bad syntax due to dereferencing
a null pointer in reliability_destroy().

Bug #38660.
Reported by William Rogers.

Fix compiler warning in gnumeric-reader.c

Merge remote branch 'origin/master' into import-gui

Conflicts:
src/data/casereader.c

Work-around bug in GCC 4.4.5

Gcc 4.4.5 seems to be buggy.  For some reason it miscompiles the code in
casereader_count_cases__ when compiled with -O2 by not allocating enough
stack.  This commit works around that problem by putting a dummy variable
on the stack.

Reviewed-by Ben Pfaff.

Merge remote branch 'origin/master' into import-gui

ods-reader: Fix GCC warning.

ods-reader.c: In function 'ods_file_casereader_read':
ods-reader.c:941:3: error: ISO C90 forbids mixed declarations and code

ONEWAY /POSTHOC: Annotate output with dependent variable

The Multiple Comparisons table did not specify the variable to which it refered.  This could be confusing
if more than one variable was specified.
Fixes bug #38635

Updated lt.po from translationproject.org

Merge remote branch 'origin/master' into import-gui

Fixed some memory allocation issues in the Gnumeric import code

Fix bug reading empty sheets

Commit remaining bits

re-enable compiler bug workaroundä

Fixed some memory leaks

Added a second lot of state data

Make the gnumeric reader behave the same as the odsreader

Merge remote branch 'origin/master' into import-gui

Fix memory allocation issues in ods-reader

Rename variable and add comment

Fixed some memory leaks

Merge remote branch 'origin/master' into import-gui

Imported new lt.po file from translation-project.

Remove diagnostics

Revert experimentÃ

Merge remote branch 'origin/master' into import-gui

Conflicts:
src/ui/gui/text-data-import-dialog.c

Fix order of text-import subdialogs.

Commit 29c1450251805417aacb9cecc84b03c81137c137 inadvertently reversed the
order of display of the the first-line and seperator subdialogs.  Amoung
other problems, this meant that controls of the former were no longer
respected.  This change restores the original order.

Merge remote branch 'origin/master' into import-gui

MATCH FILES: Fix bugs along error path.

Also add test to prevent later regression.

Reported by Ronald Crichton <Ronald.Crichton@cit.edu.au>.

gui: Fix GCC warning in page-file source file.

src/ui/gui/page-file.c: In function 'init_file':
src/ui/gui/page-file.c:84:35: warning: variable 'opts' set but not
    used

Work around bug in compiler

Updated NEWS to match the version number

Added a second lot of state data

sheet meta data:  Move out of state data

Separate the reader state data into its own struct

Merge remote branch 'origin/master' into import-gui

Conflicts:
src/ui/gui/automake.mk
src/ui/gui/page-assistant.c
src/ui/gui/page-file.c
src/ui/gui/text-data-import-dialog.c

Reorganised the text-data import assistant into separate files for each page

This will hopefully make it easier to add new functionality.
Reviewed-by: Ben Pfaff

Merge branch 'master' into import-gui

Conflicts:
src/ui/gui/automake.mk
src/ui/gui/page-assistant.c
src/ui/gui/page-file.c
src/ui/gui/text-data-import-dialog.c

configure: Increase version number to 0.7.10.

Suggested by John Darrington.

FILE HANDLE: Use system native line ends by default.

Requested by Ronald Crichton.

FILE HANDLE: Add new ENDS subcommand to control new-lines in output.

Requested by Ronald Crichton.

Reorganised the text-data import assistant into separate files for each page

This will hopefully make it easier to add new functionality.
Reviewed-by: Ben Pfaff

Merge remote branch 'origin/master' into import-gui

SET: Fix format specifier in show_workspace().

GCC reported that %ld is not the correct format specifier for a size_t.

Fix confusion over workspace units.

Added the SHOW WORKSPACE command which was absent.

Reported-by: Stefan Tzeggai

Documentation:  Mention the units of the WORKSPACE setting