more work on datasets

Revert "work on datasets"

This reverts commit 010daea9171954c6e003ff96b29b67c027e56ced.

work on datasets

doc: Document that value labels are case sensitive.

This was not documented and a user found it surprising.

Also, long string variables can now be labeled.

Reported by Robert Pittman.

Enable case insensitivity test.

The operative part of this test seemed to have been inadvertently omitted.

PsppireKeypad: Remove gdkkeysyms-compat.h

Pipe read test: Replace "echo" with "printf"

This test was failing on GuixSD

DATA LIST: Do not treat the comma as a field separator if DECIMAL=COMMA

Closes bug #47253

Speed up rendering of columns in sheet.

This change causes _pspp_sheet_view_install_mark_rows_col_dirty to be called once
per sheet, instead of once per column when adding/deleting columns.  Hence there
is a significant speed improvement when dealing with a data sheet with a large
number of variables.

Fixes bug #47090

psppire: Remove unused function.

gui: Add some generated files to .gitignore files.

Reported by Friedrich Beckmann.
Bug #47265.

Remove attempts do destroy windows before quit.

This change deletes an attempt to remove all existing
windows from a list (and thereby unreffing and deleting them).
The attempt fails, because lists may not be altered whilst
iterating them.  This resulted only in a Critical Warning.

It is also pointless to attempt to destroy windows immediately
priot to quit.

Updated de.po from translationproject.org

psppire-selector.c: Remove unused preprocessor macro

Fix several cases where lex_integer() or lex_number() could assert-fail.

The caller always needs to make sure in advance that the token is in fact
an integer or a number.

EXAMINE: Fix memory leak in box-whisker plots.

Found by valgrind.
Reported by John Darrington.
Bug #47074.

render: Fix memory leaks in rendering.

References were being taken that should not have been.

Found by valgrind.
Reported by John Darrington.
Bug #47074.

cairo: Fix memory leak of pango_layout_iter.

Found by valgrind.
Reported by John Darrington.
Bug #47074.

table: Fix memory leak.

table_create_nested_item() was documented to take ownership of its
argument but in fact it took a reference on it, creating a leak.

Found by valgrind.
Reported by John Darrington.
Bug #47074.

pc+-file-reader: Fix memory leak.

Found by valgrind.

expressions: Implement the REPLACE string function.

Requested by Frans Houweling.

expressions: Merge all the little generator programs into generate.pl.

The little generator programs had a bizarre flaw: they silently produced
no output if there was an error parsing their input.  This was due to the
use of the Perl "do" construct for executing generate.pl, which just
returns the message if the nested code exits with "die".  I know that the
generators actually worked better at one point...

Anyway, the simplest solution seems to be to just merge all the little
output generator programs into generate.pl.  It doesn't make the code any
harder to understand, so that's what this commit does.

Makefiles: Fix use of $(AM_V_at) in makefile rules.

These are only for use at the beginning of a rule and cause weirdness in
the middle since they expand to directives that begin with @, which "make"
understands but the shell does not.

pspp-convert: Fix use of uninitialized data in error case.

Found by GCC.

sys-file-reader: Read system files with multiple subtype-18 extensions.

These are written by "Stata 14.1/-savespss- 1.77 by S.Radyakin".  I think
it's really a bug in that writer, but if SPSS accepts these files then I
guess PSPP should too.

Reported by news <news.ftr@free.fr>.
Bug #47089.

FREQUENCIES BARCHART: Honour then PERCENT option

Fixes bug: #47180

MISSING VALUES: Report an error when too many missing values are specified.

Reported by news <news.ftr@free.fr>.

Barchart.c: Change type of flag from int to bool

Do not attempt to draw whiskers on boxplots if they are NaN.

Reported by: Friedrich Beckmann

Closes Bug: #47140

Fixed bug where an empty chart (one with no data) would crash.

Reported by: Friedrich Beckmann
Fixes bug: #47181

Boxplot: Do not attempt to draw whiskers if they are not defined

histogram - added another upper bin to include cases which have max values

This fixes the problem that cases which have values exactly at the upper
bin limit of the upper bin are not included in the binning. The fix
is based on the idea from John to just add another bin when the bin
limit is just equal to the maximum case value.

Revert "histogram - fixed missing cases which have the maximum value"

This reverts commit ca4012bcf0f8790ceb8539b55bbc296d0802d5d7.

histogram - changed bin range computation

The bin range computation for the histogram showed bin limits at 4.999999
when 5.0 was expected. Added values with value 5.0 were therefore added
to the following bin. With this change the bin limits do not show the
rounding error. At least I could not reproduce the error that showed
up when using the routing from gsl_histogram_set_ranges_uniform.

histogram - fixed missing cases which have the maximum value

The histogram uses gsl_histogram routines which exclude values from
the last bin when the value is exactly the maximum value, i.e. the upper
value of the last bin. This results in excluded cases in the histogram.

This fixes bug #47139: https://savannah.gnu.org/bugs/?47139

MacOS build - fixed src/libpspp/automake.c version.c generation

The build on MacOS failed because echo introduces newlines which
produces syntax errors in the generated version.c file. I replaced the
echo with printf.

Fixes bug #47143: http://savannah.gnu.org/bugs/?47143

Update fr.po from translationproject.org

Correct error in Mann-Whitney test

Fixes bug #47041

Fix memory leak in pspp-convert

Fix memory leak when writing compressed sav files

Fix memory leak pspp-convert

Fix memory leak in SYSFILE command

Fix memory leak which occured when iconv failed

Fix memory leak in render-test.c

Remove some g_param_spec_ strings from the translation domain

Save File test: Restore permissions after test

This avoids annoyance when debugging.

Fix memory leak in barcharts

Frequencies: Fix some memory leaks

spreadsheet: Avoid sharing a dictionary between spreadsheet and client.

Spreadsheet implementations keep a copy of the dictionary that they build
to simplify reading cases.  Until now, they shared that dictionary, in a
modifiable way, with their client.  This meant, however, that if the client
modified the dictionary, it could screw up reading further cases from the
spreadsheet.

This commit fixes the problem by forcing clients to make their own copy of
the dictionary if they want to modify it.

Bug #44158.

Univariate Dialog: Fix help-page

Univariate Dialog: Set margins

Set visibility on univariate dialog

Correct the  use of signals vs. events.

Commit f8fdc760d4ee04801a2da8af0700b2a87f724ae4 used a button-press-event
where a toggled signal was appropriate.  The signal might come from a
number of sources, not necesarily a button event.

Use win32 functions for accessing filename

Remove commented out code

Reimplement the Windows menu.

Fixes bug #45253

Remove g_mem_set_vtable

This function is deprecated.

GLM: remove warning

GLM: Do not print the intercept if the model is unbalanced

I cannot find any reliable explanation of how to calculate this
figure for unbalanced models not what it actually means.  So
let's not even bother with it until an expert comes along.

Add documentation for GLM

PsppireDialogAction (generate_syntax): Change signature.

This function now takes a const parameter

Fix compiler warning

Smake: ensure that the "all" target is the first

Include a dissuader for odd numbered minor releases

Append a warning to the window title bar for odd versions.

Place a warning on the splash screen for odd numbered releases

Recode Dialog: Convert to PsppireDialogAction

Help menu now uses "version" instead of "bare version".

Convert THANKS file to utf8

spv-file-format: Fix typo.

spv-file-format: Fix names of pmml, stats, and model members.

Add documentation for SPV file format.

Set import dialog to fullscreen mode.

Fixed bug #46906

Sample Dialog: Ensure that controls stay at self consistent values

Populate select dialog's dialog_is_valid function

Closes bug #46901

Update appdata.xml

Closes bug #46441

measure: Improve wording of error message.

Suggested by Elias Estatistics <estatisticseu@gmail.com>.

psppire-button-editable: Don't mark spec parameter text as translatable.

The P_ prefix seems to be used by other GTK+ code, so use it here too.

Reported by Elias Estatistics <estatisticseu@gmail.com>.

SAVE TRANSLATE: Improve error message.

Before this commit, "SAVE TRANSLATE OUTFILE='...'" gave a confusing error
message.  After this commit, it clearly reports the missing slash before
OUTFILE.

LIST: Improve wording of error messages.

Suggested by Elias Estatistics <estatisticseu@gmail.com>.

EXAMINE: Extend test for empty dataset and fix bug.

Closes bug #46866

ONEWAY: fix crash in contrasts when dataset is empty

Fixed some bugs related to empty parentheses

Add some tests for empty parens

FACTOR: Avoid assertion failures on syntax errors expecting numbers.

Reported by Elias Estatistics.

psppire-var-view: Fix constness error.

Makefiles: Add $(AM_V_GEN) and $(AM_V_at) to a few more rules.

This makes the abbreviated "make" output more effective.

APPLY DICTIONARY: Fix segmentation fault when setting value labels.

Reported by Frans Houweling.

segment: Fix buffer overrun error in segmenter_detect_command_name__().

Found by valgrind.

Scatter plot dialog: Correct order of variables in syntax generator

.ui files: Bump version of required Gtk to 3.4.2

This is the same version currently required in configure.ac

Logistic Regression Dialog: Add missing property

Fix bad syntax generation introduced by previous commit.

Commit cdfb21de2cbbf921b4e1fe0662439da1c460eabc replaced syntax_gen_pspp
with g_string_append_printf which was wrong, because the latter is
sensitive to the user's locale, which is not desired for syntax generation.

Logistical Regression Dialog: Automatically mark appropriate variables as categorical

In the syntax generator ordinal, nominal or string variables are now marked as /CATEGORICAL

Closes bug #46749

Logistic Regression Dialog: Reimplement syntax generator using GString

"margin-left" -> "margin-start" && "margin-right" -> "margin-end"

These are the preferred property names on recent Gtk releases.

REGRESSION: Correctly handle data in temporary file for SAVE subcommand.

The format of the data in the temporary file used by the SAVE subcommand is
basically unrelated to the format of the data in the active file, but the
code that created and wrote cases to it created them as clones of cases
in the active file.  This is simply incorrect behavior and causes nasty
failures when the active file has an inconvenient number of variables or
contains long string variables.

This commit fixes the problem by correctly creating the cases for the
temporary file using that file's own caseproto.

In addition, the assignment of caseproto indexes to variables in the
temporary file was broken for /SAVE=PRED, because it would skip index 0.
This commit also fixes that problem.

Bug #44877.
Reported by Scott.

Syntax menu definition: Rename "menuitem7" to "edit-menu"

GET DATA /TYPE=TXT: Remove obsolete IMPORTCASES subcommand.

For compatibility.

Reported by Charles Johnson.

Rename Dataset dialog: Add spacing and help button