psppire-data-sheet: Implement primary selection.

I didn't realize that this was important.

Reported by John Darrington.

Merge 'master' into 'psppsheet'.

RANK: Fix crash ranking multiple variables without any rank specs.

Incidentally fixes a small memory leak in the same situation.

Bug #38482.
Reported by John Darrington.

Fix warnings introduced by minor type errors in recently added code.

Added a (non-shipped) gui test-program to test spreadsheet readers.

This program is usefull for testing the behaviour of the ods_reader and the gnumeric_reader.

Ref count the gnumeric reader

main.c: Replaced macro with a static const

This is the GNU recommended way, and ensures that not-compiled code does not become out
of date.

New module: psppire-spreadsheet-model.c

 Provides an implementation of a GtkTreeModel which can be used to
display the meta data of Gnumeric or Opendocument spreadsheet files.
Potentially, other spreadsheet files could be added too.
Used for upcomming gui features.

Fix remaining leaks in Gnumeric reader

Fixed some more errors in the spreadsheet readers

zip-reader.c: Fix memory leak

zip-test.c: Remove erroneous call to zip_member_unref

zip-reader.c: Replace [cm]alloc by their x*alloc counterparts

Fixed crash reading ODS spreadsheets and added a test case

Added a feature to read the meta data from spreadsheet files.

This is in preparation for upcoming features.

pspp-sheet-view: Make Ctrl+Up and Ctrl+Down go to top and bottom.

These keybindings match those implemented by Gnumeric.

Suggested by John Darrington.

pspp-sheet-view: Get rid of ctrl_pressed and shift_pressed.

Having these as member variables made it hard to keep key
press status separate from whether we want to extend or
toggle row selection.  Most of the time, these are the
same, but there are some cases (e.g. Shift+Tab) where they
don't coincide, and an upcoming commit will add another
case.

pspp-sheet-view: Rename GtkTreeSelectMode to PsppSheetSelectMode.

This avoids invading GTK+ reserved namespace.

Zip Reader: Take members from the index if they exist.

This allows readers to be iterated more than once.

Fixed a bug reading gnumeric files.

Importing  gnumeric spreadsheets would assert-fail if there were empty columns at the start of the sheet.

Examine vs. Boxplots: Avoid labels overlapping one another

One factored boxplots remove the name of the factor variables, since
these can be inferred from the chart title.  Also trim off any
leading whitespace from the values.  This reduces the chances of the
labels clashing with one another when many boxplots appear on the
same chart.

Closes bug #38132

Output Viewer Export: Automatically append filename suffix

When exporting the output viewer using the file chooser, automatically append
a . and a three letter suffix indicating the format of the export.
Closes bug #38133

REGRESSION: Added mention of the dependent variable to table titles.

Closes #34732

Fixed compiler warning placement-parser.c

psppire-window: Avoid doubled separator in Windows menu.

John Darrington noticed that sometimes the separator was doubled in the
Windows menu.  It seems that the code for detecting that we've already
added the separator was unreliable, because it would re-add the separator
if the number of windows increased from zero, dropped to zero, and then
increased again.

pspp-sheet-view: Make Control+Left, Control+Right go to ends of lines.

John Darrington reported that, in Gnumeric, Control+Left goes to the first
column and Control+Right goes to the last column.  This commit changes
the data sheet to do the same

Merge 'master' into 'psppsheet'.

casereader: Remove casereader_split() function.

It no longer has any users.

Reported by John Darrington.

RANK: Add support for temporary transformations.

Bug #37999.
Reported by Zoltan Fabian.

RANK: Adopt a new ranking implementation.

Before this commit, the implementation of RANK made multiple passes
through the active file, opening and closing it (with proc_open()
and proc_commit()) as many times as there were input variables.
This worked in simple cases, but it could never work with
TEMPORARY since the second proc_open() will see a different set
of data from the first one.

This commit rewrites RANK to open and read the active file only
once.  It does not make RANK properly work with TEMPORARY, but
it brings it much closer.  It may also be faster in some cases
because, although it makes the same number of passes through
the input data (necessarily), each pass discards all the input
columns except the ones that are really need for that pass.

RANK: Create all variables together, in order.

An upcoming commit will rewrite the RANK implementation so that the
new variables are not created until after a pass through the data.
(This makes sense because their values cannot actually be determined
until that pass is complete, so there is no point in allocating space
for them in cases.)  To do that, it is necessary to figure out the
variable names (and that they will be valid variable names) in
advance.  This commit switches to that approach in advance.

This approach has another small advantage: the order of the variables
added by RANK to the dictionary does not depend on whether the
variables are named by the user or by generating a name.  (This
is why the rank.at test case changes.)

RANK: Simplify rank_sorted_file() with new function sum_weights().

This makes the code easier to read and possibly even faster.

RANK: Simplify fraction_name() function.

The caller only needs a constant string so we might as well just return
one directly rather than through a static buffer.

RANK: Put #include directives into typical order.

RANK: Remove write-only struct member 'ascending'.

RANK: Lowercase the name of "enum RANK_FUNC".

It is fairly unusual to give a type an all-uppercase name.  The name looks
more natural to me in lowercase.

transformations: Relax the rules for transformation finalizing.

The trns_chain data structure has a barely useful concept called
"finalization".  In practice this is used to make sure that control
structures (e.g. DO IF) that are opened get closed (e.g. END IF).  There
are currently some restrictions on finalizing: namely, transformations
can't be added after a chain is finalized.  Since finalizers are barely
used, we can relax this restriction, which this commit does.  This will be
used in an upcoming commit where the ability to add a transformation to a
finalized change becomes useful for a corner case.

subcase: New function subcase_add_vars_always().

This function will be used in an upcoming commit.

casegrouper: Add comments.

Ensure that RELIABILITY is always fully constructed.

Commit e94a39ff572a51907545497c26faccdf4b2c5ada added a 'no crash' test
checking that RELIABILITY's destructor didn't cause any problems when
the procedure was presented with invalid syntax.  Unfortunately the
associated fix was only half done.  The scale_name variable was being
destroyed when it hadn't been initialised.  This change fixes that.

Reported-by: Jeremy Lavergne

Reliability: Fix crash on invalid syntax

Improve the printing size on Windows.

There were reports that on Windoze the printed output was tiny.  I
think this commit might improve things a little.

Fix xr to point unit conversion in cairo output driver.

The conversion between points (1/72") and xr units was wrong.
This meant that some things were slightly the wrong size.

Reviewed-by: Ben Pfaff

Output window: properly handle the dispose/finalisation

Document and implement "precision record" in portable file format.

Remove configure flag --enable-anachronistic-dependencies

This flag was a kludge and is not used anymore anyway.

lexer: Generalize lex_match_phrase() to handle any syntax.

This makes lex_match_phrase() slightly more useful.  It also eliminates
the ASCII-only requirement.

scan: Introduce string_lexer for simple tokenizing of a string.

The following commit will introduce a user outside of the tests.

segment: Don't require the input to end in a new-line.

segment: Separate SEG_N_TYPES from enum segment_type.

With SEG_N_TYPES not actually a member of enum segment_type, GCC doesn't
complain if it's missing from a switch statement on that type.

identifier: Make lex_id_get_length() handle Unicode.

This function's only caller is documented only to handle ASCII, so this
commit does not fix any bug, but it seems better to generalize our code.

cairo: Include command name in error messages.

Commit ddb7b52128d8 (output: Make errors, warnings, and notes into a new
"message_item".) changed command name tracking to a responsibility of
individual output drivers, and converted the output drivers to do it.
However, the conversion of the cairo driver was incomplete.  This commit
fixes that problem.

Reported by John Darrington.

Gnumeric Reader: Set dictionary to NULL on error

Simplify creation of pango layout in xr driver.

Create the layouts with pango_cairo_create_layout instead of
pango_layout_new.  This seems simpler and avoids a kludge.

Reviewed-By: Ben Pfaff

doc: Better describe the meaning of THRU in the RECODE command.

pohaku <pg@hawaii.edu> reported that the description was ambiguous.

doc: Improve formatting of RECODE command description.

Merge 'master' into 'psppsheet'.

Fixed a bug reading gnumeric files.

Some gnumeric files use <gnm:Name> tags for miscellaneous purposes.  Our code
had always assumed that it represented the name of the Sheet.  Hence these files
would read the wrong sheet of a workbook.  This change fixes it.  Closes 38028

GET DATA: Produce explicit error on invalid sheet index.

GET DATA: Add error message on incorrect syntax

Previously, when an incorrect syntax reading a spreadsheet file was used, the procedure
would silently fail.  Now it fails with an error message.

Gnumeric reader: Avoid potential crash reading invalid gnumeric files

identifier: Broaden the class of characters allowed in identifiers.

It appears that SPSS allows almost any Unicode character in an identifier,
and particular U+00B4 ACUTE ACCENT.  This commit adds more permitted
characters to the identifier checks.

Reported by Helen Barghan <kenny4president@web.de>.

expressions: Fix dependency on current year in tests.

The tests for expressions broke on Jan 1, 2013 because the default epoch
depends on the current year.  This commit fixes the tests by setting a
fixed epoch for dates.

Reported by John Darrington.

variable: Remove 'aux' member from struct variable.

perl-module: Drop use of variable aux data.

The variable aux data interfaces are not very clean, and furthermore
they have few users.  This commit eliminates the last user.

perl-module: Put struct dictionary inside a wrapper "struct pspp_dict".

In an upcoming commit this will allow an extra member to be associated
with the Perl version of each dictionary.

perl-module: Rename sysfile_info to syswriter_info.

This module had sysfile_info and sysreader_info.  The former was a writer,
the latter a reader.  I found the asymmetric names a little confusing, so
this commit renames them more consistently.

case-map: Drop use of variable aux data.

The variable aux data interfaces are not very clean, and furthermore
they have few users.  This commit eliminates one of the users.

CROSSTABS: Drop use of variable aux data.

The variable aux data interfaces are not very clean, and furthermore
they have few users.  This commit eliminates one of the users.

hmap: New interfaces for iterating a bucket without comparing hashes.

Update tests to reflect change in EXAMINE / EXTREME behaviour.

Commit bd156adaff5b7c1bbe48b5c64006ead58d9a37d6 slightly changed the
behaviour of the EXTREME subcommand of the EXAMINE procedure, but the
tests did not reflect this.

This change updates the tests accordingly.  Thanks to Zoltan Fabian
for confirming which was the correct behaviour.

Fix bug #37984 - EXAMINE extremes vs. fractional weights.

There was a bug where extreme values were not calculated properly when
weights were fractional.  This change fixes this problem and adds a
test.

Remove assertions which compare the sum of weights between passes.

These asserted that the sum of case-weights of a dataset calculated
in one pass, was the same as that calculated in a second pass.
Algebraically this is correct.  However, for optimisation purposes,
it is sometimes desireable that the second pass occurs after the
data has been reordered.   If that happens, the sum of weights can
be slightly different due to floating point rounding errors.  This
happens particularly when the caseweights are fractional.

Merge 'master' into 'psppsheet'.

csv-file-writer: Fix implementation of decimal point option.

Now that pspp sets LC_NUMERIC, dtoastr() might yield either '.' or ',' as
the decimal point, so the CSV writer needs to check for either one and
replace it by the decimal point requested by the caller.

Reported by John Darrington.

i18n: New functions for UTF-8 case conversion.

Also, use the new functions in a few cases where we want a full UTF-8
conversion.

Use UTF-8 case-insensitive hashes and comparisons for language identifiers.

The PSPP language has case-insensitive identifiers (variable names, etc.)
but until now it has only implemented case insensitivity for ASCII
characters.  This commit properly implements case insensitivity for all
Unicode characters, using libunistring.

Bug #31072.

Use "C" locale comparisons for language constructs.

These language constructs are ASCII so there's no need for a
locale-independent comparison and it seems to me that one would not make
sense in edge cases.

Fixed crash parsing NPAR CHISQUARE

Set the LC_NUMERIC locale category on startup.

Previously, for rather unsatisfactory reasons, pspp and psppire set all locale
categories except LC_NUMERIC.  The reasons for doing this have now been
resolved.  So this change sets all locale categories including LC_NUMERIC.

select cases dialog: Fix syntax generation issues when in non C locales

Aggregate dialog: Fix locale dependent syntax generation

Oneway dialog: Fix locale dependent syntax generation issues

T-TEST dialogs: Fixe locale dependent issues

Chi-Square Dialog: Fix locale dependent issues

Count Dialog and Recode Dialog: Make syntax generation locale independent

Binomial Dialog: Make syntax generation locale independent

Frequencies Dialog: Make the syntax generator locale independent

PRINT: Support ENCODING subcommand.

Bug #35825.

placement-parser: New public function parse_column().

This will acquire a new user in an upcoming commit.

placement-parser: Don't allow "/" as a FORTRAN input format.

DATA LIST allows / to appear inside FORTRAN format specifications but PRINT
does not, so disallow it here.

u8-line: Add new u8_line_set_length() function.

The other functions in the u8-line library come directly from the ASCII
output driver.  This function is new, so I broke it into this separate
commit to emphasize that.

u8-line: Factor out new library for composing lines of text in UTF-8.

This code from the ASCII driver will also be useful for the PRINT command
in an upcoming commit.

AUTORECODE: Fix incorrect #include.

Replace dtoastr with c_dtoastr where appropriate

New wrapper function c_dtoastr.

This function wraps dtoastr (from gnulib) replacing the first occurance of
, by .   Thanks to Ben Pfaff for this suggested implementation.

Factor dialog: use locale independent syntax generator

Autorecode: use locale independent printf function

Logistic Regression GUI: make locale independent.

The syntax generator for the logistic regression dialog generated commas instead of dots
under some locales.  This change fixes that.

syntax-gen.c (syntax_gen_pspp_valist): Add new %g directive