Improve the printing size on Windows.

There were reports that on Windoze the printed output was tiny.  I
think this commit might improve things a little.

Fix xr to point unit conversion in cairo output driver.

The conversion between points (1/72") and xr units was wrong.
This meant that some things were slightly the wrong size.

Reviewed-by: Ben Pfaff

Output window: properly handle the dispose/finalisation

Document and implement "precision record" in portable file format.

Remove configure flag --enable-anachronistic-dependencies

This flag was a kludge and is not used anymore anyway.

lexer: Generalize lex_match_phrase() to handle any syntax.

This makes lex_match_phrase() slightly more useful.  It also eliminates
the ASCII-only requirement.

scan: Introduce string_lexer for simple tokenizing of a string.

The following commit will introduce a user outside of the tests.

segment: Don't require the input to end in a new-line.

segment: Separate SEG_N_TYPES from enum segment_type.

With SEG_N_TYPES not actually a member of enum segment_type, GCC doesn't
complain if it's missing from a switch statement on that type.

identifier: Make lex_id_get_length() handle Unicode.

This function's only caller is documented only to handle ASCII, so this
commit does not fix any bug, but it seems better to generalize our code.

cairo: Include command name in error messages.

Commit ddb7b52128d8 (output: Make errors, warnings, and notes into a new
"message_item".) changed command name tracking to a responsibility of
individual output drivers, and converted the output drivers to do it.
However, the conversion of the cairo driver was incomplete.  This commit
fixes that problem.

Reported by John Darrington.

Gnumeric Reader: Set dictionary to NULL on error

Simplify creation of pango layout in xr driver.

Create the layouts with pango_cairo_create_layout instead of
pango_layout_new.  This seems simpler and avoids a kludge.

Reviewed-By: Ben Pfaff

doc: Better describe the meaning of THRU in the RECODE command.

pohaku <pg@hawaii.edu> reported that the description was ambiguous.

doc: Improve formatting of RECODE command description.

Fixed a bug reading gnumeric files.

Some gnumeric files use <gnm:Name> tags for miscellaneous purposes.  Our code
had always assumed that it represented the name of the Sheet.  Hence these files
would read the wrong sheet of a workbook.  This change fixes it.  Closes 38028

GET DATA: Produce explicit error on invalid sheet index.

GET DATA: Add error message on incorrect syntax

Previously, when an incorrect syntax reading a spreadsheet file was used, the procedure
would silently fail.  Now it fails with an error message.

Gnumeric reader: Avoid potential crash reading invalid gnumeric files

identifier: Broaden the class of characters allowed in identifiers.

It appears that SPSS allows almost any Unicode character in an identifier,
and particular U+00B4 ACUTE ACCENT.  This commit adds more permitted
characters to the identifier checks.

Reported by Helen Barghan <kenny4president@web.de>.

expressions: Fix dependency on current year in tests.

The tests for expressions broke on Jan 1, 2013 because the default epoch
depends on the current year.  This commit fixes the tests by setting a
fixed epoch for dates.

Reported by John Darrington.

variable: Remove 'aux' member from struct variable.

perl-module: Drop use of variable aux data.

The variable aux data interfaces are not very clean, and furthermore
they have few users.  This commit eliminates the last user.

perl-module: Put struct dictionary inside a wrapper "struct pspp_dict".

In an upcoming commit this will allow an extra member to be associated
with the Perl version of each dictionary.

perl-module: Rename sysfile_info to syswriter_info.

This module had sysfile_info and sysreader_info.  The former was a writer,
the latter a reader.  I found the asymmetric names a little confusing, so
this commit renames them more consistently.

case-map: Drop use of variable aux data.

The variable aux data interfaces are not very clean, and furthermore
they have few users.  This commit eliminates one of the users.

CROSSTABS: Drop use of variable aux data.

The variable aux data interfaces are not very clean, and furthermore
they have few users.  This commit eliminates one of the users.

hmap: New interfaces for iterating a bucket without comparing hashes.

Update tests to reflect change in EXAMINE / EXTREME behaviour.

Commit bd156adaff5b7c1bbe48b5c64006ead58d9a37d6 slightly changed the
behaviour of the EXTREME subcommand of the EXAMINE procedure, but the
tests did not reflect this.

This change updates the tests accordingly.  Thanks to Zoltan Fabian
for confirming which was the correct behaviour.

Fix bug #37984 - EXAMINE extremes vs. fractional weights.

There was a bug where extreme values were not calculated properly when
weights were fractional.  This change fixes this problem and adds a
test.

Remove assertions which compare the sum of weights between passes.

These asserted that the sum of case-weights of a dataset calculated
in one pass, was the same as that calculated in a second pass.
Algebraically this is correct.  However, for optimisation purposes,
it is sometimes desireable that the second pass occurs after the
data has been reordered.   If that happens, the sum of weights can
be slightly different due to floating point rounding errors.  This
happens particularly when the caseweights are fractional.

csv-file-writer: Fix implementation of decimal point option.

Now that pspp sets LC_NUMERIC, dtoastr() might yield either '.' or ',' as
the decimal point, so the CSV writer needs to check for either one and
replace it by the decimal point requested by the caller.

Reported by John Darrington.

i18n: New functions for UTF-8 case conversion.

Also, use the new functions in a few cases where we want a full UTF-8
conversion.

Use UTF-8 case-insensitive hashes and comparisons for language identifiers.

The PSPP language has case-insensitive identifiers (variable names, etc.)
but until now it has only implemented case insensitivity for ASCII
characters.  This commit properly implements case insensitivity for all
Unicode characters, using libunistring.

Bug #31072.

Use "C" locale comparisons for language constructs.

These language constructs are ASCII so there's no need for a
locale-independent comparison and it seems to me that one would not make
sense in edge cases.

Fixed crash parsing NPAR CHISQUARE

Set the LC_NUMERIC locale category on startup.

Previously, for rather unsatisfactory reasons, pspp and psppire set all locale
categories except LC_NUMERIC.  The reasons for doing this have now been
resolved.  So this change sets all locale categories including LC_NUMERIC.

select cases dialog: Fix syntax generation issues when in non C locales

Aggregate dialog: Fix locale dependent syntax generation

Oneway dialog: Fix locale dependent syntax generation issues

T-TEST dialogs: Fixe locale dependent issues

Chi-Square Dialog: Fix locale dependent issues

Count Dialog and Recode Dialog: Make syntax generation locale independent

Binomial Dialog: Make syntax generation locale independent

Frequencies Dialog: Make the syntax generator locale independent

PRINT: Support ENCODING subcommand.

Bug #35825.

placement-parser: New public function parse_column().

This will acquire a new user in an upcoming commit.

placement-parser: Don't allow "/" as a FORTRAN input format.

DATA LIST allows / to appear inside FORTRAN format specifications but PRINT
does not, so disallow it here.

u8-line: Add new u8_line_set_length() function.

The other functions in the u8-line library come directly from the ASCII
output driver.  This function is new, so I broke it into this separate
commit to emphasize that.

u8-line: Factor out new library for composing lines of text in UTF-8.

This code from the ASCII driver will also be useful for the PRINT command
in an upcoming commit.

AUTORECODE: Fix incorrect #include.

Replace dtoastr with c_dtoastr where appropriate

New wrapper function c_dtoastr.

This function wraps dtoastr (from gnulib) replacing the first occurance of
, by .   Thanks to Ben Pfaff for this suggested implementation.

Factor dialog: use locale independent syntax generator

Autorecode: use locale independent printf function

Logistic Regression GUI: make locale independent.

The syntax generator for the logistic regression dialog generated commas instead of dots
under some locales.  This change fixes that.

syntax-gen.c (syntax_gen_pspp_valist): Add new %g directive

psppire-var-view.c: New function psppire_var_view_append_names_str

str.c: New functions ds_put_c_vformat and ds_put_c_format

Added a new printf-like functions which are locale independent.
Added this new function, and changed syntax_gen_pspp_valist to use it.
Rationale: syntax generation should never be locale dependent.

glade: Add #include <config.h>.

I have found that this is necessary with the latest update to Gnulib to
make the glade code compile without errors.

UPDATE: Do not update from missing values in transaction files.

The documentation said that missing and all-spaces values in transaction
files did not update the master file, but the implementation was wrong.

Reported by Kees Varekamp <kees@mroffice.org>.

combine-files: Break apart apply_file_case_and_advance().

An upcoming patch will sometimes need to do something different from
apply_case() before advancing.

value: New function value_is_spaces().

Update Gnulib hash

PsppireOutputWindow (create_xr_print_driver) fix LC_NUMERIC issues.

This function used *printf with a %f directive, which  under certain
locales would have generated a string like "270,00x210,00mm" which the
print driver would have rejected.
This change uses the newly available c_xasprintf function from gnulib
to alleviate this problem.

Replaced sprintf with c_snprintf where appropriate

Updated the German translation from http://translationproject.org

Replaced strtod with c_strtod where appropriate

Should LC_NUMERIC ever get set, this will become important.

Converted crosstabs-dialog to the new way of doing things

measure.c: Use c_strtod instead of strtod

Since the input to these function come from hard coded strings, it is not appropriate
to interpret them in a locale dependent manner.

data-out.c: Added assertion to avoid out of bounds memory access

This could (has!) happened if the locale is not correctly set

SHOW: Add JOURNAL subcommand.

Bug #35665.
Requested by Harry Thijssen.

histogram: Add missing #include.

Commit 02b9b37698eb "Disable asserts in histogram code except in
--testing-mode" added a use of settings_get_testing_mode() but didn't
include the proper header.  This fixes the problem.

Disable asserts in histogram code except in --testing-mode

The assertions in histogram.c are algebraically correct,
but due to floating point errors may not actually be true.
This change disables them except when in testing mode.
The tests in charts.at rely upon them being enabled.
Closes bug #36395

DESCRIPTIVES: Make Z score calculation honor SPLIT FILE.

Until now, DESCRIPTIVES has not supported SPLIT FILE in Z score
calculations.  That is, Z scores have been calculated on the basis of a
single group for the entire file, which doesn't make any sense.  This
commit properly implements Z score calculation on a per-split group basis.

Bug #16351.

tests: Add tests to cover corner cases in DATESUM, DATEDIFF.

These corner cases weren't covered by previous tests.

Bug #30708.
Reported by Daniel E WILLIAMS <Daniel.E.Williams@state.or.us>.

Remove feature to automatically connect to GDB when debugging is enabled.

This feature caused a few problems in "make check" on some distributions
when debugging was enabled at compile time.  It is probably possible to
find and fix those particular problems, but the feature itself is
little-used, so this commit instead removes it.

Bug #37444.
Reported by Mindaugas.

file handle properties: Make encoding member const

This member is never modified.  So declare it as const.  This way it
can be initialised from a static string.

Aggregate Dialog: use global callback

Runs Dialog: use global callback instead of a private one

psppire-data-window: Only allow saving a file with at least one variable.

A data file with no variables can't be saved to a file.  Until now, this
wasn't detected until the user had already chosen a file name, and the
message used to report it was confusing: "SAVE is allowed only after the
active file has been defined."  With this commit, the menu item and toolbar
item for save operations is, instead, disabled if the file has no
variables.

Bug #30700.
Reported by eric thivant, via Harry Thijssen, with help from Michel
Boaventura.

DATA LIST: Accept freefield format types without widths use minimum width.

A user reported that SPSS accepts syntax such as "DATA LIST FREE/
d (DATETIME)." using a default width for the field with no specified width.
This commit makes PSPP accept this syntax too, although it does not get
the width exactly right (please let me know if you figure out how to do
that).

Bug #30690.
Reported by Andreas Lappe.

format-parser: Improve error message when format specifier lacks width.

Until now, parse_format_specifier() was willing to parse, e.g. "datetime"
as a format specifier.  It would then be rejected later by e.g.
fmt_check_input() with a message like "Input format DATETIME0.0 specifies
width 0, but DATETIME requires a width between 17 and 40," which makes no
sense to the user.  This commit improves the error message.

data-parser: Use data-file error types for data-file errors.

The SW error type that these calls to msg() used before this command
include the name of the executing command in the error message.  This can
be confusing because the executing command may not have any connection to
the command that said to read the data file.  This commit changes these
error types to DW, which is intended for errors in a data file (and omits
the command name).

Bug #26517.

INPUT PROGRAM: Don't break out of INPUT PROGRAM on interactive error.

Until now, any erroneous command typed within an input program at an
interactive command prompt implicitly "broke out" of the input program,
causing confusing behavior.  This commit fixes the problem: commands
following an erroneous command within INPUT PROGRAM continue to be part of
the input program.

Bug #33419.
Reported by John Darrington.

DATA LIST FREE: Warn when a quoted string is not followed by a delimiter.

A field parsed by DATA LIST FREE (or LIST) is either quoted or unquoted.
When it is quoted, this means that the entire field has to be quoted, that
is, it is not possible to quote some initial part of the field, then leave
some part of it unquoted (then possibly quote an additional part, etc.).
That means that the quoted portion should be followed by a delimiter,
such as white space, a comma, or end of line, but PSPP didn't warn when
it was not.  This commit makes PSPP warn in this situation, which makes
errors in the input easier to find.

Bug #26522.
Reported by Pascal Barbedor <pbarbedor@gmail.com>.

output: Make default output file name depend on the format.

Before this commit, "-O html" caused HTML output to be written to a file
named "-", which is confusing.  After this commit, it is written to a file
named "pspp.html".  Similarly for other output drivers, except that text
and CSV output are still written to stdout by default.

Bug #35030.
Reported by John Darrington.

CROSSTABS: Use FORMAT setting to control output format.

Reported by Daniel Harper.

Frequencies dialog: Convert to new system

Fixed bug in NPAR BINOMIAL

This bug would crash when an incorrect syntax was encountered.

Binomial test dialog:  Convert to new style of action objects.

Fix compiler warning

Refactoring: common function set_sensitivity from toggle

Many dialog boxes have a signal handler to set the sensitivity
of a widget, according to the state of a toggle button.  Until
now, they had all written their own.

Logistic Regression: Ignore cases with missing dependent variables.

Prior to this change, cases with missing values in the predictor
variables were ignored, but cases with missing values only in the
dependent variable would provoke an error.  Subsequent to this change
such cases are also ignored.  This seems to be the behaviour of other
software, despite what their documentation may suggest.

Logistic Regression: Added options dialog box

Logistic Regression: Added a test to check the confidence interval display

Logistic Regression: Fix bug where some confidence intervals were not reported.

Logistic Regression: Calculate the logs of the likelihood instead of the raw value.

The likelihood values can become extremely large which can result in
lost precision in a double.  This change therefore calculates the
logarithms of the likelihoods instead of their actual value.

Logistic Regression Dialog: Added missing shortcut target.

Changed the labels of the Regression menu to keep them shorter.