i18n: Merge translatable strings.

"Sig." is an abbreviation, "Exact" is not.

i18n: Eliminate some translatable strings.

i18n: Reduce translatable strings in SHOW command.

All the output from the SHOW command is of the form "%s is %s." but the
translators were being asked to translate similar strings over and over
again.  Reduce their load by getting rid of many translatable strings.

i18n: Change some strings to reduce work of translation.

PSPP has a number of strings that happen to be phrased differently for no
particular reason.  This commit changes some of those strings to be
exactly the same as other ones, to make the work of translators easier.

Separate table functions that format their arguments from those that don't.

The tab_text, tab_joint_text, and tab_output_text functions, until now,
had an option bit TAT_PRINTF that specified whether they passed their text
argument through sprintf.  This interface was bad because it made it
impossible for GCC to tell whether it needed to verify a printf format
string or not.

This commit solves the problem by breaking each of these functions into one
that does format its argument and one that doesn't.

Consistently capitalize the name "Gnumeric".

Thanks to Harry Thijssen for pointing out the inconsistency.

Fixed bug reporting the significance of paired value t-test.

Due to a cut and paste error, the significance of paired
t-tests was wrong when the value of T was positive.
Thanks to Mike Griffiths for reporting this problem.

New function prepare_cutpoints

Move the code which creates the cutpoints into its own
function.  This makes for easier reading IMO.

Updated the example with an easier to visualise one

Replaced the glade definition of about dialog with a C one.

The about dialog box is simple enough to maintain in C
rather than using a glade definition.

Removed unused function prototypes

Fix crash in find dialog and make code less horrible.

Fix bug encodig missing value keys in gui

Fix crash on text import dialog

Remove write-only variable from interaction_case_data.

Fix compiler warning in test program

Updated the developers' manual to reflect the new situation

Added a dict parameter to data_in and dealt with the consequences.

The data_in function now takes a pointer to a struct dictionary,
which must be the dictionary with which the output value is
associated.  Data_in now ensures that the data of string values
is converted to the dictionary's encoding if necessary.

Return 0.0 for mean of a categorical variable. Fixes bug mentioned in bug report 26861.

Use Harry Thijssen's real name instead of his nick "unknown-1", at his request.

Release PSPP 0.6.2-pre4.

Update to latest nl.po.

Thanks to unknown-1 and the coordinators at translationproject.org.

gui: Fix brown-paper-bag bug in output file name selection.

Thanks to michel@cecaps.ufmg.br for reporting the bug and the fix.

Remove recoding in data_store.

It's no longer appropriate to perform recoding in the gui.
Instead, this is expected to be done in the backend.

CROSSTABS: Handle long string variables without crashing (bug #26131).

Change union value type to contain uint8_t types instead of char.

Make the members of the union value type in src/data/value.h be
uint8_t instead of char.  This is more logical since the contents
of values cannot be considered "strings" until they have been
formatted.  The unformatted values are merely arrays of bytes.

This has the added advantage of provoking compiler warnings when
a char * type is being implicitly cast to a uint8_t * or vici-versa.
When such a warning is encountered, is probably means that the
data needs to be re-encoded using recode_string.

Remove erroneously commited diagnostic statement

Use default encoding when reading system files if no encoding is given in file.

Fix problem running the perl module

Replace legacy_recode with recode_string.

Iconv seems to do a good job of converting between
ascii and ebcdic, so use the recode_string function
instead of our own conversion routines.

Fix compile warnings

Fix bug in value labels dialog box

Add dictionary argument to tab_value.

In order to properly display values, tab_value needs
to know the dictionary from whence the value comes.
This is necessary so that string values can be properly
decoded.

This change adds this argument to tab_value and updates
all callers.

Recode strings when writing system files.

The long variable names, variable labels and value labels are
now converted from utf8 to the dictionary encoding when
writing a system file.

Fix crash when opening empty dataset

Convert to utf8 in data_out function.

Previously, the output value of data_out was of arbitrary encoding.
This change attempts to ensure that it is always utf8.

data_out function to dynamically allocate return value.

Preparation for i18n of values.  Instead of asking the
caller to prepare the buffer for output, data_out now
dynamically allocates the output value, and expects the
caller to free it.  This is necessary since for utf8
strings, the caller cannot reasonably know the length of
the required output buffer.  It also simplifies some uses
of data_out.

Change enum legacy_encoding to const char *.

Preparation for i18n of union values.  Remove the
legacy_encoding enum and substitute it with a const
char *.  This makes it easier to integrate recoding
of union values in the data parsing stage.

Store variable names, labels and value labels as UTF8.

This change converts long variable names, variable labels
and value labels to utf8 encoding when system files are
loaded.  It is therefore no longer necessary (nor correct)
to convert them when displaying.

Release PSPP 0.6.2-pre3.

Add Dutch translation.

Thanks to unknown-1 and the coordinators at translationproject.org.

Fix segfault drawing pie charts with old versions of libplot.

If chart_create returned null, we dereferenced a null pointer just below.
Avoid doing this.

Also add similar fixes to other code that calls chart_create.  It may not
be necessary in every case.

Reported by Jason Stover.

Release PSPP 0.6.2-pre2.

Correct default_output_path function on Windows.

Ensure that windows opens the right file for output.

Thanks to Michel Boaventura for reporting this problem.
Fixes bug #26542

Relocate the locale directory.

Based on commit 31e674bbb in master, but stable refers to locale_dir from
different files.

Thanks to Michel Boaventura for reporting the problem.

Release PSPP 0.6.2 prerelease 1.

chart: Fix format string issues in draw_tick callers.

The 'label' argument to draw_tick is used as a printf-type format string,
so callers must pass "%s" to safely use an arbitrary string as a label.

Also, hist_draw_bar was doing its own snprintf, but this commit changes it
to take advantage of that provided by draw_tick.

chart: Fix format string issues in chart_write_title callers.

The 'title' argument to chart_write_title is used as a printf-type format
string, so callers must pass "%s" to safely use an arbitrary string as a
title.

Fix bugs when input data is repeated

Added second ROC test

sys-file-reader: Don't warn if compression bias field is 0.

Some software writes a value of 0 to the compression bias field.  We
expect that this field has a value of 100 and warn if we see any other
value, but there is no real need to do so (because it is very likely
that we can read the file correctly in any case).  So suppress the
warning if we see a value of 0 here, because it bothers users.

Thanks to Tony Reardon <tony@sir.com.au> for reporting this
unnecessary warning.

por-file-reader: Tolerate short lines when detecting portable files.

When the portable file reader reads a file, it assumes that a line
shorter than 80 bytes should actually be padded out on the right with
spaces, because this is a fairly common problem in practice, perhaps
due to text editors or other software that drops spaces at the end of
a line.

However, pfm_detect, the function that is supposed to detect whether
a given file is an SPSS portable file, did not apply this heuristic to
the data that it read at the beginning of the file, and thus files in
which the first few lines were truncated this way were not detected
properly as portable files.

This commit fixes the problem by making pfm_detect a little bit
smarter.  It would probably be better to actually unify the
file-reading logic, instead of implementing it in two separate places,
but this appears to work adequately too.

Thanks to Tony Reardon <tony@sir.com.au> for reporting the problem
and supplying a file that demonstrated it.

Renamed interaction_variable_get_var to interaction_get_variable.

Renamed interaction_variable_get_member to interaction_get_member.

Split update_hash_entry into update_hash_entry and
update_hash_entry_intr for interactions.

inner_intr_loop: New function.

covariance_accumulate_pairwise: Loop separately over variables, then interactions.

interaction_variable_create: Make interactions type alpha when
appropriate.

interaction_value_create: Use value_resize to avoid copying more data than
necessary into new interaction_value.

Add new functions to define subcase orderings.

Allow subcases to be defined from a index and width,
rather from a variable.  This avoids much of the
need for var_create_internal.

sparse-xarray: Add missing #include <limits.h>.

Thanks to michel <michel@cecaps.ufmg.br> for reporting the problem.

Allow variables created by var_create_internal to have any width.

Until now, var_create_internal has always created a numeric variable.
In the long run we wish to phase out the use of internal variables
entirely, but this change should help Jason get some work done in the
short term.

Fix compile warning

Added code to plot the ROC curve

Fix type mismatch between value_hash prototype and definition.

Thanks to michel <michel@cecaps.ufmg.br> for pointing out the problem.

Drop call to deleted function value_cnt_from_width (from debug-only code).

Thanks to Jason for pointing out the problem.

Fixed crash caused by regressing with categorical variables

Added code to generate the ROC cutpoint tables.

Add check that input to casereader_create_distinct are sorted

Fix bug when positive and negative groups are of different lengths

Add framework for ROC summary table

Use the requested method for calculating the ROC AUC standard error

Added basic calculation and display of area under the curve

Added test for the ROC command

Added a new casereader translator to consolodate cases.

This new translator creates a reader which provides
a list of distinct cases in the input, with the weights
consolodated, where applicable.

Added stub for ROC computation

Fixed bug inserting cases in data sheet.

Cases were not being inserted in the correct position.

Added documentation for the ROC command

Added parser for the ROC command.

Support mult-data charts and legend.

Add support for charts to have datasets with seperate
colours, and a legend to indicate them.

Fix handling of #! at beginning of PSPP syntax file; add regression test.

Fixes bug #26518.

Thanks to John Darrington for testing.

Remove spurious Makefile from src/output.

crosstabs: Fix chi-square display and add regression test.

Bug #26739.

crosstab: Remove struct that was defined but never used.

crosstabs: Remove write-only variable.

crosstabs: Fix segfault when chi-square was requested.

Bug #26739.

datasheet-test: Add support for testing string backing store columns.

crosstabs: Trim unsightly spaces from titles in output.

Unfortunately, none of the tests exercise this code, so it's hard to say
whether it is correct.

crosstabs: Fix memory leaks.

argv-parser: Add assertion to find likely bugs in client code.

datasheet: Fix bugs in datasheet_resize_column() found with new test.

datasheet-test: Add test for datasheet_resize_column().

datasheet-test: Fix printing of string values in error messages.

datasheet-test: Check duplicate states before discarding them.

By failing to check states whose hashes already appeared in the model
checker table, the datasheet test was missing some bugs.  This commit
changes the datasheet test code to check the state before it checks for
the hash.

datasheet-test: Make column widths to test configurable on command line.

datasheet-test: Don't test null operations.

By not testing null operations (such as inserting or deleting 0 rows or
columns) the duration of the test is cut roughly in half, with little if
any reduction in test coverage.

sparse-xarray-test: Style and comment fixes.

value: New function value_swap.

Move datasheet test out of PSPP into a separate binary.

When it's not difficult to do so, it is better to put tests in separate
binaries instead of in the PSPP binaries, so that the binaries are not
burdened with code that is not of real interest to users and to make the
main PSPP binaries build faster.

Make MAX_SHORT_STRING an implementation detail of the "value" code.

MAX_SHORT_STRING used to be important.  It was referenced all over the
source tree.  Now, there is little reason for code outside the "value"
code itself to use it.

Use MAX_SHORT_STRING in place of MIN_LONG_STRING.

There is no good reason to have both of these constants, so replace all
uses of MAX_LONG_STRING by MAX_SHORT_STRING.

Fix portable file reader use of long strings.

This code hadn't been converted to the new "union value" representation,
where a single "union value" always represents a whole data item.  This
commit fixes that.

Get rid of uses of MAX_SHORT_STRING in Gnumeric and PostgreSQL readers.

MAX_SHORT_STRING is now intended to be an implementation detail of the
value code.  There is no real reason that the Gnumeric or PostgreSQL
readers need to use it, so make them use their own constants instead.

Implement missing values for long string variables.