Fix compiler warning in test program

Updated the developers' manual to reflect the new situation

Added a dict parameter to data_in and dealt with the consequences.

The data_in function now takes a pointer to a struct dictionary,
which must be the dictionary with which the output value is
associated.  Data_in now ensures that the data of string values
is converted to the dictionary's encoding if necessary.

Return 0.0 for mean of a categorical variable. Fixes bug mentioned in bug report 26861.

Use Harry Thijssen's real name instead of his nick "unknown-1", at his request.

Release PSPP 0.6.2-pre4.

Update to latest nl.po.

Thanks to unknown-1 and the coordinators at translationproject.org.

gui: Fix brown-paper-bag bug in output file name selection.

Thanks to michel@cecaps.ufmg.br for reporting the bug and the fix.

Remove recoding in data_store.

It's no longer appropriate to perform recoding in the gui.
Instead, this is expected to be done in the backend.

CROSSTABS: Handle long string variables without crashing (bug #26131).

Change union value type to contain uint8_t types instead of char.

Make the members of the union value type in src/data/value.h be
uint8_t instead of char.  This is more logical since the contents
of values cannot be considered "strings" until they have been
formatted.  The unformatted values are merely arrays of bytes.

This has the added advantage of provoking compiler warnings when
a char * type is being implicitly cast to a uint8_t * or vici-versa.
When such a warning is encountered, is probably means that the
data needs to be re-encoded using recode_string.

Remove erroneously commited diagnostic statement

Use default encoding when reading system files if no encoding is given in file.

Fix problem running the perl module

Replace legacy_recode with recode_string.

Iconv seems to do a good job of converting between
ascii and ebcdic, so use the recode_string function
instead of our own conversion routines.

Fix compile warnings

Fix bug in value labels dialog box

Add dictionary argument to tab_value.

In order to properly display values, tab_value needs
to know the dictionary from whence the value comes.
This is necessary so that string values can be properly
decoded.

This change adds this argument to tab_value and updates
all callers.

Recode strings when writing system files.

The long variable names, variable labels and value labels are
now converted from utf8 to the dictionary encoding when
writing a system file.

Fix crash when opening empty dataset

Convert to utf8 in data_out function.

Previously, the output value of data_out was of arbitrary encoding.
This change attempts to ensure that it is always utf8.

data_out function to dynamically allocate return value.

Preparation for i18n of values.  Instead of asking the
caller to prepare the buffer for output, data_out now
dynamically allocates the output value, and expects the
caller to free it.  This is necessary since for utf8
strings, the caller cannot reasonably know the length of
the required output buffer.  It also simplifies some uses
of data_out.

output: Make box-whisker plots work again.

Change enum legacy_encoding to const char *.

Preparation for i18n of union values.  Remove the
legacy_encoding enum and substitute it with a const
char *.  This makes it easier to integrate recoding
of union values in the data parsing stage.

Store variable names, labels and value labels as UTF8.

This change converts long variable names, variable labels
and value labels to utf8 encoding when system files are
loaded.  It is therefore no longer necessary (nor correct)
to convert them when displaying.

Release PSPP 0.6.2-pre3.

Add Dutch translation.

Thanks to unknown-1 and the coordinators at translationproject.org.

Fix segfault drawing pie charts with old versions of libplot.

If chart_create returned null, we dereferenced a null pointer just below.
Avoid doing this.

Also add similar fixes to other code that calls chart_create.  It may not
be necessary in every case.

Reported by Jason Stover.

Release PSPP 0.6.2-pre2.

Correct default_output_path function on Windows.

Ensure that windows opens the right file for output.

Thanks to Michel Boaventura for reporting this problem.
Fixes bug #26542

Relocate the locale directory.

Based on commit 31e674bbb in master, but stable refers to locale_dir from
different files.

Thanks to Michel Boaventura for reporting the problem.

output: Refactor implementation of charts.

This commit addresses a weakness of the charts implementation in PSPP, in
that charts can only be sent to a single output device.  This is because
the chart code calls into a single output driver to obtain a libplot
plotting context and then passes that back into the calling code, which
draws on it and passes it back to the output driver.  This commit refactors
the code so that, instead, a chart is an ADT that is reponsible for knowing
how to draw itself on a plotting device.  Then the function for outputting
a chart applies this function to each output device.

This is more complicated than necessary: we could just loop over the set of
output devices and draw a chart on each one in turn.  But this level of
complication is being introduced now so that later we can keep around
charts in memory as long as necessary for the GUI output engine to export
them on user demand.

This commit introduces a couple of regressions:

* libplot is now required, not optional.

* Box-whisker plots are disabled.

This regressions will be fixed by later commits.

Release PSPP 0.6.2 prerelease 1.

chart: Fix format string issues in draw_tick callers.

The 'label' argument to draw_tick is used as a printf-type format string,
so callers must pass "%s" to safely use an arbitrary string as a label.

Also, hist_draw_bar was doing its own snprintf, but this commit changes it
to take advantage of that provided by draw_tick.

chart: Fix format string issues in chart_write_title callers.

The 'title' argument to chart_write_title is used as a printf-type format
string, so callers must pass "%s" to safely use an arbitrary string as a
title.

chart: Fix format string issues in draw_tick callers.

The 'label' argument to draw_tick is used as a printf-type format string,
so callers must pass "%s" to safely use an arbitrary string as a label.

Also, hist_draw_bar was doing its own snprintf, but this commit changes it
to take advantage of that provided by draw_tick.

chart: Fix format string issues in chart_write_title callers.

The 'title' argument to chart_write_title is used as a printf-type format
string, so callers must pass "%s" to safely use an arbitrary string as a
title.

piechart: Change 'angle' variable from static to automatic.

piechart: Fix spelling of "magnitude".

piechart: Use definition of M_PI from GSL.

The GSL header <gsl/gsl_math.h> makes sure that the standard BSD
mathematical constants are defined, so we don't have to do it ourselves.

output: Get rid of 'prc' member of struct outp_driver.

Not only is having a per-procedure member in struct outp_driver a layering
violation, it wasn't very useful, so this commit gets rid of it.

LIST: Don't use outp_driver 'prc' member any longer.

The LIST procedure is the only one that uses the 'prc' member of struct
outp_driver.  This commit gets rid of that use, so that 'prc' can be
removed, as part of a larger output subsystem cleanup.

output: Get rid of histogram_plot_n function.

For some reason we have two functions to plot histograms, one of which is
marked "deprecated" and the other of which is a trivial wrapper.  It's
easy, however, to get rid of one of them and make the caller in charge of
doing what the wrapper does, especially since the wrapper had only a single
caller.  That is what this commit does.

output: Fix segfault for writing output outside a command invocation.

Running "make check" made this problem obvious, but it hadn't shown up in
my in-GUI testing.

output: Avoid functions added in GTK 2.14 in GUI output code.

output: Reduce Cairo minimum version to 1.5.

Suggested by John Darrington.

output: Make double-clicking in GUI output overview pane scroll to table.

output: Give the overview pane in the GUI output a reasonable initial width.

output: Improve title display in overview pane of GUI output.

Fix bugs when input data is repeated

Added second ROC test

output: Add overview pane to GUI output window.

output: Include command names in titles in GUI output.

The command name displayed by the output engine was the current command
name.  The GUI output was never displayed during the actual execution of a
command, so GUI titles never included a command name.

This commit puts the command name into the struct passed into the output
engine, so that it gets saved and displayed.

crosstabs: Fix free of bad pointer and use-after-free error in cleanup.

In free_proc, 'pt' points within an array that is dynamically
allocated, not to a data structure that is dynamically allocated, so
we must not try to free it on each iteration.  Instead, free the
dynamic array itself (proc->pivots) only once.

output: Use "base" color for background in GUI output window.

The "base" color in GtkStyle is used as the background color for GTK+
widgets that display editable text, e.g. GtkEntry.  That's what we're
aiming for, eventually, with the PSPP GUI output, and the default
white "base" color looks better than the default gray background
color, so use it.

output: Use gtk_widget_show_all instead of gtk_widget_show_now.

The gtk_widget_show_now function is not supposed to used lightly,
according to GTK+ documentation.  We don't really need it here, so
avoid it.

output: Make GUI output window scrollable.

output: Implement very rudimentary graphical GUI output for PSPPIRE.

It's quick and dirty and lacks many important features (such as
scrolling, and not leaking memory), but it does look a lot better than
a text editor window.

output: Make tables reference-counted.

Adding a reference count to tab_table allows output drivers to retain
a copy of a table even after the main output engine is done.  This
will be useful for the GUI output driver.

output: Improve warnings about negative table dimensions.

output: Make outp_parse_options slightly more general-purpose.

This function can be a little more flexible in the interface it offers
its callers by letting them provide general auxiliary data instead of
having to provide a struct outp_driver *.

Make the UTF-8 graphic devices avoid overstriking by default.

The UTF-8 graphic devices introduced in the previous commit use
backspaces and overstriking to indicate bold, but most users probably
won't appreciate that, since it makes it harder to work with the
output files in many text editors.  Thus, disable this behavior.

Thanks to John Darrington for pointing out the issue.

Add Unicode (UTF-8) line-drawing support to device configuration.

Thanks to jwshipley@jwshipley.karoo.co.uk for the suggestion.

sys-file-reader: Don't warn if compression bias field is 0.

Some software writes a value of 0 to the compression bias field.  We
expect that this field has a value of 100 and warn if we see any other
value, but there is no real need to do so (because it is very likely
that we can read the file correctly in any case).  So suppress the
warning if we see a value of 0 here, because it bothers users.

Thanks to Tony Reardon <tony@sir.com.au> for reporting this
unnecessary warning.

por-file-reader: Tolerate short lines when detecting portable files.

When the portable file reader reads a file, it assumes that a line
shorter than 80 bytes should actually be padded out on the right with
spaces, because this is a fairly common problem in practice, perhaps
due to text editors or other software that drops spaces at the end of
a line.

However, pfm_detect, the function that is supposed to detect whether
a given file is an SPSS portable file, did not apply this heuristic to
the data that it read at the beginning of the file, and thus files in
which the first few lines were truncated this way were not detected
properly as portable files.

This commit fixes the problem by making pfm_detect a little bit
smarter.  It would probably be better to actually unify the
file-reading logic, instead of implementing it in two separate places,
but this appears to work adequately too.

Thanks to Tony Reardon <tony@sir.com.au> for reporting the problem
and supplying a file that demonstrated it.

output: Make allocating and freeing drivers independent of configuration.

Until now, the output subsystem has taken responsibility for
allocating, freeing, registering, and unregistering output drivers.
This is usually what we want it to do, but PSPPIRE will soon want to
register an output driver of its own, independent of the main driver
configuration mechanism.  This commit refactors the output driver
subsystem slightly to make this possible.

Renamed interaction_variable_get_var to interaction_get_variable.

Renamed interaction_variable_get_member to interaction_get_member.

Split update_hash_entry into update_hash_entry and
update_hash_entry_intr for interactions.

inner_intr_loop: New function.

covariance_accumulate_pairwise: Loop separately over variables, then interactions.

interaction_variable_create: Make interactions type alpha when
appropriate.

interaction_value_create: Use value_resize to avoid copying more data than
necessary into new interaction_value.

cairo: Use default Cairo scale factor.

By not using cairo_scale() at all, the rest of the code, especially
the Pango-related code, seems to make more sense.

output: Make global variables less global.

table_num and subtable_num were previously global variables that were
referred to from multiple files.  Now that we want to make tables
renderable from arbitrary contexts, though, we need to save the table
number with the table, so this change implements that.

Add new functions to define subcase orderings.

Allow subcases to be defined from a index and width,
rather from a variable.  This avoids much of the
need for var_create_internal.

sparse-xarray: Add missing #include <limits.h>.

Thanks to michel <michel@cecaps.ufmg.br> for reporting the problem.

sparse-xarray: Add missing #include <limits.h>.

Thanks to michel <michel@cecaps.ufmg.br> for reporting the problem.

output: Make table dimension functions work in arbitrary contexts.

Until now the function passed to tab_dim has only been called at the
time that the table is passed to tab_submit.  But in upcoming commits
the table will be kept around and rendered possibly much later (by the
GUI), so the function to tab_dim has to be sure to only use data that
will exist at that time.  Thus, this commit makes it possible to free
the auxiliary data passed to that function, so that in the few cases
where it needs to keep around extra data, it can do so without leaking
memory.  At the same time, convert the few functions that do need this
feature to use it.

Allow variables created by var_create_internal to have any width.

Until now, var_create_internal has always created a numeric variable.
In the long run we wish to phase out the use of internal variables
entirely, but this change should help Jason get some work done in the
short term.

Fix compile warning

Added code to plot the ROC curve

output: Use "struct string" in tabi_title in place of fixed-size buffer.

This ensures that extra-long titles provided by the user do not overflow
the stack.

Get rid of most global variables in outputting tables.

cairo: Fix values of prop_em_width, fixed_width.

For some reason prop_em_width and fixed_width were getting very small
values, e.g. 5 and 7, when they were being pulled from the font metrics.
These values should be more like 1024 times larger and  I can't figure
why they aren't.  But this works around the problem for now.

output: Get rid of unused SOM_ROW, SOM_COLUMN enums.

output: Get rid of unused members of struct som_table_class.

I planned to use these at one point, but no longer do.

output: Remove static variables from manager code.

table: Replace macros by inline functions, to improve type safety.

Fix type mismatch between value_hash prototype and definition.

Thanks to michel <michel@cecaps.ufmg.br> for pointing out the problem.

Fix type mismatch between value_hash prototype and definition.

Thanks to michel <michel@cecaps.ufmg.br> for pointing out the problem.

Drop call to deleted function value_cnt_from_width (from debug-only code).

Thanks to Jason for pointing out the problem.

Fixed crash caused by regressing with categorical variables

Added code to generate the ROC cutpoint tables.

Add check that input to casereader_create_distinct are sorted

Fix bug when positive and negative groups are of different lengths

Add framework for ROC summary table

Use the requested method for calculating the ROC AUC standard error

Added basic calculation and display of area under the curve

Added test for the ROC command

Added a new casereader translator to consolodate cases.

This new translator creates a reader which provides
a list of distinct cases in the input, with the weights
consolodated, where applicable.

Added stub for ROC computation

Fixed bug inserting cases in data sheet.

Cases were not being inserted in the correct position.

Added documentation for the ROC command

Added parser for the ROC command.