output: Use Cairo and Pango to draw charts, instead of libplot.

This paves the way for adding support for charts to the PSPPIRE GUI, since
Cairo can render to a window in GTK+ whereas libplot cannot.

I am aware of the following regressions versus the state before this
commit:

1. Alignment of text in charts on the baseline is not properly implemented.
   This makes the labels in pie charts look funny.

2. Chart titles are drawn in the same font size as other chart text.

3. Building without Cairo and Pango is broken.

4. The postscript output driver (as opposed to the cairo output driver in
   PostScript output mode) no longer supports charts.

I plan to fix #1, #2, and #3.  #4 is fixable too, but I don't know whether
it is worth it; I might prefer to delete the postscript output driver
altogether.

output: Make chart geometry the responsibility of the output driver.

Currently, with libplot, all charts have the same geometry, because
libplot allows us to reasonably set the dimensions of the drawing area
to the same 1000x1000 size.  But cairo will produce strangely scaled
results if we attempt to do the same thing there (distorted font sizes,
etc.).  So make the output drivers responsible for setting up the chart
geometry, so that the output drivers can tell the chart drawing routines
the size of the drawing area.

charts: Use numeric colors instead of color names.

Cairo doesn't support color names, so this will ease the transition.

output: Make building without libplot possible again.

This fixes the remaining known functional regression versus the situation
before refactoring the charts implementation.

output: Use macro HAVE_CHARTS instead of NO_CHARTS.

Double negatives make my brain hurt, so don't use them.

output: Remove barchart implementation, which is unused.

No procedure has ever output barcharts.  This code can be revived from the
history if we do add support for barcharts later.

Move implementation of NP plots out of EXAMINE into the charts engine.

This seems like a helpful cleanup.  It should also ease making it possible
to again build PSPP without libplot, which was broken a number of commits
ago.

charts: Allow passing a null pointer to chart_unref.

output: Fix GUI output, which was broken in the chart refactoring.

Thanks to John Darrington for pointing out my mistake.

output: Make box-whisker plots work again.

output: Refactor implementation of charts.

This commit addresses a weakness of the charts implementation in PSPP, in
that charts can only be sent to a single output device.  This is because
the chart code calls into a single output driver to obtain a libplot
plotting context and then passes that back into the calling code, which
draws on it and passes it back to the output driver.  This commit refactors
the code so that, instead, a chart is an ADT that is reponsible for knowing
how to draw itself on a plotting device.  Then the function for outputting
a chart applies this function to each output device.

This is more complicated than necessary: we could just loop over the set of
output devices and draw a chart on each one in turn.  But this level of
complication is being introduced now so that later we can keep around
charts in memory as long as necessary for the GUI output engine to export
them on user demand.

This commit introduces a couple of regressions:

* libplot is now required, not optional.

* Box-whisker plots are disabled.

This regressions will be fixed by later commits.

chart: Fix format string issues in draw_tick callers.

The 'label' argument to draw_tick is used as a printf-type format string,
so callers must pass "%s" to safely use an arbitrary string as a label.

Also, hist_draw_bar was doing its own snprintf, but this commit changes it
to take advantage of that provided by draw_tick.

chart: Fix format string issues in chart_write_title callers.

The 'title' argument to chart_write_title is used as a printf-type format
string, so callers must pass "%s" to safely use an arbitrary string as a
title.

piechart: Change 'angle' variable from static to automatic.

piechart: Fix spelling of "magnitude".

piechart: Use definition of M_PI from GSL.

The GSL header <gsl/gsl_math.h> makes sure that the standard BSD
mathematical constants are defined, so we don't have to do it ourselves.

output: Get rid of 'prc' member of struct outp_driver.

Not only is having a per-procedure member in struct outp_driver a layering
violation, it wasn't very useful, so this commit gets rid of it.

LIST: Don't use outp_driver 'prc' member any longer.

The LIST procedure is the only one that uses the 'prc' member of struct
outp_driver.  This commit gets rid of that use, so that 'prc' can be
removed, as part of a larger output subsystem cleanup.

output: Get rid of histogram_plot_n function.

For some reason we have two functions to plot histograms, one of which is
marked "deprecated" and the other of which is a trivial wrapper.  It's
easy, however, to get rid of one of them and make the caller in charge of
doing what the wrapper does, especially since the wrapper had only a single
caller.  That is what this commit does.

output: Fix segfault for writing output outside a command invocation.

Running "make check" made this problem obvious, but it hadn't shown up in
my in-GUI testing.

output: Avoid functions added in GTK 2.14 in GUI output code.

output: Reduce Cairo minimum version to 1.5.

Suggested by John Darrington.

output: Make double-clicking in GUI output overview pane scroll to table.

output: Give the overview pane in the GUI output a reasonable initial width.

output: Improve title display in overview pane of GUI output.

output: Add overview pane to GUI output window.

output: Include command names in titles in GUI output.

The command name displayed by the output engine was the current command
name.  The GUI output was never displayed during the actual execution of a
command, so GUI titles never included a command name.

This commit puts the command name into the struct passed into the output
engine, so that it gets saved and displayed.

crosstabs: Fix free of bad pointer and use-after-free error in cleanup.

In free_proc, 'pt' points within an array that is dynamically
allocated, not to a data structure that is dynamically allocated, so
we must not try to free it on each iteration.  Instead, free the
dynamic array itself (proc->pivots) only once.

output: Use "base" color for background in GUI output window.

The "base" color in GtkStyle is used as the background color for GTK+
widgets that display editable text, e.g. GtkEntry.  That's what we're
aiming for, eventually, with the PSPP GUI output, and the default
white "base" color looks better than the default gray background
color, so use it.

output: Use gtk_widget_show_all instead of gtk_widget_show_now.

The gtk_widget_show_now function is not supposed to used lightly,
according to GTK+ documentation.  We don't really need it here, so
avoid it.

output: Make GUI output window scrollable.

output: Implement very rudimentary graphical GUI output for PSPPIRE.

It's quick and dirty and lacks many important features (such as
scrolling, and not leaking memory), but it does look a lot better than
a text editor window.

output: Make tables reference-counted.

Adding a reference count to tab_table allows output drivers to retain
a copy of a table even after the main output engine is done.  This
will be useful for the GUI output driver.

output: Improve warnings about negative table dimensions.

output: Make outp_parse_options slightly more general-purpose.

This function can be a little more flexible in the interface it offers
its callers by letting them provide general auxiliary data instead of
having to provide a struct outp_driver *.

Make the UTF-8 graphic devices avoid overstriking by default.

The UTF-8 graphic devices introduced in the previous commit use
backspaces and overstriking to indicate bold, but most users probably
won't appreciate that, since it makes it harder to work with the
output files in many text editors.  Thus, disable this behavior.

Thanks to John Darrington for pointing out the issue.

Add Unicode (UTF-8) line-drawing support to device configuration.

Thanks to jwshipley@jwshipley.karoo.co.uk for the suggestion.

output: Make allocating and freeing drivers independent of configuration.

Until now, the output subsystem has taken responsibility for
allocating, freeing, registering, and unregistering output drivers.
This is usually what we want it to do, but PSPPIRE will soon want to
register an output driver of its own, independent of the main driver
configuration mechanism.  This commit refactors the output driver
subsystem slightly to make this possible.

cairo: Use default Cairo scale factor.

By not using cairo_scale() at all, the rest of the code, especially
the Pango-related code, seems to make more sense.

output: Make global variables less global.

table_num and subtable_num were previously global variables that were
referred to from multiple files.  Now that we want to make tables
renderable from arbitrary contexts, though, we need to save the table
number with the table, so this change implements that.

sparse-xarray: Add missing #include <limits.h>.

Thanks to michel <michel@cecaps.ufmg.br> for reporting the problem.

output: Make table dimension functions work in arbitrary contexts.

Until now the function passed to tab_dim has only been called at the
time that the table is passed to tab_submit.  But in upcoming commits
the table will be kept around and rendered possibly much later (by the
GUI), so the function to tab_dim has to be sure to only use data that
will exist at that time.  Thus, this commit makes it possible to free
the auxiliary data passed to that function, so that in the few cases
where it needs to keep around extra data, it can do so without leaking
memory.  At the same time, convert the few functions that do need this
feature to use it.

output: Use "struct string" in tabi_title in place of fixed-size buffer.

This ensures that extra-long titles provided by the user do not overflow
the stack.

Get rid of most global variables in outputting tables.

cairo: Fix values of prop_em_width, fixed_width.

For some reason prop_em_width and fixed_width were getting very small
values, e.g. 5 and 7, when they were being pulled from the font metrics.
These values should be more like 1024 times larger and  I can't figure
why they aren't.  But this works around the problem for now.

output: Get rid of unused SOM_ROW, SOM_COLUMN enums.

output: Get rid of unused members of struct som_table_class.

I planned to use these at one point, but no longer do.

output: Remove static variables from manager code.

table: Replace macros by inline functions, to improve type safety.

Fix type mismatch between value_hash prototype and definition.

Thanks to michel <michel@cecaps.ufmg.br> for pointing out the problem.

cairo: Fix header box drawing.

cairo: Set line width.

The default Cairo line width is much thinner than the default PSPP line
width, and made the boxes look too pale and ephemeral.  This fixes it.

output: Add initial support for PSPP output via Cairo.

This commit adds some support for PSPP output using Cairo.  For now, that
means that you can produce PDF, PostScript, and SVG output to files if you
have Cairo and Pango available.

The output isn't perfect.  Descenders in text sometimes stick out beyond
table cell boundaries.  Charts aren't supported.  There is no
documentation update.  And I've tested it on a grand total of 1 (one!)
input file.  But I'm pushing out now for anyone who's interested.

Remove spurious Makefile from src/output.

crosstabs: Fix chi-square display and add regression test.

Bug #26739.

crosstab: Remove struct that was defined but never used.

crosstabs: Remove write-only variable.

crosstabs: Fix segfault when chi-square was requested.

Bug #26739.

datasheet-test: Add support for testing string backing store columns.

crosstabs: Trim unsightly spaces from titles in output.

Unfortunately, none of the tests exercise this code, so it's hard to say
whether it is correct.

crosstabs: Fix memory leaks.

argv-parser: Add assertion to find likely bugs in client code.

datasheet: Fix bugs in datasheet_resize_column() found with new test.

datasheet-test: Add test for datasheet_resize_column().

datasheet-test: Fix printing of string values in error messages.

datasheet-test: Check duplicate states before discarding them.

By failing to check states whose hashes already appeared in the model
checker table, the datasheet test was missing some bugs.  This commit
changes the datasheet test code to check the state before it checks for
the hash.

datasheet-test: Make column widths to test configurable on command line.

datasheet-test: Don't test null operations.

By not testing null operations (such as inserting or deleting 0 rows or
columns) the duration of the test is cut roughly in half, with little if
any reduction in test coverage.

sparse-xarray-test: Style and comment fixes.

value: New function value_swap.

Move datasheet test out of PSPP into a separate binary.

When it's not difficult to do so, it is better to put tests in separate
binaries instead of in the PSPP binaries, so that the binaries are not
burdened with code that is not of real interest to users and to make the
main PSPP binaries build faster.

Make MAX_SHORT_STRING an implementation detail of the "value" code.

MAX_SHORT_STRING used to be important.  It was referenced all over the
source tree.  Now, there is little reason for code outside the "value"
code itself to use it.

Use MAX_SHORT_STRING in place of MIN_LONG_STRING.

There is no good reason to have both of these constants, so replace all
uses of MAX_LONG_STRING by MAX_SHORT_STRING.

Fix portable file reader use of long strings.

This code hadn't been converted to the new "union value" representation,
where a single "union value" always represents a whole data item.  This
commit fixes that.

Get rid of uses of MAX_SHORT_STRING in Gnumeric and PostgreSQL readers.

MAX_SHORT_STRING is now intended to be an implementation detail of the
value code.  There is no real reason that the Gnumeric or PostgreSQL
readers need to use it, so make them use their own constants instead.

Implement missing values for long string variables.

Fix test failure introduced along with parse_value().

sys-file-reader: Fix memory leak.

Add support for value labels on long string variables.

New function parse_value() for parsing a value of specified width.

Occasionally a value of a given width needs to be parsed from syntax.
This commit adds a helper function for doing so and modifies a few pieces
of code to use it.  Probably there are other places where it would be
useful that could not easily be found with "grep".

This commit also renames the range-parser code to value-parser and puts
the new function in there, as a natural generalization.

Suggested by John Darrington.

Make value_set_missing(), etc. tolerate values of width -1.

In some circumstances a value of width -1 crops up, e.g. when a case is
made from a dictionary that has had a variable deleted in the middle.
Such a value has no content at all.  In the long run it should be possible
to get rid of these values entirely--their presence is a wart--but for now
the case and value code needs to tolerate them.

This fixes a segfault in the GUI when inserting a new case when the
datasheet case has a column with width -1 (due to deletion of a variable),
which was caused by case_set_missing() calling value_set_missing() for
the -1 width variable, which in turn was writing through an invalid
pointer.

Prevent invalid variable widths in variable sheet.

Remove debug printfs that escaped from my local tree.

gui: Fix segfault when pushing Del on a long string variable cell.

Thanks to John Darrington for reporting the problem.

Change "union value" to dynamically allocate long strings.

Until now, a single "union value" could hold a numeric value or a short
string value.  A long string value (one longer than MAX_SHORT_STRING)
required a number of contiguous "union value"s.  This situation was
inconvenient sometimes, because any occasion where a long string value
might be required (even if it was unlikely) required using dynamic
memory allocation.

With this change, a value of any type, regardless of whether it is numeric
or short or long string, occupies a single "union value".  The internal
representation of short and long strings is now different, however: long
strings are now internally represented by a pointer to dynamically
allocated memory.  This means that "union value"s must now be initialized
and uninitialized properly, to ensure that memory is properly allocated
and freed behind the scenese.

This change thus has a ripple effect on PSPP code that works with values.
In particular, code that deals with cases is greatly changed, because a
case now needs to know the type of each value that it contains.  Thus, a
new concept called a "case prototype", which represents the type and
width of each value within a case, is introduced, and every place in PSPP
that creates a case must now create a corresponding prototype to go with
it.  This is why this commit is so big.

As part of writing up this commit, it became clear that some code was poor
enough that it needed to be rewritten entirely.  Therefore, CROSSTABS and
T-TEST are almost completely modified by this commit.

output: Add auxiliary data parameter to tab_dim.

Until now, the tab_dim function has not provided any way to pass auxiliary
data to the table dimensioning function.  This commit adds this ability
and updates all the callers of tab_dim to do so.

New data structure sparse_xarray.

New wrapper for access to temporary files.

model-checker: Add command-line parser for model checking options.

This adds a parser for command-line options to configure a set of
mc_options for running the model checker.  It is used by an upcoming test
for the sparse_xarray.  It might also make sense to break the datasheet
tests out of PSPP into a separate program using this parser.

Implement new command-line argument parser.

glibc has two option parsers, but neither one of them feels quite
right:

  - getopt_long is simple, but not modular, in that there is no
    easy way to make it accept multiple collections of options
    supported by different modules.

  - argp is more sophisticated and more complete, and hence more
    complex.  It still lacks one important feature for
    modularity: there is no straightforward way for option groups
    that are implemented independently to have separate auxiliary
    data,

The parser implemented in this commit is meant to be simple and
modular.  It is based internally on getopt_long.

The initial use for this option parser is for an upcoming commit of a test
program that has some of its own options and some from the model checker,
but it should also be appropriate for PSPP and PSPPIRE if anyone wants to
adapt them to use it.

model-checker: Don't discard error states.

Even if a state with an error is a duplicate, we don't want to discard it,
because then we lose information about bugs.

model-checker: Revise advice on checking for duplicates.

Until now the documentation on the model checker has advised checking for
a duplicate state before checking for consistency, but in fact this can
cause bugs to be missed if only some paths to a given state yield
incorrect results.  So revise the advice to check for consistency before
checking for a duplicate state.

model-checker: Add more progress functions.

The model checker supports "progress functions" that report the current
status of the model checking run.  Until now the implementation only
exported a single progress function that printed a line of dots across
stderr.  This commit moves the "fancy" progress function that was
previously part of the PSPP language code into the model checker itself
and adds an even more verbose progress function as well.

model-checker: Move summary printing function into model checker.

There is no reason that the model checker itself should not be able to
print a summary of its results.  Until now, this code was buried in the
PSPP language code, but the model checker itself is a better place for it.

model-checker: Kill dependencies and move back to libpspp.

Commit 95b074ff3 "Moved the datasheet testing code out of
src/{libspp,data}" moved the model-checker implementation from libpspp
into language/tests because it depended on math/moments.h and
data/val-type.h, which violates the dependency structure of the PSPP
libraries.

However, now I want to use the model checker in a test that should not
need to use anything from language/tests, so this commit eliminates these
dependencies and moves the model checker back to src/libpspp.

sparse-array: Simplify code slightly.

Instead of checking whether the key is in range in each caller of
find_leaf_node, do it in find_leaf_node itself.  This also allows checking
the cache before checking whether the key is in range, which might be an
optimization.

sparse-array: Improve iteration interface.

The sparse_array_scan function only supports iteration in the forward
direction and its interface is somewhat awkward.  This commit replaces it
by four new functions that allow iteration in both forward and reverse
directions and have a more conventional interface.

sparse-array: Use __builtin_ctzl on GCC 4.0 or later, as an optimization.

This should be a worthwhile optimization in many cases, because
__builtin_ctzl compiles to a single machine instruction on x86, whereas
the generic implementation compiles to several.

range-set: New functions range_set_last and range_set_prev.

These are useful for iterating through a range set in reverse order.

range-set: Add new function range_set_scan().