work on PRINT encoding

work on print encodigns

work on data list

passes most tests

still need to:
* add ENCODING subcommand to PRINT
* add tests
* document

line-reader: New library for reading a file line-by-line.

This library reads a file line-by-line in an arbitrary 8-bit or wider
encoding, without requiring the file to be recoded.  This will be used
in an upcoming commit.

PRINT SPACE: Fix missing fh_unref() on error path.

The first "return" in this function failed to unref the handle.

ext-array.c: Ensure that fseek is called before switching between read and write.

ANSI C requires that a file positioning function (eg seek) occurs before a switch
from reading to writing a stream (or vici-versa).  We had not been doing this.
This had caused problems which manifested themselves on Windows operating systems,
by mysteriously failing to write the stream (and thus truncating the datafile).
This change corrects this.

Thanks to Harry Thijssen and Henry Gong for their very valuable assistance tracking
down the cause of this problem.

Reviewed-by: Ben Pfaff

CORRELATIONS: Fixed bug displaying non-sqaure correlation matrices

When CORRELATIONS was run using the WITH keyword, the wrong index
was calculated for the columns/rows - hence the program crashed.
This change fixes that.

Reported-by: Ebel Magnin

Extract the independent samples gui from  t-test.ui into its own file.

This will benefit upcoming commits, since other (non t-test) guis are
very similar.

Regression Dialog: Convert to PsppireDialogAction object

T-TEST Independent Samples Dialog: Converted to a PsppireDialogAction object

Add SET TVARS option. Closes bug #31566

Minor documentation formatting changes

HISTOGRAMS: Fix bin width problems on large numbers of bins

Histograms: Rotate labels when there are lots of bins

Move comment to correct function

i18n: Set LC_COLLATE locale category based on system locale.

LC_COLLATE controls the sort order of file names in GTK+ file
chooser dialog boxes, so we should set this locale category so as
to honor the user's preferences.

In the standard C library, only a few functions honor LC_COLLATE:
strcoll, wcscoll, strxfm, and wcsxfrm.  PSPP doesn't use any of
these functions, so this commit should not affect PSPP's use of
standard library functions.

The libunistring manual only mentions collation rules in the entries
for a few functions: u8_strcoll, u16_strcoll, u32_strcoll,
u8_normcoll, u16_normcoll, u32_normcoll, u8_casecoll, u16_casecoll
u32_casecoll.  PSPP doesn't use any of those functions either.

Reported by "ajk-eis" <ajk-eis@rvhome.de>.

gui: Make lex_gtk_text_buffer_read() count bytes, not characters.

The N parameter to lex_gtk_text_buffer_read() is a count of bytes,
but the implementation treated it as characters.

Also fixes a memory leak, since gtk_text_iter_get_text()'s caller
is responsible for freeing the memory that it returns.

Reported by Alle <ajk-eis@rvhome.de>.
First investigated by John Darrington <john@darrington.wattle.id.au>.
Reviewed by John Darrington <john@darrington.wattle.id.au>.

lexer: Check that 'read' function in lex_source returns valid value.

A 'read' function may only read as many bytes as the size of the
buffer passed into it, but the caller didn't check, which made an
actual violation of this invariant hard to diagnose.

Frequencies.ui: Adjust widget packing properties.

Reported-by: Mindaugas.

frequencies.ui: Reformat using glade-3

configure.ac: Link PSPPIRE explicitly against gthread.

Seems to be required on OpenSUSE.

PSPPIRE does not make explicit use of threads, but it does use
GTimer.  Thus, it calls g_thread_init() because of the following
note in the documentation for GTimer:

    GTimer uses a higher-quality clock when thread support is
    available.  Therefore, calling g_thread_init() while timers
    are running may lead to unreliable results.  It is best to
    call g_thread_init() before starting any timers, if you are
    using threads at all.

Separately, the documentation for threads in Glib says:

    Calling g_thread_init() with a NULL argument is somewhat more
    relaxed.  You may call any other glib functions in the main
    thread before g_thread_init() as long as g_thread_init() is
    not called from a glib callback, or with any locks held.
    However, many libraries above glib does not support late
    initialization of threads, so doing this should be avoided if
    possible.

    Please note that since version 2.24 the GObject
    initialization function g_type_init() initializes threads
    (with a NULL argument), so most applications, including those
    using Gtk+ will run with threads enabled.  If you want a
    special thread implementation, make sure you call
    g_thread_init() before g_type_init() is called.

Taken together, it seems to imply that PSPPIRE should call
g_thread_init() before g_timer_new(), or the timer might be
unreliable because Glib would call it later for us.  But the
documentation doesn't seem entirely clear.

Reported by Mindaugas.
Bug #36396.

MEANS: Use var_to_string instead of var_get_name for factor variable display

Frequencies dialog: Add Mnemonics

range-tower-test: Fix test failures on 64-bit architectures.

Reported by 'gandalfar' on #pspp.

Independent T-TEST Dialog: Use PsppireValueEntry in the group value definition sub-dialog

Converted Factor Dialog to PsppireDialogAction class

Convert Rank Dialog to PsppireDialogAction

Unref GtkBuilder objects when they are no longer required

PsppireDialogAction: Destroy dialog after it has been run

PsppireSelector: Don't try to set callbacks on null model

Regression Dialog: Tidy up and comment.

Correct erroneous g_object_unref calls

commit e89158e8abd2dae27d985e3574eb5aa1d265fc66 placed g_object_unref calls after every instance
of *_set_model - In most instances this was correct, but not all.  When (for example)
gtk_tree_view_set_model (view, model) is called, it takes a ref to model, but it will then
unref it upon the next call to _set_model and/or when view is destroyed.
Unreffing the model ourself, is therefore appropriate only when we have created it ourselves.
This change fixes the few instances where this was not the case.

po: Update Catalan translation from translation-project.org.

po: Update Spanish translation from translation-project.org.

psppire-cell-renderer-button: Add "slash" property.

When "slash" is set to true, the button gets a diagonal slash drawn
across it.  This is ugly, but it matches what SPSS does for cases
that are filtered out.

psppire-cell-renderer-button: New cell renderer for GtkButton.

This allows one to put a clickable GtkButton inside a PsppSheetView row.

pspp-sheet-view: Add "fixed-height" and "fixed-height-set" properties.

The data sheet will use this in the "split view" to make sure that
side-by-side data sheets have the same row height.

pspp-sheet-view: Make pspp_sheet_view_stop_editing() public.

pspp-sheet-view: Improve look of sheet when there are few columns.

GtkTreeView always expands one or more columns so that the visible
columns fill up the entire width of the treeview.  This looks funny
in a spreadsheet-like view.  This commit changes PsppSheetView so
that, instead, extra space is left blanks instead of being filled
up with columns.

pspp-sheet-view: Optimize by making column header widgets lazy.

This is a major speedup when there are hundreds of columns.

pspp-widget-facade: New code to measure and render some GTK+ widgets.

There are two upcoming uses for this in the tree, both related to
rendering fake buttons.  First, creating, maintaining, and rendering
the column header buttons in a PsppSheetView is a huge cost when
there are hundreds or thousands of columns.  Using this facade code
to "fake" buttons makes the sheet much faster.  Second, this code
will be used to implement a cell renderer for GtkButton, so that
buttons can be put into PsppSheetView rows.

pspp-sheet-view: Add "special-cells" property to speed drawing many columns.

A "special cell" is a cell that is editable or activatable.  When a row
that contains a special cell is selected, the cursor is drawn around a
single cell; when other rows are selected, the cursor is drawn around the
entire row.

With the default of "detect" (the only mode previously supported), whether
a given row contains a special cell is detected automatically.  This is the
best choice most of the time.  For sheet views that contain more than 100
columns, an explicit "yes" or "no" improves performance.

pspp-sheet-view: Start editing upon button release, not press.

This makes the user interface more natural.

pspp-sheet-view: Support rectangular selection, column popup menus.

A "rectangular selection" is where you can click and drag to select
a rectangular group of columns and rows, like in a spreadsheet.

In this commit, rectangular selections don't interact well with
"quick-edit" mode where the first click on a cell starts editing,
because clicking in a quick-edit cell starts editing instead of
rectangular selection.  The following commit will fix the problem.

This commit also adds a gtk_widget_queue_draw() call to
pspp_sheet_view_update_rubber_band() that should really
invalidate less sheet area.

pspp-sheet-view: Edit cells on the first click by default.

With GtkTreeView it takes two clicks to edit a cell.  The first click
selects the row and the second click starts editing.  This isn't a
great user experience for a spreadsheet, so this commit enables
single-click editing.

pspp-sheet-view-column: Add support for tooltips on columns.

pspp-sheet-view: Fix rendering moving cursor left or right with keyboard.

I don't understand why this is not necessary for GtkTreeView.  Without it,
the cursor doesn't get properly redrawn after a left or right arrow
keystroke moves it.

pspp-sheet-view: Fix visual artifacts for sheet views > 65535 pixels wide.

gdk_draw_line() draws lines by passing the coordinates to XDrawLine(),
which in turn casts the coordinates to "signed int" as it formats them for
the X Protocol.  Thus, large coordinate values wrap around and cause odd
visual artifacts.

This fixes the problem by only calling gdk_draw_line() with coordinate
values that should actually be visible.

pspp-sheet-view: Improve scrolling performance.

Drawing dashed lines is very slow, at least on my computer.  This commit
changes them to solid, which makes scrolling in a large sheet feel much,
much more responsive on my system.

pspp-sheet-view: Reduce time and memory cost to O(1) in number of rows.

The standard GtkTreeView uses time and memory linear in the number of
rows in the tree.  When the model is set, it iterates over every row
and creates a corresponding GtkRbNode.  After that, GtkTreeView uses
the GtkRbNodes for many operations on the tree.

This commit adapts GtkTreeView to avoid the need to iterate over the
entire model up front, as well as the need to maintain data for every
row.  It makes the following major changes:

  - The tree model must now be just a list (GTK_TREE_MODEL_LIST_ONLY);
    that is, rows may not have children.

  - The height of a row in the view must be fixed (as with
    gtk_tree_view_set_fixed_height_mode()).  Column widths must also
    be fixed.

The following minor changes follow mainly as consequences of the above:

  - Expander arrows, tree lines, and level indentation are no longer
    supported, because these only make sense with rows that have
    children.

  - Separator rows are no longer supported.  (They are ugly in
    fixed-height mode because they occupy an entire row.)

Import GtkTreeView from GTK+ 2.0-2.20.1 renamed as PsppSheetView.

This includes minimal modifications to make it compile and link
cleanly.

I used the following Perl script to do the bulk of the renaming:

for $pair (['tree_view_column', 'sheet_view_column'],
           ['tree_selection', 'sheet_selection'],
           ['tree_view', 'sheet_view'],
           ['rbtree', 'rbtree'],
           ['rbnode', 'rbnode']) {
    my ($from, $to) = @$pair;

    my ($tfrom) = join ('', map ("\u$_", split ('_', $from)));
    my ($tto) = join ('', map ("\u$_", split ('_', $to)));

    s/gtk_$from/pspp_$to/g;
    s/\Ugtk_$from/\Upspp_$to/g;
    s/GTK_TYPE_\U$from/PSPP_TYPE_\U$to/g;
    s/GTK_IS_\U$from/PSPP_IS_\U$to/g;
    s/Gtk$tfrom/Pspp$tto/g;
}

s/GtkTreeCellDataFunc/PsppSheetCellDataFunc/g;
s/GtkTreeDestroyCountFunc/PsppSheetDestroyCountFunc/g;

PsppireValueEntry: Simplify 'if' condition.

The statement
  if ((model != NULL) && (model != old_model))
can be simplifed to just:
  if (model != NULL)
because if 'model' is nonnull then it is different from old_model,
because 'model' is a newly allocated GtkListStore.

psppire-dialog-action: Remove unused variable.

gui: Put <?xml> declaration at beginning of roc.ui.

xgettext objected to the blank line at the beginning.

gui: Properly manage ref counts of combo box and tree view models.

gtk_combo_box_set_model() and gtk_tree_view_set_model() add a
reference to the passed-in model, instead of transferring a
reference from the caller.  A lot of the calls to these functions,
however, assumed that a reference was transferred and therefore
leaked a reference.  This fixes them up.

This doesn't change PsppireValueEntry, because there's an ongoing
discussion about that.

psppire-acr: Clarify acr ownership of its list store.

PsppireAcr retains a pointer to the GtkListStore inside it but it
didn't, until now, keep a reference to it.  This commit makes
PsppireAcr retain a reference, documents the interface, and updates
callers to properly maintain reference counts.

ROC Dialog: Use PsppireValueEntry for the state value entry

Add PsppireValueEntry to the list of pre-declared widgets

PsppireValueEntry: Unref model after the combo box assumes it

PsppireValueEntry: Remove unnecessary function calls

val_labs_equal: Accept null pointers

Instead of checking for NULL before calling val_labs_equal, put the onus
on the function itself to deal with null pointers and behave appropriately.

PsppireValueEntry: Clear the entry, when the underlying model changes.

Since the labels will have changed, the existing text is most likely
inappropriate.

PsppireValueEntry: Remove GNU_CONST declaration because it prevents the type being found by GtkBuilder

crosstabs-dialog: Line up backslashes.

tests: Fix reference to old library libpspp.la.

Reported by John Darrington.

Improve Independent Samples T-test dialog

PsppireButtonBox: Remove Close from the default set of buttons

helper: Move escape_underscores() here.

An upcoming commit will introduce a new user in a different file.

gui: New widget PsppireValueEntry for editing a "union value".

This is intended to be a convenenient way to allow the user to
view and edit a "union value" that includes the ability to see
and select values by value label.

gui: New boxed type for struct fmt_spec.

This makes it possible to use a struct fmt_spec as the value of a
property on a GObject, which I plan to use in an upcoming widget
PsppireValueEntry.

gui: New type PsppireEmptyListStore.

PsppireEmptyListStore is an GtkTreeModel implementation that has a
client-specified number of rows and zero columns.  It is a useful model for
GtkTreeView or PsppSheetView when the client can easily synthesize cell
data using a callback set with gtk_tree_view_column_set_cell_data_func().
In that situation, GtkListStore can be wasteful (because it uses a lot of
memory to store what does not need to be stored) and situation-specific
custom models require additional boilerplate.

This commit also modified the text data import dialog code to use
PsppireEmptyListStore.  Future commits will add other users.

gui: Add undocumented --measure-startup option.

This is useful for testing the effects of code changes upon the
time required to start PSPPIRE.

New "range-tower" data structure.

A range tower is a bitmap, implemented as an augmented binary tree.

Beyond the usual features of a bitmap, a range tower can efficiently
implement a "splice" operation that shifts ranges of bits left or right.
This feature does cost memory and time, so use a range tower only if this
feature is actually needed.  Otherwise, use a range set (see range-set.h),
which can do everything that a range tower can do except the "splice"
operation.

Each operation has O(lg N) cost, where N is the number of contiguous
regions of 1-bits in the bitmap.  Also, a cache reduces the second and
subsequent containment tests within a single contiguous region to O(1).

range-set: New macro RANGE_SET_FOR_EACH to make iteration easier.

range-set: Rename "insert" function "set1", "delete" to "set0".

An upcoming commit will introduce a new "range-tower" data
structure that can actually insert and delete ranges.  It
makes sense not to use different terminology for the two data
structures, so renaming these functions makes sense.

abt: New function abt_is_empty().

abt: Drop child parameters from 'reaugment' function.

The function can simply inspect the 'down' members.

value-labels: New function val_labs_find_value().

The new data sheet implementation (in an upcoming commit) will use
this.

helper: New function value_to_text__().

One potential caller of value_to_text() doesn't have a "struct
variable" but does have the other needed information.

format: Fix typo in comment.

struct fmt_spec's 'd' member is not normally a number of "implied"
decimal places.  It is normally the number of decimal places that
will be presented in formatted values.  Thus, update the comment.

format: Introduce a new type "enum fmt_use".

This seems slightly nicer than using a "bool" to distinguish
input and output formats.

format: New functions fmt_change_width(), fmt_change_decimals().

These will be used in an upcoming commit for GUI-based format
adjustments, where we want to implement the user's request for
width or decimal places to the extent that we can, while
adjusting decimal places or width, respectively, as necessary.

gui: Use canonical names for signals.

Hyphens are canonical in parameter names, at least, and they seem
to be used consistently in signal names within GNOME, so use them
here too.

DO IF test:  Correct expected outcome

Commit 27bd188495ec1a6085354b10545daba47771b517 added a test for an
error condition in DO IF, but appears to contain some cut and paste
errors.  This change corrects them.

SHOW: New subcommand N

This subcommand reports the number of cases in the active dataset.

Revert "psppire-dict: g_return_if_fail for idx in psppire_dict_get_variable()."

This reverts commit edf4f6b1f7e2b9c17cc86f1c63ff9b4b7e24af26.
John pointed out that it causes the GUI to crash at startup.

DO IF: Fix crash when END IF appears without DO IF.

Reported by Jill Covert.
Bug #36231.

psppire-dict: g_return_if_fail for idx in psppire_dict_get_variable().

Also, as long as we're checking for too-big we might as well check
for too-small too.

Correct bugs in PsppireSelector which cause the Examine Dialog to crash

psppire-dict: Return new var from psppire_dict_insert_variable().

An upcoming commit will introduce a user for the return value.

psppire-dict: Make auto_generate_var_name() public, and rename.

This function will acquire a few users in upcoming commits.

This commit renames it to have the same prefix as other public
functions in this file.

psppire-dict: Get rid of static var in auto_generate_var_name().

This isn't a big deal at the moment but I intend to add new users
of this function in future commits, so then it becomes more
important.

Allow dictionary 'var_deleted' callback to examine the deleted var.

The dictionary 'var_deleted' callback is the last chance to look at
a variable as it is getting deleted from a dictionary.  For some of
the information in the variable, it legitimately doesn't make any
sense to get it from the variable itself at this point, e.g. the
index into the dictionary or the case, since it no longer is in
a dictionary.  But for most of it, it's reasonable to get it from
the variable itself, but the callback doesn't provide any way to
do that, because it doesn't pass in the variable, just a dictionary
index that is no longer correct.

This commit changes the 'var_deleted' interface to pass in the
variable plus the information that can no longer be obtained from
the variable itself.  An upcoming change to the GUI will make use
of this.

This commit also adapts all the existing users to the new interface.

find-dialog: Change "Cancel" button to "Close" button.

This button doesn't cancel anything, it just closes the dialog box,
so "Close" seems like a better label.

gtkxpaned: Remove write-only variables.

psppire-buttonbox: Fix style in header file.

It's totally bizarre and unnecessary to define a macro in the
middle of a function prototype, so this commit moves it.

psppire-data-store: Use NULL for a null pointer.

psppire-data-store: Use PSPPIRE namespace instead of GTK+'s.

psppire-data-editor: Drop psppire_data_editor_set_font() redundancy.

set_font() recurses to a GtkContainer's children so
psppire_data_editor_set_font() does not need to also do so.

Revert "Fix DSO linking issue"

This reverts commit 34abd8c7de0cac8efeead7fb3848427fb944b5bd.
The author blindly posted the patch without actually testing
whether it was necessary.  It was not, because the libraries
in question were already linked against.  Thanks to John
Darrington for pointing that out.