Remove callbacks from struct dataset. Closes patch #6075

Fix bug #20910.

* helper.c (create_casereader_from_data_store): New function.
(execute_syntax): Only replace the active file data by a new
casereader if syntax caused the active file to be read, to avoid
exponential slowdown as an increasing number of snippets that do
not read from the active file are consecutively executed.  Bug
#20910.  Reviewed by and heavily influenced by John Darrington.

* psppire-data-store.c (psppire_data_store_get_value_count): New
function.

* psppire-dict.c (psppire_dict_get_value_cnt): New function.

* procedure.c (proc_extract_active_file_data): New function.

* lazy-casereader.h: New file.

* lazy-casereader.c: New file.

* casereader.c (casereader_dynamic_cast): New function.

(histogram_plot): Remove incorrect assertion.  Fixes bug #21101.
Reviewed by John Darrington.

* set.q (show_warranty): Use fputs to print lack-of-warranty
statement, instead of msg.  This is because msg now outputs the
message to output devices, and the output subsystem is not
prepared to deal with table cells that exceed one page in length.
Thanks to John Darrington for bug report and review.  Bug #21093.
(show_copying) Ditto.

* copyleft.c: Add trailing new-lines to lack-of-warranty
statement.

Removed documentation for CLEAR TRANSFORMATIONS since it's currently not
implemented.

Canonicalized on American orthography in source files.
Added a en_GB localization.

Initialize variables to avoid compiler warnings.

Fixed all the misspellings of my name and email address

(dict_clone): Copy case indexes from cloned dictionary.  Fixes bug
#21061.  Reviewed by John Darrington.

fix memory leak

Declare models in difinition of cmd_regression; free moment structure

Implemented the find dialog.

Fixed up some gladeui related things to correspond to glade-3.2.2. Thanks to Jason for pointing these out.

Added #include "localcharset.h" to correspond to recent gnulib changes.

(postcalc): Free sorted_tab and the structures that it points to, to
plug a memory leak.  Fixes bug #20910.  Thanks to John Darrington for
reporting this bug and for review.

Freed the stuff generated by the parser.

* casereader-translator.c (struct casereader_translator): Change
input case parameter of translate member function from const
struct ccase * to struct ccase *.
(casereader_create_translator): Ditto, for translate parameter.

* casewriter-translator.c (struct casewriter_translator): Ditto.
(casewriter_create_translator): Ditto.

* get.c (get_translate_case): Change input case parameter from
const struct ccase * to struct ccase *, to match change in
casereader and casewriter translators.  Destroy input case, to fix
memory leak.

(psppire_variable_sheet_create): Use xstrdup to save string returned
by bind_textdomain_codeset.  Otherwise it can get freed by a
subsequent call.  Patch #6193.  Reviewed by John Darrington.

Removed #include "getline.h" because gnulib no longer provides it.

Fixed buglet managing entries in the recent files lists.

Implemented the INSERT command.

Update scripts that invoke Perl to invoke it as simply "perl" if
not run from the PSPP Makefiles.  Patch #6169.  Thanks to John
Darrington for suggestion and review.
* bugs/big-input-2.sh: Make $PERL default to perl.
* command/sort.sh: Ditto.
* formats/bcd-in.sh: Ditto.
* formats/date-in.sh: Ditto.
* formats/ib-in.sh: Ditto.
* formats/legacy-in.sh: Ditto.
* formats/num-in.sh: Ditto.
* formats/num-out.sh: Ditto.
* formats/time-in.sh: Ditto.

(cmd_crosstabs): Free xtab and the structures that it points to, to
plug a memory leak.  Fixes bug #18315.

Rearrange menus to be more like later version of other software.
Delete some unimplemented menuitems.

Update po/*

Yet more memory leaks.

Changed test file name from 'foo.sps' to $TESTFILE (which is based
on the script name).

Plugged some more memory leaks.

Plugged some memory leaks.

Fix white space.

Force display width to 8, if sys file says zero. Closes bug #20844

(main): When testing mode is enabled, use a built-in output driver
configuration instead of reading it from the configuration file.

Updated most invocations of PSPP in the tests to use --testing-mode
and to avoid specifying an output format with -o (because
--testing-mode implies -o raw-ascii).

Send error message to non-screen output devices also, if routing to
listing files is enabled.  Bug #17238.  Thanks to John Darrington for
review.

* command/aggregate.sh: Update output to include error messages,
which are now sent to output files also.

* devices: Change raw-ascii from screen to listing device (because
that's how it's used).

Enable journal in GUI.

Implement journaling.  Bug #17240.

* msg-ui.c (handle_msg): Send message to write_journal function
as well as msg_file.
(dump_message): Change interface so that it takes a function
pointer instead of a FILE.
(write_stream): New function.
(write_journal): New function.

* read-line.c (welcome): Call journal_enable, so that the journal
is enabled by default.

* automake.mk (output_sources): Add journal.c, journal.h.

* journal.c: New file.

* journal.h: New file.

Catch errors creating icon pixbufs and report them with g_warning.

Remove notebook popup menu, which doesn't seem to display properly.
Closes bug #20822

Added the ability to paste from the clipboard to the data sheet.

broke long line in error message

fixed typo

Delete files that should never have been checked in.

Added a basic output viewer.

fix bug 19819

Make distcheck work for configure --without-libplot

Avoid assertion failure pasting from a dictionary with foreign encoding.

Fixed bug pasting from the clipboard, where the wrong columns limit was
being used.

* command/no_case_size.sh: Update to match update DISPLAY and
SYSFILE INFO command output.

* command/rank.sh: Ditto.

* command/sysfile-info.sh: Ditto.

* command/very-long-strings.sh: Ditto.

Output variable measurement level, alignment, and display width as
part of DISPLAY DICTIONARY and SYSFILE INFO output.  Bug #13019.
Reviewed by John Darrington.
* sys-file-info.c (cmd_sysfile_info): Allow space for new rows of
info in output.
(display_variables): Ditto.
(describe_variable): Output variable measurement level, alignment,
and display width as part of DISPLAY DICTIONARY and SYSFILE INFO
output.

Patch #6117: Implement clipboard for data sheet.

* get.c (parse_read_command): Compact the values in the target
dictionary, to save space.

* dictionary.c (struct copy_map): Removed.
(struct dict_compactor): Removed.
(dict_make_compactor): Removed.
(dict_compactor_compact): Removed.
(dict_compactor_destroy): Removed.

* procedure.c (struct data_set): Change `compactor' member to be a
struct case_map *.
(proc_open): Use case_map_to_compact_dict instead of
dict_make_compactor.
(proc_casereader_read): Use case_map_execute instead of
dict_compactor_compact.
(proc_commit): Use case_map_destroy instead of
dict_compactor_destroy.

* scratch-writer.c (struct scratch_writer): Change `compactor'
member to be a struct case_map *.
(scratch_writer_open): Use case_map_to_compact_dict instead of
dict_make_compactor.
(scratch_writer_casewriter_write): Use case_map_execute instead of
dict_compactor_compact.

* get.c (struct case_map): Move into new file src/data/case-map.c.
(start_case_map): Ditto, and rename case_map_prepare_dict.
(finish_case_map): Ditto, and rename case_map_from_dict.
(map_case): Ditto, and rename case_map_execute.
(destroy_case_map): Ditto, and rename case_map_destroy.
(case_map_get_value_cnt): Ditto.

* automake.mk: Add case-map.c, case-map.h.

* case-map.c: New file.

* case-map.h: New file.

* psppire-dict.c (psppire_dict_dump): Don't use
dict_get_compacted_dict_index_to_case_index, as that function has
been deleted.

* flip.c: Drop use of dict_get_compacted_dict_index_to_case_index
and just use the ordinary case indexes.  There seemed to be no
reason for the former method.

* get.c (case_map_get_value_cnt): New function.

* dictionary.c (dict_compact_values): Don't delete scratch
variables as well as compacting case indexes.  Update all callers.
(dict_get_compacted_value_cnt): Rename dict_count_values and
change interface.  Update all callers.
(dict_get_compacted_value_cnt): Remove.
(dict_compacting_would_shrink): Remove.
(dict_compacting_would_change): Remove.
(dict_make_compactor): Add new parameter.  Update all callers.

* procedure.c (proc_casereader_read): Use casewriter_get_value_cnt
instead of dict_count_values, changing an O(N) operation into
O(1).

(casereader_read): Don't require cases read by a casereader to be
exactly the expected size: as long as they're big enough, it's OK.

Make casewriters keep track of the number of `union value's in each
case.  This is useful for two reasons: casewriter_write can then check
that the case being written is large enough, and later recipients of
the casewriter can determine the size of the case.

* get.c (case_map_get_value_cnt): New function.

* casewriter-translator.c (casewriter_create_translator): Add
value_cnt parameter.

* casewriter.c (struct casewriter): Add value_cnt member.
(casewriter_write): Check that the case passed in is big enough.
(casewriter_get_value_cnt): New function.
(casewriter_create): Add value_cnt parameter.

Add support for charts to ASCII driver.  Bug #16364.
Thanks to John Darrington for review.

* ascii.c (struct ascii_driver_ext): Add chart_type,
chart_file_name, chart_cnt members.
(ascii_open_driver): Initialize new members.
(static array option_tab): Add new options, reorganize slightly.
(handle_option): Handle new options.
(ascii_submit): New function.
(ascii_chart_initialise): Implement.
(ascii_chart_finalise): Implement.

* chart.c (chart_init_separate): New function.
(chart_finalise_separate): New function.

* dummy-chart.c (chart_init_separate): New function.
(chart_finalise_separate): New function.

* html.c (html_open_driver): Don't free chart_file_name.
(html_close_driver): Do free chart_file_name.
(handle_option): Only give an error for chart-files options that
don't contain "#".
(html_initialise_chart): Use new chart_init_separate.
(html_finalise_chart): Use new chart_finalise_separate.

Deleted unused function.

Changed PSPP_LINREG_SVD to PSPP_LINREG_QR

Added scope and explanation of use of conditional inverse; added appropriate enum constant

Fix bug #18982.  Thanks to John Darrington for investigation,
review, and verification of fix.

* formats/date-in.sh: Use a portable pseudo-random number
generator.

* formats/time-in.sh: Ditto.

Fix first part of bug #18982.  Thanks to John Darrington for finding
the problem and verifying the fix.

Fix bug reported by Jason Stover.
* settings.c: Move get_termcap_viewport and in particular the
#include for <curses.h> to the end of the file.  curses.h
redefines bool on some systems (e.g. OpenBSD), which causes
disagreement between uses of bool before its inclusion and
afterward.
Tested by Jason Stover.

Plugged one more source of GtkCritical errors

Fixed the two biggest sources of GtkCritical errors.

Changed some properties of the syntax-editor to be less annoying.

Typo.

Fix bug #16189.  Reviewed by Jason Stover.

(rank_cmd): Instead of sorting by SPLIT FILE vars, group by them.
Fixes bug #17239.  Reviewed by John Darrington.

Initialize default syntax type.

Clean up handling of median, by treating it almost like any other
percentile.  Fixes bug #17424.  Thanks to John Darrington for
review.
* frequencies.q (internal_cmd_frequencies): Fix handling of bit
masks for `stats' variable.  If median is selected, turn it off
and add a 50th percentile.
(add_percentile): Simplify code a little.
(calc_stats): Drop special casing of median.
(dump_statistics): Ditto, except that we label the 50th percentile
as "50 (Median)" to make it clear that it's also the median.

Use non-deprecated functions.

Remove integer mode from FREQUENCIES and incidentally fix bug
#17421.  Reviewed by John Darrington.
* frequencies.q (int_pool): Rename data_pool.
(gen_pool): Rename syntax_pool.
(enum FRQM_*): Removed.
(struct freq_tab): Removed `mode', `vector', `min', `max',
`out_of_range', `sysmis' members.
(calc): Delete support for integer mode.
(precalc): Ditto.
(postprocess_freq_tab): Ditto.
(cleanup_freq_tab): Ditto.
(frq_custom_variables): Ditto.

Used the correct variable in error message.  Thanks to Ben for reporting
this problem.

Provisional fix for bug #18692 and bug #20161.  Reviewed by John
Darrington.

Implemented the CD command.

Enabled output generation in the GUI.

Implemented the Select Cases Dialog

Make PSPP able to read all the portable files I could find on the
web.
* por-file-reader.c (struct pfm_reader): New member `line_length'.
(error): Print file offset in hexadecimal.
(warning): New function.
(advance): Treat lines less than 80 bytes long as padded to 80
bytes with spaces.
(pfm_open_reader): Call read_documents if we find an "E" record.
(convert_format): Convert invalid formats to the default format
instead of aborting reading the file.
(read_variables): Rename duplicate variable names instead of
aborting reading the file.
(read_value_label): Allow string variables of different widths to
be assigned value labels in the same record.  Replace duplicate
value labels instead of aborting.
(read_documents): New function.

* por-file-writer.c (pfm_open_writer): Call write_documents if the
dictionary has documents.
(write_documents): New function.

Per latest comments in bug #19069

Fix bug #19604. T-Test documentation now matches code; code matches spss behaviour

Add tty and listing devices that use VT100 (and xterm) line-drawing
characters, and corresponding support for an initialization string in
the ASCII output device.

Make interactive output go to the terminal (bug #17213), by
causing the UI to flush output to the user when it prompts for a
command.
Thanks to John Darrington for review.

(run_regression): Move casereader_destroy call so that it always gets
called, not just if there was some valid data.  Fixes bug #19581.
Reviewed by Jason Stover.

Bug #19069.
* INSTALL: Improve installation instructions.
* README: Move prerequisites to INSTALL.
Reviewed by Jason Stover.

Make PKG_CHECK_MODULES tests more user-friendly,
by having them give their errors at the end of the configuration
process instead of stopping it in the middle.  Patch #6116.
Reviewed by Jason Stover.

Removed the OMS status bar area for which we're unlikely to have any use
in the near future.

Patch #6086. Adds "transformation pending" state.
Thanks to Ben for the review.

Fix bug #17100.

* command/data-list.sh: Add tests for multi-record DATA LIST with
and without empty trailing record.

* data-list.c (read_from_data_list_fixed): Handle multi-record
DATA LIST correctly.

*** empty log message ***

Fix bug #6113.
* sys-file-writer.c (write_variable_display_parameters): Use new
var_default_display_width function to choose display width of
segments after the first one in a given variable.
* variable.c (var_create): Use var_default_display_width to pick
new variable's display width.
(var_default_display_width): New function.

Fix bug #20427.
* por-file-writer.c (write_variables): Write weight variable.
Reviewed by John Darrington.

Fix bugs #20493, #20494.
* flip.c (struct flip_pgm): Remove `case_size' member (now
unused).
(cmd_flip): Pass var_cnt as number of cases instead of case_cnt,
to fix bug #20494.  Don't assign to `case_size' member, which was
unused after assignment.
(build_dictionary): When NEWNAMES not used, get the number of
variables right, to fix bug #20493.
* tests/command/flip.sh: Add tests to avoid regression on bugs
#20493, #20494.

Made Missing Values and Value Label cells non-editable, if the variable
is a long string variable.
Closes bug #20564

Added the ability to paste data from the primary selection.
Removed the "clip" feature.

Added an extra call to data_var_select and a comment to explain why.

Removed a function which was simply a wrapper around another.

Tidied up the way that value-labels button and menu item interact.

Numerous improvements to system file reader and writer.

Don't try to write very long strings to portable files.  The format
does not support it.

(MAX_POR_WIDTH): New macro.
(pfm_open_writer): Limit output width to MAX_POR_WIDTH.
(write_format): Add arg to take width to resize format to.
(write_value): Limit width of value written to MAX_POR_WIDTH.
(write_variables): Limit width of variable and its output formats
to MAX_POR_WIDTH.

(read_variable_to_value_map): Use max_warnings
local variable instead of literal 5.

Fix problems with uniqueness of short names in system files with very
long string variables.  Now a variable may have multiple short names.

* automake.mk (src_data_libdata_a_SOURCES): Add new files
short-names.c, short-names.h.

* dictionary.c (dict_clone): Clone all the short names.
(compare_strings): Move into short-names.c.
(hash_strings): Ditto.
(set_var_short_name_suffix): Ditto.
(dict_assign_short_names): Ditto, rename short_names_assign,
change to assign all short names.

* por-file-writer.c (write_variables): Use short_names_assign
instead of dict_assign_short_names.

* short-names.c: New file.

* short-names.h: New file.

* sys-file-private.c (sfm_width_to_segments): New function.

* sys-file-reader.c (read_long_var_name_map): Save and restore all
the short names, not just the first one.

* sys-file-writer.c (cont_var_name): Removed.
(sfm_open_writer): Use short_names_assign instead of
dict_assign_short_names.  Use unique short names assigned by
short_names_assign instead of those generated by cont_var_name.

* variable.c (struct variable): Remove `short_name' member,
replace by `short_names' and `short_name_cnt'.
(var_create) Initialize new members.
(var_get_short_name_cnt): New function.
(var_get_short_name): Now takes an index argument.  Changed most
callers to pass 0.
(var_set_short_name): Ditto.
(var_clear_short_name): Renamed var_clear_short_names, changed to
clear all short names.