Avoid assertion failure pasting from a dictionary with foreign encoding.

Fixed bug pasting from the clipboard, where the wrong columns limit was
being used.

* command/no_case_size.sh: Update to match update DISPLAY and
SYSFILE INFO command output.

* command/rank.sh: Ditto.

* command/sysfile-info.sh: Ditto.

* command/very-long-strings.sh: Ditto.

Output variable measurement level, alignment, and display width as
part of DISPLAY DICTIONARY and SYSFILE INFO output.  Bug #13019.
Reviewed by John Darrington.
* sys-file-info.c (cmd_sysfile_info): Allow space for new rows of
info in output.
(display_variables): Ditto.
(describe_variable): Output variable measurement level, alignment,
and display width as part of DISPLAY DICTIONARY and SYSFILE INFO
output.

Patch #6117: Implement clipboard for data sheet.

* get.c (parse_read_command): Compact the values in the target
dictionary, to save space.

* dictionary.c (struct copy_map): Removed.
(struct dict_compactor): Removed.
(dict_make_compactor): Removed.
(dict_compactor_compact): Removed.
(dict_compactor_destroy): Removed.

* procedure.c (struct data_set): Change `compactor' member to be a
struct case_map *.
(proc_open): Use case_map_to_compact_dict instead of
dict_make_compactor.
(proc_casereader_read): Use case_map_execute instead of
dict_compactor_compact.
(proc_commit): Use case_map_destroy instead of
dict_compactor_destroy.

* scratch-writer.c (struct scratch_writer): Change `compactor'
member to be a struct case_map *.
(scratch_writer_open): Use case_map_to_compact_dict instead of
dict_make_compactor.
(scratch_writer_casewriter_write): Use case_map_execute instead of
dict_compactor_compact.

* get.c (struct case_map): Move into new file src/data/case-map.c.
(start_case_map): Ditto, and rename case_map_prepare_dict.
(finish_case_map): Ditto, and rename case_map_from_dict.
(map_case): Ditto, and rename case_map_execute.
(destroy_case_map): Ditto, and rename case_map_destroy.
(case_map_get_value_cnt): Ditto.

* automake.mk: Add case-map.c, case-map.h.

* case-map.c: New file.

* case-map.h: New file.

* psppire-dict.c (psppire_dict_dump): Don't use
dict_get_compacted_dict_index_to_case_index, as that function has
been deleted.

* flip.c: Drop use of dict_get_compacted_dict_index_to_case_index
and just use the ordinary case indexes.  There seemed to be no
reason for the former method.

* get.c (case_map_get_value_cnt): New function.

* dictionary.c (dict_compact_values): Don't delete scratch
variables as well as compacting case indexes.  Update all callers.
(dict_get_compacted_value_cnt): Rename dict_count_values and
change interface.  Update all callers.
(dict_get_compacted_value_cnt): Remove.
(dict_compacting_would_shrink): Remove.
(dict_compacting_would_change): Remove.
(dict_make_compactor): Add new parameter.  Update all callers.

* procedure.c (proc_casereader_read): Use casewriter_get_value_cnt
instead of dict_count_values, changing an O(N) operation into
O(1).

(casereader_read): Don't require cases read by a casereader to be
exactly the expected size: as long as they're big enough, it's OK.

Make casewriters keep track of the number of `union value's in each
case.  This is useful for two reasons: casewriter_write can then check
that the case being written is large enough, and later recipients of
the casewriter can determine the size of the case.

* get.c (case_map_get_value_cnt): New function.

* casewriter-translator.c (casewriter_create_translator): Add
value_cnt parameter.

* casewriter.c (struct casewriter): Add value_cnt member.
(casewriter_write): Check that the case passed in is big enough.
(casewriter_get_value_cnt): New function.
(casewriter_create): Add value_cnt parameter.

Add support for charts to ASCII driver.  Bug #16364.
Thanks to John Darrington for review.

* ascii.c (struct ascii_driver_ext): Add chart_type,
chart_file_name, chart_cnt members.
(ascii_open_driver): Initialize new members.
(static array option_tab): Add new options, reorganize slightly.
(handle_option): Handle new options.
(ascii_submit): New function.
(ascii_chart_initialise): Implement.
(ascii_chart_finalise): Implement.

* chart.c (chart_init_separate): New function.
(chart_finalise_separate): New function.

* dummy-chart.c (chart_init_separate): New function.
(chart_finalise_separate): New function.

* html.c (html_open_driver): Don't free chart_file_name.
(html_close_driver): Do free chart_file_name.
(handle_option): Only give an error for chart-files options that
don't contain "#".
(html_initialise_chart): Use new chart_init_separate.
(html_finalise_chart): Use new chart_finalise_separate.

Deleted unused function.

Changed PSPP_LINREG_SVD to PSPP_LINREG_QR

Added scope and explanation of use of conditional inverse; added appropriate enum constant

Fix bug #18982.  Thanks to John Darrington for investigation,
review, and verification of fix.

* formats/date-in.sh: Use a portable pseudo-random number
generator.

* formats/time-in.sh: Ditto.

Fix first part of bug #18982.  Thanks to John Darrington for finding
the problem and verifying the fix.

Fix bug reported by Jason Stover.
* settings.c: Move get_termcap_viewport and in particular the
#include for <curses.h> to the end of the file.  curses.h
redefines bool on some systems (e.g. OpenBSD), which causes
disagreement between uses of bool before its inclusion and
afterward.
Tested by Jason Stover.

Plugged one more source of GtkCritical errors

Fixed the two biggest sources of GtkCritical errors.

Changed some properties of the syntax-editor to be less annoying.

Typo.

Fix bug #16189.  Reviewed by Jason Stover.

(rank_cmd): Instead of sorting by SPLIT FILE vars, group by them.
Fixes bug #17239.  Reviewed by John Darrington.

Initialize default syntax type.

Clean up handling of median, by treating it almost like any other
percentile.  Fixes bug #17424.  Thanks to John Darrington for
review.
* frequencies.q (internal_cmd_frequencies): Fix handling of bit
masks for `stats' variable.  If median is selected, turn it off
and add a 50th percentile.
(add_percentile): Simplify code a little.
(calc_stats): Drop special casing of median.
(dump_statistics): Ditto, except that we label the 50th percentile
as "50 (Median)" to make it clear that it's also the median.

Use non-deprecated functions.

Remove integer mode from FREQUENCIES and incidentally fix bug
#17421.  Reviewed by John Darrington.
* frequencies.q (int_pool): Rename data_pool.
(gen_pool): Rename syntax_pool.
(enum FRQM_*): Removed.
(struct freq_tab): Removed `mode', `vector', `min', `max',
`out_of_range', `sysmis' members.
(calc): Delete support for integer mode.
(precalc): Ditto.
(postprocess_freq_tab): Ditto.
(cleanup_freq_tab): Ditto.
(frq_custom_variables): Ditto.

Used the correct variable in error message.  Thanks to Ben for reporting
this problem.

Provisional fix for bug #18692 and bug #20161.  Reviewed by John
Darrington.

Implemented the CD command.

Enabled output generation in the GUI.

Implemented the Select Cases Dialog

Make PSPP able to read all the portable files I could find on the
web.
* por-file-reader.c (struct pfm_reader): New member `line_length'.
(error): Print file offset in hexadecimal.
(warning): New function.
(advance): Treat lines less than 80 bytes long as padded to 80
bytes with spaces.
(pfm_open_reader): Call read_documents if we find an "E" record.
(convert_format): Convert invalid formats to the default format
instead of aborting reading the file.
(read_variables): Rename duplicate variable names instead of
aborting reading the file.
(read_value_label): Allow string variables of different widths to
be assigned value labels in the same record.  Replace duplicate
value labels instead of aborting.
(read_documents): New function.

* por-file-writer.c (pfm_open_writer): Call write_documents if the
dictionary has documents.
(write_documents): New function.

Per latest comments in bug #19069

Fix bug #19604. T-Test documentation now matches code; code matches spss behaviour

Add tty and listing devices that use VT100 (and xterm) line-drawing
characters, and corresponding support for an initialization string in
the ASCII output device.

Make interactive output go to the terminal (bug #17213), by
causing the UI to flush output to the user when it prompts for a
command.
Thanks to John Darrington for review.

(run_regression): Move casereader_destroy call so that it always gets
called, not just if there was some valid data.  Fixes bug #19581.
Reviewed by Jason Stover.

Bug #19069.
* INSTALL: Improve installation instructions.
* README: Move prerequisites to INSTALL.
Reviewed by Jason Stover.

Make PKG_CHECK_MODULES tests more user-friendly,
by having them give their errors at the end of the configuration
process instead of stopping it in the middle.  Patch #6116.
Reviewed by Jason Stover.

Removed the OMS status bar area for which we're unlikely to have any use
in the near future.

Patch #6086. Adds "transformation pending" state.
Thanks to Ben for the review.

Fix bug #17100.

* command/data-list.sh: Add tests for multi-record DATA LIST with
and without empty trailing record.

* data-list.c (read_from_data_list_fixed): Handle multi-record
DATA LIST correctly.

*** empty log message ***

Fix bug #6113.
* sys-file-writer.c (write_variable_display_parameters): Use new
var_default_display_width function to choose display width of
segments after the first one in a given variable.
* variable.c (var_create): Use var_default_display_width to pick
new variable's display width.
(var_default_display_width): New function.

Fix bug #20427.
* por-file-writer.c (write_variables): Write weight variable.
Reviewed by John Darrington.

Fix bugs #20493, #20494.
* flip.c (struct flip_pgm): Remove `case_size' member (now
unused).
(cmd_flip): Pass var_cnt as number of cases instead of case_cnt,
to fix bug #20494.  Don't assign to `case_size' member, which was
unused after assignment.
(build_dictionary): When NEWNAMES not used, get the number of
variables right, to fix bug #20493.
* tests/command/flip.sh: Add tests to avoid regression on bugs
#20493, #20494.

Made Missing Values and Value Label cells non-editable, if the variable
is a long string variable.
Closes bug #20564

Added the ability to paste data from the primary selection.
Removed the "clip" feature.

Added an extra call to data_var_select and a comment to explain why.

Removed a function which was simply a wrapper around another.

Tidied up the way that value-labels button and menu item interact.

Numerous improvements to system file reader and writer.

Don't try to write very long strings to portable files.  The format
does not support it.

(MAX_POR_WIDTH): New macro.
(pfm_open_writer): Limit output width to MAX_POR_WIDTH.
(write_format): Add arg to take width to resize format to.
(write_value): Limit width of value written to MAX_POR_WIDTH.
(write_variables): Limit width of variable and its output formats
to MAX_POR_WIDTH.

(read_variable_to_value_map): Use max_warnings
local variable instead of literal 5.

Fix problems with uniqueness of short names in system files with very
long string variables.  Now a variable may have multiple short names.

* automake.mk (src_data_libdata_a_SOURCES): Add new files
short-names.c, short-names.h.

* dictionary.c (dict_clone): Clone all the short names.
(compare_strings): Move into short-names.c.
(hash_strings): Ditto.
(set_var_short_name_suffix): Ditto.
(dict_assign_short_names): Ditto, rename short_names_assign,
change to assign all short names.

* por-file-writer.c (write_variables): Use short_names_assign
instead of dict_assign_short_names.

* short-names.c: New file.

* short-names.h: New file.

* sys-file-private.c (sfm_width_to_segments): New function.

* sys-file-reader.c (read_long_var_name_map): Save and restore all
the short names, not just the first one.

* sys-file-writer.c (cont_var_name): Removed.
(sfm_open_writer): Use short_names_assign instead of
dict_assign_short_names.  Use unique short names assigned by
short_names_assign instead of those generated by cont_var_name.

* variable.c (struct variable): Remove `short_name' member,
replace by `short_names' and `short_name_cnt'.
(var_create) Initialize new members.
(var_get_short_name_cnt): New function.
(var_get_short_name): Now takes an index argument.  Changed most
callers to pass 0.
(var_set_short_name): Ditto.
(var_clear_short_name): Renamed var_clear_short_names, changed to
clear all short names.

Include xstrndup.h also.

(float_get_double): New function.

* variable.c (var_set_width): Use new var_set_width function.

* missing-values.c (mv_n_values): Drop assertion, which was not
needed.

* format.c (fmt_default_for_width): New function.
(fmt_resize): New function.

Test both compressed and uncompressed system files with very long
strings.

Delete unused dialogs

Added popup menus to column and row title areas in datasheet.

Ignore directories that have been removed from CVS.  These used to not
show up in Emacs' pcl-cvs mode, but for some reason they now pollute
the display.

Enabled deleting of variables from the datasheet

Use strict and all warnings.

Use strict and all warnings.  Fix warnings that this triggers.

Use strict and all warnings.  Simplify parsing.  Add "@c End:" line to
output to suppress Emacs warning.  From bug #19335.  Reviewed by John
Darrington.

Make file names in change log consistently relative to tests
directory.

Drop the tests that depend on parsing "-0" from a syntax file.  Also
make float-format.sh error messages easier to read, by changing the
sed command so that error line numbers are easier to match to the test
input.

Improve the description of the SPSS system file format.  Patch #6103.
Thanks to John Darrington for review.

Added the ability to resize string variables from the GUI.  Thanks to
Ben for his comments.

Removed legacy code.

File Open dialog now remembers directory of last opened file.

Only generate NUMERIC or STRING command if the type-and-label dialog was
used.

Remove "show-expanders" field (prevents warnings under gtk+-2.8)

Only taint casereader if case size is unknown.

Respect the case_cnt field from sys file header. Closes patch #6092

Finally got the datasheet responding fast enough.

Removed some deprecated gtk_ calls.

Deleted lib/gtksheet/gtkiconlist.[ch] which isn't used (was it ever?)

Updated INSTALL to be more specific to pspp.

Added prototype to avoid compile time warning.

Made the datasheet redraw itself when new data is loaded.

Use non-deprecated function g_idle_add

Remove unused file.  Fixes bug #18140.

(map_case): Create destination case instead of leaving it
undefined.  Fixes bug #20285.
Reviewed by John Darrington.

Made type-and-label subdialog behave rationally when the target variable
already exists.

Improve N OF CASES documentation.

Enabled deletion of cases from the datasheet.

Removed restructure menuitem, since it's unlikely to be implemented in
the near future.

initial version of glm

fixed export bug

Prevent crash when attempting to insert cases when dictionary is empty.

Implemented the "Insert Case" button and menuitem.

Removed visibility from recent file menuitems, if recent managers aren't
available.

Used type casenumber in GUI code where appropriate. Also, generally
stricter type allocations.

Set type hints for older gtk versions

Implemented the goto-case dialog

Added appropriate window_type_hint to the splash window.

Implemented "type & label" subdialog on compute.