src/data/ChangeLog

   1 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
   2
   3         * sys-file-reader.c (read_display_parameters): Don't assume that
   4         MEASURE_* and ALIGN_* have the same values found in system files.
   5
   6         * sys-file-writer.c (write_variable_display_parameters): Ditto.
   7
   8         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
   9         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
  10         the value of n_MEASURES, which was off by 1 (at least from my
  11         point of view).
  12
  13 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
  14
  15         * dictionary.c dictionary.h vardict.h variable.c: Added optional
  16                 callbacks which are invoked when the dictionary or its
  17                 variables are changed.
  18
  19         * missing-values.c missing-values.h value-labels.c: Tidied up
  20                 consistency checks, and made some of them return false
  21                 instead of assert-failing.
  22
  23 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
  24
  25         * calendar.c (calendar_days_in_month): New function.
  26
  27 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
  28
  29         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
  30         the value label's width.
  31
  32 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
  33
  34         * sfm-private.h: Move contents into sys-file-writer.c, which is
  35         the only remaining user.  Removed Borland C++-specific directives.
  36
  37         * sys-file-reader.c: Clean up and rewrite entire file.  The
  38         rewritten version is simpler and better abstracted, and should be
  39         easier to maintain and extend.  It avoids using structures to read
  40         file data, which is prone to padding variations among compilers.
  41         It should also handle non-IEEE 754 system files, although I
  42         haven't been able to find any.  It has been tested against many
  43         .sav files obtained from the Web and found to produce the same
  44         results as the earlier version of the code, or in some cases
  45         improved results.  It is more tolerant of format variations found
  46         in the wild.
  47
  48         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
  49         member, putting an enum integer_format in its place.  New member
  50         `float_format'.  Changed `compressed' member to type bool.
  51
  52 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
  53
  54         * dictionary.c (dict_delete_consecutive_vars): New function.
  55
  56 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
  57
  58         * file-name.c (fn_search_path): Remove prefix arg that was unused
  59         by any caller.  Updated all callers.
  60
  61 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
  62
  63         * format.c (fmt_dollar_template): Use user's decimal point
  64         character.  Add assertion.
  65
  66 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
  67
  68         * format.c (fmt_dollar_template): New function, based on
  69         dollar_format_template from var-type-dialog.c.
  70
  71 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
  72
  73         * data-out.c (output_scientific): Fix bad assumption that "buf" is
  74         null-terminated.
  75
  76 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
  77
  78         Finish converting struct variable to an opaque type.  In this
  79         phase, we add remaining setter and getter functions, convert the
  80         remaining PSPP code to use them, and do a bunch of cleanup.  The
  81         resulting changes are pervasive but mostly trivial, and only the
  82         notable changes are logged.
  83
  84         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
  85         files.
  86
  87         * case.c (case_data): Renamed case_data_idx.
  88         (case_num): Renamed case_num_idx.
  89         (case_str): Renamed case_str_idx.
  90         (case_data_rw): Renamed case_data_rw_idx.
  91
  92         * case.h (case_data): New function with old name and an interface
  93         that takes a variable instead of an index, which is easier to
  94         use.  Updated all callers to use the new interface, or to use the
  95         new *_idx function (see above).
  96         (case_num): Ditto.
  97         (case_str): Ditto.
  98         (case_data_rw): Ditto.
  99
 100         * category.c (cat_stored_values_destroy): Changed interface to
 101         take a struct cat_vals * instead of a struct variable *.
 102
 103         * dictionary.c (dict_clone): Use new vector_clone function.
 104         (dict_clear) Use new var_destroy function.
 105         (add_var) New function.
 106         (dict_create_var) Rewrite in terms of dict_create_var_assert.
 107         (dict_create_var_assert) Rewrite in terms of add_var.
 108         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
 109         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
 110         (dict_lookup_var) Use new var_create, var_destroy functions.
 111         (dict_contains_var) Rewrite in terms of new vardict functionality.
 112         (set_var_dict_index) New function.
 113         (set_var_case_index) New function.
 114         (reindex_vars) New function.
 115         (dict_delete_var) Rewrite in terms of new vardict functionality.
 116         (dict_reorder_var) Ditto.
 117         (dict_reorder_vars) Ditto.
 118         (rename_var) New function.
 119         (dict_rename_var) Use rename_var.
 120         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
 121         (dict_get_compacted_idx_to_fv) Rename
 122         dict_get_compacted_dict_index_to_case_index, update callers.
 123         (dict_create_vector) Use new vector_create function.
 124         (dict_clear_vectors) Use new vector_destroy function.
 125         (set_var_short_name_suffix) Move here from variable.c, renamed
 126         from var_set_short_name_suffix, make static, update caller.
 127
 128         * sys-file-private.c: New file.
 129         (sfm_width_to_bytes) Moved here from variable.c, renamed from
 130         width_to_bytes, update callers.
 131
 132         * sys-file-private.h: New file.  Later it will supplant
 133         sfm-private.h; for now it supplements it.
 134         (macro MIN_VERY_LONG_STRING) New macro.
 135         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
 136
 137         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
 138         MAX_LONG_STRING was used before.
 139
 140         * sys-file-writer.c: Ditto.
 141
 142         * value-labels.c: Change the paradigm here to be that a null
 143         pointer is OK for a struct val_labs * in most cases; it just
 144         represents an empty set of value labels.
 145         (val_labs_copy) A copy of a null set is a null set.
 146         (val_labs_count) A null set has 0 labels.
 147         (val_labs_replace) Change return type to void.  Rewrite for
 148         simplicity.
 149         (val_labs_find) A null set does not contain the value.
 150         (value_to_string) Moved to variable.c, renamed var_get_value_name,
 151         transposed argument order, updated all callers.
 152
 153         * value.c: New file.
 154         (value_dup) Moved here from variable.c.
 155         (compare_values) Ditto.
 156         (hash_value) Ditto.
 157
 158         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
 159         (macro MAX_LONG_STRING) Removed, because it was only interesting
 160         for system files, not for general code.
 161         (macro MAX_VERY_LONG_STRING) Ditto.
 162         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
 163         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
 164
 165         * vardict.h: New file, for an interface between variables and
 166         their dictionaries.
 167
 168         * variable.c: A lot of functions were moved around, for better
 169         organization.
 170         (struct variable) Move definition here, from variable.h.
 171         (var_type_adj) Removed--makes i18n hard.
 172         (var_type_noun) Ditto.
 173         (var_create) New function.
 174         (var_clone) New function.
 175         (var_destroy) New function.
 176         (var_set_name) Assert that variable is not in a dictionary.
 177         (compare_var_names) Rename compare_vars_by_name and fix a couple
 178         of callers who thought the args were strings.
 179         (hash_var_name) Rename hash_var_by_name.
 180         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
 181         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
 182         (var_is_very_long_string) Removed, because it was only interesting
 183         to system file code.
 184         (var_set_missing_values) Allow the argument to be the wrong width,
 185         as long as we can resize it.  Simplify callers who were doing the
 186         resizing themselves.
 187         (var_get_value_labels) New function.
 188         (var_has_value_labels) New function.
 189         (var_set_value_labels) New function.
 190         (alloc_value_labels) New function.
 191         (var_add_value_label) New function.
 192         (var_replace_value_label) New function.
 193         (var_clear_value_labels) New function.
 194         (var_lookup_value_label) New function.
 195         (var_get_value_name) Moved here from variable.c, renamed from
 196         var_get_value_name, transposed argument order, updated all
 197         callers.
 198         (var_to_string) Moved here, from variable-label.c.
 199         (var_set_leave) New function.
 200         (var_get_leave) New function.
 201         (var_must_leave) New function.
 202         (var_set_short_name_suffix) Moved to dictionary.c, renamed
 203         set_var_short_name_suffix.
 204         (var_get_dict_index) New function.
 205         (var_get_case_index) New function.
 206         (var_get_obs_vals) New function.
 207         (var_set_obs_vals) New function.
 208         (var_has_obs_vals) New function.
 209         (var_get_vardict) New function.
 210         (var_set_vardict) New function.
 211         (var_has_vardict) New function.
 212         (var_clear_vardict) New function.
 213         (value_dup) Moved to value.c.
 214         (compare_values) Ditto.
 215         (hash_value) Ditto.
 216
 217         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
 218         (enum ALPHA) Rename VAR_STRING, update all users.
 219
 220         * vector.c: New file.
 221         (struct vector) Moved here, from variable.h.
 222         (check_widths) New function.
 223         (vector_create) New function.
 224         (vector_clone) New function.
 225         (vector_destroy) New function.
 226         (vector_get_name) New function.
 227         (vector_get_var) New function.
 228         (vector_get_var_cnt) New function.
 229         (compare_vector_ptrs_by_name) New function.
 230
 231         * vector.h: New file.
 232
 233 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 234
 235         * casefilter.c (casefilter_variable_missing): Avoided comparision of
 236         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
 237         problem.
 238
 239 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
 240
 241         * value-labels.c (destroy_atoms): New function.
 242         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
 243
 244 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
 245
 246         Thanks to Jason Stover for pointing out this problem.
 247
 248         * data-out.c (output_number): Use gsl_finite from GSL, which is
 249         portable, instead of isfinite, which is not.
 250         (power256) Ditto.
 251
 252 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 253
 254         * variable.c variable.h (value_dup): New function.
 255
 256 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
 257
 258         Start converting struct variable to an opaque type.  In this
 259         phase, we add a bunch of setter and getter functions and convert
 260         most of the PSPP code to use them.  The resulting changes are
 261         pervasive but mostly trivial, and only the notable changes are
 262         logged.
 263
 264         * format.c (fmt_equal): New function.
 265
 266         * variable.c (var_type_is_valid): New function.
 267         (measure_is_valid) Moved here, from format.c.
 268         (alignment_is_valid) Moved here, from format.c.
 269         (var_get_name) New function.
 270         (var_set_name) New function.
 271         (width_to_type) New function.
 272         (var_get_type) New function.
 273         (var_get_width) New function.
 274         (var_set_width) New function.
 275         (var_is_numeric) New function.
 276         (var_is_alpha) New function.
 277         (var_is_short_string) New function.
 278         (var_is_long_string) New function.
 279         (var_is_very_long_string) New function.
 280         (var_get_missing_values) New function.
 281         (var_set_missing_values) New function.
 282         (var_clear_missing_values) New function.
 283         (var_has_missing_values) New function.
 284         (var_is_value_missing) New function.
 285         (var_is_num_missing) New function.
 286         (var_is_str_missing) New function.
 287         (var_is_value_user_missing) New function.
 288         (var_is_num_user_missing) New function.
 289         (var_is_str_user_missing) New function.
 290         (var_is_value_system_missing) New function.
 291         (var_get_print_format) New function.
 292         (var_set_print_format) New function.
 293         (var_get_write_format) New function.
 294         (var_set_write_format) New function.
 295         (var_set_both_formats) New function.
 296         (var_get_label) New function.
 297         (var_set_label) New function.
 298         (var_clear_label) New function.
 299         (var_has_label) New function.
 300         (var_get_measure) New function.
 301         (var_set_measure) New function.
 302         (var_get_display_width) New function.
 303         (var_set_display_width) New function.
 304         (var_get_alignment) New function.
 305         (var_set_alignment) New function.
 306         (var_get_value_cnt) New function.
 307         (var_get_leave) New function.
 308         (var_get_short_name) New function.
 309
 310         * variable.h: (struct variable) Removed "type" and "nv" members;
 311         they are now computed from "width" where needed.
 312
 313 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
 314
 315         * missing-values.c (mv_resize): Don't write beyond end of the
 316         allocated buffer when resizing a long string.
 317
 318 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
 319
 320         Clean up identifier code: don't require identifier enumerations to
 321         be in a particular order; make better use of string library;
 322         expose less of the internals.
 323
 324         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
 325         change interface.  Updated all callers.
 326         (lex_id_match) Change interface to use struct substring, update
 327         all callers.
 328         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
 329         (global array keywords[]) Make static, change form.  Update all
 330         users to use lex_id_name instead.
 331         (lex_is_keyword) New function.
 332         (lex_id_to_token) Change interface to use struct substring, update
 333         all callers.
 334         (lex_id_name) New function.
 335
 336         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
 337         lex_is_keyword instead.
 338         (T_LAST_KEYWORD) Removed.
 339         (T_N_KEYWORDS) Removed.
 340
 341 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
 342
 343         * format.c: (fmt_date_template) Distinguish characters for which a
 344         space is output and any date delimiter is allowed on input, from
 345         those for which a space is output and only a space is allowed on
 346         input.  The former is represented by X, the latter by a space.
 347         Also, drop distinction between h and H, changing the former to the
 348         latter.
 349
 350         * data-in.c: Completely rewrite internals to conform to SPSS input
 351         formats as closely as possible.
 352         (data_in) Changed external interface by replacing the structure
 353         that was used as a single argument by a set of arguments.  Updated
 354         all callers.
 355         (data_in_finite_line) Removed.  Converted all callers to use plain
 356         data_in.
 357         (data_in_get_integer_format) New function.
 358         (data_in_set_integer_format) New function.
 359         (data_in_get_float_format) New function.
 360         (data_in_set_float_format) New function.
 361
 362         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
 363         (struct data_in) Removed.
 364
 365         * data-out.c: (output_date) Drop each component from the input as
 366         it is output, to allow us to drop the distinction between h (a
 367         count of hours) and H (the hour of day) template characters.
 368         Also, handle new X template character.
 369         (output_scientific) Follow more rational rule on when to drop
 370         fraction introduced between SPSS 13 and 15.  Updated test case to
 371         match new behavior.
 372
 373 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
 374
 375         Fix buffer overflow reported by John Darrington.
 376
 377         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
 378         realize that DIGITS is a count of nibbles, not of bytes.
 379
 380 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
 381
 382         * calendar.c (calendar_offset_to_gregorian) Also return the
 383         year-of-day.  Change callers to new interface.
 384
 385         * data-out.c: Completely rewrite internals to conform to SPSS
 386         output formats as completely as possible.
 387         (data_out) Change interface to put input parameters before output
 388         parameters, for consistency with the style I now prefer.  Update
 389         all callers.
 390         (data_out_get_integer_format) New public function.
 391         (data_out_set_integer_format) New public function.
 392         (data_out_get_float_format) New public function.
 393         (data_out_set_float_format) New public function.
 394
 395         * data-out.h: New file.  Move prototype for data_out here, from
 396         format.h.
 397
 398         * format.c: (fmt_step_width) Use equality comparison instead of
 399         bitwise and, for clarity.
 400         (fmt_is_string) Ditto.
 401         (fmt_input_to_output) Fix categories that are translated to F
 402         format.
 403
 404 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 405
 406         * casefilter.c casefilter.h (new files), casefile.c casefile.h
 407         casefile-private.h: Added casefilter to assist commands with missing
 408         values.
 409
 410 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
 411
 412         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
 413
 414         * settings.c: (route_errors_to_terminal) New variable.
 415         (route_errors_to_listing) New variable.
 416         (get_error_routing_to_terminal) New function.
 417         (set_error_routing_to_terminal) New function.
 418         (get_error_routing_to_listing) New function.
 419         (set_error_routing_to_listing) New function.
 420
 421         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
 422
 423 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
 424
 425         * format.c: Completely rewrite, to achieve better abstraction.
 426         Rewrite all references to formats in other files.
 427
 428         * format.def: Rewrite and reorganize.
 429
 430         * settings.c: Move everything related to custom currency formats
 431         into format.[ch], changing them in form, so as to group related
 432         code and definitions better.  Changed all references to use the
 433         new functions.
 434         (static var decimal) Removed.
 435         (static var grouping) Removed.
 436         (static var cc) Removed.
 437         (get_decimal) Removed.
 438         (set_decimal) Removed.
 439         (get_grouping) Removed.
 440         (set_grouping) Removed.
 441         (get_cc) Removed.
 442         (set_cc) Removed.
 443
 444         * settings.h: (macro CC_CNT) Removed.
 445         (macro CC_WIDTH) Removed.
 446         (struct custom_currency) Removed.
 447
 448 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
 449
 450         * data-in.c (data_in): Use switch statement instead of table, to
 451         avoid dependence on the order of the FMT_* enums.
 452
 453 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
 454
 455         * data-out.c: (num_to_string) Removed, because it was dead code.
 456
 457 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
 458
 459         * data-in.c (parse_trailer): Fix error message.
 460
 461 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
 462
 463         * format.c (fmt_is_binary): New function.
 464
 465 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 466
 467         * procedure.c procedure.h: Encapsulated the static data into a single
 468         struct.
 469
 470 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
 471
 472         * casefile.c (casereader_read_xfer): Always initialize the case,
 473         even on an error condition.
 474
 475 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
 476
 477         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the
 478         entire function useless.
 479
 480 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
 481
 482         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
 483         casereader method casereader_clone.
 484
 485         * procedure.c pransformations.h: Introduced new type casenum_t
 486
 487 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
 488
 489         * variable.c: (width_to_bytes) Rephrase code for clarify.
 490
 491 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
 492
 493         * format.c: (fmt_type_from_string) New function.
 494         (fmt_to_string) Include decimals in output if the format has
 495         decimals, even if the format type does not.  This way, we can
 496         accurately reproduce incorrect formats in user output.
 497         (check_common_specifier) Make the check for a bad format type an
 498         assertion, so we get bug reports if they show up.  Fix message.
 499         Check for decimal places with a format type that doesn't allow
 500         them.
 501         (check_input_specifier) Remove check for FMT_X, which has been
 502         deleted.
 503         (check_output_specifier) Ditto.
 504
 505         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
 506
 507         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
 508         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
 509         (enum fmt_parse_flags) Removed.
 510
 511 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
 512
 513         * casefile.c casefile.h: Converted to  an abstract base class.
 514         * casefile-private.h fastfile.c fastfile.h: New files.
 515         * automake.mk procedure.c scratch-writer.c storage-stream.c
 516
 517 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
 518
 519         * procedure.c (internal_procedure): Create sink_case with only as
 520         many values as the compacted dictionary.
 521
 522 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
 523
 524         Remove "debugging" code that caused plenty of false positives and
 525         no true positives.
 526
 527         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
 528
 529         * case.c: Remove all references to `this' member.
 530
 531 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
 532
 533         Fix link error noted by Jason Stover.
 534
 535         * storage-stream.c: Include <assert.h>.
 536
 537 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
 538
 539         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
 540         ALL) and additional underlying system file issues.
 541
 542         Thanks to John Darrington for review.
 543
 544         First problem: var_hash points to variables not owned by the
 545         sys-file-reader, which the caller may free or modify.  Use an
 546         array of sfm_vars instead, as done earlier (e.g. CVS version
 547         1.12).
 548
 549         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
 550         members and remove all code that references it.  Add vars, var_cnt
 551         members.  Remove fix_specials member, which was unused.
 552         (struct sfm_var) Remove name member, which was unused.
 553         (sfm_close_reader) Free vars member instead of var_hash.
 554         (compare_var_shortnames) Removed.
 555         (hash_var_shortname) Removed.
 556         (sfm_open_reader) Fill out vars array.
 557         (compare_var_index) Removed.
 558         (sfm_read_case) Use vars instead of var_hash.
 559
 560         Second problem: we're confused about when we actually have very
 561         long strings, causing us to choose incorrectly between slow path
 562         and fast path in sfm_read_case.
 563
 564         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
 565         have very long strings, not when we have long variable names,
 566         which is an unrelated feature.
 567
 568 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
 569
 570         * variable.h: Move var_set and variable parsing declarations to
 571         new header, src/language/lexer/variable-parser.h.  Modified lots
 572         of files to include the new header.
 573
 574 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
 575
 576         * value-labels.c (value_to_string): When there's no value label,
 577         format the variable according to its print format, instead of
 578         always effectively using A or F format.
 579
 580 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
 581
 582         * casefile.c (casefile_get_random_reader): Nasty hack to get around
 583         the mode assertion.
 584
 585         * format.c: Removed tortological assertion.
 586
 587 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
 588
 589         Reform string library.
 590
 591         * file-name.c (fn_interp_vars): Change interface to take a
 592         substring as input.  Updated all users.
 593
 594 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
 595
 596         * format.c (measure_is_valid): Really return false when m >=
 597         n_MEASURES.
 598
 599 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
 600
 601         Implement random access to casefiles, for use in GUI.
 602
 603         * casefile.c: (struct casereader) Add `random', `file_ofs',
 604         `buffer_ofs' members.
 605         (casefile_get_random_reader) New function.
 606         (read_open_file) Break part into new function
 607         seek_and_fill_buffer().
 608         (fill_buffer) Update buffer_ofs, file_ofs.
 609         (casereader_seek) New function.
 610
 611 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 612
 613         * settings.c: Added call to i18n{done, init}.
 614
 615 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
 616
 617         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
 618         prototypes.
 619
 620 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
 621
 622         * casefile.c: Convert many uses of `int' to `bool'.
 623
 624 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
 625
 626         * transformations.c (trns_chain_destroy): Destroy chain's trns
 627         member, to fix memory leak.
 628
 629 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
 630
 631         * storage-stream.c (storage_source_decapsulate): Destroy case
 632         source to fix memory leak.
 633
 634 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
 635
 636         * scratch-reader.c (scratch_reader_read_case): Copy into existing
 637         case passed as argument instead of initializing the argument as a
 638         case.  Fixes memory leak that showed up in
 639         tests/command/aggregate.sh with scratch files.
 640
 641 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
 642
 643         * procedure.c (proc_done): Destroy default_dict, to fix memory
 644         leak.
 645
 646 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
 647
 648         Simplify procedure_with_splits().
 649
 650         * procedure.c (struct split_aux_data): Removed case_count member.
 651         (procedure_with_splits) Don't initialize case_count.
 652         (split_procedure_case_func) Check whether prev_case is null
 653         instead of case_count.
 654         (split_procedure_end_func) Ditto.
 655
 656 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
 657
 658         * case.c (case_move): Do nothing if dst and src are the same
 659         object.
 660         (case_try_create) Merge two similar cases.
 661         (case_copy) Unshare only if data must be actually copied.
 662
 663 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
 664
 665         * data-in.c data-out.c dictionary.c sys-file-reader.c
 666         sys-file-writer.c variable.c variable.h:  Reworked very long string
 667         support for better encapsulation.
 668
 669 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
 670
 671         * value-labels.c (val_labs_can_set_width): New function.
 672         (val_labs_set_width) Clear labels if increasing width to long
 673         string.
 674         (val_labs_destroy) Remove unneeded test for null.
 675
 676 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
 677
 678         * value-labels.h: Remove unneeded dependency on variable.h.
 679
 680 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
 681
 682         Get rid of `char *c' member in union value, for cleanliness.
 683
 684         * value.h: (union value) Remove `c' member.
 685
 686 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
 687
 688         Make dictionary compacting functions a little more general.
 689
 690         * sys-file-writer.c (sfm_open_writer): Use
 691         dict_compacting_would_change().
 692         (does_dict_need_translation) Removed.
 693
 694 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
 695
 696         Make dictionary compacting functions a little more general.
 697
 698         * dictionary.c (dict_needs_compaction): Rename
 699         dict_compacting_would_shrink().  Update all callers.
 700         (dict_compacting_would_change) New function.
 701
 702 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
 703
 704         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
 705         inverted return value (!).
 706
 707 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
 708
 709         Continue reforming procedure execution.
 710
 711         * procedure.c: Search and replace "vfm" by "proc".  Notably:
 712         (static var vfm_source) Rename proc_source.  Update all
 713         references.
 714         (static var vfm_sink) Rename proc_sink.  Update all references.
 715
 716 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
 717
 718         Continue reforming procedure execution.  In this phase, remove
 719         PROCESS IF, which was deprecated anyway and can be easily
 720         simulated with TEMPORARY followed by SELECT IF.
 721
 722         * procedure.c: (open_active_file) Don't call
 723         add_process_if_trns().
 724         (discard_variables) Get rid of redundant call to
 725         proc_cancel_all_transformations().
 726         (add_process_if_trns) Removed.
 727         (process_if_trns_proc) Removed.
 728         (process_if_trns_free) Removed.
 729
 730 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
 731
 732         Continue reforming procedure execution.  In this phase, add
 733         `const' to the case passed to procedure()'s callback.
 734
 735         Updated all users of procedure() as well.
 736
 737         * procedure.c: (struct write_case_data) Add "const" to ccase
 738         parameter for case_func member.
 739         (procedure) Add "const" to ccase parameter for proc_func
 740         parameter.
 741         (multipass_case_func) Make ccase parameter const.
 742         (internal_procedure) Add "const" to ccase parameter for case_func
 743         parameter.
 744         (split_procedure_case_func) Make ccase parameter const.
 745         (multipass_split_case_func) Make ccase parameter const.
 746
 747 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
 748
 749         Continue reforming procedure execution.  In this phase, get rid of
 750         the output code for SPLIT FILE groups in procedure.c, which really
 751         shouldn't be doing any output.  Move it into the individual
 752         procedures instead.  This also adds some flexibility.
 753
 754         Updated many users of procedure_with_splits() and
 755         multipass_procedure_with_splits() to call
 756         output_split_file_values() and to deal with increased use of
 757         const.
 758
 759         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
 760         parameter to begin_func member.
 761         (procedure_with_splits) Add "const struct ccase *" parameter to
 762         begin_func parameter.  Make ccase parameter const in proc_func
 763         parameter.
 764         (split_procedure_case_func) Don't dump split file group.  Pass
 765         case to begin_func.
 766         (dump_splits) Moved to language/dictionary/split-file.c as
 767         output_split_file_values().
 768         (struct multipass_split_aux_data) Add "const struct ccase *"
 769         parameter to split_func member.
 770         (multipass_procedure_with_splits) Add "const struct ccase *"
 771         parameter to split_func parameter.
 772         (multipass_split_case_func) Save new SPLIT FILE case before
 773         outputting case.
 774         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
 775
 776 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
 777
 778         Continue reforming procedure execution.  Change
 779         internal_procedure() so that it calls open_active_file() and
 780         close_active_file(), which isolates most of the actual procedure
 781         functionality.
 782
 783         * procedure.c: (struct write_case_data) Rename `proc_func' member
 784         to `case_func' and update all references.
 785         (procedure) Rewrite as one-line wrapper around
 786         internal_procedure().
 787         (struct multipass_aux_data) New.
 788         (multipass_callback) Renamed multipass_case_func().  Use struct
 789         multipass_aux_data as auxiliary data.
 790         (multipass_end_func) New function.
 791         (multipass_procedure) Rewrite as wrapper for internal_procedure()
 792         that uses multipass_case_func, multipass_end_func.
 793         (internal_procedure) Add `end_func' argument.  Move optimization
 794         of trivial case in here.  Move call to open_active_file() and
 795         close_active_file() in here.  Now assert that vfm_source is
 796         non-null.
 797         (procedure_with_splits_callback) Rename
 798         split_procedure_case_func().
 799         (split_procedure_end_func) New function.
 800         (multipass_split_callback) Rename multipass_split_case_func.
 801         (multipass_split_end_func) New function.
 802         (discard_variables) No need to test for nonnull vfm_source.
 803
 804 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
 805
 806         Continue reforming procedure execution.  Get rid of unused member.
 807
 808         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
 809         member.
 810         (write_case) Don't increment cases_analyzed.
 811
 812 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
 813
 814         Continue reforming procedure execution.  In this phase, move
 815         procedure.c and procedure.h from src to src/data.  Update
 816         makefiles and #includes accordingly.
 817
 818         * procedure.c: Moved here from src/.
 819
 820         * procedure.h: Moved here from src/.
 821
 822 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
 823
 824         Continue reforming procedure execution.  In this phase, get rid of
 825         many global variables, consolidating procedure execution in
 826         procedure.c.  Encapsulate transformations in new "struct
 827         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 828         and PROCESS IF from special cases to transformations.
 829
 830         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
 831         transformations.h.
 832
 833         * dictionary.c: (global variable default_dict) Move to
 834         src/procedure.c.
 835
 836         * variable.h: (TRNS_*) Move to transformations.h.
 837         (struct transformation) Move to transformations.c.
 838
 839 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
 840
 841         * sys-file-reader.c: Fixed invalid read problems.
 842
 843 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
 844
 845         * storage-stream.c: Add missing function comments.
 846
 847 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
 848
 849         Continue reforming procedure execution.  In this phase, add some
 850         new, needed functionality to storage-stream.
 851
 852         * storage-stream.c: (storage_source_decapsulate) New function.
 853
 854 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
 855
 856         * variable.c (width_to_bytes): Declarations must precede
 857         statements for C90 compliance.
 858
 859 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
 860
 861         * data-out.c, data-in.c, variable.c, variable.h: New functions
 862         copy_mangle and copy_demangle for reading/writing cases; emulates the
 863         way SPSS deals with strings > 255 bytes.
 864
 865         * sys-file-reader.c sys-file-writer.c: Added support for Record 7,
 866         subtype 14 needed for strings longer than 255 bytes.
 867
 868         * dictionary.c, format.def, value.c : Updated to use MAX_STRING
 869         instead of literal values. Also fixed some constness issues.
 870
 871         * format.h: Constness
 872
 873         * sfm-private.h: Renamed the case_size identifier, since I discovered
 874         that SPSS's respect for this variable is very nominal.
 875
 876 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
 877
 878         Change case limit type from int to size_t.
 879
 880         * dictionary.c: (struct dictionary) Change type of case_limit
 881         member.
 882         (dict_get_case_limit) Change return type.
 883         (dict_set_case_limit) Change parameter type.
 884
 885 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
 886
 887         * variable.h: (struct variable) Rename `reinit' member as `leave'
 888         and invert sense.  Fix up all references.
 889
 890 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
 891
 892         Continue reforming procedure execution.  In this phase, break
 893         procedure.c into multiple files.
 894
 895         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
 896
 897         * case-sink.c: New file.
 898
 899         * case-sink.h: New file.
 900
 901         * case-source.c: New file.
 902
 903         * case-source.h: New file.
 904
 905         * storage-stream.c: New file.
 906
 907         * storage-stream.h: New file.
 908
 909 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
 910
 911         * variable.h: (struct variable) Remove `init' member and all
 912         references to it from other files.  It was initialized in several
 913         places, but nothing really ever used it for anything worthwhile.
 914         Thanks to Jason Stover for pointing out how confusing this
 915         member is.
 916
 917 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
 918
 919         Continue reforming error message support.  In this phase, get rid
 920         of message "titles" and put the message text in `struct error'.
 921         Now `struct error' encapsulates a message more properly.
 922
 923         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
 924         Format message ourselves.
 925
 926         * data-in.c: (vdls_error) Ditto.
 927
 928         * por-file-reader.c: (error) Ditto.
 929
 930         * sys-file-reader.c: (corrupt_msg) Ditto.
 931
 932 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
 933
 934         GNU standards require "file name" instead of "filename" in
 935         documentation.  It's nice for our code to follow the convention
 936         too.
 937
 938         * casefile.c: (struct casefile) Rename `filename' member to
 939         `file_name'.  Updated all references.
 940
 941         * file-name.c: [!unix] (struct file_identity) Rename
 942         normalized_filename member to normalized_file_name.  Updated all
 943         references.
 944
 945 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
 946
 947         We don't really support anything but Unix-like environments well,
 948         so we might as well de-obfuscate by writing directory and path
 949         separators explicitly.
 950
 951         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
 952         to just '/'.
 953         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
 954         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
 955         "/".
 956         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
 957         ":"
 958
 959 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
 960
 961         GNU standards require "file name" instead of "filename" in
 962         documentation.  It's nice for our code to follow the convention
 963         too.
 964
 965         * filename.c: Rename to file-name.c.
 966
 967         * filename.h: Rename to file-name.h.  Update all inclusions.
 968         Update header guards.
 969
 970         * automake.mk: Update file names.
 971
 972 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
 973
 974         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
 975         updated.
 976         (fn_basename) Removed (dead code).
 977         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
 978         (fn_special_p) Renamed fn_is_special(), all references updated.
 979         (fn_exists_p) Renamed fn_exists(), all references updated.
 980
 981 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
 982
 983         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.
 984         Also, now it only tilde-expands file names, not paths.
 985         (fn_search_path) Tilde-expand one directory at a time.
 986
 987 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
 988
 989         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
 990         get rid of non-Unixlike version of the code, which has probably
 991         never been tested.
 992         (fn_prepend_dir) Removed (dead code).
 993
 994         * filename.h: (macro DIR_SEPARATOR_STRING) New.
 995         (macro PATH_SEPARATOR_STRING) New.
 996 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
 997
 998         Continue reforming error message support.  In this phase, we get
 999         rid of VM() and the other msg() support for "verbosity", replacing
1000         it by a new function verbose_msg().
1001
1002         * filename.c: (fn_search_path) Use verbose_msg() instead of
1003         msg(VM(), ...).
1004
1005 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1006
1007         * sfm-private.h: Get rid of #defines after #error, which makes no
1008         sense.
1009
1010 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1011
1012         Get rid of our own int32 type in favor of the standard int32_t
1013         type.
1014
1015         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1016         include <stdint.h>.
1017
1018         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1019
1020         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1021
1022 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1023
1024         Remove ill-considered file routines that are no longer used.
1025
1026         * filename.c: (fn_open_ext) Removed.
1027         (fn_close_ext) Removed.
1028
1029         * filename.h: (struct file_ext) Removed.
1030
1031 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1032
1033         * variable.c (var_is_valid_name): Move declarations before code
1034         for C90 compliance.
1035
1036 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1037
1038         * filename.ch (fn_interp_vars): Fixed small buglet.
1039
1040 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1041
1042         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1043         so as to modify the string inline.   Thus makeing it easier to
1044         destroy the results when no longer needed.
1045
1046 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
1047
1048         * category.c (cat_stored_values_destroy): Fixed memory leak.
1049
1050 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
1051
1052         Add some missing frees.  Thanks to John Darrington for reporting
1053         these.
1054
1055         * any-writer.c (any_writer_close): Free writer.
1056
1057         * any-reader.c (any_reader_close): Free reader.
1058
1059 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
1060
1061         * por-file-reader.c: (error) Mark as NO_RETURN.
1062
1063 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
1064
1065         * settings.c: Changed default value of scompress to true.
1066
1067 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
1068
1069         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
1070
1071         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
1072         really applies.
1073
1074         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
1075         here from pref.h.orig.
1076
1077 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
1078
1079         * sys-file-reader.c: Fixed bug reading compressed files.
1080
1081 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1082
1083         * Numerous renames.  See src/ChangeLog for details.
1084
1085         * Moved files from src directory