src/data/ChangeLog

   1 2007-06-06  Ben Pfaff  <blp@gnu.org>
   2
   3         Add casereaders and casewriters, the basis of the new data processing
   4         implementation.  A casereader is a uniform interface to reading cases
   5         from a data source; a casewriter is a uniform interface to writing
   6         cases to a data sink.
   7
   8         * automake.mk: Add new files.
   9
  10         * casereader-filter.c: New file.
  11
  12         * casereader-provider.h: New file.
  13
  14         * casereader-translator.c: New file.
  15
  16         * casereader.c: New file.
  17
  18         * casereader.h: New file.
  19
  20         * casewriter-provider.h: New file.
  21
  22         * casewriter-translator.c: New file.
  23
  24         * casewriter.c: New file.
  25
  26         * casewriter.h: New file.
  27
  28 2007-06-06  Ben Pfaff  <blp@gnu.org>
  29
  30         "casewindow" data structure that extends the deque (from libpspp)
  31         of cases with the ability to dump cases to disk if we get too many
  32         of them in memory.
  33
  34         * automake.mk: Add new files.
  35
  36         * casewindow.c: New file.
  37
  38         * casewindow.h: New file.
  39
  40 2007-06-06  Ben Pfaff  <blp@gnu.org>
  41
  42         sparse_cases data structure that augments a sparse_array of cases
  43         with the ability to dump cases to disk if we get too many cases in
  44         memory.
  45
  46         * automake.mk: Add new files.
  47
  48         * sparse-cases.c: New file.
  49
  50         * sparse-cases.h: New file.
  51
  52 2007-06-06  Ben Pfaff  <blp@gnu.org>
  53
  54         Adds a low-level on-disk case array data structure.
  55
  56         * automake.mk: Add new files.
  57
  58         * case-tmpfile.c: New file.
  59
  60         * case-tmpfile.h: New file.
  61
  62 2007-06-06  Ben Pfaff  <blp@gnu.org>
  63
  64         In a couple of places we calculate the maximum number of cases to
  65         keep in memory based on the user-defined workspace.  Enable
  66         centralizing the calculation through a new function.
  67
  68         * settings.c (get_workspace_cases): New function.
  69
  70 2007-06-06  Ben Pfaff  <blp@gnu.org>
  71
  72         The casenumber type is defined in transformations.h, but case.h is
  73         a more sensible place.  Move it.
  74
  75         * case.h (CASENUMBER_MAX): New macro.
  76         (typedef casenumber): Move here, from transformations.h.
  77
  78 2007-06-03  Ben Pfaff  <blp@gnu.org>
  79
  80         Slightly generalize case_to_values and case_from_values functions.
  81
  82         * case.c (case_to_values): Rename case_copy_out, change interface.
  83         (case_from_values): Rename case_copy_in, change interface.
  84
  85         * fastfile.c (fastfilereader_get_next_case): Update caller.
  86         (write_case_to_disk): Ditto.
  87
  88 2007-06-02  Ben Pfaff  <blp@gnu.org>
  89
  90         Clean up after a forgotten part of patch #5829.
  91
  92         * casedeque.h: Remove unused file.
  93
  94         * automake.mk: Remove casedeque.h from sources.
  95
  96 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
  97
  98         * category.c: Removed redundant #include
  99
 100 2007-05-06  Ben Pfaff  <blp@gnu.org>
 101
 102         Abstract the documents within a dictionary a little better.
 103         Thanks to John Darrington for suggestion, initial version, and
 104         review.  Patch #5917.
 105
 106         * dictionary.c (struct dictionary): Change `documents' member from
 107         char * to struct string.
 108         (dict_clear): Destroy struct string.
 109         (dict_get_documents): Convert struct string to char *.
 110         (dict_set_documents): Set struct string.  Pad to 80-character
 111         multiple.
 112         (dict_clear_documents): New function.
 113         (dict_add_document_line): New function.
 114         (dict_get_document_line_cnt): New function.
 115         (dict_get_document_line): New function.
 116
 117         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
 118
 119         * sys-file-reader.c (read_documents): Use new document functions.
 120
 121 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 122
 123         * sys-file-reader.c: When reading a system file which has no
 124         long name table, automatically create one where the long names
 125         are the lower case versions of the short names.
 126
 127 2007-04-22  Ben Pfaff  <blp@gnu.org>
 128
 129         * dictionary.c (dict_set_split_vars): dict_destroy expects that
 130         dict_clear will free most data related to the dictionary.
 131         dict_clear does a decent job, except that dict_set_split_vars on
 132         some systems won't actually free the dict's "split" member.
 133         Instead, it'll allocate a 1-byte region.  Fix this.
 134
 135         * value.c (value_copy): New function.
 136         (value_set_missing): Ditto.
 137
 138 2007-04-22 John Darrington <john@darrington.wattle.id.au>
 139
 140         * Deleted existing category.h and moved cat-routines.h into
 141         category.h  Encapsulated struct cat_vals better.
 142
 143 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 144
 145         * sys-file-reader.c: When reading a system file which has no
 146         long name table, automatically create one where the long names
 147         are the lower case versions of the short names.
 148
 149 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 150
 151         * sys-file-reader.c: Some versions of Other Software seem to
 152         produce system files with string  variables' measure set to
 153         zero.  We'll assume these are supposed to be nominal variables.
 154
 155 2007-03-30  Ben Pfaff  <blp@gnu.org>
 156
 157         * procedure.c: Adapt to new deque data structure.
 158
 159 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
 160                           Ben Pfaff <blp@gnu.org>
 161
 162         * file-name.c: Mingw compatibility fixes.
 163         (fn_search_path): Use ISSLASH instead of comparing against '/'
 164         directly.
 165         (fn_dir_name): Use dir_name from gnulib.
 166         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
 167         (fn_get_identity): Use GetFullPathName instead of canonicalize
 168         from gnulib, because the latter does not fully support
 169         Windows-style path names.  Use this implementation based on the
 170         detected presence of Windows instead of the absence of Unix, since
 171         the new implementation is Windows-specific.
 172         (fn_compare_file_identities): In Windows implementation, compare
 173         names case-insensitively.
 174
 175 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
 176
 177         * make-file.c: Don't include mkstemp.h, because gnulib now causes
 178         <stdlib.h> to have the same effect.
 179
 180 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
 181
 182         * por-file-reader.c: Add missing _() around messages.
 183
 184 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
 185
 186         * make-file.c: Include "mkstemp.h", without which linking on
 187         mingw32 fails.
 188
 189 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
 190
 191         Reduce platform dependence.
 192
 193         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
 194         Everywhere we using this, we really should have just depended on
 195         the shell to expand tildes.
 196         (fn_search_path): Simplify, given that we don't do tilde expansion
 197         any longer.
 198         (fn_normalize): Removed.  Caller changed to use the canonicalize
 199         module from gnulib.
 200         (fn_get_cwd): Removed.  Only user was fn_normalize.
 201         (fn_is_absolute): Really only test for absolute names.
 202         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
 203         unix.
 204         (fn_readlink): Removed, as it was only used fn_normalize.
 205         (fn_exists): Assume the stat function is available; gnulib does.
 206         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
 207
 208 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
 209
 210         * dictionary.c (dict_create_vector_assert): New function.
 211
 212 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
 213
 214         * file-name.c (fn_normalize): Correct name of function
 215         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
 216         for pointing this out.
 217
 218 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
 219
 220         We are using a single member in struct file_handle, the "name"
 221         field, for more than one purpose.  When it begins with '"', it's a
 222         file name; otherwise, it's a token that can be used to identify
 223         it.  When that assertion fires, it's because we searched for the
 224         name case-sensitively as a file name (so that there was no match),
 225         and then we try to insert it case-insensitively as a token, which
 226         fails because duplicates aren't allowed.
 227
 228         Solution: break the two purposes into two separate fields.  This
 229         fixes the problem and likely makes the code easier to read too.
 230
 231         Fixes bug #18922.  Thanks to John Darrington for bug report and
 232         review.
 233
 234         * file-handle-def.c (struct file_handle): New `id' member.
 235         (fh_from_name): Rename fh_from_id.  Update all callers.
 236         (create_handle): New `id' parameter.  Update all callers.
 237         (fh_create_file): Ditto.
 238         (fh_get_id): New function.
 239
 240 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
 241
 242         * case.c (case_is_null): Change return type to bool.
 243
 244 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
 245
 246         Add debugging code.
 247
 248         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
 249         reference counting to share data.  This makes it easy for
 250         valgrind, etc. to find accesses to cases that have been destroyed
 251         but have been kept around by another user's ref-count.  This often
 252         happens when the data set is small enough to find in memory; if a
 253         bigger data set that would overflow to disk were used, then data
 254         corruption would occur.
 255
 256 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
 257
 258         Simplify code.
 259
 260         * case.c (case_unshare): Make it check internally whether the
 261         ref_cnt is greater than 1, so that the callers don't have to.
 262         Update callers not to check.
 263
 264 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
 265
 266         Before, I was thinking that I might want to get rid of reference
 267         counting at some point.  Now, I'm pretty sure that it's here to
 268         stay.  Thus, because we have to store the value_cnt anyway for
 269         reference-counted cases, we might as well expose it to users.
 270
 271         * case.c (case_get_value_cnt): New function.
 272         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
 273         resize case if its size actually changed.
 274
 275         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
 276         instead of peeking inside struct case directly.
 277         (casefile_append): Ditto.
 278
 279 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
 280
 281         Get rid of the inlines for the case functions, which made the
 282         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
 283         the inlines didn't speed up "make check" at all, which is not a
 284         perfect benchmark but seems indicative.)
 285
 286         * case.c: Remove #ifdef DEBUGGING...#endif around many function
 287         definitions.  Remove some assertions on nonnull pointers that were
 288         redundant with a pointer dereference soon after in the function.
 289         Also:
 290         (struct case_data): Move definition here from case.h.
 291         (case_data): Ditto.
 292         (case_num): Ditto.
 293         (case_str): Ditto.
 294         (case_data_wr): Ditto.
 295
 296 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
 297
 298         * automake.mk: Add casedeque.h to sources.
 299
 300         * casedeque.h: New file.
 301
 302         * procedure.c: (struct dataset) Change lag_count, lag_head,
 303         lag_queue member into single struct casedeque member.  Update all
 304         users to use the casedeque instead.
 305         (lag_case) Removed.
 306
 307 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
 308
 309         * procedure.c: Simplify lagged cases interface.  Updated all
 310         clients--well, the only client--to use the simplified interface.
 311         (dataset_n_lag) Removed.
 312         (dataset_set_n_lag) Removed.
 313         (dataset_need_lag) New function.
 314
 315 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
 316
 317         * dictionary.c procedure.c: More changes to ensure that callbacks occur
 318         whenever appropriate, but only when the dataset/dictionary is in a
 319         consistent state.
 320
 321 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
 322
 323         * dictionary.c dictionary.h : Added callbacks for change of filter and
 324         split variables.  Refactored some code to ensure that callbacks get
 325         invoked when appropriate.
 326
 327         * procedure.c (proc_cancel_temporary_transformations): Make sure that
 328         replace_dict callback occurs when permanent_dict replaces the current
 329         dictionary.
 330
 331 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
 332
 333         * dictionary.c dictionary.h : Added callback for when the weight
 334         variable of a dictionary changes.
 335
 336 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
 337
 338         * dictionary.c dictionary.h : Added replace_source and replace_dict
 339         callbacks, and functions to deal with them.
 340
 341 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
 342
 343         Simplify missing value handling.
 344
 345         * missing-values.h (enum mv_class): New type.
 346         (enum mv_type): Moved definition into missing-values.c and renamed
 347         each MV_* to MVT_*, to distinguish them from the exposed mv_class
 348         enums.  Updated all uses.
 349         (struct missing_values): Changed type of `type' from `enum
 350         mv_type' to `int' because the definition is no longer exposed.
 351
 352         * missing-values.c (mv_is_value_missing): Add new enum mv_class
 353         parameter.  Update all callers.
 354         (mv_is_num_missing): Ditto.
 355         (mv_is_str_missing): Ditto.
 356         (mv_is_value_user_missing): Removed.  Changed callers to use
 357         mv_is_value_missing.
 358         (mv_is_num_user_missing): Removed.  Changed callers to use
 359         mv_is_num_missing.
 360         (mv_is_str_user_missing): Removed.  Changed callers to use
 361         mv_is_str_missing.
 362         (mv_is_value_system_missing): Removed.  Changed callers to use
 363         mv_is_value_missing.
 364         (mv_set_type): Removed.  Changed callers to use mv_clear.
 365         (mv_clear): New function.
 366
 367         * variable.c (var_is_value_missing): Add new enum mv_class
 368         parameter.  Update all callers.
 369         (var_is_num_missing): Ditto.
 370         (var_is_str_missing): Ditto.
 371         (var_is_value_user_missing): Removed.  Changed callers to use
 372         var_is_value_missing.
 373         (var_is_num_user_missing): Removed.  Changed callers to use
 374         var_is_num_missing.
 375         (var_is_str_user_missing): Removed.  Changed callers to use
 376         var_is_str_missing.
 377         (var_is_value_system_missing): Removed.  Changed callers to use
 378         var_is_value_missing.
 379
 380         * casefilter.c (struct casefilter): Use enum mv_class in place of
 381         bool.
 382         (casefilter_variable_missing): Adapt to new member.
 383         (casefilter_create): Change signature to take enum mv_class,
 384         update callers.
 385
 386 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 387
 388         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
 389
 390         * case-sink.c case-sink.h procedure.c procedure.h
 391           storage-stream.c: Now uses the factory.
 392
 393 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
 394
 395         Make it possible to pull cases from the active file with a
 396         function call, instead of requiring indirection through a callback
 397         function.
 398
 399         * case-source.h (struct case_source_class): Change ->read function
 400         to return a single case, instead of calling a callback function
 401         for each case.  Change ->destroy function to return an error
 402         status.
 403
 404         * case-source.c (free_case_source): Pass along the value returned
 405         by the case_source ->destroy function.
 406
 407         * procedure.c (struct write_case_data): Removed.
 408         (struct dataset): Added some members to track procedure state.
 409         (procedure): Optimize the trivial case at this level.
 410         (internal_procedure): Re-implement in terms of proc_open,
 411         proc_read, proc_close.
 412         (proc_open) New function.
 413         (proc_read) New function.
 414         (proc_close) New function.
 415         (write_case) Moved into proc_read.
 416         (close_active_file) Moved closing of data source into proc_close.
 417
 418         * storage-source.c: Rewrote to conform with modified
 419         case_source_class interface.
 420
 421         * transformations.c (trns_chain_execute): Added argument to allow
 422         starting execution from an arbitrary transformation.  Updated
 423         callers.
 424
 425         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
 426
 427 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
 428
 429         * sys-file-reader.c (read_display_parameters): Don't assume that
 430         MEASURE_* and ALIGN_* have the same values found in system files.
 431
 432         * sys-file-writer.c (write_variable_display_parameters): Ditto.
 433
 434         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
 435         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
 436         the value of n_MEASURES, which was off by 1 (at least from my
 437         point of view).
 438
 439 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 440
 441         * dictionary.c dictionary.h vardict.h variable.c: Added optional
 442                 callbacks which are invoked when the dictionary or its
 443                 variables are changed.
 444
 445         * missing-values.c missing-values.h value-labels.c: Tidied up
 446                 consistency checks, and made some of them return false
 447                 instead of assert-failing.
 448
 449 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
 450
 451         * calendar.c (calendar_days_in_month): New function.
 452
 453 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
 454
 455         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
 456         the value label's width.
 457
 458 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
 459
 460         * sfm-private.h: Move contents into sys-file-writer.c, which is
 461         the only remaining user.  Removed Borland C++-specific directives.
 462
 463         * sys-file-reader.c: Clean up and rewrite entire file.  The
 464         rewritten version is simpler and better abstracted, and should be
 465         easier to maintain and extend.  It avoids using structures to read
 466         file data, which is prone to padding variations among compilers.
 467         It should also handle non-IEEE 754 system files, although I
 468         haven't been able to find any.  It has been tested against many
 469         .sav files obtained from the Web and found to produce the same
 470         results as the earlier version of the code, or in some cases
 471         improved results.  It is more tolerant of format variations found
 472         in the wild.
 473
 474         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
 475         member, putting an enum integer_format in its place.  New member
 476         `float_format'.  Changed `compressed' member to type bool.
 477
 478 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
 479
 480         * dictionary.c (dict_delete_consecutive_vars): New function.
 481
 482 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
 483
 484         * file-name.c (fn_search_path): Remove prefix arg that was unused
 485         by any caller.  Updated all callers.
 486
 487 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
 488
 489         * format.c (fmt_dollar_template): Use user's decimal point
 490         character.  Add assertion.
 491
 492 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
 493
 494         * format.c (fmt_dollar_template): New function, based on
 495         dollar_format_template from var-type-dialog.c.
 496
 497 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
 498
 499         * data-out.c (output_scientific): Fix bad assumption that "buf" is
 500         null-terminated.
 501
 502 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
 503
 504         Finish converting struct variable to an opaque type.  In this
 505         phase, we add remaining setter and getter functions, convert the
 506         remaining PSPP code to use them, and do a bunch of cleanup.  The
 507         resulting changes are pervasive but mostly trivial, and only the
 508         notable changes are logged.
 509
 510         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
 511         files.
 512
 513         * case.c (case_data): Renamed case_data_idx.
 514         (case_num): Renamed case_num_idx.
 515         (case_str): Renamed case_str_idx.
 516         (case_data_rw): Renamed case_data_rw_idx.
 517
 518         * case.h (case_data): New function with old name and an interface
 519         that takes a variable instead of an index, which is easier to
 520         use.  Updated all callers to use the new interface, or to use the
 521         new *_idx function (see above).
 522         (case_num): Ditto.
 523         (case_str): Ditto.
 524         (case_data_rw): Ditto.
 525
 526         * category.c (cat_stored_values_destroy): Changed interface to
 527         take a struct cat_vals * instead of a struct variable *.
 528
 529         * dictionary.c (dict_clone): Use new vector_clone function.
 530         (dict_clear) Use new var_destroy function.
 531         (add_var) New function.
 532         (dict_create_var) Rewrite in terms of dict_create_var_assert.
 533         (dict_create_var_assert) Rewrite in terms of add_var.
 534         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
 535         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
 536         (dict_lookup_var) Use new var_create, var_destroy functions.
 537         (dict_contains_var) Rewrite in terms of new vardict functionality.
 538         (set_var_dict_index) New function.
 539         (set_var_case_index) New function.
 540         (reindex_vars) New function.
 541         (dict_delete_var) Rewrite in terms of new vardict functionality.
 542         (dict_reorder_var) Ditto.
 543         (dict_reorder_vars) Ditto.
 544         (rename_var) New function.
 545         (dict_rename_var) Use rename_var.
 546         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
 547         (dict_get_compacted_idx_to_fv) Rename
 548         dict_get_compacted_dict_index_to_case_index, update callers.
 549         (dict_create_vector) Use new vector_create function.
 550         (dict_clear_vectors) Use new vector_destroy function.
 551         (set_var_short_name_suffix) Move here from variable.c, renamed
 552         from var_set_short_name_suffix, make static, update caller.
 553
 554         * sys-file-private.c: New file.
 555         (sfm_width_to_bytes) Moved here from variable.c, renamed from
 556         width_to_bytes, update callers.
 557
 558         * sys-file-private.h: New file.  Later it will supplant
 559         sfm-private.h; for now it supplements it.
 560         (macro MIN_VERY_LONG_STRING) New macro.
 561         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
 562
 563         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
 564         MAX_LONG_STRING was used before.
 565
 566         * sys-file-writer.c: Ditto.
 567
 568         * value-labels.c: Change the paradigm here to be that a null
 569         pointer is OK for a struct val_labs * in most cases; it just
 570         represents an empty set of value labels.
 571         (val_labs_copy) A copy of a null set is a null set.
 572         (val_labs_count) A null set has 0 labels.
 573         (val_labs_replace) Change return type to void.  Rewrite for
 574         simplicity.
 575         (val_labs_find) A null set does not contain the value.
 576         (value_to_string) Moved to variable.c, renamed var_get_value_name,
 577         transposed argument order, updated all callers.
 578
 579         * value.c: New file.
 580         (value_dup) Moved here from variable.c.
 581         (compare_values) Ditto.
 582         (hash_value) Ditto.
 583
 584         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
 585         (macro MAX_LONG_STRING) Removed, because it was only interesting
 586         for system files, not for general code.
 587         (macro MAX_VERY_LONG_STRING) Ditto.
 588         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
 589         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
 590
 591         * vardict.h: New file, for an interface between variables and
 592         their dictionaries.
 593
 594         * variable.c: A lot of functions were moved around, for better
 595         organization.
 596         (struct variable) Move definition here, from variable.h.
 597         (var_type_adj) Removed--makes i18n hard.
 598         (var_type_noun) Ditto.
 599         (var_create) New function.
 600         (var_clone) New function.
 601         (var_destroy) New function.
 602         (var_set_name) Assert that variable is not in a dictionary.
 603         (compare_var_names) Rename compare_vars_by_name and fix a couple
 604         of callers who thought the args were strings.
 605         (hash_var_name) Rename hash_var_by_name.
 606         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
 607         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
 608         (var_is_very_long_string) Removed, because it was only interesting
 609         to system file code.
 610         (var_set_missing_values) Allow the argument to be the wrong width,
 611         as long as we can resize it.  Simplify callers who were doing the
 612         resizing themselves.
 613         (var_get_value_labels) New function.
 614         (var_has_value_labels) New function.
 615         (var_set_value_labels) New function.
 616         (alloc_value_labels) New function.
 617         (var_add_value_label) New function.
 618         (var_replace_value_label) New function.
 619         (var_clear_value_labels) New function.
 620         (var_lookup_value_label) New function.
 621         (var_get_value_name) Moved here from variable.c, renamed from
 622         var_get_value_name, transposed argument order, updated all
 623         callers.
 624         (var_to_string) Moved here, from variable-label.c.
 625         (var_set_leave) New function.
 626         (var_get_leave) New function.
 627         (var_must_leave) New function.
 628         (var_set_short_name_suffix) Moved to dictionary.c, renamed
 629         set_var_short_name_suffix.
 630         (var_get_dict_index) New function.
 631         (var_get_case_index) New function.
 632         (var_get_obs_vals) New function.
 633         (var_set_obs_vals) New function.
 634         (var_has_obs_vals) New function.
 635         (var_get_vardict) New function.
 636         (var_set_vardict) New function.
 637         (var_has_vardict) New function.
 638         (var_clear_vardict) New function.
 639         (value_dup) Moved to value.c.
 640         (compare_values) Ditto.
 641         (hash_value) Ditto.
 642
 643         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
 644         (enum ALPHA) Rename VAR_STRING, update all users.
 645
 646         * vector.c: New file.
 647         (struct vector) Moved here, from variable.h.
 648         (check_widths) New function.
 649         (vector_create) New function.
 650         (vector_clone) New function.
 651         (vector_destroy) New function.
 652         (vector_get_name) New function.
 653         (vector_get_var) New function.
 654         (vector_get_var_cnt) New function.
 655         (compare_vector_ptrs_by_name) New function.
 656
 657         * vector.h: New file.
 658
 659 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 660
 661         * casefilter.c (casefilter_variable_missing): Avoided comparision of
 662         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
 663         problem.
 664
 665 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
 666
 667         * value-labels.c (destroy_atoms): New function.
 668         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
 669
 670 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
 671
 672         Thanks to Jason Stover for pointing out this problem.
 673
 674         * data-out.c (output_number): Use gsl_finite from GSL, which is
 675         portable, instead of isfinite, which is not.
 676         (power256) Ditto.
 677
 678 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 679
 680         * variable.c variable.h (value_dup): New function.
 681
 682 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
 683
 684         Start converting struct variable to an opaque type.  In this
 685         phase, we add a bunch of setter and getter functions and convert
 686         most of the PSPP code to use them.  The resulting changes are
 687         pervasive but mostly trivial, and only the notable changes are
 688         logged.
 689
 690         * format.c (fmt_equal): New function.
 691
 692         * variable.c (var_type_is_valid): New function.
 693         (measure_is_valid) Moved here, from format.c.
 694         (alignment_is_valid) Moved here, from format.c.
 695         (var_get_name) New function.
 696         (var_set_name) New function.
 697         (width_to_type) New function.
 698         (var_get_type) New function.
 699         (var_get_width) New function.
 700         (var_set_width) New function.
 701         (var_is_numeric) New function.
 702         (var_is_alpha) New function.
 703         (var_is_short_string) New function.
 704         (var_is_long_string) New function.
 705         (var_is_very_long_string) New function.
 706         (var_get_missing_values) New function.
 707         (var_set_missing_values) New function.
 708         (var_clear_missing_values) New function.
 709         (var_has_missing_values) New function.
 710         (var_is_value_missing) New function.
 711         (var_is_num_missing) New function.
 712         (var_is_str_missing) New function.
 713         (var_is_value_user_missing) New function.
 714         (var_is_num_user_missing) New function.
 715         (var_is_str_user_missing) New function.
 716         (var_is_value_system_missing) New function.
 717         (var_get_print_format) New function.
 718         (var_set_print_format) New function.
 719         (var_get_write_format) New function.
 720         (var_set_write_format) New function.
 721         (var_set_both_formats) New function.
 722         (var_get_label) New function.
 723         (var_set_label) New function.
 724         (var_clear_label) New function.
 725         (var_has_label) New function.
 726         (var_get_measure) New function.
 727         (var_set_measure) New function.
 728         (var_get_display_width) New function.
 729         (var_set_display_width) New function.
 730         (var_get_alignment) New function.
 731         (var_set_alignment) New function.
 732         (var_get_value_cnt) New function.
 733         (var_get_leave) New function.
 734         (var_get_short_name) New function.
 735
 736         * variable.h: (struct variable) Removed "type" and "nv" members;
 737         they are now computed from "width" where needed.
 738
 739 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
 740
 741         * missing-values.c (mv_resize): Don't write beyond end of the
 742         allocated buffer when resizing a long string.
 743
 744 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
 745
 746         Clean up identifier code: don't require identifier enumerations to
 747         be in a particular order; make better use of string library;
 748         expose less of the internals.
 749
 750         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
 751         change interface.  Updated all callers.
 752         (lex_id_match) Change interface to use struct substring, update
 753         all callers.
 754         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
 755         (global array keywords[]) Make static, change form.  Update all
 756         users to use lex_id_name instead.
 757         (lex_is_keyword) New function.
 758         (lex_id_to_token) Change interface to use struct substring, update
 759         all callers.
 760         (lex_id_name) New function.
 761
 762         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
 763         lex_is_keyword instead.
 764         (T_LAST_KEYWORD) Removed.
 765         (T_N_KEYWORDS) Removed.
 766
 767 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
 768
 769         * format.c: (fmt_date_template) Distinguish characters for which a
 770         space is output and any date delimiter is allowed on input, from
 771         those for which a space is output and only a space is allowed on
 772         input.  The former is represented by X, the latter by a space.
 773         Also, drop distinction between h and H, changing the former to the
 774         latter.
 775
 776         * data-in.c: Completely rewrite internals to conform to SPSS input
 777         formats as closely as possible.
 778         (data_in) Changed external interface by replacing the structure
 779         that was used as a single argument by a set of arguments.  Updated
 780         all callers.
 781         (data_in_finite_line) Removed.  Converted all callers to use plain
 782         data_in.
 783         (data_in_get_integer_format) New function.
 784         (data_in_set_integer_format) New function.
 785         (data_in_get_float_format) New function.
 786         (data_in_set_float_format) New function.
 787
 788         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
 789         (struct data_in) Removed.
 790
 791         * data-out.c: (output_date) Drop each component from the input as
 792         it is output, to allow us to drop the distinction between h (a
 793         count of hours) and H (the hour of day) template characters.
 794         Also, handle new X template character.
 795         (output_scientific) Follow more rational rule on when to drop
 796         fraction introduced between SPSS 13 and 15.  Updated test case to
 797         match new behavior.
 798
 799 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
 800
 801         Fix buffer overflow reported by John Darrington.
 802
 803         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
 804         realize that DIGITS is a count of nibbles, not of bytes.
 805
 806 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
 807
 808         * calendar.c (calendar_offset_to_gregorian) Also return the
 809         year-of-day.  Change callers to new interface.
 810
 811         * data-out.c: Completely rewrite internals to conform to SPSS
 812         output formats as completely as possible.
 813         (data_out) Change interface to put input parameters before output
 814         parameters, for consistency with the style I now prefer.  Update
 815         all callers.
 816         (data_out_get_integer_format) New public function.
 817         (data_out_set_integer_format) New public function.
 818         (data_out_get_float_format) New public function.
 819         (data_out_set_float_format) New public function.
 820
 821         * data-out.h: New file.  Move prototype for data_out here, from
 822         format.h.
 823
 824         * format.c: (fmt_step_width) Use equality comparison instead of
 825         bitwise and, for clarity.
 826         (fmt_is_string) Ditto.
 827         (fmt_input_to_output) Fix categories that are translated to F
 828         format.
 829
 830 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 831
 832         * casefilter.c casefilter.h (new files), casefile.c casefile.h
 833         casefile-private.h: Added casefilter to assist commands with missing
 834         values.
 835
 836 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
 837
 838         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
 839
 840         * settings.c: (route_errors_to_terminal) New variable.
 841         (route_errors_to_listing) New variable.
 842         (get_error_routing_to_terminal) New function.
 843         (set_error_routing_to_terminal) New function.
 844         (get_error_routing_to_listing) New function.
 845         (set_error_routing_to_listing) New function.
 846
 847         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
 848
 849 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
 850
 851         * format.c: Completely rewrite, to achieve better abstraction.
 852         Rewrite all references to formats in other files.
 853
 854         * format.def: Rewrite and reorganize.
 855
 856         * settings.c: Move everything related to custom currency formats
 857         into format.[ch], changing them in form, so as to group related
 858         code and definitions better.  Changed all references to use the
 859         new functions.
 860         (static var decimal) Removed.
 861         (static var grouping) Removed.
 862         (static var cc) Removed.
 863         (get_decimal) Removed.
 864         (set_decimal) Removed.
 865         (get_grouping) Removed.
 866         (set_grouping) Removed.
 867         (get_cc) Removed.
 868         (set_cc) Removed.
 869
 870         * settings.h: (macro CC_CNT) Removed.
 871         (macro CC_WIDTH) Removed.
 872         (struct custom_currency) Removed.
 873
 874 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
 875
 876         * data-in.c (data_in): Use switch statement instead of table, to
 877         avoid dependence on the order of the FMT_* enums.
 878
 879 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
 880
 881         * data-out.c: (num_to_string) Removed, because it was dead code.
 882
 883 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
 884
 885         * data-in.c (parse_trailer): Fix error message.
 886
 887 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
 888
 889         * format.c (fmt_is_binary): New function.
 890
 891 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 892
 893         * procedure.c procedure.h: Encapsulated the static data into a single
 894         struct.
 895
 896 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
 897
 898         * casefile.c (casereader_read_xfer): Always initialize the case,
 899         even on an error condition.
 900
 901 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
 902
 903         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the
 904         entire function useless.
 905
 906 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
 907
 908         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
 909         casereader method casereader_clone.
 910
 911         * procedure.c pransformations.h: Introduced new type casenum_t
 912
 913 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
 914
 915         * variable.c: (width_to_bytes) Rephrase code for clarify.
 916
 917 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
 918
 919         * format.c: (fmt_type_from_string) New function.
 920         (fmt_to_string) Include decimals in output if the format has
 921         decimals, even if the format type does not.  This way, we can
 922         accurately reproduce incorrect formats in user output.
 923         (check_common_specifier) Make the check for a bad format type an
 924         assertion, so we get bug reports if they show up.  Fix message.
 925         Check for decimal places with a format type that doesn't allow
 926         them.
 927         (check_input_specifier) Remove check for FMT_X, which has been
 928         deleted.
 929         (check_output_specifier) Ditto.
 930
 931         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
 932
 933         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
 934         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
 935         (enum fmt_parse_flags) Removed.
 936
 937 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
 938
 939         * casefile.c casefile.h: Converted to  an abstract base class.
 940         * casefile-private.h fastfile.c fastfile.h: New files.
 941         * automake.mk procedure.c scratch-writer.c storage-stream.c
 942
 943 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
 944
 945         * procedure.c (internal_procedure): Create sink_case with only as
 946         many values as the compacted dictionary.
 947
 948 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
 949
 950         Remove "debugging" code that caused plenty of false positives and
 951         no true positives.
 952
 953         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
 954
 955         * case.c: Remove all references to `this' member.
 956
 957 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
 958
 959         Fix link error noted by Jason Stover.
 960
 961         * storage-stream.c: Include <assert.h>.
 962
 963 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
 964
 965         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
 966         ALL) and additional underlying system file issues.
 967
 968         Thanks to John Darrington for review.
 969
 970         First problem: var_hash points to variables not owned by the
 971         sys-file-reader, which the caller may free or modify.  Use an
 972         array of sfm_vars instead, as done earlier (e.g. CVS version
 973         1.12).
 974
 975         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
 976         members and remove all code that references it.  Add vars, var_cnt
 977         members.  Remove fix_specials member, which was unused.
 978         (struct sfm_var) Remove name member, which was unused.
 979         (sfm_close_reader) Free vars member instead of var_hash.
 980         (compare_var_shortnames) Removed.
 981         (hash_var_shortname) Removed.
 982         (sfm_open_reader) Fill out vars array.
 983         (compare_var_index) Removed.
 984         (sfm_read_case) Use vars instead of var_hash.
 985
 986         Second problem: we're confused about when we actually have very
 987         long strings, causing us to choose incorrectly between slow path
 988         and fast path in sfm_read_case.
 989
 990         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
 991         have very long strings, not when we have long variable names,
 992         which is an unrelated feature.
 993
 994 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
 995
 996         * variable.h: Move var_set and variable parsing declarations to
 997         new header, src/language/lexer/variable-parser.h.  Modified lots
 998         of files to include the new header.
 999
1000 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1001
1002         * value-labels.c (value_to_string): When there's no value label,
1003         format the variable according to its print format, instead of
1004         always effectively using A or F format.
1005
1006 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1007
1008         * casefile.c (casefile_get_random_reader): Nasty hack to get around
1009         the mode assertion.
1010
1011         * format.c: Removed tortological assertion.
1012
1013 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1014
1015         Reform string library.
1016
1017         * file-name.c (fn_interp_vars): Change interface to take a
1018         substring as input.  Updated all users.
1019
1020 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1021
1022         * format.c (measure_is_valid): Really return false when m >=
1023         n_MEASURES.
1024
1025 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1026
1027         Implement random access to casefiles, for use in GUI.
1028
1029         * casefile.c: (struct casereader) Add `random', `file_ofs',
1030         `buffer_ofs' members.
1031         (casefile_get_random_reader) New function.
1032         (read_open_file) Break part into new function
1033         seek_and_fill_buffer().
1034         (fill_buffer) Update buffer_ofs, file_ofs.
1035         (casereader_seek) New function.
1036
1037 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1038
1039         * settings.c: Added call to i18n{done, init}.
1040
1041 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1042
1043         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1044         prototypes.
1045
1046 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1047
1048         * casefile.c: Convert many uses of `int' to `bool'.
1049
1050 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1051
1052         * transformations.c (trns_chain_destroy): Destroy chain's trns
1053         member, to fix memory leak.
1054
1055 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1056
1057         * storage-stream.c (storage_source_decapsulate): Destroy case
1058         source to fix memory leak.
1059
1060 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1061
1062         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1063         case passed as argument instead of initializing the argument as a
1064         case.  Fixes memory leak that showed up in
1065         tests/command/aggregate.sh with scratch files.
1066
1067 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1068
1069         * procedure.c (proc_done): Destroy default_dict, to fix memory
1070         leak.
1071
1072 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1073
1074         Simplify procedure_with_splits().
1075
1076         * procedure.c (struct split_aux_data): Removed case_count member.
1077         (procedure_with_splits) Don't initialize case_count.
1078         (split_procedure_case_func) Check whether prev_case is null
1079         instead of case_count.
1080         (split_procedure_end_func) Ditto.
1081
1082 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1083
1084         * case.c (case_move): Do nothing if dst and src are the same
1085         object.
1086         (case_try_create) Merge two similar cases.
1087         (case_copy) Unshare only if data must be actually copied.
1088
1089 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1090
1091         * data-in.c data-out.c dictionary.c sys-file-reader.c
1092         sys-file-writer.c variable.c variable.h:  Reworked very long string
1093         support for better encapsulation.
1094
1095 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1096
1097         * value-labels.c (val_labs_can_set_width): New function.
1098         (val_labs_set_width) Clear labels if increasing width to long
1099         string.
1100         (val_labs_destroy) Remove unneeded test for null.
1101
1102 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1103
1104         * value-labels.h: Remove unneeded dependency on variable.h.
1105
1106 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1107
1108         Get rid of `char *c' member in union value, for cleanliness.
1109
1110         * value.h: (union value) Remove `c' member.
1111
1112 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1113
1114         Make dictionary compacting functions a little more general.
1115
1116         * sys-file-writer.c (sfm_open_writer): Use
1117         dict_compacting_would_change().
1118         (does_dict_need_translation) Removed.
1119
1120 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1121
1122         Make dictionary compacting functions a little more general.
1123
1124         * dictionary.c (dict_needs_compaction): Rename
1125         dict_compacting_would_shrink().  Update all callers.
1126         (dict_compacting_would_change) New function.
1127
1128 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1129
1130         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1131         inverted return value (!).
1132
1133 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1134
1135         Continue reforming procedure execution.
1136
1137         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1138         (static var vfm_source) Rename proc_source.  Update all
1139         references.
1140         (static var vfm_sink) Rename proc_sink.  Update all references.
1141
1142 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1143
1144         Continue reforming procedure execution.  In this phase, remove
1145         PROCESS IF, which was deprecated anyway and can be easily
1146         simulated with TEMPORARY followed by SELECT IF.
1147
1148         * procedure.c: (open_active_file) Don't call
1149         add_process_if_trns().
1150         (discard_variables) Get rid of redundant call to
1151         proc_cancel_all_transformations().
1152         (add_process_if_trns) Removed.
1153         (process_if_trns_proc) Removed.
1154         (process_if_trns_free) Removed.
1155
1156 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1157
1158         Continue reforming procedure execution.  In this phase, add
1159         `const' to the case passed to procedure()'s callback.
1160
1161         Updated all users of procedure() as well.
1162
1163         * procedure.c: (struct write_case_data) Add "const" to ccase
1164         parameter for case_func member.
1165         (procedure) Add "const" to ccase parameter for proc_func
1166         parameter.
1167         (multipass_case_func) Make ccase parameter const.
1168         (internal_procedure) Add "const" to ccase parameter for case_func
1169         parameter.
1170         (split_procedure_case_func) Make ccase parameter const.
1171         (multipass_split_case_func) Make ccase parameter const.
1172
1173 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1174
1175         Continue reforming procedure execution.  In this phase, get rid of
1176         the output code for SPLIT FILE groups in procedure.c, which really
1177         shouldn't be doing any output.  Move it into the individual
1178         procedures instead.  This also adds some flexibility.
1179
1180         Updated many users of procedure_with_splits() and
1181         multipass_procedure_with_splits() to call
1182         output_split_file_values() and to deal with increased use of
1183         const.
1184
1185         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1186         parameter to begin_func member.
1187         (procedure_with_splits) Add "const struct ccase *" parameter to
1188         begin_func parameter.  Make ccase parameter const in proc_func
1189         parameter.
1190         (split_procedure_case_func) Don't dump split file group.  Pass
1191         case to begin_func.
1192         (dump_splits) Moved to language/dictionary/split-file.c as
1193         output_split_file_values().
1194         (struct multipass_split_aux_data) Add "const struct ccase *"
1195         parameter to split_func member.
1196         (multipass_procedure_with_splits) Add "const struct ccase *"
1197         parameter to split_func parameter.
1198         (multipass_split_case_func) Save new SPLIT FILE case before
1199         outputting case.
1200         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1201
1202 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1203
1204         Continue reforming procedure execution.  Change
1205         internal_procedure() so that it calls open_active_file() and
1206         close_active_file(), which isolates most of the actual procedure
1207         functionality.
1208
1209         * procedure.c: (struct write_case_data) Rename `proc_func' member
1210         to `case_func' and update all references.
1211         (procedure) Rewrite as one-line wrapper around
1212         internal_procedure().
1213         (struct multipass_aux_data) New.
1214         (multipass_callback) Renamed multipass_case_func().  Use struct
1215         multipass_aux_data as auxiliary data.
1216         (multipass_end_func) New function.
1217         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1218         that uses multipass_case_func, multipass_end_func.
1219         (internal_procedure) Add `end_func' argument.  Move optimization
1220         of trivial case in here.  Move call to open_active_file() and
1221         close_active_file() in here.  Now assert that vfm_source is
1222         non-null.
1223         (procedure_with_splits_callback) Rename
1224         split_procedure_case_func().
1225         (split_procedure_end_func) New function.
1226         (multipass_split_callback) Rename multipass_split_case_func.
1227         (multipass_split_end_func) New function.
1228         (discard_variables) No need to test for nonnull vfm_source.
1229
1230 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1231
1232         Continue reforming procedure execution.  Get rid of unused member.
1233
1234         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1235         member.
1236         (write_case) Don't increment cases_analyzed.
1237
1238 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1239
1240         Continue reforming procedure execution.  In this phase, move
1241         procedure.c and procedure.h from src to src/data.  Update
1242         makefiles and #includes accordingly.
1243
1244         * procedure.c: Moved here from src/.
1245
1246         * procedure.h: Moved here from src/.
1247
1248 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1249
1250         Continue reforming procedure execution.  In this phase, get rid of
1251         many global variables, consolidating procedure execution in
1252         procedure.c.  Encapsulate transformations in new "struct
1253         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1254         and PROCESS IF from special cases to transformations.
1255
1256         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1257         transformations.h.
1258
1259         * dictionary.c: (global variable default_dict) Move to
1260         src/procedure.c.
1261
1262         * variable.h: (TRNS_*) Move to transformations.h.
1263         (struct transformation) Move to transformations.c.
1264
1265 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1266
1267         * sys-file-reader.c: Fixed invalid read problems.
1268
1269 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1270
1271         * storage-stream.c: Add missing function comments.
1272
1273 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1274
1275         Continue reforming procedure execution.  In this phase, add some
1276         new, needed functionality to storage-stream.
1277
1278         * storage-stream.c: (storage_source_decapsulate) New function.
1279
1280 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1281
1282         * variable.c (width_to_bytes): Declarations must precede
1283         statements for C90 compliance.
1284
1285 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1286
1287         * data-out.c, data-in.c, variable.c, variable.h: New functions
1288         copy_mangle and copy_demangle for reading/writing cases; emulates the
1289         way SPSS deals with strings > 255 bytes.
1290
1291         * sys-file-reader.c sys-file-writer.c: Added support for Record 7,
1292         subtype 14 needed for strings longer than 255 bytes.
1293
1294         * dictionary.c, format.def, value.c : Updated to use MAX_STRING
1295         instead of literal values. Also fixed some constness issues.
1296
1297         * format.h: Constness
1298
1299         * sfm-private.h: Renamed the case_size identifier, since I discovered
1300         that SPSS's respect for this variable is very nominal.
1301
1302 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1303
1304         Change case limit type from int to size_t.
1305
1306         * dictionary.c: (struct dictionary) Change type of case_limit
1307         member.
1308         (dict_get_case_limit) Change return type.
1309         (dict_set_case_limit) Change parameter type.
1310
1311 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1312
1313         * variable.h: (struct variable) Rename `reinit' member as `leave'
1314         and invert sense.  Fix up all references.
1315
1316 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1317
1318         Continue reforming procedure execution.  In this phase, break
1319         procedure.c into multiple files.
1320
1321         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1322
1323         * case-sink.c: New file.
1324
1325         * case-sink.h: New file.
1326
1327         * case-source.c: New file.
1328
1329         * case-source.h: New file.
1330
1331         * storage-stream.c: New file.
1332
1333         * storage-stream.h: New file.
1334
1335 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1336
1337         * variable.h: (struct variable) Remove `init' member and all
1338         references to it from other files.  It was initialized in several
1339         places, but nothing really ever used it for anything worthwhile.
1340         Thanks to Jason Stover for pointing out how confusing this
1341         member is.
1342
1343 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1344
1345         Continue reforming error message support.  In this phase, get rid
1346         of message "titles" and put the message text in `struct error'.
1347         Now `struct error' encapsulates a message more properly.
1348
1349         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1350         Format message ourselves.
1351
1352         * data-in.c: (vdls_error) Ditto.
1353
1354         * por-file-reader.c: (error) Ditto.
1355
1356         * sys-file-reader.c: (corrupt_msg) Ditto.
1357
1358 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1359
1360         GNU standards require "file name" instead of "filename" in
1361         documentation.  It's nice for our code to follow the convention
1362         too.
1363
1364         * casefile.c: (struct casefile) Rename `filename' member to
1365         `file_name'.  Updated all references.
1366
1367         * file-name.c: [!unix] (struct file_identity) Rename
1368         normalized_filename member to normalized_file_name.  Updated all
1369         references.
1370
1371 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1372
1373         We don't really support anything but Unix-like environments well,
1374         so we might as well de-obfuscate by writing directory and path
1375         separators explicitly.
1376
1377         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1378         to just '/'.
1379         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1380         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1381         "/".
1382         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1383         ":"
1384
1385 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1386
1387         GNU standards require "file name" instead of "filename" in
1388         documentation.  It's nice for our code to follow the convention
1389         too.
1390
1391         * filename.c: Rename to file-name.c.
1392
1393         * filename.h: Rename to file-name.h.  Update all inclusions.
1394         Update header guards.
1395
1396         * automake.mk: Update file names.
1397
1398 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1399
1400         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1401         updated.
1402         (fn_basename) Removed (dead code).
1403         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1404         (fn_special_p) Renamed fn_is_special(), all references updated.
1405         (fn_exists_p) Renamed fn_exists(), all references updated.
1406
1407 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1408
1409         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.
1410         Also, now it only tilde-expands file names, not paths.
1411         (fn_search_path) Tilde-expand one directory at a time.
1412
1413 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1414
1415         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1416         get rid of non-Unixlike version of the code, which has probably
1417         never been tested.
1418         (fn_prepend_dir) Removed (dead code).
1419
1420         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1421         (macro PATH_SEPARATOR_STRING) New.
1422 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1423
1424         Continue reforming error message support.  In this phase, we get
1425         rid of VM() and the other msg() support for "verbosity", replacing
1426         it by a new function verbose_msg().
1427
1428         * filename.c: (fn_search_path) Use verbose_msg() instead of
1429         msg(VM(), ...).
1430
1431 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1432
1433         * sfm-private.h: Get rid of #defines after #error, which makes no
1434         sense.
1435
1436 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1437
1438         Get rid of our own int32 type in favor of the standard int32_t
1439         type.
1440
1441         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1442         include <stdint.h>.
1443
1444         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1445
1446         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1447
1448 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1449
1450         Remove ill-considered file routines that are no longer used.
1451
1452         * filename.c: (fn_open_ext) Removed.
1453         (fn_close_ext) Removed.
1454
1455         * filename.h: (struct file_ext) Removed.
1456
1457 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1458
1459         * variable.c (var_is_valid_name): Move declarations before code
1460         for C90 compliance.
1461
1462 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1463
1464         * filename.ch (fn_interp_vars): Fixed small buglet.
1465
1466 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1467
1468         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1469         so as to modify the string inline.   Thus makeing it easier to
1470         destroy the results when no longer needed.
1471
1472 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
1473
1474         * category.c (cat_stored_values_destroy): Fixed memory leak.
1475
1476 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
1477
1478         Add some missing frees.  Thanks to John Darrington for reporting
1479         these.
1480
1481         * any-writer.c (any_writer_close): Free writer.
1482
1483         * any-reader.c (any_reader_close): Free reader.
1484
1485 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
1486
1487         * por-file-reader.c: (error) Mark as NO_RETURN.
1488
1489 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
1490
1491         * settings.c: Changed default value of scompress to true.
1492
1493 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
1494
1495         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
1496
1497         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
1498         really applies.
1499
1500         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
1501         here from pref.h.orig.
1502
1503 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
1504
1505         * sys-file-reader.c: Fixed bug reading compressed files.
1506
1507 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1508
1509         * Numerous renames.  See src/ChangeLog for details.
1510
1511         * Moved files from src directory