src/data/ChangeLog

   1 2007-06-10  Ben Pfaff  <blp@gnu.org>
   2
   3         * casereader-filter.c (casereader_filter_destroy): Make sure to
   4         write all the remaining excluded cases to the casewriter, if any.
   5
   6         * caseinit.c (init_list_destroy): Rewrite.
   7         (init_list_clear): Ditto.
   8
   9         * casegrouper.c (casegrouper_get_next_group): Always set *reader
  10         to null when returning false.
  11
  12 2007-06-06  Ben Pfaff  <blp@gnu.org>
  13
  14         Actually implement the new procedure code and adapt all of its
  15         clients to match.  Also adapt all of the other case sources and
  16         sinks in the tree and their clients to use the
  17         casereader/casewriter infrastructure.
  18
  19         * automake.mk: Add and remove files.
  20
  21         * any-reader.c: Change into a casereader.
  22         * por-file-reader.c: Ditto.
  23         * scratch-reader.c: Ditto.
  24         * sys-file-reader.c: Ditto.
  25
  26         * any-writer.c: Change into a casewriter.
  27         * por-file-writer.c: Ditto.
  28         * scratch-writer.c: Ditto.
  29         * sys-file-writer.c: Ditto.
  30
  31         * procedure.c: Change to use casereader, casewriter, caseinit, and
  32         other new infrastructure.
  33
  34         * scratch-handle.c: Adapt to new infrastructure.
  35
  36         * case-sink.c: Removed, now dead code.
  37         * case-sink.h: Ditto.
  38         * case-source.c: Ditto.
  39         * case-source.h: Ditto.
  40         * casefile-factory.c: Ditto.
  41         * casefile-private.h: Ditto.
  42         * casefile.c: Ditto.
  43         * casefile.h: Ditto.
  44         * casefilter.c: Ditto.
  45         * casefilter.h: Ditto.
  46         * fastfile.c: Ditto.
  47         * fastfile.h: Ditto.
  48         * fastfile-factory.c: Ditto.
  49         * fastfile-factory.h: Ditto.
  50         * storage-stream.c: Ditto.
  51         * storage-stream.h: Ditto.
  52
  53 2007-06-06  Ben Pfaff  <blp@gnu.org>
  54
  55         Add datasheet code.
  56
  57         * automake.mk: Add new files.
  58
  59         * datasheet.c: New file.
  60
  61         * datasheet.h: New file.
  62
  63 2007-06-06  Ben Pfaff  <blp@gnu.org>
  64
  65         Until now, the procedure code has provided a case to the
  66         case_source, which has filled in the data values that come from
  67         the active file.  "Left" data values that don't come from the
  68         active file naturally stay the same from case to case, because the
  69         procedure code keeps using that same case.
  70
  71         One of the compromises that comes with the new procedure code is
  72         that the active file allocates and provides its own case, which
  73         the procedure code then has to resize to provide room for any
  74         other variables that should go in the case and then fill in the
  75         values of "left" variables.  Then, when we're done with that case,
  76         we have to save the values of "left" variables to copy into the
  77         next case read from the active file.
  78
  79         The caseinit code helps with this.
  80
  81         * automake.mk: Add new files.
  82
  83         * caseinit.c: New file.
  84
  85         * caseinit.h: New file.
  86
  87 2007-06-06  Ben Pfaff  <blp@gnu.org>
  88
  89         * value.h (value_cnt_from_width): New function.
  90
  91         * variable.c (var_get_value_cnt): Use new function.
  92
  93 2007-06-06  Ben Pfaff  <blp@gnu.org>
  94
  95         Add casegrouper, to allow cases read from a given casereader to be
  96         broken into groups, each of which has its own casereader.
  97         Generally cases are grouped based on having equal values for some
  98         set of variables.
  99
 100         * automake.mk: Add new files.
 101
 102         * casegrouper.c: New file.
 103
 104         * casegrouper.h: New file.
 105
 106 2007-06-06  Ben Pfaff  <blp@gnu.org>
 107
 108         Add interface to lexicographical ordering of cases.
 109
 110         * automake.mk: Add new files.
 111
 112         * case-ordering.c: New file.
 113
 114         * case-ordering.h: New file.
 115
 116 2007-06-06  Ben Pfaff  <blp@gnu.org>
 117
 118         Add casereaders and casewriters, the basis of the new data processing
 119         implementation.  A casereader is a uniform interface to reading cases
 120         from a data source; a casewriter is a uniform interface to writing
 121         cases to a data sink.
 122
 123         * automake.mk: Add new files.
 124
 125         * casereader-filter.c: New file.
 126
 127         * casereader-provider.h: New file.
 128
 129         * casereader-translator.c: New file.
 130
 131         * casereader.c: New file.
 132
 133         * casereader.h: New file.
 134
 135         * casewriter-provider.h: New file.
 136
 137         * casewriter-translator.c: New file.
 138
 139         * casewriter.c: New file.
 140
 141         * casewriter.h: New file.
 142
 143 2007-06-06  Ben Pfaff  <blp@gnu.org>
 144
 145         "casewindow" data structure that extends the deque (from libpspp)
 146         of cases with the ability to dump cases to disk if we get too many
 147         of them in memory.
 148
 149         * automake.mk: Add new files.
 150
 151         * casewindow.c: New file.
 152
 153         * casewindow.h: New file.
 154
 155 2007-06-06  Ben Pfaff  <blp@gnu.org>
 156
 157         sparse_cases data structure that augments a sparse_array of cases
 158         with the ability to dump cases to disk if we get too many cases in
 159         memory.
 160
 161         * automake.mk: Add new files.
 162
 163         * sparse-cases.c: New file.
 164
 165         * sparse-cases.h: New file.
 166
 167 2007-06-06  Ben Pfaff  <blp@gnu.org>
 168
 169         Adds a low-level on-disk case array data structure.
 170
 171         * automake.mk: Add new files.
 172
 173         * case-tmpfile.c: New file.
 174
 175         * case-tmpfile.h: New file.
 176
 177 2007-06-06  Ben Pfaff  <blp@gnu.org>
 178
 179         In a couple of places we calculate the maximum number of cases to
 180         keep in memory based on the user-defined workspace.  Enable
 181         centralizing the calculation through a new function.
 182
 183         * settings.c (get_workspace_cases): New function.
 184
 185 2007-06-06  Ben Pfaff  <blp@gnu.org>
 186
 187         The casenumber type is defined in transformations.h, but case.h is
 188         a more sensible place.  Move it.
 189
 190         * case.h (CASENUMBER_MAX): New macro.
 191         (typedef casenumber): Move here, from transformations.h.
 192
 193 2007-06-03  Ben Pfaff  <blp@gnu.org>
 194
 195         Slightly generalize case_to_values and case_from_values functions.
 196
 197         * case.c (case_to_values): Rename case_copy_out, change interface.
 198         (case_from_values): Rename case_copy_in, change interface.
 199
 200         * fastfile.c (fastfilereader_get_next_case): Update caller.
 201         (write_case_to_disk): Ditto.
 202
 203 2007-06-02  Ben Pfaff  <blp@gnu.org>
 204
 205         Clean up after a forgotten part of patch #5829.
 206
 207         * casedeque.h: Remove unused file.
 208
 209         * automake.mk: Remove casedeque.h from sources.
 210
 211 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
 212
 213         * category.c: Removed redundant #include
 214
 215 2007-05-06  Ben Pfaff  <blp@gnu.org>
 216
 217         Abstract the documents within a dictionary a little better.
 218         Thanks to John Darrington for suggestion, initial version, and
 219         review.  Patch #5917.
 220
 221         * dictionary.c (struct dictionary): Change `documents' member from
 222         char * to struct string.
 223         (dict_clear): Destroy struct string.
 224         (dict_get_documents): Convert struct string to char *.
 225         (dict_set_documents): Set struct string.  Pad to 80-character
 226         multiple.
 227         (dict_clear_documents): New function.
 228         (dict_add_document_line): New function.
 229         (dict_get_document_line_cnt): New function.
 230         (dict_get_document_line): New function.
 231
 232         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
 233
 234         * sys-file-reader.c (read_documents): Use new document functions.
 235
 236 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 237
 238         * sys-file-reader.c: When reading a system file which has no
 239         long name table, automatically create one where the long names
 240         are the lower case versions of the short names.
 241
 242 2007-04-22  Ben Pfaff  <blp@gnu.org>
 243
 244         * dictionary.c (dict_set_split_vars): dict_destroy expects that
 245         dict_clear will free most data related to the dictionary.
 246         dict_clear does a decent job, except that dict_set_split_vars on
 247         some systems won't actually free the dict's "split" member.
 248         Instead, it'll allocate a 1-byte region.  Fix this.
 249
 250         * value.c (value_copy): New function.
 251         (value_set_missing): Ditto.
 252
 253 2007-04-22 John Darrington <john@darrington.wattle.id.au>
 254
 255         * Deleted existing category.h and moved cat-routines.h into
 256         category.h  Encapsulated struct cat_vals better.
 257
 258 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 259
 260         * sys-file-reader.c: When reading a system file which has no
 261         long name table, automatically create one where the long names
 262         are the lower case versions of the short names.
 263
 264 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 265
 266         * sys-file-reader.c: Some versions of Other Software seem to
 267         produce system files with string  variables' measure set to
 268         zero.  We'll assume these are supposed to be nominal variables.
 269
 270 2007-03-30  Ben Pfaff  <blp@gnu.org>
 271
 272         * procedure.c: Adapt to new deque data structure.
 273
 274 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
 275                           Ben Pfaff <blp@gnu.org>
 276
 277         * file-name.c: Mingw compatibility fixes.
 278         (fn_search_path): Use ISSLASH instead of comparing against '/'
 279         directly.
 280         (fn_dir_name): Use dir_name from gnulib.
 281         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
 282         (fn_get_identity): Use GetFullPathName instead of canonicalize
 283         from gnulib, because the latter does not fully support
 284         Windows-style path names.  Use this implementation based on the
 285         detected presence of Windows instead of the absence of Unix, since
 286         the new implementation is Windows-specific.
 287         (fn_compare_file_identities): In Windows implementation, compare
 288         names case-insensitively.
 289
 290 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
 291
 292         * make-file.c: Don't include mkstemp.h, because gnulib now causes
 293         <stdlib.h> to have the same effect.
 294
 295 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
 296
 297         * por-file-reader.c: Add missing _() around messages.
 298
 299 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
 300
 301         * make-file.c: Include "mkstemp.h", without which linking on
 302         mingw32 fails.
 303
 304 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
 305
 306         Reduce platform dependence.
 307
 308         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
 309         Everywhere we using this, we really should have just depended on
 310         the shell to expand tildes.
 311         (fn_search_path): Simplify, given that we don't do tilde expansion
 312         any longer.
 313         (fn_normalize): Removed.  Caller changed to use the canonicalize
 314         module from gnulib.
 315         (fn_get_cwd): Removed.  Only user was fn_normalize.
 316         (fn_is_absolute): Really only test for absolute names.
 317         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
 318         unix.
 319         (fn_readlink): Removed, as it was only used fn_normalize.
 320         (fn_exists): Assume the stat function is available; gnulib does.
 321         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
 322
 323 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
 324
 325         * dictionary.c (dict_create_vector_assert): New function.
 326
 327 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
 328
 329         * file-name.c (fn_normalize): Correct name of function
 330         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
 331         for pointing this out.
 332
 333 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
 334
 335         We are using a single member in struct file_handle, the "name"
 336         field, for more than one purpose.  When it begins with '"', it's a
 337         file name; otherwise, it's a token that can be used to identify
 338         it.  When that assertion fires, it's because we searched for the
 339         name case-sensitively as a file name (so that there was no match),
 340         and then we try to insert it case-insensitively as a token, which
 341         fails because duplicates aren't allowed.
 342
 343         Solution: break the two purposes into two separate fields.  This
 344         fixes the problem and likely makes the code easier to read too.
 345
 346         Fixes bug #18922.  Thanks to John Darrington for bug report and
 347         review.
 348
 349         * file-handle-def.c (struct file_handle): New `id' member.
 350         (fh_from_name): Rename fh_from_id.  Update all callers.
 351         (create_handle): New `id' parameter.  Update all callers.
 352         (fh_create_file): Ditto.
 353         (fh_get_id): New function.
 354
 355 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
 356
 357         * case.c (case_is_null): Change return type to bool.
 358
 359 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
 360
 361         Add debugging code.
 362
 363         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
 364         reference counting to share data.  This makes it easy for
 365         valgrind, etc. to find accesses to cases that have been destroyed
 366         but have been kept around by another user's ref-count.  This often
 367         happens when the data set is small enough to find in memory; if a
 368         bigger data set that would overflow to disk were used, then data
 369         corruption would occur.
 370
 371 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
 372
 373         Simplify code.
 374
 375         * case.c (case_unshare): Make it check internally whether the
 376         ref_cnt is greater than 1, so that the callers don't have to.
 377         Update callers not to check.
 378
 379 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
 380
 381         Before, I was thinking that I might want to get rid of reference
 382         counting at some point.  Now, I'm pretty sure that it's here to
 383         stay.  Thus, because we have to store the value_cnt anyway for
 384         reference-counted cases, we might as well expose it to users.
 385
 386         * case.c (case_get_value_cnt): New function.
 387         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
 388         resize case if its size actually changed.
 389
 390         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
 391         instead of peeking inside struct case directly.
 392         (casefile_append): Ditto.
 393
 394 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
 395
 396         Get rid of the inlines for the case functions, which made the
 397         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
 398         the inlines didn't speed up "make check" at all, which is not a
 399         perfect benchmark but seems indicative.)
 400
 401         * case.c: Remove #ifdef DEBUGGING...#endif around many function
 402         definitions.  Remove some assertions on nonnull pointers that were
 403         redundant with a pointer dereference soon after in the function.
 404         Also:
 405         (struct case_data): Move definition here from case.h.
 406         (case_data): Ditto.
 407         (case_num): Ditto.
 408         (case_str): Ditto.
 409         (case_data_wr): Ditto.
 410
 411 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
 412
 413         * automake.mk: Add casedeque.h to sources.
 414
 415         * casedeque.h: New file.
 416
 417         * procedure.c: (struct dataset) Change lag_count, lag_head,
 418         lag_queue member into single struct casedeque member.  Update all
 419         users to use the casedeque instead.
 420         (lag_case) Removed.
 421
 422 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
 423
 424         * procedure.c: Simplify lagged cases interface.  Updated all
 425         clients--well, the only client--to use the simplified interface.
 426         (dataset_n_lag) Removed.
 427         (dataset_set_n_lag) Removed.
 428         (dataset_need_lag) New function.
 429
 430 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
 431
 432         * dictionary.c procedure.c: More changes to ensure that callbacks occur
 433         whenever appropriate, but only when the dataset/dictionary is in a
 434         consistent state.
 435
 436 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
 437
 438         * dictionary.c dictionary.h : Added callbacks for change of filter and
 439         split variables.  Refactored some code to ensure that callbacks get
 440         invoked when appropriate.
 441
 442         * procedure.c (proc_cancel_temporary_transformations): Make sure that
 443         replace_dict callback occurs when permanent_dict replaces the current
 444         dictionary.
 445
 446 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
 447
 448         * dictionary.c dictionary.h : Added callback for when the weight
 449         variable of a dictionary changes.
 450
 451 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
 452
 453         * dictionary.c dictionary.h : Added replace_source and replace_dict
 454         callbacks, and functions to deal with them.
 455
 456 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
 457
 458         Simplify missing value handling.
 459
 460         * missing-values.h (enum mv_class): New type.
 461         (enum mv_type): Moved definition into missing-values.c and renamed
 462         each MV_* to MVT_*, to distinguish them from the exposed mv_class
 463         enums.  Updated all uses.
 464         (struct missing_values): Changed type of `type' from `enum
 465         mv_type' to `int' because the definition is no longer exposed.
 466
 467         * missing-values.c (mv_is_value_missing): Add new enum mv_class
 468         parameter.  Update all callers.
 469         (mv_is_num_missing): Ditto.
 470         (mv_is_str_missing): Ditto.
 471         (mv_is_value_user_missing): Removed.  Changed callers to use
 472         mv_is_value_missing.
 473         (mv_is_num_user_missing): Removed.  Changed callers to use
 474         mv_is_num_missing.
 475         (mv_is_str_user_missing): Removed.  Changed callers to use
 476         mv_is_str_missing.
 477         (mv_is_value_system_missing): Removed.  Changed callers to use
 478         mv_is_value_missing.
 479         (mv_set_type): Removed.  Changed callers to use mv_clear.
 480         (mv_clear): New function.
 481
 482         * variable.c (var_is_value_missing): Add new enum mv_class
 483         parameter.  Update all callers.
 484         (var_is_num_missing): Ditto.
 485         (var_is_str_missing): Ditto.
 486         (var_is_value_user_missing): Removed.  Changed callers to use
 487         var_is_value_missing.
 488         (var_is_num_user_missing): Removed.  Changed callers to use
 489         var_is_num_missing.
 490         (var_is_str_user_missing): Removed.  Changed callers to use
 491         var_is_str_missing.
 492         (var_is_value_system_missing): Removed.  Changed callers to use
 493         var_is_value_missing.
 494
 495         * casefilter.c (struct casefilter): Use enum mv_class in place of
 496         bool.
 497         (casefilter_variable_missing): Adapt to new member.
 498         (casefilter_create): Change signature to take enum mv_class,
 499         update callers.
 500
 501 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 502
 503         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
 504
 505         * case-sink.c case-sink.h procedure.c procedure.h
 506           storage-stream.c: Now uses the factory.
 507
 508 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
 509
 510         Make it possible to pull cases from the active file with a
 511         function call, instead of requiring indirection through a callback
 512         function.
 513
 514         * case-source.h (struct case_source_class): Change ->read function
 515         to return a single case, instead of calling a callback function
 516         for each case.  Change ->destroy function to return an error
 517         status.
 518
 519         * case-source.c (free_case_source): Pass along the value returned
 520         by the case_source ->destroy function.
 521
 522         * procedure.c (struct write_case_data): Removed.
 523         (struct dataset): Added some members to track procedure state.
 524         (procedure): Optimize the trivial case at this level.
 525         (internal_procedure): Re-implement in terms of proc_open,
 526         proc_read, proc_close.
 527         (proc_open) New function.
 528         (proc_read) New function.
 529         (proc_close) New function.
 530         (write_case) Moved into proc_read.
 531         (close_active_file) Moved closing of data source into proc_close.
 532
 533         * storage-source.c: Rewrote to conform with modified
 534         case_source_class interface.
 535
 536         * transformations.c (trns_chain_execute): Added argument to allow
 537         starting execution from an arbitrary transformation.  Updated
 538         callers.
 539
 540         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
 541
 542 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
 543
 544         * sys-file-reader.c (read_display_parameters): Don't assume that
 545         MEASURE_* and ALIGN_* have the same values found in system files.
 546
 547         * sys-file-writer.c (write_variable_display_parameters): Ditto.
 548
 549         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
 550         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
 551         the value of n_MEASURES, which was off by 1 (at least from my
 552         point of view).
 553
 554 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 555
 556         * dictionary.c dictionary.h vardict.h variable.c: Added optional
 557                 callbacks which are invoked when the dictionary or its
 558                 variables are changed.
 559
 560         * missing-values.c missing-values.h value-labels.c: Tidied up
 561                 consistency checks, and made some of them return false
 562                 instead of assert-failing.
 563
 564 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
 565
 566         * calendar.c (calendar_days_in_month): New function.
 567
 568 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
 569
 570         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
 571         the value label's width.
 572
 573 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
 574
 575         * sfm-private.h: Move contents into sys-file-writer.c, which is
 576         the only remaining user.  Removed Borland C++-specific directives.
 577
 578         * sys-file-reader.c: Clean up and rewrite entire file.  The
 579         rewritten version is simpler and better abstracted, and should be
 580         easier to maintain and extend.  It avoids using structures to read
 581         file data, which is prone to padding variations among compilers.
 582         It should also handle non-IEEE 754 system files, although I
 583         haven't been able to find any.  It has been tested against many
 584         .sav files obtained from the Web and found to produce the same
 585         results as the earlier version of the code, or in some cases
 586         improved results.  It is more tolerant of format variations found
 587         in the wild.
 588
 589         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
 590         member, putting an enum integer_format in its place.  New member
 591         `float_format'.  Changed `compressed' member to type bool.
 592
 593 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
 594
 595         * dictionary.c (dict_delete_consecutive_vars): New function.
 596
 597 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
 598
 599         * file-name.c (fn_search_path): Remove prefix arg that was unused
 600         by any caller.  Updated all callers.
 601
 602 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
 603
 604         * format.c (fmt_dollar_template): Use user's decimal point
 605         character.  Add assertion.
 606
 607 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
 608
 609         * format.c (fmt_dollar_template): New function, based on
 610         dollar_format_template from var-type-dialog.c.
 611
 612 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
 613
 614         * data-out.c (output_scientific): Fix bad assumption that "buf" is
 615         null-terminated.
 616
 617 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
 618
 619         Finish converting struct variable to an opaque type.  In this
 620         phase, we add remaining setter and getter functions, convert the
 621         remaining PSPP code to use them, and do a bunch of cleanup.  The
 622         resulting changes are pervasive but mostly trivial, and only the
 623         notable changes are logged.
 624
 625         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
 626         files.
 627
 628         * case.c (case_data): Renamed case_data_idx.
 629         (case_num): Renamed case_num_idx.
 630         (case_str): Renamed case_str_idx.
 631         (case_data_rw): Renamed case_data_rw_idx.
 632
 633         * case.h (case_data): New function with old name and an interface
 634         that takes a variable instead of an index, which is easier to
 635         use.  Updated all callers to use the new interface, or to use the
 636         new *_idx function (see above).
 637         (case_num): Ditto.
 638         (case_str): Ditto.
 639         (case_data_rw): Ditto.
 640
 641         * category.c (cat_stored_values_destroy): Changed interface to
 642         take a struct cat_vals * instead of a struct variable *.
 643
 644         * dictionary.c (dict_clone): Use new vector_clone function.
 645         (dict_clear) Use new var_destroy function.
 646         (add_var) New function.
 647         (dict_create_var) Rewrite in terms of dict_create_var_assert.
 648         (dict_create_var_assert) Rewrite in terms of add_var.
 649         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
 650         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
 651         (dict_lookup_var) Use new var_create, var_destroy functions.
 652         (dict_contains_var) Rewrite in terms of new vardict functionality.
 653         (set_var_dict_index) New function.
 654         (set_var_case_index) New function.
 655         (reindex_vars) New function.
 656         (dict_delete_var) Rewrite in terms of new vardict functionality.
 657         (dict_reorder_var) Ditto.
 658         (dict_reorder_vars) Ditto.
 659         (rename_var) New function.
 660         (dict_rename_var) Use rename_var.
 661         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
 662         (dict_get_compacted_idx_to_fv) Rename
 663         dict_get_compacted_dict_index_to_case_index, update callers.
 664         (dict_create_vector) Use new vector_create function.
 665         (dict_clear_vectors) Use new vector_destroy function.
 666         (set_var_short_name_suffix) Move here from variable.c, renamed
 667         from var_set_short_name_suffix, make static, update caller.
 668
 669         * sys-file-private.c: New file.
 670         (sfm_width_to_bytes) Moved here from variable.c, renamed from
 671         width_to_bytes, update callers.
 672
 673         * sys-file-private.h: New file.  Later it will supplant
 674         sfm-private.h; for now it supplements it.
 675         (macro MIN_VERY_LONG_STRING) New macro.
 676         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
 677
 678         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
 679         MAX_LONG_STRING was used before.
 680
 681         * sys-file-writer.c: Ditto.
 682
 683         * value-labels.c: Change the paradigm here to be that a null
 684         pointer is OK for a struct val_labs * in most cases; it just
 685         represents an empty set of value labels.
 686         (val_labs_copy) A copy of a null set is a null set.
 687         (val_labs_count) A null set has 0 labels.
 688         (val_labs_replace) Change return type to void.  Rewrite for
 689         simplicity.
 690         (val_labs_find) A null set does not contain the value.
 691         (value_to_string) Moved to variable.c, renamed var_get_value_name,
 692         transposed argument order, updated all callers.
 693
 694         * value.c: New file.
 695         (value_dup) Moved here from variable.c.
 696         (compare_values) Ditto.
 697         (hash_value) Ditto.
 698
 699         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
 700         (macro MAX_LONG_STRING) Removed, because it was only interesting
 701         for system files, not for general code.
 702         (macro MAX_VERY_LONG_STRING) Ditto.
 703         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
 704         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
 705
 706         * vardict.h: New file, for an interface between variables and
 707         their dictionaries.
 708
 709         * variable.c: A lot of functions were moved around, for better
 710         organization.
 711         (struct variable) Move definition here, from variable.h.
 712         (var_type_adj) Removed--makes i18n hard.
 713         (var_type_noun) Ditto.
 714         (var_create) New function.
 715         (var_clone) New function.
 716         (var_destroy) New function.
 717         (var_set_name) Assert that variable is not in a dictionary.
 718         (compare_var_names) Rename compare_vars_by_name and fix a couple
 719         of callers who thought the args were strings.
 720         (hash_var_name) Rename hash_var_by_name.
 721         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
 722         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
 723         (var_is_very_long_string) Removed, because it was only interesting
 724         to system file code.
 725         (var_set_missing_values) Allow the argument to be the wrong width,
 726         as long as we can resize it.  Simplify callers who were doing the
 727         resizing themselves.
 728         (var_get_value_labels) New function.
 729         (var_has_value_labels) New function.
 730         (var_set_value_labels) New function.
 731         (alloc_value_labels) New function.
 732         (var_add_value_label) New function.
 733         (var_replace_value_label) New function.
 734         (var_clear_value_labels) New function.
 735         (var_lookup_value_label) New function.
 736         (var_get_value_name) Moved here from variable.c, renamed from
 737         var_get_value_name, transposed argument order, updated all
 738         callers.
 739         (var_to_string) Moved here, from variable-label.c.
 740         (var_set_leave) New function.
 741         (var_get_leave) New function.
 742         (var_must_leave) New function.
 743         (var_set_short_name_suffix) Moved to dictionary.c, renamed
 744         set_var_short_name_suffix.
 745         (var_get_dict_index) New function.
 746         (var_get_case_index) New function.
 747         (var_get_obs_vals) New function.
 748         (var_set_obs_vals) New function.
 749         (var_has_obs_vals) New function.
 750         (var_get_vardict) New function.
 751         (var_set_vardict) New function.
 752         (var_has_vardict) New function.
 753         (var_clear_vardict) New function.
 754         (value_dup) Moved to value.c.
 755         (compare_values) Ditto.
 756         (hash_value) Ditto.
 757
 758         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
 759         (enum ALPHA) Rename VAR_STRING, update all users.
 760
 761         * vector.c: New file.
 762         (struct vector) Moved here, from variable.h.
 763         (check_widths) New function.
 764         (vector_create) New function.
 765         (vector_clone) New function.
 766         (vector_destroy) New function.
 767         (vector_get_name) New function.
 768         (vector_get_var) New function.
 769         (vector_get_var_cnt) New function.
 770         (compare_vector_ptrs_by_name) New function.
 771
 772         * vector.h: New file.
 773
 774 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 775
 776         * casefilter.c (casefilter_variable_missing): Avoided comparision of
 777         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
 778         problem.
 779
 780 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
 781
 782         * value-labels.c (destroy_atoms): New function.
 783         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
 784
 785 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
 786
 787         Thanks to Jason Stover for pointing out this problem.
 788
 789         * data-out.c (output_number): Use gsl_finite from GSL, which is
 790         portable, instead of isfinite, which is not.
 791         (power256) Ditto.
 792
 793 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 794
 795         * variable.c variable.h (value_dup): New function.
 796
 797 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
 798
 799         Start converting struct variable to an opaque type.  In this
 800         phase, we add a bunch of setter and getter functions and convert
 801         most of the PSPP code to use them.  The resulting changes are
 802         pervasive but mostly trivial, and only the notable changes are
 803         logged.
 804
 805         * format.c (fmt_equal): New function.
 806
 807         * variable.c (var_type_is_valid): New function.
 808         (measure_is_valid) Moved here, from format.c.
 809         (alignment_is_valid) Moved here, from format.c.
 810         (var_get_name) New function.
 811         (var_set_name) New function.
 812         (width_to_type) New function.
 813         (var_get_type) New function.
 814         (var_get_width) New function.
 815         (var_set_width) New function.
 816         (var_is_numeric) New function.
 817         (var_is_alpha) New function.
 818         (var_is_short_string) New function.
 819         (var_is_long_string) New function.
 820         (var_is_very_long_string) New function.
 821         (var_get_missing_values) New function.
 822         (var_set_missing_values) New function.
 823         (var_clear_missing_values) New function.
 824         (var_has_missing_values) New function.
 825         (var_is_value_missing) New function.
 826         (var_is_num_missing) New function.
 827         (var_is_str_missing) New function.
 828         (var_is_value_user_missing) New function.
 829         (var_is_num_user_missing) New function.
 830         (var_is_str_user_missing) New function.
 831         (var_is_value_system_missing) New function.
 832         (var_get_print_format) New function.
 833         (var_set_print_format) New function.
 834         (var_get_write_format) New function.
 835         (var_set_write_format) New function.
 836         (var_set_both_formats) New function.
 837         (var_get_label) New function.
 838         (var_set_label) New function.
 839         (var_clear_label) New function.
 840         (var_has_label) New function.
 841         (var_get_measure) New function.
 842         (var_set_measure) New function.
 843         (var_get_display_width) New function.
 844         (var_set_display_width) New function.
 845         (var_get_alignment) New function.
 846         (var_set_alignment) New function.
 847         (var_get_value_cnt) New function.
 848         (var_get_leave) New function.
 849         (var_get_short_name) New function.
 850
 851         * variable.h: (struct variable) Removed "type" and "nv" members;
 852         they are now computed from "width" where needed.
 853
 854 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
 855
 856         * missing-values.c (mv_resize): Don't write beyond end of the
 857         allocated buffer when resizing a long string.
 858
 859 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
 860
 861         Clean up identifier code: don't require identifier enumerations to
 862         be in a particular order; make better use of string library;
 863         expose less of the internals.
 864
 865         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
 866         change interface.  Updated all callers.
 867         (lex_id_match) Change interface to use struct substring, update
 868         all callers.
 869         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
 870         (global array keywords[]) Make static, change form.  Update all
 871         users to use lex_id_name instead.
 872         (lex_is_keyword) New function.
 873         (lex_id_to_token) Change interface to use struct substring, update
 874         all callers.
 875         (lex_id_name) New function.
 876
 877         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
 878         lex_is_keyword instead.
 879         (T_LAST_KEYWORD) Removed.
 880         (T_N_KEYWORDS) Removed.
 881
 882 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
 883
 884         * format.c: (fmt_date_template) Distinguish characters for which a
 885         space is output and any date delimiter is allowed on input, from
 886         those for which a space is output and only a space is allowed on
 887         input.  The former is represented by X, the latter by a space.
 888         Also, drop distinction between h and H, changing the former to the
 889         latter.
 890
 891         * data-in.c: Completely rewrite internals to conform to SPSS input
 892         formats as closely as possible.
 893         (data_in) Changed external interface by replacing the structure
 894         that was used as a single argument by a set of arguments.  Updated
 895         all callers.
 896         (data_in_finite_line) Removed.  Converted all callers to use plain
 897         data_in.
 898         (data_in_get_integer_format) New function.
 899         (data_in_set_integer_format) New function.
 900         (data_in_get_float_format) New function.
 901         (data_in_set_float_format) New function.
 902
 903         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
 904         (struct data_in) Removed.
 905
 906         * data-out.c: (output_date) Drop each component from the input as
 907         it is output, to allow us to drop the distinction between h (a
 908         count of hours) and H (the hour of day) template characters.
 909         Also, handle new X template character.
 910         (output_scientific) Follow more rational rule on when to drop
 911         fraction introduced between SPSS 13 and 15.  Updated test case to
 912         match new behavior.
 913
 914 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
 915
 916         Fix buffer overflow reported by John Darrington.
 917
 918         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
 919         realize that DIGITS is a count of nibbles, not of bytes.
 920
 921 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
 922
 923         * calendar.c (calendar_offset_to_gregorian) Also return the
 924         year-of-day.  Change callers to new interface.
 925
 926         * data-out.c: Completely rewrite internals to conform to SPSS
 927         output formats as completely as possible.
 928         (data_out) Change interface to put input parameters before output
 929         parameters, for consistency with the style I now prefer.  Update
 930         all callers.
 931         (data_out_get_integer_format) New public function.
 932         (data_out_set_integer_format) New public function.
 933         (data_out_get_float_format) New public function.
 934         (data_out_set_float_format) New public function.
 935
 936         * data-out.h: New file.  Move prototype for data_out here, from
 937         format.h.
 938
 939         * format.c: (fmt_step_width) Use equality comparison instead of
 940         bitwise and, for clarity.
 941         (fmt_is_string) Ditto.
 942         (fmt_input_to_output) Fix categories that are translated to F
 943         format.
 944
 945 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 946
 947         * casefilter.c casefilter.h (new files), casefile.c casefile.h
 948         casefile-private.h: Added casefilter to assist commands with missing
 949         values.
 950
 951 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
 952
 953         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
 954
 955         * settings.c: (route_errors_to_terminal) New variable.
 956         (route_errors_to_listing) New variable.
 957         (get_error_routing_to_terminal) New function.
 958         (set_error_routing_to_terminal) New function.
 959         (get_error_routing_to_listing) New function.
 960         (set_error_routing_to_listing) New function.
 961
 962         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
 963
 964 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
 965
 966         * format.c: Completely rewrite, to achieve better abstraction.
 967         Rewrite all references to formats in other files.
 968
 969         * format.def: Rewrite and reorganize.
 970
 971         * settings.c: Move everything related to custom currency formats
 972         into format.[ch], changing them in form, so as to group related
 973         code and definitions better.  Changed all references to use the
 974         new functions.
 975         (static var decimal) Removed.
 976         (static var grouping) Removed.
 977         (static var cc) Removed.
 978         (get_decimal) Removed.
 979         (set_decimal) Removed.
 980         (get_grouping) Removed.
 981         (set_grouping) Removed.
 982         (get_cc) Removed.
 983         (set_cc) Removed.
 984
 985         * settings.h: (macro CC_CNT) Removed.
 986         (macro CC_WIDTH) Removed.
 987         (struct custom_currency) Removed.
 988
 989 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
 990
 991         * data-in.c (data_in): Use switch statement instead of table, to
 992         avoid dependence on the order of the FMT_* enums.
 993
 994 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
 995
 996         * data-out.c: (num_to_string) Removed, because it was dead code.
 997
 998 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
 999
1000         * data-in.c (parse_trailer): Fix error message.
1001
1002 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1003
1004         * format.c (fmt_is_binary): New function.
1005
1006 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1007
1008         * procedure.c procedure.h: Encapsulated the static data into a single
1009         struct.
1010
1011 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1012
1013         * casefile.c (casereader_read_xfer): Always initialize the case,
1014         even on an error condition.
1015
1016 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1017
1018         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the
1019         entire function useless.
1020
1021 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1022
1023         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1024         casereader method casereader_clone.
1025
1026         * procedure.c pransformations.h: Introduced new type casenum_t
1027
1028 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1029
1030         * variable.c: (width_to_bytes) Rephrase code for clarify.
1031
1032 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1033
1034         * format.c: (fmt_type_from_string) New function.
1035         (fmt_to_string) Include decimals in output if the format has
1036         decimals, even if the format type does not.  This way, we can
1037         accurately reproduce incorrect formats in user output.
1038         (check_common_specifier) Make the check for a bad format type an
1039         assertion, so we get bug reports if they show up.  Fix message.
1040         Check for decimal places with a format type that doesn't allow
1041         them.
1042         (check_input_specifier) Remove check for FMT_X, which has been
1043         deleted.
1044         (check_output_specifier) Ditto.
1045
1046         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1047
1048         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1049         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1050         (enum fmt_parse_flags) Removed.
1051
1052 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1053
1054         * casefile.c casefile.h: Converted to  an abstract base class.
1055         * casefile-private.h fastfile.c fastfile.h: New files.
1056         * automake.mk procedure.c scratch-writer.c storage-stream.c
1057
1058 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1059
1060         * procedure.c (internal_procedure): Create sink_case with only as
1061         many values as the compacted dictionary.
1062
1063 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1064
1065         Remove "debugging" code that caused plenty of false positives and
1066         no true positives.
1067
1068         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1069
1070         * case.c: Remove all references to `this' member.
1071
1072 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1073
1074         Fix link error noted by Jason Stover.
1075
1076         * storage-stream.c: Include <assert.h>.
1077
1078 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1079
1080         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1081         ALL) and additional underlying system file issues.
1082
1083         Thanks to John Darrington for review.
1084
1085         First problem: var_hash points to variables not owned by the
1086         sys-file-reader, which the caller may free or modify.  Use an
1087         array of sfm_vars instead, as done earlier (e.g. CVS version
1088         1.12).
1089
1090         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
1091         members and remove all code that references it.  Add vars, var_cnt
1092         members.  Remove fix_specials member, which was unused.
1093         (struct sfm_var) Remove name member, which was unused.
1094         (sfm_close_reader) Free vars member instead of var_hash.
1095         (compare_var_shortnames) Removed.
1096         (hash_var_shortname) Removed.
1097         (sfm_open_reader) Fill out vars array.
1098         (compare_var_index) Removed.
1099         (sfm_read_case) Use vars instead of var_hash.
1100
1101         Second problem: we're confused about when we actually have very
1102         long strings, causing us to choose incorrectly between slow path
1103         and fast path in sfm_read_case.
1104
1105         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
1106         have very long strings, not when we have long variable names,
1107         which is an unrelated feature.
1108
1109 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
1110
1111         * variable.h: Move var_set and variable parsing declarations to
1112         new header, src/language/lexer/variable-parser.h.  Modified lots
1113         of files to include the new header.
1114
1115 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1116
1117         * value-labels.c (value_to_string): When there's no value label,
1118         format the variable according to its print format, instead of
1119         always effectively using A or F format.
1120
1121 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1122
1123         * casefile.c (casefile_get_random_reader): Nasty hack to get around
1124         the mode assertion.
1125
1126         * format.c: Removed tortological assertion.
1127
1128 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1129
1130         Reform string library.
1131
1132         * file-name.c (fn_interp_vars): Change interface to take a
1133         substring as input.  Updated all users.
1134
1135 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1136
1137         * format.c (measure_is_valid): Really return false when m >=
1138         n_MEASURES.
1139
1140 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1141
1142         Implement random access to casefiles, for use in GUI.
1143
1144         * casefile.c: (struct casereader) Add `random', `file_ofs',
1145         `buffer_ofs' members.
1146         (casefile_get_random_reader) New function.
1147         (read_open_file) Break part into new function
1148         seek_and_fill_buffer().
1149         (fill_buffer) Update buffer_ofs, file_ofs.
1150         (casereader_seek) New function.
1151
1152 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1153
1154         * settings.c: Added call to i18n{done, init}.
1155
1156 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1157
1158         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1159         prototypes.
1160
1161 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1162
1163         * casefile.c: Convert many uses of `int' to `bool'.
1164
1165 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1166
1167         * transformations.c (trns_chain_destroy): Destroy chain's trns
1168         member, to fix memory leak.
1169
1170 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1171
1172         * storage-stream.c (storage_source_decapsulate): Destroy case
1173         source to fix memory leak.
1174
1175 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1176
1177         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1178         case passed as argument instead of initializing the argument as a
1179         case.  Fixes memory leak that showed up in
1180         tests/command/aggregate.sh with scratch files.
1181
1182 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1183
1184         * procedure.c (proc_done): Destroy default_dict, to fix memory
1185         leak.
1186
1187 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1188
1189         Simplify procedure_with_splits().
1190
1191         * procedure.c (struct split_aux_data): Removed case_count member.
1192         (procedure_with_splits) Don't initialize case_count.
1193         (split_procedure_case_func) Check whether prev_case is null
1194         instead of case_count.
1195         (split_procedure_end_func) Ditto.
1196
1197 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1198
1199         * case.c (case_move): Do nothing if dst and src are the same
1200         object.
1201         (case_try_create) Merge two similar cases.
1202         (case_copy) Unshare only if data must be actually copied.
1203
1204 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1205
1206         * data-in.c data-out.c dictionary.c sys-file-reader.c
1207         sys-file-writer.c variable.c variable.h:  Reworked very long string
1208         support for better encapsulation.
1209
1210 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1211
1212         * value-labels.c (val_labs_can_set_width): New function.
1213         (val_labs_set_width) Clear labels if increasing width to long
1214         string.
1215         (val_labs_destroy) Remove unneeded test for null.
1216
1217 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1218
1219         * value-labels.h: Remove unneeded dependency on variable.h.
1220
1221 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1222
1223         Get rid of `char *c' member in union value, for cleanliness.
1224
1225         * value.h: (union value) Remove `c' member.
1226
1227 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1228
1229         Make dictionary compacting functions a little more general.
1230
1231         * sys-file-writer.c (sfm_open_writer): Use
1232         dict_compacting_would_change().
1233         (does_dict_need_translation) Removed.
1234
1235 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1236
1237         Make dictionary compacting functions a little more general.
1238
1239         * dictionary.c (dict_needs_compaction): Rename
1240         dict_compacting_would_shrink().  Update all callers.
1241         (dict_compacting_would_change) New function.
1242
1243 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1244
1245         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1246         inverted return value (!).
1247
1248 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1249
1250         Continue reforming procedure execution.
1251
1252         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1253         (static var vfm_source) Rename proc_source.  Update all
1254         references.
1255         (static var vfm_sink) Rename proc_sink.  Update all references.
1256
1257 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1258
1259         Continue reforming procedure execution.  In this phase, remove
1260         PROCESS IF, which was deprecated anyway and can be easily
1261         simulated with TEMPORARY followed by SELECT IF.
1262
1263         * procedure.c: (open_active_file) Don't call
1264         add_process_if_trns().
1265         (discard_variables) Get rid of redundant call to
1266         proc_cancel_all_transformations().
1267         (add_process_if_trns) Removed.
1268         (process_if_trns_proc) Removed.
1269         (process_if_trns_free) Removed.
1270
1271 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1272
1273         Continue reforming procedure execution.  In this phase, add
1274         `const' to the case passed to procedure()'s callback.
1275
1276         Updated all users of procedure() as well.
1277
1278         * procedure.c: (struct write_case_data) Add "const" to ccase
1279         parameter for case_func member.
1280         (procedure) Add "const" to ccase parameter for proc_func
1281         parameter.
1282         (multipass_case_func) Make ccase parameter const.
1283         (internal_procedure) Add "const" to ccase parameter for case_func
1284         parameter.
1285         (split_procedure_case_func) Make ccase parameter const.
1286         (multipass_split_case_func) Make ccase parameter const.
1287
1288 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1289
1290         Continue reforming procedure execution.  In this phase, get rid of
1291         the output code for SPLIT FILE groups in procedure.c, which really
1292         shouldn't be doing any output.  Move it into the individual
1293         procedures instead.  This also adds some flexibility.
1294
1295         Updated many users of procedure_with_splits() and
1296         multipass_procedure_with_splits() to call
1297         output_split_file_values() and to deal with increased use of
1298         const.
1299
1300         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1301         parameter to begin_func member.
1302         (procedure_with_splits) Add "const struct ccase *" parameter to
1303         begin_func parameter.  Make ccase parameter const in proc_func
1304         parameter.
1305         (split_procedure_case_func) Don't dump split file group.  Pass
1306         case to begin_func.
1307         (dump_splits) Moved to language/dictionary/split-file.c as
1308         output_split_file_values().
1309         (struct multipass_split_aux_data) Add "const struct ccase *"
1310         parameter to split_func member.
1311         (multipass_procedure_with_splits) Add "const struct ccase *"
1312         parameter to split_func parameter.
1313         (multipass_split_case_func) Save new SPLIT FILE case before
1314         outputting case.
1315         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1316
1317 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1318
1319         Continue reforming procedure execution.  Change
1320         internal_procedure() so that it calls open_active_file() and
1321         close_active_file(), which isolates most of the actual procedure
1322         functionality.
1323
1324         * procedure.c: (struct write_case_data) Rename `proc_func' member
1325         to `case_func' and update all references.
1326         (procedure) Rewrite as one-line wrapper around
1327         internal_procedure().
1328         (struct multipass_aux_data) New.
1329         (multipass_callback) Renamed multipass_case_func().  Use struct
1330         multipass_aux_data as auxiliary data.
1331         (multipass_end_func) New function.
1332         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1333         that uses multipass_case_func, multipass_end_func.
1334         (internal_procedure) Add `end_func' argument.  Move optimization
1335         of trivial case in here.  Move call to open_active_file() and
1336         close_active_file() in here.  Now assert that vfm_source is
1337         non-null.
1338         (procedure_with_splits_callback) Rename
1339         split_procedure_case_func().
1340         (split_procedure_end_func) New function.
1341         (multipass_split_callback) Rename multipass_split_case_func.
1342         (multipass_split_end_func) New function.
1343         (discard_variables) No need to test for nonnull vfm_source.
1344
1345 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1346
1347         Continue reforming procedure execution.  Get rid of unused member.
1348
1349         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1350         member.
1351         (write_case) Don't increment cases_analyzed.
1352
1353 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1354
1355         Continue reforming procedure execution.  In this phase, move
1356         procedure.c and procedure.h from src to src/data.  Update
1357         makefiles and #includes accordingly.
1358
1359         * procedure.c: Moved here from src/.
1360
1361         * procedure.h: Moved here from src/.
1362
1363 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1364
1365         Continue reforming procedure execution.  In this phase, get rid of
1366         many global variables, consolidating procedure execution in
1367         procedure.c.  Encapsulate transformations in new "struct
1368         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1369         and PROCESS IF from special cases to transformations.
1370
1371         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1372         transformations.h.
1373
1374         * dictionary.c: (global variable default_dict) Move to
1375         src/procedure.c.
1376
1377         * variable.h: (TRNS_*) Move to transformations.h.
1378         (struct transformation) Move to transformations.c.
1379
1380 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1381
1382         * sys-file-reader.c: Fixed invalid read problems.
1383
1384 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1385
1386         * storage-stream.c: Add missing function comments.
1387
1388 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1389
1390         Continue reforming procedure execution.  In this phase, add some
1391         new, needed functionality to storage-stream.
1392
1393         * storage-stream.c: (storage_source_decapsulate) New function.
1394
1395 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1396
1397         * variable.c (width_to_bytes): Declarations must precede
1398         statements for C90 compliance.
1399
1400 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1401
1402         * data-out.c, data-in.c, variable.c, variable.h: New functions
1403         copy_mangle and copy_demangle for reading/writing cases; emulates the
1404         way SPSS deals with strings > 255 bytes.
1405
1406         * sys-file-reader.c sys-file-writer.c: Added support for Record 7,
1407         subtype 14 needed for strings longer than 255 bytes.
1408
1409         * dictionary.c, format.def, value.c : Updated to use MAX_STRING
1410         instead of literal values. Also fixed some constness issues.
1411
1412         * format.h: Constness
1413
1414         * sfm-private.h: Renamed the case_size identifier, since I discovered
1415         that SPSS's respect for this variable is very nominal.
1416
1417 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1418
1419         Change case limit type from int to size_t.
1420
1421         * dictionary.c: (struct dictionary) Change type of case_limit
1422         member.
1423         (dict_get_case_limit) Change return type.
1424         (dict_set_case_limit) Change parameter type.
1425
1426 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1427
1428         * variable.h: (struct variable) Rename `reinit' member as `leave'
1429         and invert sense.  Fix up all references.
1430
1431 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1432
1433         Continue reforming procedure execution.  In this phase, break
1434         procedure.c into multiple files.
1435
1436         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1437
1438         * case-sink.c: New file.
1439
1440         * case-sink.h: New file.
1441
1442         * case-source.c: New file.
1443
1444         * case-source.h: New file.
1445
1446         * storage-stream.c: New file.
1447
1448         * storage-stream.h: New file.
1449
1450 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1451
1452         * variable.h: (struct variable) Remove `init' member and all
1453         references to it from other files.  It was initialized in several
1454         places, but nothing really ever used it for anything worthwhile.
1455         Thanks to Jason Stover for pointing out how confusing this
1456         member is.
1457
1458 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1459
1460         Continue reforming error message support.  In this phase, get rid
1461         of message "titles" and put the message text in `struct error'.
1462         Now `struct error' encapsulates a message more properly.
1463
1464         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1465         Format message ourselves.
1466
1467         * data-in.c: (vdls_error) Ditto.
1468
1469         * por-file-reader.c: (error) Ditto.
1470
1471         * sys-file-reader.c: (corrupt_msg) Ditto.
1472
1473 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1474
1475         GNU standards require "file name" instead of "filename" in
1476         documentation.  It's nice for our code to follow the convention
1477         too.
1478
1479         * casefile.c: (struct casefile) Rename `filename' member to
1480         `file_name'.  Updated all references.
1481
1482         * file-name.c: [!unix] (struct file_identity) Rename
1483         normalized_filename member to normalized_file_name.  Updated all
1484         references.
1485
1486 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1487
1488         We don't really support anything but Unix-like environments well,
1489         so we might as well de-obfuscate by writing directory and path
1490         separators explicitly.
1491
1492         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1493         to just '/'.
1494         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1495         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1496         "/".
1497         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1498         ":"
1499
1500 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1501
1502         GNU standards require "file name" instead of "filename" in
1503         documentation.  It's nice for our code to follow the convention
1504         too.
1505
1506         * filename.c: Rename to file-name.c.
1507
1508         * filename.h: Rename to file-name.h.  Update all inclusions.
1509         Update header guards.
1510
1511         * automake.mk: Update file names.
1512
1513 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1514
1515         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1516         updated.
1517         (fn_basename) Removed (dead code).
1518         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1519         (fn_special_p) Renamed fn_is_special(), all references updated.
1520         (fn_exists_p) Renamed fn_exists(), all references updated.
1521
1522 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1523
1524         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.
1525         Also, now it only tilde-expands file names, not paths.
1526         (fn_search_path) Tilde-expand one directory at a time.
1527
1528 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1529
1530         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1531         get rid of non-Unixlike version of the code, which has probably
1532         never been tested.
1533         (fn_prepend_dir) Removed (dead code).
1534
1535         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1536         (macro PATH_SEPARATOR_STRING) New.
1537 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1538
1539         Continue reforming error message support.  In this phase, we get
1540         rid of VM() and the other msg() support for "verbosity", replacing
1541         it by a new function verbose_msg().
1542
1543         * filename.c: (fn_search_path) Use verbose_msg() instead of
1544         msg(VM(), ...).
1545
1546 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1547
1548         * sfm-private.h: Get rid of #defines after #error, which makes no
1549         sense.
1550
1551 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1552
1553         Get rid of our own int32 type in favor of the standard int32_t
1554         type.
1555
1556         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1557         include <stdint.h>.
1558
1559         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1560
1561         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1562
1563 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1564
1565         Remove ill-considered file routines that are no longer used.
1566
1567         * filename.c: (fn_open_ext) Removed.
1568         (fn_close_ext) Removed.
1569
1570         * filename.h: (struct file_ext) Removed.
1571
1572 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1573
1574         * variable.c (var_is_valid_name): Move declarations before code
1575         for C90 compliance.
1576
1577 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1578
1579         * filename.ch (fn_interp_vars): Fixed small buglet.
1580
1581 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1582
1583         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1584         so as to modify the string inline.   Thus makeing it easier to
1585         destroy the results when no longer needed.
1586
1587 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
1588
1589         * category.c (cat_stored_values_destroy): Fixed memory leak.
1590
1591 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
1592
1593         Add some missing frees.  Thanks to John Darrington for reporting
1594         these.
1595
1596         * any-writer.c (any_writer_close): Free writer.
1597
1598         * any-reader.c (any_reader_close): Free reader.
1599
1600 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
1601
1602         * por-file-reader.c: (error) Mark as NO_RETURN.
1603
1604 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
1605
1606         * settings.c: Changed default value of scompress to true.
1607
1608 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
1609
1610         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
1611
1612         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
1613         really applies.
1614
1615         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
1616         here from pref.h.orig.
1617
1618 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
1619
1620         * sys-file-reader.c: Fixed bug reading compressed files.
1621
1622 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1623
1624         * Numerous renames.  See src/ChangeLog for details.
1625
1626         * Moved files from src directory