src/data/ChangeLog

   1 2007-07-01 John Darrington <john@darrington.wattle.id.au>
   2
   3         * transformation.c transformation.h (trns_chain_execute): Changed the
   4         signature (Patch #6057)
   5
   6 2007-06-10  Ben Pfaff  <blp@gnu.org>
   7
   8         * casereader-filter.c (casereader_filter_destroy): Make sure to
   9         write all the remaining excluded cases to the casewriter, if any.
  10
  11         * caseinit.c (init_list_destroy): Rewrite.
  12         (init_list_clear): Ditto.
  13
  14         * casegrouper.c (casegrouper_get_next_group): Always set *reader
  15         to null when returning false.
  16
  17 2007-06-06  Ben Pfaff  <blp@gnu.org>
  18
  19         Actually implement the new procedure code and adapt all of its
  20         clients to match.  Also adapt all of the other case sources and
  21         sinks in the tree and their clients to use the
  22         casereader/casewriter infrastructure.
  23
  24         * automake.mk: Add and remove files.
  25
  26         * any-reader.c: Change into a casereader.
  27         * por-file-reader.c: Ditto.
  28         * scratch-reader.c: Ditto.
  29         * sys-file-reader.c: Ditto.
  30
  31         * any-writer.c: Change into a casewriter.
  32         * por-file-writer.c: Ditto.
  33         * scratch-writer.c: Ditto.
  34         * sys-file-writer.c: Ditto.
  35
  36         * procedure.c: Change to use casereader, casewriter, caseinit, and
  37         other new infrastructure.
  38
  39         * scratch-handle.c: Adapt to new infrastructure.
  40
  41         * case-sink.c: Removed, now dead code.
  42         * case-sink.h: Ditto.
  43         * case-source.c: Ditto.
  44         * case-source.h: Ditto.
  45         * casefile-factory.c: Ditto.
  46         * casefile-private.h: Ditto.
  47         * casefile.c: Ditto.
  48         * casefile.h: Ditto.
  49         * casefilter.c: Ditto.
  50         * casefilter.h: Ditto.
  51         * fastfile.c: Ditto.
  52         * fastfile.h: Ditto.
  53         * fastfile-factory.c: Ditto.
  54         * fastfile-factory.h: Ditto.
  55         * storage-stream.c: Ditto.
  56         * storage-stream.h: Ditto.
  57
  58 2007-06-06  Ben Pfaff  <blp@gnu.org>
  59
  60         Add datasheet code.
  61
  62         * automake.mk: Add new files.
  63
  64         * datasheet.c: New file.
  65
  66         * datasheet.h: New file.
  67
  68 2007-06-06  Ben Pfaff  <blp@gnu.org>
  69
  70         Until now, the procedure code has provided a case to the
  71         case_source, which has filled in the data values that come from
  72         the active file.  "Left" data values that don't come from the
  73         active file naturally stay the same from case to case, because the
  74         procedure code keeps using that same case.
  75
  76         One of the compromises that comes with the new procedure code is
  77         that the active file allocates and provides its own case, which
  78         the procedure code then has to resize to provide room for any
  79         other variables that should go in the case and then fill in the
  80         values of "left" variables.  Then, when we're done with that case,
  81         we have to save the values of "left" variables to copy into the
  82         next case read from the active file.
  83
  84         The caseinit code helps with this.
  85
  86         * automake.mk: Add new files.
  87
  88         * caseinit.c: New file.
  89
  90         * caseinit.h: New file.
  91
  92 2007-06-06  Ben Pfaff  <blp@gnu.org>
  93
  94         * value.h (value_cnt_from_width): New function.
  95
  96         * variable.c (var_get_value_cnt): Use new function.
  97
  98 2007-06-06  Ben Pfaff  <blp@gnu.org>
  99
 100         Add casegrouper, to allow cases read from a given casereader to be
 101         broken into groups, each of which has its own casereader.
 102         Generally cases are grouped based on having equal values for some
 103         set of variables.
 104
 105         * automake.mk: Add new files.
 106
 107         * casegrouper.c: New file.
 108
 109         * casegrouper.h: New file.
 110
 111 2007-06-06  Ben Pfaff  <blp@gnu.org>
 112
 113         Add interface to lexicographical ordering of cases.
 114
 115         * automake.mk: Add new files.
 116
 117         * case-ordering.c: New file.
 118
 119         * case-ordering.h: New file.
 120
 121 2007-06-06  Ben Pfaff  <blp@gnu.org>
 122
 123         Add casereaders and casewriters, the basis of the new data processing
 124         implementation.  A casereader is a uniform interface to reading cases
 125         from a data source; a casewriter is a uniform interface to writing
 126         cases to a data sink.
 127
 128         * automake.mk: Add new files.
 129
 130         * casereader-filter.c: New file.
 131
 132         * casereader-provider.h: New file.
 133
 134         * casereader-translator.c: New file.
 135
 136         * casereader.c: New file.
 137
 138         * casereader.h: New file.
 139
 140         * casewriter-provider.h: New file.
 141
 142         * casewriter-translator.c: New file.
 143
 144         * casewriter.c: New file.
 145
 146         * casewriter.h: New file.
 147
 148 2007-06-06  Ben Pfaff  <blp@gnu.org>
 149
 150         "casewindow" data structure that extends the deque (from libpspp)
 151         of cases with the ability to dump cases to disk if we get too many
 152         of them in memory.
 153
 154         * automake.mk: Add new files.
 155
 156         * casewindow.c: New file.
 157
 158         * casewindow.h: New file.
 159
 160 2007-06-06  Ben Pfaff  <blp@gnu.org>
 161
 162         sparse_cases data structure that augments a sparse_array of cases
 163         with the ability to dump cases to disk if we get too many cases in
 164         memory.
 165
 166         * automake.mk: Add new files.
 167
 168         * sparse-cases.c: New file.
 169
 170         * sparse-cases.h: New file.
 171
 172 2007-06-06  Ben Pfaff  <blp@gnu.org>
 173
 174         Adds a low-level on-disk case array data structure.
 175
 176         * automake.mk: Add new files.
 177
 178         * case-tmpfile.c: New file.
 179
 180         * case-tmpfile.h: New file.
 181
 182 2007-06-06  Ben Pfaff  <blp@gnu.org>
 183
 184         In a couple of places we calculate the maximum number of cases to
 185         keep in memory based on the user-defined workspace.  Enable
 186         centralizing the calculation through a new function.
 187
 188         * settings.c (get_workspace_cases): New function.
 189
 190 2007-06-06  Ben Pfaff  <blp@gnu.org>
 191
 192         The casenumber type is defined in transformations.h, but case.h is
 193         a more sensible place.  Move it.
 194
 195         * case.h (CASENUMBER_MAX): New macro.
 196         (typedef casenumber): Move here, from transformations.h.
 197
 198 2007-06-03  Ben Pfaff  <blp@gnu.org>
 199
 200         Slightly generalize case_to_values and case_from_values functions.
 201
 202         * case.c (case_to_values): Rename case_copy_out, change interface.
 203         (case_from_values): Rename case_copy_in, change interface.
 204
 205         * fastfile.c (fastfilereader_get_next_case): Update caller.
 206         (write_case_to_disk): Ditto.
 207
 208 2007-06-02  Ben Pfaff  <blp@gnu.org>
 209
 210         Clean up after a forgotten part of patch #5829.
 211
 212         * casedeque.h: Remove unused file.
 213
 214         * automake.mk: Remove casedeque.h from sources.
 215
 216 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
 217
 218         * category.c: Removed redundant #include
 219
 220 2007-05-06  Ben Pfaff  <blp@gnu.org>
 221
 222         Abstract the documents within a dictionary a little better.
 223         Thanks to John Darrington for suggestion, initial version, and
 224         review.  Patch #5917.
 225
 226         * dictionary.c (struct dictionary): Change `documents' member from
 227         char * to struct string.
 228         (dict_clear): Destroy struct string.
 229         (dict_get_documents): Convert struct string to char *.
 230         (dict_set_documents): Set struct string.  Pad to 80-character
 231         multiple.
 232         (dict_clear_documents): New function.
 233         (dict_add_document_line): New function.
 234         (dict_get_document_line_cnt): New function.
 235         (dict_get_document_line): New function.
 236
 237         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
 238
 239         * sys-file-reader.c (read_documents): Use new document functions.
 240
 241 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 242
 243         * sys-file-reader.c: When reading a system file which has no
 244         long name table, automatically create one where the long names
 245         are the lower case versions of the short names.
 246
 247 2007-04-22  Ben Pfaff  <blp@gnu.org>
 248
 249         * dictionary.c (dict_set_split_vars): dict_destroy expects that
 250         dict_clear will free most data related to the dictionary.
 251         dict_clear does a decent job, except that dict_set_split_vars on
 252         some systems won't actually free the dict's "split" member.
 253         Instead, it'll allocate a 1-byte region.  Fix this.
 254
 255         * value.c (value_copy): New function.
 256         (value_set_missing): Ditto.
 257
 258 2007-04-22 John Darrington <john@darrington.wattle.id.au>
 259
 260         * Deleted existing category.h and moved cat-routines.h into
 261         category.h  Encapsulated struct cat_vals better.
 262
 263 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 264
 265         * sys-file-reader.c: When reading a system file which has no
 266         long name table, automatically create one where the long names
 267         are the lower case versions of the short names.
 268
 269 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 270
 271         * sys-file-reader.c: Some versions of Other Software seem to
 272         produce system files with string  variables' measure set to
 273         zero.  We'll assume these are supposed to be nominal variables.
 274
 275 2007-03-30  Ben Pfaff  <blp@gnu.org>
 276
 277         * procedure.c: Adapt to new deque data structure.
 278
 279 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
 280                           Ben Pfaff <blp@gnu.org>
 281
 282         * file-name.c: Mingw compatibility fixes.
 283         (fn_search_path): Use ISSLASH instead of comparing against '/'
 284         directly.
 285         (fn_dir_name): Use dir_name from gnulib.
 286         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
 287         (fn_get_identity): Use GetFullPathName instead of canonicalize
 288         from gnulib, because the latter does not fully support
 289         Windows-style path names.  Use this implementation based on the
 290         detected presence of Windows instead of the absence of Unix, since
 291         the new implementation is Windows-specific.
 292         (fn_compare_file_identities): In Windows implementation, compare
 293         names case-insensitively.
 294
 295 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
 296
 297         * make-file.c: Don't include mkstemp.h, because gnulib now causes
 298         <stdlib.h> to have the same effect.
 299
 300 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
 301
 302         * por-file-reader.c: Add missing _() around messages.
 303
 304 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
 305
 306         * make-file.c: Include "mkstemp.h", without which linking on
 307         mingw32 fails.
 308
 309 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
 310
 311         Reduce platform dependence.
 312
 313         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
 314         Everywhere we using this, we really should have just depended on
 315         the shell to expand tildes.
 316         (fn_search_path): Simplify, given that we don't do tilde expansion
 317         any longer.
 318         (fn_normalize): Removed.  Caller changed to use the canonicalize
 319         module from gnulib.
 320         (fn_get_cwd): Removed.  Only user was fn_normalize.
 321         (fn_is_absolute): Really only test for absolute names.
 322         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
 323         unix.
 324         (fn_readlink): Removed, as it was only used fn_normalize.
 325         (fn_exists): Assume the stat function is available; gnulib does.
 326         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
 327
 328 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
 329
 330         * dictionary.c (dict_create_vector_assert): New function.
 331
 332 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
 333
 334         * file-name.c (fn_normalize): Correct name of function
 335         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
 336         for pointing this out.
 337
 338 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
 339
 340         We are using a single member in struct file_handle, the "name"
 341         field, for more than one purpose.  When it begins with '"', it's a
 342         file name; otherwise, it's a token that can be used to identify
 343         it.  When that assertion fires, it's because we searched for the
 344         name case-sensitively as a file name (so that there was no match),
 345         and then we try to insert it case-insensitively as a token, which
 346         fails because duplicates aren't allowed.
 347
 348         Solution: break the two purposes into two separate fields.  This
 349         fixes the problem and likely makes the code easier to read too.
 350
 351         Fixes bug #18922.  Thanks to John Darrington for bug report and
 352         review.
 353
 354         * file-handle-def.c (struct file_handle): New `id' member.
 355         (fh_from_name): Rename fh_from_id.  Update all callers.
 356         (create_handle): New `id' parameter.  Update all callers.
 357         (fh_create_file): Ditto.
 358         (fh_get_id): New function.
 359
 360 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
 361
 362         * case.c (case_is_null): Change return type to bool.
 363
 364 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
 365
 366         Add debugging code.
 367
 368         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
 369         reference counting to share data.  This makes it easy for
 370         valgrind, etc. to find accesses to cases that have been destroyed
 371         but have been kept around by another user's ref-count.  This often
 372         happens when the data set is small enough to find in memory; if a
 373         bigger data set that would overflow to disk were used, then data
 374         corruption would occur.
 375
 376 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
 377
 378         Simplify code.
 379
 380         * case.c (case_unshare): Make it check internally whether the
 381         ref_cnt is greater than 1, so that the callers don't have to.
 382         Update callers not to check.
 383
 384 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
 385
 386         Before, I was thinking that I might want to get rid of reference
 387         counting at some point.  Now, I'm pretty sure that it's here to
 388         stay.  Thus, because we have to store the value_cnt anyway for
 389         reference-counted cases, we might as well expose it to users.
 390
 391         * case.c (case_get_value_cnt): New function.
 392         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
 393         resize case if its size actually changed.
 394
 395         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
 396         instead of peeking inside struct case directly.
 397         (casefile_append): Ditto.
 398
 399 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
 400
 401         Get rid of the inlines for the case functions, which made the
 402         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
 403         the inlines didn't speed up "make check" at all, which is not a
 404         perfect benchmark but seems indicative.)
 405
 406         * case.c: Remove #ifdef DEBUGGING...#endif around many function
 407         definitions.  Remove some assertions on nonnull pointers that were
 408         redundant with a pointer dereference soon after in the function.
 409         Also:
 410         (struct case_data): Move definition here from case.h.
 411         (case_data): Ditto.
 412         (case_num): Ditto.
 413         (case_str): Ditto.
 414         (case_data_wr): Ditto.
 415
 416 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
 417
 418         * automake.mk: Add casedeque.h to sources.
 419
 420         * casedeque.h: New file.
 421
 422         * procedure.c: (struct dataset) Change lag_count, lag_head,
 423         lag_queue member into single struct casedeque member.  Update all
 424         users to use the casedeque instead.
 425         (lag_case) Removed.
 426
 427 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
 428
 429         * procedure.c: Simplify lagged cases interface.  Updated all
 430         clients--well, the only client--to use the simplified interface.
 431         (dataset_n_lag) Removed.
 432         (dataset_set_n_lag) Removed.
 433         (dataset_need_lag) New function.
 434
 435 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
 436
 437         * dictionary.c procedure.c: More changes to ensure that callbacks occur
 438         whenever appropriate, but only when the dataset/dictionary is in a
 439         consistent state.
 440
 441 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
 442
 443         * dictionary.c dictionary.h : Added callbacks for change of filter and
 444         split variables.  Refactored some code to ensure that callbacks get
 445         invoked when appropriate.
 446
 447         * procedure.c (proc_cancel_temporary_transformations): Make sure that
 448         replace_dict callback occurs when permanent_dict replaces the current
 449         dictionary.
 450
 451 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
 452
 453         * dictionary.c dictionary.h : Added callback for when the weight
 454         variable of a dictionary changes.
 455
 456 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
 457
 458         * dictionary.c dictionary.h : Added replace_source and replace_dict
 459         callbacks, and functions to deal with them.
 460
 461 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
 462
 463         Simplify missing value handling.
 464
 465         * missing-values.h (enum mv_class): New type.
 466         (enum mv_type): Moved definition into missing-values.c and renamed
 467         each MV_* to MVT_*, to distinguish them from the exposed mv_class
 468         enums.  Updated all uses.
 469         (struct missing_values): Changed type of `type' from `enum
 470         mv_type' to `int' because the definition is no longer exposed.
 471
 472         * missing-values.c (mv_is_value_missing): Add new enum mv_class
 473         parameter.  Update all callers.
 474         (mv_is_num_missing): Ditto.
 475         (mv_is_str_missing): Ditto.
 476         (mv_is_value_user_missing): Removed.  Changed callers to use
 477         mv_is_value_missing.
 478         (mv_is_num_user_missing): Removed.  Changed callers to use
 479         mv_is_num_missing.
 480         (mv_is_str_user_missing): Removed.  Changed callers to use
 481         mv_is_str_missing.
 482         (mv_is_value_system_missing): Removed.  Changed callers to use
 483         mv_is_value_missing.
 484         (mv_set_type): Removed.  Changed callers to use mv_clear.
 485         (mv_clear): New function.
 486
 487         * variable.c (var_is_value_missing): Add new enum mv_class
 488         parameter.  Update all callers.
 489         (var_is_num_missing): Ditto.
 490         (var_is_str_missing): Ditto.
 491         (var_is_value_user_missing): Removed.  Changed callers to use
 492         var_is_value_missing.
 493         (var_is_num_user_missing): Removed.  Changed callers to use
 494         var_is_num_missing.
 495         (var_is_str_user_missing): Removed.  Changed callers to use
 496         var_is_str_missing.
 497         (var_is_value_system_missing): Removed.  Changed callers to use
 498         var_is_value_missing.
 499
 500         * casefilter.c (struct casefilter): Use enum mv_class in place of
 501         bool.
 502         (casefilter_variable_missing): Adapt to new member.
 503         (casefilter_create): Change signature to take enum mv_class,
 504         update callers.
 505
 506 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 507
 508         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
 509
 510         * case-sink.c case-sink.h procedure.c procedure.h
 511           storage-stream.c: Now uses the factory.
 512
 513 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
 514
 515         Make it possible to pull cases from the active file with a
 516         function call, instead of requiring indirection through a callback
 517         function.
 518
 519         * case-source.h (struct case_source_class): Change ->read function
 520         to return a single case, instead of calling a callback function
 521         for each case.  Change ->destroy function to return an error
 522         status.
 523
 524         * case-source.c (free_case_source): Pass along the value returned
 525         by the case_source ->destroy function.
 526
 527         * procedure.c (struct write_case_data): Removed.
 528         (struct dataset): Added some members to track procedure state.
 529         (procedure): Optimize the trivial case at this level.
 530         (internal_procedure): Re-implement in terms of proc_open,
 531         proc_read, proc_close.
 532         (proc_open) New function.
 533         (proc_read) New function.
 534         (proc_close) New function.
 535         (write_case) Moved into proc_read.
 536         (close_active_file) Moved closing of data source into proc_close.
 537
 538         * storage-source.c: Rewrote to conform with modified
 539         case_source_class interface.
 540
 541         * transformations.c (trns_chain_execute): Added argument to allow
 542         starting execution from an arbitrary transformation.  Updated
 543         callers.
 544
 545         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
 546
 547 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
 548
 549         * sys-file-reader.c (read_display_parameters): Don't assume that
 550         MEASURE_* and ALIGN_* have the same values found in system files.
 551
 552         * sys-file-writer.c (write_variable_display_parameters): Ditto.
 553
 554         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
 555         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
 556         the value of n_MEASURES, which was off by 1 (at least from my
 557         point of view).
 558
 559 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 560
 561         * dictionary.c dictionary.h vardict.h variable.c: Added optional
 562                 callbacks which are invoked when the dictionary or its
 563                 variables are changed.
 564
 565         * missing-values.c missing-values.h value-labels.c: Tidied up
 566                 consistency checks, and made some of them return false
 567                 instead of assert-failing.
 568
 569 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
 570
 571         * calendar.c (calendar_days_in_month): New function.
 572
 573 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
 574
 575         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
 576         the value label's width.
 577
 578 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
 579
 580         * sfm-private.h: Move contents into sys-file-writer.c, which is
 581         the only remaining user.  Removed Borland C++-specific directives.
 582
 583         * sys-file-reader.c: Clean up and rewrite entire file.  The
 584         rewritten version is simpler and better abstracted, and should be
 585         easier to maintain and extend.  It avoids using structures to read
 586         file data, which is prone to padding variations among compilers.
 587         It should also handle non-IEEE 754 system files, although I
 588         haven't been able to find any.  It has been tested against many
 589         .sav files obtained from the Web and found to produce the same
 590         results as the earlier version of the code, or in some cases
 591         improved results.  It is more tolerant of format variations found
 592         in the wild.
 593
 594         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
 595         member, putting an enum integer_format in its place.  New member
 596         `float_format'.  Changed `compressed' member to type bool.
 597
 598 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
 599
 600         * dictionary.c (dict_delete_consecutive_vars): New function.
 601
 602 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
 603
 604         * file-name.c (fn_search_path): Remove prefix arg that was unused
 605         by any caller.  Updated all callers.
 606
 607 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
 608
 609         * format.c (fmt_dollar_template): Use user's decimal point
 610         character.  Add assertion.
 611
 612 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
 613
 614         * format.c (fmt_dollar_template): New function, based on
 615         dollar_format_template from var-type-dialog.c.
 616
 617 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
 618
 619         * data-out.c (output_scientific): Fix bad assumption that "buf" is
 620         null-terminated.
 621
 622 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
 623
 624         Finish converting struct variable to an opaque type.  In this
 625         phase, we add remaining setter and getter functions, convert the
 626         remaining PSPP code to use them, and do a bunch of cleanup.  The
 627         resulting changes are pervasive but mostly trivial, and only the
 628         notable changes are logged.
 629
 630         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
 631         files.
 632
 633         * case.c (case_data): Renamed case_data_idx.
 634         (case_num): Renamed case_num_idx.
 635         (case_str): Renamed case_str_idx.
 636         (case_data_rw): Renamed case_data_rw_idx.
 637
 638         * case.h (case_data): New function with old name and an interface
 639         that takes a variable instead of an index, which is easier to
 640         use.  Updated all callers to use the new interface, or to use the
 641         new *_idx function (see above).
 642         (case_num): Ditto.
 643         (case_str): Ditto.
 644         (case_data_rw): Ditto.
 645
 646         * category.c (cat_stored_values_destroy): Changed interface to
 647         take a struct cat_vals * instead of a struct variable *.
 648
 649         * dictionary.c (dict_clone): Use new vector_clone function.
 650         (dict_clear) Use new var_destroy function.
 651         (add_var) New function.
 652         (dict_create_var) Rewrite in terms of dict_create_var_assert.
 653         (dict_create_var_assert) Rewrite in terms of add_var.
 654         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
 655         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
 656         (dict_lookup_var) Use new var_create, var_destroy functions.
 657         (dict_contains_var) Rewrite in terms of new vardict functionality.
 658         (set_var_dict_index) New function.
 659         (set_var_case_index) New function.
 660         (reindex_vars) New function.
 661         (dict_delete_var) Rewrite in terms of new vardict functionality.
 662         (dict_reorder_var) Ditto.
 663         (dict_reorder_vars) Ditto.
 664         (rename_var) New function.
 665         (dict_rename_var) Use rename_var.
 666         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
 667         (dict_get_compacted_idx_to_fv) Rename
 668         dict_get_compacted_dict_index_to_case_index, update callers.
 669         (dict_create_vector) Use new vector_create function.
 670         (dict_clear_vectors) Use new vector_destroy function.
 671         (set_var_short_name_suffix) Move here from variable.c, renamed
 672         from var_set_short_name_suffix, make static, update caller.
 673
 674         * sys-file-private.c: New file.
 675         (sfm_width_to_bytes) Moved here from variable.c, renamed from
 676         width_to_bytes, update callers.
 677
 678         * sys-file-private.h: New file.  Later it will supplant
 679         sfm-private.h; for now it supplements it.
 680         (macro MIN_VERY_LONG_STRING) New macro.
 681         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
 682
 683         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
 684         MAX_LONG_STRING was used before.
 685
 686         * sys-file-writer.c: Ditto.
 687
 688         * value-labels.c: Change the paradigm here to be that a null
 689         pointer is OK for a struct val_labs * in most cases; it just
 690         represents an empty set of value labels.
 691         (val_labs_copy) A copy of a null set is a null set.
 692         (val_labs_count) A null set has 0 labels.
 693         (val_labs_replace) Change return type to void.  Rewrite for
 694         simplicity.
 695         (val_labs_find) A null set does not contain the value.
 696         (value_to_string) Moved to variable.c, renamed var_get_value_name,
 697         transposed argument order, updated all callers.
 698
 699         * value.c: New file.
 700         (value_dup) Moved here from variable.c.
 701         (compare_values) Ditto.
 702         (hash_value) Ditto.
 703
 704         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
 705         (macro MAX_LONG_STRING) Removed, because it was only interesting
 706         for system files, not for general code.
 707         (macro MAX_VERY_LONG_STRING) Ditto.
 708         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
 709         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
 710
 711         * vardict.h: New file, for an interface between variables and
 712         their dictionaries.
 713
 714         * variable.c: A lot of functions were moved around, for better
 715         organization.
 716         (struct variable) Move definition here, from variable.h.
 717         (var_type_adj) Removed--makes i18n hard.
 718         (var_type_noun) Ditto.
 719         (var_create) New function.
 720         (var_clone) New function.
 721         (var_destroy) New function.
 722         (var_set_name) Assert that variable is not in a dictionary.
 723         (compare_var_names) Rename compare_vars_by_name and fix a couple
 724         of callers who thought the args were strings.
 725         (hash_var_name) Rename hash_var_by_name.
 726         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
 727         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
 728         (var_is_very_long_string) Removed, because it was only interesting
 729         to system file code.
 730         (var_set_missing_values) Allow the argument to be the wrong width,
 731         as long as we can resize it.  Simplify callers who were doing the
 732         resizing themselves.
 733         (var_get_value_labels) New function.
 734         (var_has_value_labels) New function.
 735         (var_set_value_labels) New function.
 736         (alloc_value_labels) New function.
 737         (var_add_value_label) New function.
 738         (var_replace_value_label) New function.
 739         (var_clear_value_labels) New function.
 740         (var_lookup_value_label) New function.
 741         (var_get_value_name) Moved here from variable.c, renamed from
 742         var_get_value_name, transposed argument order, updated all
 743         callers.
 744         (var_to_string) Moved here, from variable-label.c.
 745         (var_set_leave) New function.
 746         (var_get_leave) New function.
 747         (var_must_leave) New function.
 748         (var_set_short_name_suffix) Moved to dictionary.c, renamed
 749         set_var_short_name_suffix.
 750         (var_get_dict_index) New function.
 751         (var_get_case_index) New function.
 752         (var_get_obs_vals) New function.
 753         (var_set_obs_vals) New function.
 754         (var_has_obs_vals) New function.
 755         (var_get_vardict) New function.
 756         (var_set_vardict) New function.
 757         (var_has_vardict) New function.
 758         (var_clear_vardict) New function.
 759         (value_dup) Moved to value.c.
 760         (compare_values) Ditto.
 761         (hash_value) Ditto.
 762
 763         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
 764         (enum ALPHA) Rename VAR_STRING, update all users.
 765
 766         * vector.c: New file.
 767         (struct vector) Moved here, from variable.h.
 768         (check_widths) New function.
 769         (vector_create) New function.
 770         (vector_clone) New function.
 771         (vector_destroy) New function.
 772         (vector_get_name) New function.
 773         (vector_get_var) New function.
 774         (vector_get_var_cnt) New function.
 775         (compare_vector_ptrs_by_name) New function.
 776
 777         * vector.h: New file.
 778
 779 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 780
 781         * casefilter.c (casefilter_variable_missing): Avoided comparision of
 782         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
 783         problem.
 784
 785 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
 786
 787         * value-labels.c (destroy_atoms): New function.
 788         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
 789
 790 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
 791
 792         Thanks to Jason Stover for pointing out this problem.
 793
 794         * data-out.c (output_number): Use gsl_finite from GSL, which is
 795         portable, instead of isfinite, which is not.
 796         (power256) Ditto.
 797
 798 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 799
 800         * variable.c variable.h (value_dup): New function.
 801
 802 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
 803
 804         Start converting struct variable to an opaque type.  In this
 805         phase, we add a bunch of setter and getter functions and convert
 806         most of the PSPP code to use them.  The resulting changes are
 807         pervasive but mostly trivial, and only the notable changes are
 808         logged.
 809
 810         * format.c (fmt_equal): New function.
 811
 812         * variable.c (var_type_is_valid): New function.
 813         (measure_is_valid) Moved here, from format.c.
 814         (alignment_is_valid) Moved here, from format.c.
 815         (var_get_name) New function.
 816         (var_set_name) New function.
 817         (width_to_type) New function.
 818         (var_get_type) New function.
 819         (var_get_width) New function.
 820         (var_set_width) New function.
 821         (var_is_numeric) New function.
 822         (var_is_alpha) New function.
 823         (var_is_short_string) New function.
 824         (var_is_long_string) New function.
 825         (var_is_very_long_string) New function.
 826         (var_get_missing_values) New function.
 827         (var_set_missing_values) New function.
 828         (var_clear_missing_values) New function.
 829         (var_has_missing_values) New function.
 830         (var_is_value_missing) New function.
 831         (var_is_num_missing) New function.
 832         (var_is_str_missing) New function.
 833         (var_is_value_user_missing) New function.
 834         (var_is_num_user_missing) New function.
 835         (var_is_str_user_missing) New function.
 836         (var_is_value_system_missing) New function.
 837         (var_get_print_format) New function.
 838         (var_set_print_format) New function.
 839         (var_get_write_format) New function.
 840         (var_set_write_format) New function.
 841         (var_set_both_formats) New function.
 842         (var_get_label) New function.
 843         (var_set_label) New function.
 844         (var_clear_label) New function.
 845         (var_has_label) New function.
 846         (var_get_measure) New function.
 847         (var_set_measure) New function.
 848         (var_get_display_width) New function.
 849         (var_set_display_width) New function.
 850         (var_get_alignment) New function.
 851         (var_set_alignment) New function.
 852         (var_get_value_cnt) New function.
 853         (var_get_leave) New function.
 854         (var_get_short_name) New function.
 855
 856         * variable.h: (struct variable) Removed "type" and "nv" members;
 857         they are now computed from "width" where needed.
 858
 859 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
 860
 861         * missing-values.c (mv_resize): Don't write beyond end of the
 862         allocated buffer when resizing a long string.
 863
 864 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
 865
 866         Clean up identifier code: don't require identifier enumerations to
 867         be in a particular order; make better use of string library;
 868         expose less of the internals.
 869
 870         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
 871         change interface.  Updated all callers.
 872         (lex_id_match) Change interface to use struct substring, update
 873         all callers.
 874         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
 875         (global array keywords[]) Make static, change form.  Update all
 876         users to use lex_id_name instead.
 877         (lex_is_keyword) New function.
 878         (lex_id_to_token) Change interface to use struct substring, update
 879         all callers.
 880         (lex_id_name) New function.
 881
 882         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
 883         lex_is_keyword instead.
 884         (T_LAST_KEYWORD) Removed.
 885         (T_N_KEYWORDS) Removed.
 886
 887 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
 888
 889         * format.c: (fmt_date_template) Distinguish characters for which a
 890         space is output and any date delimiter is allowed on input, from
 891         those for which a space is output and only a space is allowed on
 892         input.  The former is represented by X, the latter by a space.
 893         Also, drop distinction between h and H, changing the former to the
 894         latter.
 895
 896         * data-in.c: Completely rewrite internals to conform to SPSS input
 897         formats as closely as possible.
 898         (data_in) Changed external interface by replacing the structure
 899         that was used as a single argument by a set of arguments.  Updated
 900         all callers.
 901         (data_in_finite_line) Removed.  Converted all callers to use plain
 902         data_in.
 903         (data_in_get_integer_format) New function.
 904         (data_in_set_integer_format) New function.
 905         (data_in_get_float_format) New function.
 906         (data_in_set_float_format) New function.
 907
 908         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
 909         (struct data_in) Removed.
 910
 911         * data-out.c: (output_date) Drop each component from the input as
 912         it is output, to allow us to drop the distinction between h (a
 913         count of hours) and H (the hour of day) template characters.
 914         Also, handle new X template character.
 915         (output_scientific) Follow more rational rule on when to drop
 916         fraction introduced between SPSS 13 and 15.  Updated test case to
 917         match new behavior.
 918
 919 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
 920
 921         Fix buffer overflow reported by John Darrington.
 922
 923         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
 924         realize that DIGITS is a count of nibbles, not of bytes.
 925
 926 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
 927
 928         * calendar.c (calendar_offset_to_gregorian) Also return the
 929         year-of-day.  Change callers to new interface.
 930
 931         * data-out.c: Completely rewrite internals to conform to SPSS
 932         output formats as completely as possible.
 933         (data_out) Change interface to put input parameters before output
 934         parameters, for consistency with the style I now prefer.  Update
 935         all callers.
 936         (data_out_get_integer_format) New public function.
 937         (data_out_set_integer_format) New public function.
 938         (data_out_get_float_format) New public function.
 939         (data_out_set_float_format) New public function.
 940
 941         * data-out.h: New file.  Move prototype for data_out here, from
 942         format.h.
 943
 944         * format.c: (fmt_step_width) Use equality comparison instead of
 945         bitwise and, for clarity.
 946         (fmt_is_string) Ditto.
 947         (fmt_input_to_output) Fix categories that are translated to F
 948         format.
 949
 950 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 951
 952         * casefilter.c casefilter.h (new files), casefile.c casefile.h
 953         casefile-private.h: Added casefilter to assist commands with missing
 954         values.
 955
 956 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
 957
 958         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
 959
 960         * settings.c: (route_errors_to_terminal) New variable.
 961         (route_errors_to_listing) New variable.
 962         (get_error_routing_to_terminal) New function.
 963         (set_error_routing_to_terminal) New function.
 964         (get_error_routing_to_listing) New function.
 965         (set_error_routing_to_listing) New function.
 966
 967         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
 968
 969 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
 970
 971         * format.c: Completely rewrite, to achieve better abstraction.
 972         Rewrite all references to formats in other files.
 973
 974         * format.def: Rewrite and reorganize.
 975
 976         * settings.c: Move everything related to custom currency formats
 977         into format.[ch], changing them in form, so as to group related
 978         code and definitions better.  Changed all references to use the
 979         new functions.
 980         (static var decimal) Removed.
 981         (static var grouping) Removed.
 982         (static var cc) Removed.
 983         (get_decimal) Removed.
 984         (set_decimal) Removed.
 985         (get_grouping) Removed.
 986         (set_grouping) Removed.
 987         (get_cc) Removed.
 988         (set_cc) Removed.
 989
 990         * settings.h: (macro CC_CNT) Removed.
 991         (macro CC_WIDTH) Removed.
 992         (struct custom_currency) Removed.
 993
 994 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
 995
 996         * data-in.c (data_in): Use switch statement instead of table, to
 997         avoid dependence on the order of the FMT_* enums.
 998
 999 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
1000
1001         * data-out.c: (num_to_string) Removed, because it was dead code.
1002
1003 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
1004
1005         * data-in.c (parse_trailer): Fix error message.
1006
1007 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1008
1009         * format.c (fmt_is_binary): New function.
1010
1011 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1012
1013         * procedure.c procedure.h: Encapsulated the static data into a single
1014         struct.
1015
1016 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1017
1018         * casefile.c (casereader_read_xfer): Always initialize the case,
1019         even on an error condition.
1020
1021 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1022
1023         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the
1024         entire function useless.
1025
1026 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1027
1028         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1029         casereader method casereader_clone.
1030
1031         * procedure.c pransformations.h: Introduced new type casenum_t
1032
1033 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1034
1035         * variable.c: (width_to_bytes) Rephrase code for clarify.
1036
1037 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1038
1039         * format.c: (fmt_type_from_string) New function.
1040         (fmt_to_string) Include decimals in output if the format has
1041         decimals, even if the format type does not.  This way, we can
1042         accurately reproduce incorrect formats in user output.
1043         (check_common_specifier) Make the check for a bad format type an
1044         assertion, so we get bug reports if they show up.  Fix message.
1045         Check for decimal places with a format type that doesn't allow
1046         them.
1047         (check_input_specifier) Remove check for FMT_X, which has been
1048         deleted.
1049         (check_output_specifier) Ditto.
1050
1051         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1052
1053         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1054         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1055         (enum fmt_parse_flags) Removed.
1056
1057 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1058
1059         * casefile.c casefile.h: Converted to  an abstract base class.
1060         * casefile-private.h fastfile.c fastfile.h: New files.
1061         * automake.mk procedure.c scratch-writer.c storage-stream.c
1062
1063 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1064
1065         * procedure.c (internal_procedure): Create sink_case with only as
1066         many values as the compacted dictionary.
1067
1068 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1069
1070         Remove "debugging" code that caused plenty of false positives and
1071         no true positives.
1072
1073         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1074
1075         * case.c: Remove all references to `this' member.
1076
1077 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1078
1079         Fix link error noted by Jason Stover.
1080
1081         * storage-stream.c: Include <assert.h>.
1082
1083 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1084
1085         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1086         ALL) and additional underlying system file issues.
1087
1088         Thanks to John Darrington for review.
1089
1090         First problem: var_hash points to variables not owned by the
1091         sys-file-reader, which the caller may free or modify.  Use an
1092         array of sfm_vars instead, as done earlier (e.g. CVS version
1093         1.12).
1094
1095         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
1096         members and remove all code that references it.  Add vars, var_cnt
1097         members.  Remove fix_specials member, which was unused.
1098         (struct sfm_var) Remove name member, which was unused.
1099         (sfm_close_reader) Free vars member instead of var_hash.
1100         (compare_var_shortnames) Removed.
1101         (hash_var_shortname) Removed.
1102         (sfm_open_reader) Fill out vars array.
1103         (compare_var_index) Removed.
1104         (sfm_read_case) Use vars instead of var_hash.
1105
1106         Second problem: we're confused about when we actually have very
1107         long strings, causing us to choose incorrectly between slow path
1108         and fast path in sfm_read_case.
1109
1110         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
1111         have very long strings, not when we have long variable names,
1112         which is an unrelated feature.
1113
1114 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
1115
1116         * variable.h: Move var_set and variable parsing declarations to
1117         new header, src/language/lexer/variable-parser.h.  Modified lots
1118         of files to include the new header.
1119
1120 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1121
1122         * value-labels.c (value_to_string): When there's no value label,
1123         format the variable according to its print format, instead of
1124         always effectively using A or F format.
1125
1126 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1127
1128         * casefile.c (casefile_get_random_reader): Nasty hack to get around
1129         the mode assertion.
1130
1131         * format.c: Removed tortological assertion.
1132
1133 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1134
1135         Reform string library.
1136
1137         * file-name.c (fn_interp_vars): Change interface to take a
1138         substring as input.  Updated all users.
1139
1140 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1141
1142         * format.c (measure_is_valid): Really return false when m >=
1143         n_MEASURES.
1144
1145 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1146
1147         Implement random access to casefiles, for use in GUI.
1148
1149         * casefile.c: (struct casereader) Add `random', `file_ofs',
1150         `buffer_ofs' members.
1151         (casefile_get_random_reader) New function.
1152         (read_open_file) Break part into new function
1153         seek_and_fill_buffer().
1154         (fill_buffer) Update buffer_ofs, file_ofs.
1155         (casereader_seek) New function.
1156
1157 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1158
1159         * settings.c: Added call to i18n{done, init}.
1160
1161 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1162
1163         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1164         prototypes.
1165
1166 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1167
1168         * casefile.c: Convert many uses of `int' to `bool'.
1169
1170 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1171
1172         * transformations.c (trns_chain_destroy): Destroy chain's trns
1173         member, to fix memory leak.
1174
1175 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1176
1177         * storage-stream.c (storage_source_decapsulate): Destroy case
1178         source to fix memory leak.
1179
1180 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1181
1182         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1183         case passed as argument instead of initializing the argument as a
1184         case.  Fixes memory leak that showed up in
1185         tests/command/aggregate.sh with scratch files.
1186
1187 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1188
1189         * procedure.c (proc_done): Destroy default_dict, to fix memory
1190         leak.
1191
1192 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1193
1194         Simplify procedure_with_splits().
1195
1196         * procedure.c (struct split_aux_data): Removed case_count member.
1197         (procedure_with_splits) Don't initialize case_count.
1198         (split_procedure_case_func) Check whether prev_case is null
1199         instead of case_count.
1200         (split_procedure_end_func) Ditto.
1201
1202 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1203
1204         * case.c (case_move): Do nothing if dst and src are the same
1205         object.
1206         (case_try_create) Merge two similar cases.
1207         (case_copy) Unshare only if data must be actually copied.
1208
1209 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1210
1211         * data-in.c data-out.c dictionary.c sys-file-reader.c
1212         sys-file-writer.c variable.c variable.h:  Reworked very long string
1213         support for better encapsulation.
1214
1215 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1216
1217         * value-labels.c (val_labs_can_set_width): New function.
1218         (val_labs_set_width) Clear labels if increasing width to long
1219         string.
1220         (val_labs_destroy) Remove unneeded test for null.
1221
1222 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1223
1224         * value-labels.h: Remove unneeded dependency on variable.h.
1225
1226 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1227
1228         Get rid of `char *c' member in union value, for cleanliness.
1229
1230         * value.h: (union value) Remove `c' member.
1231
1232 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1233
1234         Make dictionary compacting functions a little more general.
1235
1236         * sys-file-writer.c (sfm_open_writer): Use
1237         dict_compacting_would_change().
1238         (does_dict_need_translation) Removed.
1239
1240 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1241
1242         Make dictionary compacting functions a little more general.
1243
1244         * dictionary.c (dict_needs_compaction): Rename
1245         dict_compacting_would_shrink().  Update all callers.
1246         (dict_compacting_would_change) New function.
1247
1248 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1249
1250         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1251         inverted return value (!).
1252
1253 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1254
1255         Continue reforming procedure execution.
1256
1257         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1258         (static var vfm_source) Rename proc_source.  Update all
1259         references.
1260         (static var vfm_sink) Rename proc_sink.  Update all references.
1261
1262 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1263
1264         Continue reforming procedure execution.  In this phase, remove
1265         PROCESS IF, which was deprecated anyway and can be easily
1266         simulated with TEMPORARY followed by SELECT IF.
1267
1268         * procedure.c: (open_active_file) Don't call
1269         add_process_if_trns().
1270         (discard_variables) Get rid of redundant call to
1271         proc_cancel_all_transformations().
1272         (add_process_if_trns) Removed.
1273         (process_if_trns_proc) Removed.
1274         (process_if_trns_free) Removed.
1275
1276 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1277
1278         Continue reforming procedure execution.  In this phase, add
1279         `const' to the case passed to procedure()'s callback.
1280
1281         Updated all users of procedure() as well.
1282
1283         * procedure.c: (struct write_case_data) Add "const" to ccase
1284         parameter for case_func member.
1285         (procedure) Add "const" to ccase parameter for proc_func
1286         parameter.
1287         (multipass_case_func) Make ccase parameter const.
1288         (internal_procedure) Add "const" to ccase parameter for case_func
1289         parameter.
1290         (split_procedure_case_func) Make ccase parameter const.
1291         (multipass_split_case_func) Make ccase parameter const.
1292
1293 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1294
1295         Continue reforming procedure execution.  In this phase, get rid of
1296         the output code for SPLIT FILE groups in procedure.c, which really
1297         shouldn't be doing any output.  Move it into the individual
1298         procedures instead.  This also adds some flexibility.
1299
1300         Updated many users of procedure_with_splits() and
1301         multipass_procedure_with_splits() to call
1302         output_split_file_values() and to deal with increased use of
1303         const.
1304
1305         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1306         parameter to begin_func member.
1307         (procedure_with_splits) Add "const struct ccase *" parameter to
1308         begin_func parameter.  Make ccase parameter const in proc_func
1309         parameter.
1310         (split_procedure_case_func) Don't dump split file group.  Pass
1311         case to begin_func.
1312         (dump_splits) Moved to language/dictionary/split-file.c as
1313         output_split_file_values().
1314         (struct multipass_split_aux_data) Add "const struct ccase *"
1315         parameter to split_func member.
1316         (multipass_procedure_with_splits) Add "const struct ccase *"
1317         parameter to split_func parameter.
1318         (multipass_split_case_func) Save new SPLIT FILE case before
1319         outputting case.
1320         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1321
1322 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1323
1324         Continue reforming procedure execution.  Change
1325         internal_procedure() so that it calls open_active_file() and
1326         close_active_file(), which isolates most of the actual procedure
1327         functionality.
1328
1329         * procedure.c: (struct write_case_data) Rename `proc_func' member
1330         to `case_func' and update all references.
1331         (procedure) Rewrite as one-line wrapper around
1332         internal_procedure().
1333         (struct multipass_aux_data) New.
1334         (multipass_callback) Renamed multipass_case_func().  Use struct
1335         multipass_aux_data as auxiliary data.
1336         (multipass_end_func) New function.
1337         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1338         that uses multipass_case_func, multipass_end_func.
1339         (internal_procedure) Add `end_func' argument.  Move optimization
1340         of trivial case in here.  Move call to open_active_file() and
1341         close_active_file() in here.  Now assert that vfm_source is
1342         non-null.
1343         (procedure_with_splits_callback) Rename
1344         split_procedure_case_func().
1345         (split_procedure_end_func) New function.
1346         (multipass_split_callback) Rename multipass_split_case_func.
1347         (multipass_split_end_func) New function.
1348         (discard_variables) No need to test for nonnull vfm_source.
1349
1350 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1351
1352         Continue reforming procedure execution.  Get rid of unused member.
1353
1354         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1355         member.
1356         (write_case) Don't increment cases_analyzed.
1357
1358 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1359
1360         Continue reforming procedure execution.  In this phase, move
1361         procedure.c and procedure.h from src to src/data.  Update
1362         makefiles and #includes accordingly.
1363
1364         * procedure.c: Moved here from src/.
1365
1366         * procedure.h: Moved here from src/.
1367
1368 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1369
1370         Continue reforming procedure execution.  In this phase, get rid of
1371         many global variables, consolidating procedure execution in
1372         procedure.c.  Encapsulate transformations in new "struct
1373         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1374         and PROCESS IF from special cases to transformations.
1375
1376         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1377         transformations.h.
1378
1379         * dictionary.c: (global variable default_dict) Move to
1380         src/procedure.c.
1381
1382         * variable.h: (TRNS_*) Move to transformations.h.
1383         (struct transformation) Move to transformations.c.
1384
1385 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1386
1387         * sys-file-reader.c: Fixed invalid read problems.
1388
1389 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1390
1391         * storage-stream.c: Add missing function comments.
1392
1393 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1394
1395         Continue reforming procedure execution.  In this phase, add some
1396         new, needed functionality to storage-stream.
1397
1398         * storage-stream.c: (storage_source_decapsulate) New function.
1399
1400 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1401
1402         * variable.c (width_to_bytes): Declarations must precede
1403         statements for C90 compliance.
1404
1405 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1406
1407         * data-out.c, data-in.c, variable.c, variable.h: New functions
1408         copy_mangle and copy_demangle for reading/writing cases; emulates the
1409         way SPSS deals with strings > 255 bytes.
1410
1411         * sys-file-reader.c sys-file-writer.c: Added support for Record 7,
1412         subtype 14 needed for strings longer than 255 bytes.
1413
1414         * dictionary.c, format.def, value.c : Updated to use MAX_STRING
1415         instead of literal values. Also fixed some constness issues.
1416
1417         * format.h: Constness
1418
1419         * sfm-private.h: Renamed the case_size identifier, since I discovered
1420         that SPSS's respect for this variable is very nominal.
1421
1422 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1423
1424         Change case limit type from int to size_t.
1425
1426         * dictionary.c: (struct dictionary) Change type of case_limit
1427         member.
1428         (dict_get_case_limit) Change return type.
1429         (dict_set_case_limit) Change parameter type.
1430
1431 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1432
1433         * variable.h: (struct variable) Rename `reinit' member as `leave'
1434         and invert sense.  Fix up all references.
1435
1436 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1437
1438         Continue reforming procedure execution.  In this phase, break
1439         procedure.c into multiple files.
1440
1441         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1442
1443         * case-sink.c: New file.
1444
1445         * case-sink.h: New file.
1446
1447         * case-source.c: New file.
1448
1449         * case-source.h: New file.
1450
1451         * storage-stream.c: New file.
1452
1453         * storage-stream.h: New file.
1454
1455 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1456
1457         * variable.h: (struct variable) Remove `init' member and all
1458         references to it from other files.  It was initialized in several
1459         places, but nothing really ever used it for anything worthwhile.
1460         Thanks to Jason Stover for pointing out how confusing this
1461         member is.
1462
1463 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1464
1465         Continue reforming error message support.  In this phase, get rid
1466         of message "titles" and put the message text in `struct error'.
1467         Now `struct error' encapsulates a message more properly.
1468
1469         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1470         Format message ourselves.
1471
1472         * data-in.c: (vdls_error) Ditto.
1473
1474         * por-file-reader.c: (error) Ditto.
1475
1476         * sys-file-reader.c: (corrupt_msg) Ditto.
1477
1478 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1479
1480         GNU standards require "file name" instead of "filename" in
1481         documentation.  It's nice for our code to follow the convention
1482         too.
1483
1484         * casefile.c: (struct casefile) Rename `filename' member to
1485         `file_name'.  Updated all references.
1486
1487         * file-name.c: [!unix] (struct file_identity) Rename
1488         normalized_filename member to normalized_file_name.  Updated all
1489         references.
1490
1491 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1492
1493         We don't really support anything but Unix-like environments well,
1494         so we might as well de-obfuscate by writing directory and path
1495         separators explicitly.
1496
1497         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1498         to just '/'.
1499         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1500         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1501         "/".
1502         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1503         ":"
1504
1505 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1506
1507         GNU standards require "file name" instead of "filename" in
1508         documentation.  It's nice for our code to follow the convention
1509         too.
1510
1511         * filename.c: Rename to file-name.c.
1512
1513         * filename.h: Rename to file-name.h.  Update all inclusions.
1514         Update header guards.
1515
1516         * automake.mk: Update file names.
1517
1518 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1519
1520         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1521         updated.
1522         (fn_basename) Removed (dead code).
1523         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1524         (fn_special_p) Renamed fn_is_special(), all references updated.
1525         (fn_exists_p) Renamed fn_exists(), all references updated.
1526
1527 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1528
1529         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.
1530         Also, now it only tilde-expands file names, not paths.
1531         (fn_search_path) Tilde-expand one directory at a time.
1532
1533 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1534
1535         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1536         get rid of non-Unixlike version of the code, which has probably
1537         never been tested.
1538         (fn_prepend_dir) Removed (dead code).
1539
1540         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1541         (macro PATH_SEPARATOR_STRING) New.
1542 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1543
1544         Continue reforming error message support.  In this phase, we get
1545         rid of VM() and the other msg() support for "verbosity", replacing
1546         it by a new function verbose_msg().
1547
1548         * filename.c: (fn_search_path) Use verbose_msg() instead of
1549         msg(VM(), ...).
1550
1551 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1552
1553         * sfm-private.h: Get rid of #defines after #error, which makes no
1554         sense.
1555
1556 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1557
1558         Get rid of our own int32 type in favor of the standard int32_t
1559         type.
1560
1561         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1562         include <stdint.h>.
1563
1564         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1565
1566         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1567
1568 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1569
1570         Remove ill-considered file routines that are no longer used.
1571
1572         * filename.c: (fn_open_ext) Removed.
1573         (fn_close_ext) Removed.
1574
1575         * filename.h: (struct file_ext) Removed.
1576
1577 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1578
1579         * variable.c (var_is_valid_name): Move declarations before code
1580         for C90 compliance.
1581
1582 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1583
1584         * filename.ch (fn_interp_vars): Fixed small buglet.
1585
1586 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1587
1588         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1589         so as to modify the string inline.   Thus makeing it easier to
1590         destroy the results when no longer needed.
1591
1592 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
1593
1594         * category.c (cat_stored_values_destroy): Fixed memory leak.
1595
1596 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
1597
1598         Add some missing frees.  Thanks to John Darrington for reporting
1599         these.
1600
1601         * any-writer.c (any_writer_close): Free writer.
1602
1603         * any-reader.c (any_reader_close): Free reader.
1604
1605 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
1606
1607         * por-file-reader.c: (error) Mark as NO_RETURN.
1608
1609 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
1610
1611         * settings.c: Changed default value of scompress to true.
1612
1613 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
1614
1615         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
1616
1617         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
1618         really applies.
1619
1620         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
1621         here from pref.h.orig.
1622
1623 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
1624
1625         * sys-file-reader.c: Fixed bug reading compressed files.
1626
1627 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1628
1629         * Numerous renames.  See src/ChangeLog for details.
1630
1631         * Moved files from src directory