src/data/ChangeLog

   1 2007-09-13  John Darrinton <john@darrington.wattle.id.au>
   2
   3         * value.c value.h (create_value): New function.
   4
   5 2007-09-12  Ben Pfaff  <blp@gnu.org>
   6
   7         Make it clear that translator casereader and casewriter translate
   8         functions are supposed to destroy their input case.
   9
  10         * casereader-translator.c (struct casereader_translator): Change
  11         input case parameter of translate member function from const
  12         struct ccase * to struct ccase *.
  13         (casereader_create_translator): Ditto, for translate parameter.
  14
  15         * casewriter-translator.c (struct casewriter_translator): Ditto.
  16         (casewriter_create_translator): Ditto.
  17
  18 2007-08-27  John Darrinton <john@darrington.wattle.id.au>
  19
  20         * sys-file-reader.c (read_display_parameters): Force display width
  21         to 8, if the sys file says 0 (like SPSS does).
  22
  23 2007-08-12  Ben Pfaff  <blp@gnu.org>
  24
  25         * dictionary.c (dict_dump): New function.
  26
  27 2007-08-12  Ben Pfaff  <blp@gnu.org>
  28
  29         Drop dict_compactor in favor of using the new struct case_map.
  30
  31         * dictionary.c (struct copy_map): Removed.
  32         (struct dict_compactor): Removed.
  33         (dict_make_compactor): Removed.
  34         (dict_compactor_compact): Removed.
  35         (dict_compactor_destroy): Removed.
  36
  37         * procedure.c (struct data_set): Change `compactor' member to be a
  38         struct case_map *.
  39         (proc_open): Use case_map_to_compact_dict instead of
  40         dict_make_compactor.
  41         (proc_casereader_read): Use case_map_execute instead of
  42         dict_compactor_compact.
  43         (proc_commit): Use case_map_destroy instead of
  44         dict_compactor_destroy.
  45
  46         * scratch-writer.c (struct scratch_writer): Change `compactor'
  47         member to be a struct case_map *.
  48         (scratch_writer_open): Use case_map_to_compact_dict instead of
  49         dict_make_compactor.
  50         (scratch_writer_casewriter_write): Use case_map_execute instead of
  51         dict_compactor_compact.
  52
  53 2007-08-12  Ben Pfaff  <blp@gnu.org>
  54
  55         * automake.mk: Add case-map.c, case-map.h.
  56
  57         * case-map.c: New file.
  58
  59         * case-map.h: New file.
  60
  61 2007-08-12  Ben Pfaff  <blp@gnu.org>
  62
  63         * dictionary.c (dict_compact_values): Don't delete scratch
  64         variables as well as compacting case indexes.  Update all callers.
  65         (dict_get_compacted_value_cnt): Rename dict_count_values and
  66         change interface.  Update all callers.
  67         (dict_get_compacted_value_cnt): Remove.
  68         (dict_compacting_would_shrink): Remove.
  69         (dict_compacting_would_change): Remove.
  70         (dict_make_compactor): Add new parameter.  Update all callers.
  71
  72         * procedure.c (proc_casereader_read): Use casewriter_get_value_cnt
  73         instead of dict_count_values, changing an O(N) operation into
  74         O(1).
  75
  76 2007-08-12  Ben Pfaff  <blp@gnu.org>
  77
  78         * casereader.c (casereader_read): Don't require cases read by a
  79         casereader to be exactly the expected size: as long as they're big
  80         enough, it's OK.
  81
  82 2007-08-12  Ben Pfaff  <blp@gnu.org>
  83
  84         Make casewriters keep track of the number of `union value's in
  85         each case.  This is useful for two reasons: casewriter_write can
  86         then check that the case being written is large enough, and later
  87         recipients of the casewriter can determine the size of the case.
  88
  89         * casewriter-translator.c (casewriter_create_translator): Add
  90         value_cnt parameter.
  91
  92         * casewriter.c (struct casewriter): Add value_cnt member.
  93         (casewriter_write): Check that the case passed in is big enough.
  94         (casewriter_get_value_cnt): New function.
  95         (casewriter_create): Add value_cnt parameter.
  96
  97 2007-08-09  Ben Pfaff  <blp@gnu.org>
  98
  99         Fix bug reported by Jason Stover.
 100         * settings.c: Move get_termcap_viewport and in particular the
 101         #include for <curses.h> to the end of the file.  curses.h
 102         redefines bool on some systems (e.g. OpenBSD), which causes
 103         disagreement between uses of bool before its inclusion and
 104         afterward.
 105         Tested by Jason Stover.
 106
 107 2007-07-29  Ben Pfaff  <blp@gnu.org>
 108
 109         Provisional fix for bug #18692 and bug #20161.  Reviewed by John
 110         Darrington.
 111
 112         * file-name.c (fn_open): Only pass "r" or "w" to popen as mode
 113         argument (never "rb" or "wb") because SUSv3 says that only those
 114         modes are defined, and glibc in fact rejects other modes.
 115
 116         Open portable files with fn_open so that they can be read from
 117         pipes.  Fix missing fh_close call to go along with fh_open.
 118         Report an error if the file close reports an error.
 119         * por-file-reader.c (close_reader): New function.
 120         (por_file_casereader_destroy): Use close_reader.
 121         (pfm_open_reader): Open file with fn_open.
 122
 123 2007-07-28  Ben Pfaff  <blp@gnu.org>
 124
 125         Make PSPP able to read all the portable files I could find on the
 126         web.  Thanks to John Darrington for review.  Bug #17620.
 127         * por-file-reader.c (struct pfm_reader): New member `line_length'.
 128         (error): Print file offset in hexadecimal.
 129         (warning): New function.
 130         (advance): Treat lines less than 80 bytes long as padded to 80
 131         bytes with spaces.
 132         (pfm_open_reader): Call read_documents if we find an "E" record.
 133         (convert_format): Convert invalid formats to the default format
 134         instead of aborting reading the file.
 135         (read_variables): Rename duplicate variable names instead of
 136         aborting reading the file.
 137         (read_value_label): Allow string variables of different widths to
 138         be assigned value labels in the same record.  Replace duplicate
 139         value labels instead of aborting.
 140         (read_documents): New function.
 141
 142         * por-file-writer.c (pfm_open_writer): Call write_documents if the
 143         dictionary has documents.
 144         (write_documents): New function.
 145
 146 2007-07-25  Ben Pfaff  <blp@gnu.org>
 147
 148         Fix bugs related to bug #17213.
 149
 150         * settings.c: Use HAVE_LIBNCURSES instead of HAVE_LIBTERMCAP,
 151         since the former is what config.h has.  Include the needed ncurses
 152         headers.
 153         (static var echo) Rename to `do_echo' because the original name is
 154         the same as an ncurses identifier.
 155         (get_termcap_viewport) Use error instead of msg.
 156
 157         * file-name.c (fn_interp_vars): Fix interpolation of $VARS.
 158         (fn_close): Don't close stdin, stdout, stderr.
 159
 160 2007-07-26 John Darrington <john@darrington.wattle.id.au>
 161
 162         * procedure.c procedure.h: Added callbacks which get invoked whenever
 163         a dataset's transformation chain changes.
 164
 165 2007-07-24  Ben Pfaff  <blp@gnu.org>
 166
 167         Fix bug #6113.
 168         * sys-file-writer.c (write_variable_display_parameters): Use new
 169         var_default_display_width function to choose display width of
 170         segments after the first one in a given variable.
 171         * variable.c (var_create): Use var_default_display_width to pick
 172         new variable's display width.
 173         (var_default_display_width): New function.
 174         Reviewed by John Darrington.
 175
 176 2007-07-24  Ben Pfaff  <blp@gnu.org>
 177
 178         Fix bug #20427.
 179         * por-file-writer.c (write_variables): Write weight variable.
 180         Reviewed by John Darrington.
 181
 182 2007-07-23  Ben Pfaff  <blp@gnu.org>
 183
 184         Improvements to system file reader and writer.
 185
 186         First, move all detailed knowledge of very long strings into
 187         sys-file-private.[ch], so that this nasty stuff can be isolated.
 188
 189         * sys-file-private.c (REAL_VLS_CHUNK): New macro.
 190         (EFFECTIVE_VLS_CHUNK): New macro.
 191         (min_int): New function.
 192         (max_int): New function.
 193         (sfm_width_to_bytes): Rewrite.
 194         (sfm_width_to_octs): New function.
 195         (sfm_segment_alloc_width): New function.
 196         (sfm_segment_alloc_bytes): New function.
 197         (sfm_segment_used_bytes): New function.
 198         (sfm_segment_offset): New function.
 199         (sfm_segment_effective_offset): New function.
 200         (sfm_dictionary_to_sfm_vars): New function.
 201
 202         * sys-file-private.h (MIN_VERY_LONG_STRING): Removed.
 203         (EFFECTIVE_LONG_STRING_LENGTH): Removed.
 204         (struct sfm_var): New structure.
 205
 206         Next, improvements to the system file reader.
 207
 208         * sys-file-reader.h (struct sfm_read_info): Changed `case_cnt' to
 209         type casenumber.  Added `version_major', `version_minor',
 210         `version_revision'.
 211
 212         * sys-file-reader.c (struct sfm_reader): Replaced `flt64_cnt' by
 213         `oct_cnt'.  Rename `vars', `var_cnt' to `sfm_vars', `sfm_var_cnt'.
 214         Change `case_cnt' to type casenumber.  Removed `has_vls'.
 215         (struct sfm_var): Removed.
 216         (sfm_open_reader): Don't warn on wrong case size if the file was
 217         written by SPSS 13, which tends to get it wrong.  Use
 218         sfm_dictionary_to_sfm_vars.
 219         (read_header): Always output system file info.
 220         (read_variable_record): Simplify code for reading missing values.
 221         (read_machine_int32_info): Save version numbers from system file
 222         into info struct passed as new argument.
 223         (read_long_string_map): Restructured to use new sys-file-private
 224         functions.
 225         (read_value_labels): Use size_overflow_p.
 226         (sys_file_casereader_read): Get rid of distinction between fast
 227         and slow paths.  Use information provided by sys-file-primate's
 228         struct sfm_var to simplify code.
 229         (skip_whole_strings): New function.
 230         (read_int32): Renamed read_int.  Changed return value to int.
 231         Updated all callers.
 232         (read_flt64): Renamed read_float.  Changed return value to
 233         double.  Updated all callers.
 234         (int32_to_native): Removed.  Changed callers to use
 235         integer_convert.
 236         (flt64_to_double): Removed.  Changed callers to use float_convert.
 237
 238         Finally, get rid of int32, flt64 terminology and types in system
 239         file writer.  The former wasn't very useful since a POSIX "int"
 240         can hold the whole range of int32 and we generally didn't have a
 241         need for it to be exactly-32-bits, just at-least-32-bits.  The
 242         latter was inconvenient because we had to assume that it could be
 243         different from double and thereby convert special values SYSMIS,
 244         HIGHEST, LOWEST to and from it in multiple places.  Instead, now
 245         we just use "int" and "double" in most places, and do conversions,
 246         if necessary, very close to where we do I/O.  This change meant
 247         that the writer code couldn't represent records in the file as C
 248         structs any longer, but that's no great loss.  The code actually
 249         seems to be more readable without them.
 250
 251         Simplify the compression buffering code: only buffer as much as
 252         necessary, which is no more than eight 8-byte units at any given
 253         time.
 254
 255         * sys-file-writer.c (typedef flt64): Removed.
 256         (macro second_lowest_flt64): Removed.
 257         (struct sysfile_header): Removed.
 258         (struct sysfile_variable): Removed.
 259         (struct sfm_writer): Removed `needs_translation', `has_vls',
 260         `flt64_cnt'.  Changed `compress' to type bool and `case_cnt' to
 261         type casenumber.  Renamed `vars' to `sfm_vars', `var_cnt' to
 262         `sfm_var_cnt'.  Replaced `buf', `end', `ptr', `x', `y' for
 263         compression buffering by `opcodes', `opcode_cnt', `data',
 264         `data_cnt'.  Renamed `var_cnt_vls' as `segment_cnt'.
 265         (sfm_open_writer): Use sfm_dictionary_to_sfm_vars.  Use simple
 266         data writer functions instead of structures.
 267         (calc_oct_idx): New function.
 268         (write_header): Use simple data writer functions instead of
 269         structures.
 270         (write_format_spec): Renamed write_format.  New argument.
 271         (write_variable_continuation_records): New function.
 272         (write_variable): Use simple data writer functions instead of
 273         structures.  Use write_variable_continuation_records.  Write
 274         entire very long string instead of requiring caller to understand
 275         them.
 276         (write_value_labels): Use simple data writer functions instead of
 277         structures.
 278         (write_documents): Ditto.
 279         (write_variable_display_parameters): Use sys-file-private
 280         functions to simplify.  Use simple data writer functions instead
 281         of structures.
 282         (write_vls_length_table): Use simple data writer functions instead
 283         of structures.
 284         (write_longvar_table): Ditto.
 285         (write_rec_7_34): Break into new functions
 286         write_integer_info_record, write_float_info_record.  Use simple
 287         data writer functions instead of structures.
 288         (buf_write): Removed.
 289         (append_string_max): Removed.
 290         (ensure_buf_space): Removed.
 291         (sys_file_casewriter_write): Get rid of the distinction between
 292         fast and slow paths, which didn't seem to be too useful.  Use new
 293         functions write_case_uncompressed, write_case_compressed.
 294         (put_instruction): Removed.
 295         (put_element): Removed.
 296         (write_compressed_data): Removed.
 297         (close_writer): Use flush_compressed.  Only write case count to
 298         system file if it will fit in the field.
 299         (write_case_compressed): New function.
 300         (write_case_uncompressed): New function.
 301         (flush_compressed): New function.
 302         (put_cmp_opcode): New function.
 303         (put_cmp_number): New function.
 304         (write_int): New function.
 305         (convert_double_to_output_format): New function.
 306         (write_float): New function.
 307         (write_value): New function.
 308         (write_string): New function.
 309         (write_bytes): New function.
 310         (write_zeros): New function.
 311         (write_spaces): New function.
 312
 313         Reviewed by John Darrington.
 314
 315 2007-07-22  Ben Pfaff  <blp@gnu.org>
 316
 317         Don't try to write very long strings to portable files.  The
 318         format does not support it.
 319
 320         * por-file-writer.c (MAX_POR_WIDTH): New macro.
 321         (pfm_open_writer): Limit output width to MAX_POR_WIDTH.
 322         (write_format): Add arg to take width to resize format to.
 323         (write_value): Limit width of value written to MAX_POR_WIDTH.
 324         (write_variables): Limit width of variable and its output formats
 325         to MAX_POR_WIDTH.
 326         Reviewed by John Darrington.
 327
 328 2007-07-22  Ben Pfaff  <blp@gnu.org>
 329
 330         * sys-file-reader.c (read_variable_to_value_map): Use max_warnings
 331         local variable instead of literal 5.
 332         Reviewed by John Darrington.
 333
 334 2007-07-22  Ben Pfaff  <blp@gnu.org>
 335
 336         Fix problems with uniqueness of short names in system files with
 337         very long string variables.  Now a variable may have multiple
 338         short names.
 339
 340         * automake.mk (src_data_libdata_a_SOURCES): Add new files
 341         short-names.c, short-names.h.
 342
 343         * dictionary.c (dict_clone): Clone all the short names.
 344         (compare_strings): Move into short-names.c.
 345         (hash_strings): Ditto.
 346         (set_var_short_name_suffix): Ditto.
 347         (dict_assign_short_names): Ditto, rename short_names_assign,
 348         change to assign all short names.
 349
 350         * por-file-writer.c (write_variables): Use short_names_assign
 351         instead of dict_assign_short_names.
 352
 353         * short-names.c: New file.
 354
 355         * short-names.h: New file.
 356
 357         * sys-file-private.c (sfm_width_to_segments): New function.
 358
 359         * sys-file-reader.c (read_long_var_name_map): Save and restore all
 360         the short names, not just the first one.
 361
 362         * sys-file-writer.c (cont_var_name): Removed.
 363         (sfm_open_writer): Use short_names_assign instead of
 364         dict_assign_short_names.  Use unique short names assigned by
 365         short_names_assign instead of those generated by cont_var_name.
 366
 367         * variable.c (struct variable): Remove `short_name' member,
 368         replace by `short_names' and `short_name_cnt'.
 369         (var_create) Initialize new members.
 370         (var_get_short_name_cnt): New function.
 371         (var_get_short_name): Now takes an index argument.  Changed most
 372         callers to pass 0.
 373         (var_set_short_name): Ditto.
 374         (var_clear_short_name): Renamed var_clear_short_names, changed to
 375         clear all short names.
 376
 377         Reviewed by John Darrington.
 378
 379 2007-07-22  Ben Pfaff  <blp@gnu.org>
 380
 381         * variable.c (var_set_width): Use new var_set_width function.
 382
 383         * missing-values.c (mv_n_values): Drop assertion, which was not
 384         needed.
 385
 386         * format.c (fmt_default_for_width): New function.
 387         (fmt_resize): New function.
 388
 389         Reviewed by John Darrington.
 390
 391 2007-07-18 John Darrington <john@darrington.wattle.id.au>
 392
 393         * datasheet.c (datasheet_delete_columns): Added assertion to check
 394         we're not deleting outside the range of the sheet.
 395
 396
 397         * dictionary.c dictionary.h variable.c: Added the ability for string
 398         variables to be resized.
 399
 400         * vardict.h: Added some prototypes (moved from dictionary.h) as
 401         these should only be called by variable.c
 402
 403
 404 2007-07-14 John Darrington <john@darrington.wattle.id.au>
 405
 406         * sfm-reader.c: Respect case_cnt field in file header.
 407
 408 2007-07-01 John Darrington <john@darrington.wattle.id.au>
 409
 410         * transformation.c transformation.h (trns_chain_execute): Changed the
 411         signature (Patch #6057)
 412
 413 2007-06-10  Ben Pfaff  <blp@gnu.org>
 414
 415         * casereader-filter.c (casereader_filter_destroy): Make sure to
 416         write all the remaining excluded cases to the casewriter, if any.
 417
 418         * caseinit.c (init_list_destroy): Rewrite.
 419         (init_list_clear): Ditto.
 420
 421         * casegrouper.c (casegrouper_get_next_group): Always set *reader
 422         to null when returning false.
 423
 424 2007-06-06  Ben Pfaff  <blp@gnu.org>
 425
 426         Actually implement the new procedure code and adapt all of its
 427         clients to match.  Also adapt all of the other case sources and
 428         sinks in the tree and their clients to use the
 429         casereader/casewriter infrastructure.
 430
 431         * automake.mk: Add and remove files.
 432
 433         * any-reader.c: Change into a casereader.
 434         * por-file-reader.c: Ditto.
 435         * scratch-reader.c: Ditto.
 436         * sys-file-reader.c: Ditto.
 437
 438         * any-writer.c: Change into a casewriter.
 439         * por-file-writer.c: Ditto.
 440         * scratch-writer.c: Ditto.
 441         * sys-file-writer.c: Ditto.
 442
 443         * procedure.c: Change to use casereader, casewriter, caseinit, and
 444         other new infrastructure.
 445
 446         * scratch-handle.c: Adapt to new infrastructure.
 447
 448         * case-sink.c: Removed, now dead code.
 449         * case-sink.h: Ditto.
 450         * case-source.c: Ditto.
 451         * case-source.h: Ditto.
 452         * casefile-factory.c: Ditto.
 453         * casefile-private.h: Ditto.
 454         * casefile.c: Ditto.
 455         * casefile.h: Ditto.
 456         * casefilter.c: Ditto.
 457         * casefilter.h: Ditto.
 458         * fastfile.c: Ditto.
 459         * fastfile.h: Ditto.
 460         * fastfile-factory.c: Ditto.
 461         * fastfile-factory.h: Ditto.
 462         * storage-stream.c: Ditto.
 463         * storage-stream.h: Ditto.
 464
 465 2007-06-06  Ben Pfaff  <blp@gnu.org>
 466
 467         Add datasheet code.
 468
 469         * automake.mk: Add new files.
 470
 471         * datasheet.c: New file.
 472
 473         * datasheet.h: New file.
 474
 475 2007-06-06  Ben Pfaff  <blp@gnu.org>
 476
 477         Until now, the procedure code has provided a case to the
 478         case_source, which has filled in the data values that come from
 479         the active file.  "Left" data values that don't come from the
 480         active file naturally stay the same from case to case, because the
 481         procedure code keeps using that same case.
 482
 483         One of the compromises that comes with the new procedure code is
 484         that the active file allocates and provides its own case, which
 485         the procedure code then has to resize to provide room for any
 486         other variables that should go in the case and then fill in the
 487         values of "left" variables.  Then, when we're done with that case,
 488         we have to save the values of "left" variables to copy into the
 489         next case read from the active file.
 490
 491         The caseinit code helps with this.
 492
 493         * automake.mk: Add new files.
 494
 495         * caseinit.c: New file.
 496
 497         * caseinit.h: New file.
 498
 499 2007-06-06  Ben Pfaff  <blp@gnu.org>
 500
 501         * value.h (value_cnt_from_width): New function.
 502
 503         * variable.c (var_get_value_cnt): Use new function.
 504
 505 2007-06-06  Ben Pfaff  <blp@gnu.org>
 506
 507         Add casegrouper, to allow cases read from a given casereader to be
 508         broken into groups, each of which has its own casereader.
 509         Generally cases are grouped based on having equal values for some
 510         set of variables.
 511
 512         * automake.mk: Add new files.
 513
 514         * casegrouper.c: New file.
 515
 516         * casegrouper.h: New file.
 517
 518 2007-06-06  Ben Pfaff  <blp@gnu.org>
 519
 520         Add interface to lexicographical ordering of cases.
 521
 522         * automake.mk: Add new files.
 523
 524         * case-ordering.c: New file.
 525
 526         * case-ordering.h: New file.
 527
 528 2007-06-06  Ben Pfaff  <blp@gnu.org>
 529
 530         Add casereaders and casewriters, the basis of the new data processing
 531         implementation.  A casereader is a uniform interface to reading cases
 532         from a data source; a casewriter is a uniform interface to writing
 533         cases to a data sink.
 534
 535         * automake.mk: Add new files.
 536
 537         * casereader-filter.c: New file.
 538
 539         * casereader-provider.h: New file.
 540
 541         * casereader-translator.c: New file.
 542
 543         * casereader.c: New file.
 544
 545         * casereader.h: New file.
 546
 547         * casewriter-provider.h: New file.
 548
 549         * casewriter-translator.c: New file.
 550
 551         * casewriter.c: New file.
 552
 553         * casewriter.h: New file.
 554
 555 2007-06-06  Ben Pfaff  <blp@gnu.org>
 556
 557         "casewindow" data structure that extends the deque (from libpspp)
 558         of cases with the ability to dump cases to disk if we get too many
 559         of them in memory.
 560
 561         * automake.mk: Add new files.
 562
 563         * casewindow.c: New file.
 564
 565         * casewindow.h: New file.
 566
 567 2007-06-06  Ben Pfaff  <blp@gnu.org>
 568
 569         sparse_cases data structure that augments a sparse_array of cases
 570         with the ability to dump cases to disk if we get too many cases in
 571         memory.
 572
 573         * automake.mk: Add new files.
 574
 575         * sparse-cases.c: New file.
 576
 577         * sparse-cases.h: New file.
 578
 579 2007-06-06  Ben Pfaff  <blp@gnu.org>
 580
 581         Adds a low-level on-disk case array data structure.
 582
 583         * automake.mk: Add new files.
 584
 585         * case-tmpfile.c: New file.
 586
 587         * case-tmpfile.h: New file.
 588
 589 2007-06-06  Ben Pfaff  <blp@gnu.org>
 590
 591         In a couple of places we calculate the maximum number of cases to
 592         keep in memory based on the user-defined workspace.  Enable
 593         centralizing the calculation through a new function.
 594
 595         * settings.c (get_workspace_cases): New function.
 596
 597 2007-06-06  Ben Pfaff  <blp@gnu.org>
 598
 599         The casenumber type is defined in transformations.h, but case.h is
 600         a more sensible place.  Move it.
 601
 602         * case.h (CASENUMBER_MAX): New macro.
 603         (typedef casenumber): Move here, from transformations.h.
 604
 605 2007-06-03  Ben Pfaff  <blp@gnu.org>
 606
 607         Slightly generalize case_to_values and case_from_values functions.
 608
 609         * case.c (case_to_values): Rename case_copy_out, change interface.
 610         (case_from_values): Rename case_copy_in, change interface.
 611
 612         * fastfile.c (fastfilereader_get_next_case): Update caller.
 613         (write_case_to_disk): Ditto.
 614
 615 2007-06-02  Ben Pfaff  <blp@gnu.org>
 616
 617         Clean up after a forgotten part of patch #5829.
 618
 619         * casedeque.h: Remove unused file.
 620
 621         * automake.mk: Remove casedeque.h from sources.
 622
 623 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
 624
 625         * category.c: Removed redundant #include
 626
 627 2007-05-06  Ben Pfaff  <blp@gnu.org>
 628
 629         Abstract the documents within a dictionary a little better.
 630         Thanks to John Darrington for suggestion, initial version, and
 631         review.  Patch #5917.
 632
 633         * dictionary.c (struct dictionary): Change `documents' member from
 634         char * to struct string.
 635         (dict_clear): Destroy struct string.
 636         (dict_get_documents): Convert struct string to char *.
 637         (dict_set_documents): Set struct string.  Pad to 80-character
 638         multiple.
 639         (dict_clear_documents): New function.
 640         (dict_add_document_line): New function.
 641         (dict_get_document_line_cnt): New function.
 642         (dict_get_document_line): New function.
 643
 644         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
 645
 646         * sys-file-reader.c (read_documents): Use new document functions.
 647
 648 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 649
 650         * sys-file-reader.c: When reading a system file which has no
 651         long name table, automatically create one where the long names
 652         are the lower case versions of the short names.
 653
 654 2007-04-22  Ben Pfaff  <blp@gnu.org>
 655
 656         * dictionary.c (dict_set_split_vars): dict_destroy expects that
 657         dict_clear will free most data related to the dictionary.
 658         dict_clear does a decent job, except that dict_set_split_vars on
 659         some systems won't actually free the dict's "split" member.
 660         Instead, it'll allocate a 1-byte region.  Fix this.
 661
 662         * value.c (value_copy): New function.
 663         (value_set_missing): Ditto.
 664
 665 2007-04-22 John Darrington <john@darrington.wattle.id.au>
 666
 667         * Deleted existing category.h and moved cat-routines.h into
 668         category.h  Encapsulated struct cat_vals better.
 669
 670 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 671
 672         * sys-file-reader.c: When reading a system file which has no
 673         long name table, automatically create one where the long names
 674         are the lower case versions of the short names.
 675
 676 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 677
 678         * sys-file-reader.c: Some versions of Other Software seem to
 679         produce system files with string  variables' measure set to
 680         zero.  We'll assume these are supposed to be nominal variables.
 681
 682 2007-03-30  Ben Pfaff  <blp@gnu.org>
 683
 684         * procedure.c: Adapt to new deque data structure.
 685
 686 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
 687                           Ben Pfaff <blp@gnu.org>
 688
 689         * file-name.c: Mingw compatibility fixes.
 690         (fn_search_path): Use ISSLASH instead of comparing against '/'
 691         directly.
 692         (fn_dir_name): Use dir_name from gnulib.
 693         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
 694         (fn_get_identity): Use GetFullPathName instead of canonicalize
 695         from gnulib, because the latter does not fully support
 696         Windows-style path names.  Use this implementation based on the
 697         detected presence of Windows instead of the absence of Unix, since
 698         the new implementation is Windows-specific.
 699         (fn_compare_file_identities): In Windows implementation, compare
 700         names case-insensitively.
 701
 702 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
 703
 704         * make-file.c: Don't include mkstemp.h, because gnulib now causes
 705         <stdlib.h> to have the same effect.
 706
 707 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
 708
 709         * por-file-reader.c: Add missing _() around messages.
 710
 711 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
 712
 713         * make-file.c: Include "mkstemp.h", without which linking on
 714         mingw32 fails.
 715
 716 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
 717
 718         Reduce platform dependence.
 719
 720         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
 721         Everywhere we using this, we really should have just depended on
 722         the shell to expand tildes.
 723         (fn_search_path): Simplify, given that we don't do tilde expansion
 724         any longer.
 725         (fn_normalize): Removed.  Caller changed to use the canonicalize
 726         module from gnulib.
 727         (fn_get_cwd): Removed.  Only user was fn_normalize.
 728         (fn_is_absolute): Really only test for absolute names.
 729         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
 730         unix.
 731         (fn_readlink): Removed, as it was only used fn_normalize.
 732         (fn_exists): Assume the stat function is available; gnulib does.
 733         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
 734
 735 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
 736
 737         * dictionary.c (dict_create_vector_assert): New function.
 738
 739 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
 740
 741         * file-name.c (fn_normalize): Correct name of function
 742         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
 743         for pointing this out.
 744
 745 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
 746
 747         We are using a single member in struct file_handle, the "name"
 748         field, for more than one purpose.  When it begins with '"', it's a
 749         file name; otherwise, it's a token that can be used to identify
 750         it.  When that assertion fires, it's because we searched for the
 751         name case-sensitively as a file name (so that there was no match),
 752         and then we try to insert it case-insensitively as a token, which
 753         fails because duplicates aren't allowed.
 754
 755         Solution: break the two purposes into two separate fields.  This
 756         fixes the problem and likely makes the code easier to read too.
 757
 758         Fixes bug #18922.  Thanks to John Darrington for bug report and
 759         review.
 760
 761         * file-handle-def.c (struct file_handle): New `id' member.
 762         (fh_from_name): Rename fh_from_id.  Update all callers.
 763         (create_handle): New `id' parameter.  Update all callers.
 764         (fh_create_file): Ditto.
 765         (fh_get_id): New function.
 766
 767 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
 768
 769         * case.c (case_is_null): Change return type to bool.
 770
 771 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
 772
 773         Add debugging code.
 774
 775         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
 776         reference counting to share data.  This makes it easy for
 777         valgrind, etc. to find accesses to cases that have been destroyed
 778         but have been kept around by another user's ref-count.  This often
 779         happens when the data set is small enough to find in memory; if a
 780         bigger data set that would overflow to disk were used, then data
 781         corruption would occur.
 782
 783 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
 784
 785         Simplify code.
 786
 787         * case.c (case_unshare): Make it check internally whether the
 788         ref_cnt is greater than 1, so that the callers don't have to.
 789         Update callers not to check.
 790
 791 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
 792
 793         Before, I was thinking that I might want to get rid of reference
 794         counting at some point.  Now, I'm pretty sure that it's here to
 795         stay.  Thus, because we have to store the value_cnt anyway for
 796         reference-counted cases, we might as well expose it to users.
 797
 798         * case.c (case_get_value_cnt): New function.
 799         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
 800         resize case if its size actually changed.
 801
 802         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
 803         instead of peeking inside struct case directly.
 804         (casefile_append): Ditto.
 805
 806 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
 807
 808         Get rid of the inlines for the case functions, which made the
 809         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
 810         the inlines didn't speed up "make check" at all, which is not a
 811         perfect benchmark but seems indicative.)
 812
 813         * case.c: Remove #ifdef DEBUGGING...#endif around many function
 814         definitions.  Remove some assertions on nonnull pointers that were
 815         redundant with a pointer dereference soon after in the function.
 816         Also:
 817         (struct case_data): Move definition here from case.h.
 818         (case_data): Ditto.
 819         (case_num): Ditto.
 820         (case_str): Ditto.
 821         (case_data_wr): Ditto.
 822
 823 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
 824
 825         * automake.mk: Add casedeque.h to sources.
 826
 827         * casedeque.h: New file.
 828
 829         * procedure.c: (struct dataset) Change lag_count, lag_head,
 830         lag_queue member into single struct casedeque member.  Update all
 831         users to use the casedeque instead.
 832         (lag_case) Removed.
 833
 834 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
 835
 836         * procedure.c: Simplify lagged cases interface.  Updated all
 837         clients--well, the only client--to use the simplified interface.
 838         (dataset_n_lag) Removed.
 839         (dataset_set_n_lag) Removed.
 840         (dataset_need_lag) New function.
 841
 842 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
 843
 844         * dictionary.c procedure.c: More changes to ensure that callbacks occur
 845         whenever appropriate, but only when the dataset/dictionary is in a
 846         consistent state.
 847
 848 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
 849
 850         * dictionary.c dictionary.h : Added callbacks for change of filter and
 851         split variables.  Refactored some code to ensure that callbacks get
 852         invoked when appropriate.
 853
 854         * procedure.c (proc_cancel_temporary_transformations): Make sure that
 855         replace_dict callback occurs when permanent_dict replaces the current
 856         dictionary.
 857
 858 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
 859
 860         * dictionary.c dictionary.h : Added callback for when the weight
 861         variable of a dictionary changes.
 862
 863 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
 864
 865         * dictionary.c dictionary.h : Added replace_source and replace_dict
 866         callbacks, and functions to deal with them.
 867
 868 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
 869
 870         Simplify missing value handling.
 871
 872         * missing-values.h (enum mv_class): New type.
 873         (enum mv_type): Moved definition into missing-values.c and renamed
 874         each MV_* to MVT_*, to distinguish them from the exposed mv_class
 875         enums.  Updated all uses.
 876         (struct missing_values): Changed type of `type' from `enum
 877         mv_type' to `int' because the definition is no longer exposed.
 878
 879         * missing-values.c (mv_is_value_missing): Add new enum mv_class
 880         parameter.  Update all callers.
 881         (mv_is_num_missing): Ditto.
 882         (mv_is_str_missing): Ditto.
 883         (mv_is_value_user_missing): Removed.  Changed callers to use
 884         mv_is_value_missing.
 885         (mv_is_num_user_missing): Removed.  Changed callers to use
 886         mv_is_num_missing.
 887         (mv_is_str_user_missing): Removed.  Changed callers to use
 888         mv_is_str_missing.
 889         (mv_is_value_system_missing): Removed.  Changed callers to use
 890         mv_is_value_missing.
 891         (mv_set_type): Removed.  Changed callers to use mv_clear.
 892         (mv_clear): New function.
 893
 894         * variable.c (var_is_value_missing): Add new enum mv_class
 895         parameter.  Update all callers.
 896         (var_is_num_missing): Ditto.
 897         (var_is_str_missing): Ditto.
 898         (var_is_value_user_missing): Removed.  Changed callers to use
 899         var_is_value_missing.
 900         (var_is_num_user_missing): Removed.  Changed callers to use
 901         var_is_num_missing.
 902         (var_is_str_user_missing): Removed.  Changed callers to use
 903         var_is_str_missing.
 904         (var_is_value_system_missing): Removed.  Changed callers to use
 905         var_is_value_missing.
 906
 907         * casefilter.c (struct casefilter): Use enum mv_class in place of
 908         bool.
 909         (casefilter_variable_missing): Adapt to new member.
 910         (casefilter_create): Change signature to take enum mv_class,
 911         update callers.
 912
 913 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 914
 915         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
 916
 917         * case-sink.c case-sink.h procedure.c procedure.h
 918           storage-stream.c: Now uses the factory.
 919
 920 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
 921
 922         Make it possible to pull cases from the active file with a
 923         function call, instead of requiring indirection through a callback
 924         function.
 925
 926         * case-source.h (struct case_source_class): Change ->read function
 927         to return a single case, instead of calling a callback function
 928         for each case.  Change ->destroy function to return an error
 929         status.
 930
 931         * case-source.c (free_case_source): Pass along the value returned
 932         by the case_source ->destroy function.
 933
 934         * procedure.c (struct write_case_data): Removed.
 935         (struct dataset): Added some members to track procedure state.
 936         (procedure): Optimize the trivial case at this level.
 937         (internal_procedure): Re-implement in terms of proc_open,
 938         proc_read, proc_close.
 939         (proc_open) New function.
 940         (proc_read) New function.
 941         (proc_close) New function.
 942         (write_case) Moved into proc_read.
 943         (close_active_file) Moved closing of data source into proc_close.
 944
 945         * storage-source.c: Rewrote to conform with modified
 946         case_source_class interface.
 947
 948         * transformations.c (trns_chain_execute): Added argument to allow
 949         starting execution from an arbitrary transformation.  Updated
 950         callers.
 951
 952         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
 953
 954 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
 955
 956         * sys-file-reader.c (read_display_parameters): Don't assume that
 957         MEASURE_* and ALIGN_* have the same values found in system files.
 958
 959         * sys-file-writer.c (write_variable_display_parameters): Ditto.
 960
 961         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
 962         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
 963         the value of n_MEASURES, which was off by 1 (at least from my
 964         point of view).
 965
 966 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 967
 968         * dictionary.c dictionary.h vardict.h variable.c: Added optional
 969                 callbacks which are invoked when the dictionary or its
 970                 variables are changed.
 971
 972         * missing-values.c missing-values.h value-labels.c: Tidied up
 973                 consistency checks, and made some of them return false
 974                 instead of assert-failing.
 975
 976 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
 977
 978         * calendar.c (calendar_days_in_month): New function.
 979
 980 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
 981
 982         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
 983         the value label's width.
 984
 985 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
 986
 987         * sfm-private.h: Move contents into sys-file-writer.c, which is
 988         the only remaining user.  Removed Borland C++-specific directives.
 989
 990         * sys-file-reader.c: Clean up and rewrite entire file.  The
 991         rewritten version is simpler and better abstracted, and should be
 992         easier to maintain and extend.  It avoids using structures to read
 993         file data, which is prone to padding variations among compilers.
 994         It should also handle non-IEEE 754 system files, although I
 995         haven't been able to find any.  It has been tested against many
 996         .sav files obtained from the Web and found to produce the same
 997         results as the earlier version of the code, or in some cases
 998         improved results.  It is more tolerant of format variations found
 999         in the wild.
1000
1001         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
1002         member, putting an enum integer_format in its place.  New member
1003         `float_format'.  Changed `compressed' member to type bool.
1004
1005 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
1006
1007         * dictionary.c (dict_delete_consecutive_vars): New function.
1008
1009 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
1010
1011         * file-name.c (fn_search_path): Remove prefix arg that was unused
1012         by any caller.  Updated all callers.
1013
1014 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
1015
1016         * format.c (fmt_dollar_template): Use user's decimal point
1017         character.  Add assertion.
1018
1019 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
1020
1021         * format.c (fmt_dollar_template): New function, based on
1022         dollar_format_template from var-type-dialog.c.
1023
1024 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
1025
1026         * data-out.c (output_scientific): Fix bad assumption that "buf" is
1027         null-terminated.
1028
1029 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
1030
1031         Finish converting struct variable to an opaque type.  In this
1032         phase, we add remaining setter and getter functions, convert the
1033         remaining PSPP code to use them, and do a bunch of cleanup.  The
1034         resulting changes are pervasive but mostly trivial, and only the
1035         notable changes are logged.
1036
1037         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
1038         files.
1039
1040         * case.c (case_data): Renamed case_data_idx.
1041         (case_num): Renamed case_num_idx.
1042         (case_str): Renamed case_str_idx.
1043         (case_data_rw): Renamed case_data_rw_idx.
1044
1045         * case.h (case_data): New function with old name and an interface
1046         that takes a variable instead of an index, which is easier to
1047         use.  Updated all callers to use the new interface, or to use the
1048         new *_idx function (see above).
1049         (case_num): Ditto.
1050         (case_str): Ditto.
1051         (case_data_rw): Ditto.
1052
1053         * category.c (cat_stored_values_destroy): Changed interface to
1054         take a struct cat_vals * instead of a struct variable *.
1055
1056         * dictionary.c (dict_clone): Use new vector_clone function.
1057         (dict_clear) Use new var_destroy function.
1058         (add_var) New function.
1059         (dict_create_var) Rewrite in terms of dict_create_var_assert.
1060         (dict_create_var_assert) Rewrite in terms of add_var.
1061         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
1062         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
1063         (dict_lookup_var) Use new var_create, var_destroy functions.
1064         (dict_contains_var) Rewrite in terms of new vardict functionality.
1065         (set_var_dict_index) New function.
1066         (set_var_case_index) New function.
1067         (reindex_vars) New function.
1068         (dict_delete_var) Rewrite in terms of new vardict functionality.
1069         (dict_reorder_var) Ditto.
1070         (dict_reorder_vars) Ditto.
1071         (rename_var) New function.
1072         (dict_rename_var) Use rename_var.
1073         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
1074         (dict_get_compacted_idx_to_fv) Rename
1075         dict_get_compacted_dict_index_to_case_index, update callers.
1076         (dict_create_vector) Use new vector_create function.
1077         (dict_clear_vectors) Use new vector_destroy function.
1078         (set_var_short_name_suffix) Move here from variable.c, renamed
1079         from var_set_short_name_suffix, make static, update caller.
1080
1081         * sys-file-private.c: New file.
1082         (sfm_width_to_bytes) Moved here from variable.c, renamed from
1083         width_to_bytes, update callers.
1084
1085         * sys-file-private.h: New file.  Later it will supplant
1086         sfm-private.h; for now it supplements it.
1087         (macro MIN_VERY_LONG_STRING) New macro.
1088         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
1089
1090         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
1091         MAX_LONG_STRING was used before.
1092
1093         * sys-file-writer.c: Ditto.
1094
1095         * value-labels.c: Change the paradigm here to be that a null
1096         pointer is OK for a struct val_labs * in most cases; it just
1097         represents an empty set of value labels.
1098         (val_labs_copy) A copy of a null set is a null set.
1099         (val_labs_count) A null set has 0 labels.
1100         (val_labs_replace) Change return type to void.  Rewrite for
1101         simplicity.
1102         (val_labs_find) A null set does not contain the value.
1103         (value_to_string) Moved to variable.c, renamed var_get_value_name,
1104         transposed argument order, updated all callers.
1105
1106         * value.c: New file.
1107         (value_dup) Moved here from variable.c.
1108         (compare_values) Ditto.
1109         (hash_value) Ditto.
1110
1111         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
1112         (macro MAX_LONG_STRING) Removed, because it was only interesting
1113         for system files, not for general code.
1114         (macro MAX_VERY_LONG_STRING) Ditto.
1115         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
1116         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
1117
1118         * vardict.h: New file, for an interface between variables and
1119         their dictionaries.
1120
1121         * variable.c: A lot of functions were moved around, for better
1122         organization.
1123         (struct variable) Move definition here, from variable.h.
1124         (var_type_adj) Removed--makes i18n hard.
1125         (var_type_noun) Ditto.
1126         (var_create) New function.
1127         (var_clone) New function.
1128         (var_destroy) New function.
1129         (var_set_name) Assert that variable is not in a dictionary.
1130         (compare_var_names) Rename compare_vars_by_name and fix a couple
1131         of callers who thought the args were strings.
1132         (hash_var_name) Rename hash_var_by_name.
1133         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
1134         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
1135         (var_is_very_long_string) Removed, because it was only interesting
1136         to system file code.
1137         (var_set_missing_values) Allow the argument to be the wrong width,
1138         as long as we can resize it.  Simplify callers who were doing the
1139         resizing themselves.
1140         (var_get_value_labels) New function.
1141         (var_has_value_labels) New function.
1142         (var_set_value_labels) New function.
1143         (alloc_value_labels) New function.
1144         (var_add_value_label) New function.
1145         (var_replace_value_label) New function.
1146         (var_clear_value_labels) New function.
1147         (var_lookup_value_label) New function.
1148         (var_get_value_name) Moved here from variable.c, renamed from
1149         var_get_value_name, transposed argument order, updated all
1150         callers.
1151         (var_to_string) Moved here, from variable-label.c.
1152         (var_set_leave) New function.
1153         (var_get_leave) New function.
1154         (var_must_leave) New function.
1155         (var_set_short_name_suffix) Moved to dictionary.c, renamed
1156         set_var_short_name_suffix.
1157         (var_get_dict_index) New function.
1158         (var_get_case_index) New function.
1159         (var_get_obs_vals) New function.
1160         (var_set_obs_vals) New function.
1161         (var_has_obs_vals) New function.
1162         (var_get_vardict) New function.
1163         (var_set_vardict) New function.
1164         (var_has_vardict) New function.
1165         (var_clear_vardict) New function.
1166         (value_dup) Moved to value.c.
1167         (compare_values) Ditto.
1168         (hash_value) Ditto.
1169
1170         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
1171         (enum ALPHA) Rename VAR_STRING, update all users.
1172
1173         * vector.c: New file.
1174         (struct vector) Moved here, from variable.h.
1175         (check_widths) New function.
1176         (vector_create) New function.
1177         (vector_clone) New function.
1178         (vector_destroy) New function.
1179         (vector_get_name) New function.
1180         (vector_get_var) New function.
1181         (vector_get_var_cnt) New function.
1182         (compare_vector_ptrs_by_name) New function.
1183
1184         * vector.h: New file.
1185
1186 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1187
1188         * casefilter.c (casefilter_variable_missing): Avoided comparision of
1189         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
1190         problem.
1191
1192 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
1193
1194         * value-labels.c (destroy_atoms): New function.
1195         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
1196
1197 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
1198
1199         Thanks to Jason Stover for pointing out this problem.
1200
1201         * data-out.c (output_number): Use gsl_finite from GSL, which is
1202         portable, instead of isfinite, which is not.
1203         (power256) Ditto.
1204
1205 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
1206
1207         * variable.c variable.h (value_dup): New function.
1208
1209 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
1210
1211         Start converting struct variable to an opaque type.  In this
1212         phase, we add a bunch of setter and getter functions and convert
1213         most of the PSPP code to use them.  The resulting changes are
1214         pervasive but mostly trivial, and only the notable changes are
1215         logged.
1216
1217         * format.c (fmt_equal): New function.
1218
1219         * variable.c (var_type_is_valid): New function.
1220         (measure_is_valid) Moved here, from format.c.
1221         (alignment_is_valid) Moved here, from format.c.
1222         (var_get_name) New function.
1223         (var_set_name) New function.
1224         (width_to_type) New function.
1225         (var_get_type) New function.
1226         (var_get_width) New function.
1227         (var_set_width) New function.
1228         (var_is_numeric) New function.
1229         (var_is_alpha) New function.
1230         (var_is_short_string) New function.
1231         (var_is_long_string) New function.
1232         (var_is_very_long_string) New function.
1233         (var_get_missing_values) New function.
1234         (var_set_missing_values) New function.
1235         (var_clear_missing_values) New function.
1236         (var_has_missing_values) New function.
1237         (var_is_value_missing) New function.
1238         (var_is_num_missing) New function.
1239         (var_is_str_missing) New function.
1240         (var_is_value_user_missing) New function.
1241         (var_is_num_user_missing) New function.
1242         (var_is_str_user_missing) New function.
1243         (var_is_value_system_missing) New function.
1244         (var_get_print_format) New function.
1245         (var_set_print_format) New function.
1246         (var_get_write_format) New function.
1247         (var_set_write_format) New function.
1248         (var_set_both_formats) New function.
1249         (var_get_label) New function.
1250         (var_set_label) New function.
1251         (var_clear_label) New function.
1252         (var_has_label) New function.
1253         (var_get_measure) New function.
1254         (var_set_measure) New function.
1255         (var_get_display_width) New function.
1256         (var_set_display_width) New function.
1257         (var_get_alignment) New function.
1258         (var_set_alignment) New function.
1259         (var_get_value_cnt) New function.
1260         (var_get_leave) New function.
1261         (var_get_short_name) New function.
1262
1263         * variable.h: (struct variable) Removed "type" and "nv" members;
1264         they are now computed from "width" where needed.
1265
1266 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
1267
1268         * missing-values.c (mv_resize): Don't write beyond end of the
1269         allocated buffer when resizing a long string.
1270
1271 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
1272
1273         Clean up identifier code: don't require identifier enumerations to
1274         be in a particular order; make better use of string library;
1275         expose less of the internals.
1276
1277         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
1278         change interface.  Updated all callers.
1279         (lex_id_match) Change interface to use struct substring, update
1280         all callers.
1281         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
1282         (global array keywords[]) Make static, change form.  Update all
1283         users to use lex_id_name instead.
1284         (lex_is_keyword) New function.
1285         (lex_id_to_token) Change interface to use struct substring, update
1286         all callers.
1287         (lex_id_name) New function.
1288
1289         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
1290         lex_is_keyword instead.
1291         (T_LAST_KEYWORD) Removed.
1292         (T_N_KEYWORDS) Removed.
1293
1294 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
1295
1296         * format.c: (fmt_date_template) Distinguish characters for which a
1297         space is output and any date delimiter is allowed on input, from
1298         those for which a space is output and only a space is allowed on
1299         input.  The former is represented by X, the latter by a space.
1300         Also, drop distinction between h and H, changing the former to the
1301         latter.
1302
1303         * data-in.c: Completely rewrite internals to conform to SPSS input
1304         formats as closely as possible.
1305         (data_in) Changed external interface by replacing the structure
1306         that was used as a single argument by a set of arguments.  Updated
1307         all callers.
1308         (data_in_finite_line) Removed.  Converted all callers to use plain
1309         data_in.
1310         (data_in_get_integer_format) New function.
1311         (data_in_set_integer_format) New function.
1312         (data_in_get_float_format) New function.
1313         (data_in_set_float_format) New function.
1314
1315         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
1316         (struct data_in) Removed.
1317
1318         * data-out.c: (output_date) Drop each component from the input as
1319         it is output, to allow us to drop the distinction between h (a
1320         count of hours) and H (the hour of day) template characters.
1321         Also, handle new X template character.
1322         (output_scientific) Follow more rational rule on when to drop
1323         fraction introduced between SPSS 13 and 15.  Updated test case to
1324         match new behavior.
1325
1326 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
1327
1328         Fix buffer overflow reported by John Darrington.
1329
1330         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
1331         realize that DIGITS is a count of nibbles, not of bytes.
1332
1333 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
1334
1335         * calendar.c (calendar_offset_to_gregorian) Also return the
1336         year-of-day.  Change callers to new interface.
1337
1338         * data-out.c: Completely rewrite internals to conform to SPSS
1339         output formats as completely as possible.
1340         (data_out) Change interface to put input parameters before output
1341         parameters, for consistency with the style I now prefer.  Update
1342         all callers.
1343         (data_out_get_integer_format) New public function.
1344         (data_out_set_integer_format) New public function.
1345         (data_out_get_float_format) New public function.
1346         (data_out_set_float_format) New public function.
1347
1348         * data-out.h: New file.  Move prototype for data_out here, from
1349         format.h.
1350
1351         * format.c: (fmt_step_width) Use equality comparison instead of
1352         bitwise and, for clarity.
1353         (fmt_is_string) Ditto.
1354         (fmt_input_to_output) Fix categories that are translated to F
1355         format.
1356
1357 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
1358
1359         * casefilter.c casefilter.h (new files), casefile.c casefile.h
1360         casefile-private.h: Added casefilter to assist commands with missing
1361         values.
1362
1363 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
1364
1365         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
1366
1367         * settings.c: (route_errors_to_terminal) New variable.
1368         (route_errors_to_listing) New variable.
1369         (get_error_routing_to_terminal) New function.
1370         (set_error_routing_to_terminal) New function.
1371         (get_error_routing_to_listing) New function.
1372         (set_error_routing_to_listing) New function.
1373
1374         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
1375
1376 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
1377
1378         * format.c: Completely rewrite, to achieve better abstraction.
1379         Rewrite all references to formats in other files.
1380
1381         * format.def: Rewrite and reorganize.
1382
1383         * settings.c: Move everything related to custom currency formats
1384         into format.[ch], changing them in form, so as to group related
1385         code and definitions better.  Changed all references to use the
1386         new functions.
1387         (static var decimal) Removed.
1388         (static var grouping) Removed.
1389         (static var cc) Removed.
1390         (get_decimal) Removed.
1391         (set_decimal) Removed.
1392         (get_grouping) Removed.
1393         (set_grouping) Removed.
1394         (get_cc) Removed.
1395         (set_cc) Removed.
1396
1397         * settings.h: (macro CC_CNT) Removed.
1398         (macro CC_WIDTH) Removed.
1399         (struct custom_currency) Removed.
1400
1401 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
1402
1403         * data-in.c (data_in): Use switch statement instead of table, to
1404         avoid dependence on the order of the FMT_* enums.
1405
1406 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
1407
1408         * data-out.c: (num_to_string) Removed, because it was dead code.
1409
1410 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
1411
1412         * data-in.c (parse_trailer): Fix error message.
1413
1414 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1415
1416         * format.c (fmt_is_binary): New function.
1417
1418 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1419
1420         * procedure.c procedure.h: Encapsulated the static data into a single
1421         struct.
1422
1423 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1424
1425         * casefile.c (casereader_read_xfer): Always initialize the case,
1426         even on an error condition.
1427
1428 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1429
1430         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the
1431         entire function useless.
1432
1433 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1434
1435         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1436         casereader method casereader_clone.
1437
1438         * procedure.c pransformations.h: Introduced new type casenum_t
1439
1440 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1441
1442         * variable.c: (width_to_bytes) Rephrase code for clarify.
1443
1444 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1445
1446         * format.c: (fmt_type_from_string) New function.
1447         (fmt_to_string) Include decimals in output if the format has
1448         decimals, even if the format type does not.  This way, we can
1449         accurately reproduce incorrect formats in user output.
1450         (check_common_specifier) Make the check for a bad format type an
1451         assertion, so we get bug reports if they show up.  Fix message.
1452         Check for decimal places with a format type that doesn't allow
1453         them.
1454         (check_input_specifier) Remove check for FMT_X, which has been
1455         deleted.
1456         (check_output_specifier) Ditto.
1457
1458         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1459
1460         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1461         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1462         (enum fmt_parse_flags) Removed.
1463
1464 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1465
1466         * casefile.c casefile.h: Converted to  an abstract base class.
1467         * casefile-private.h fastfile.c fastfile.h: New files.
1468         * automake.mk procedure.c scratch-writer.c storage-stream.c
1469
1470 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1471
1472         * procedure.c (internal_procedure): Create sink_case with only as
1473         many values as the compacted dictionary.
1474
1475 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1476
1477         Remove "debugging" code that caused plenty of false positives and
1478         no true positives.
1479
1480         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1481
1482         * case.c: Remove all references to `this' member.
1483
1484 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1485
1486         Fix link error noted by Jason Stover.
1487
1488         * storage-stream.c: Include <assert.h>.
1489
1490 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1491
1492         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1493         ALL) and additional underlying system file issues.
1494
1495         Thanks to John Darrington for review.
1496
1497         First problem: var_hash points to variables not owned by the
1498         sys-file-reader, which the caller may free or modify.  Use an
1499         array of sfm_vars instead, as done earlier (e.g. CVS version
1500         1.12).
1501
1502         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
1503         members and remove all code that references it.  Add vars, var_cnt
1504         members.  Remove fix_specials member, which was unused.
1505         (struct sfm_var) Remove name member, which was unused.
1506         (sfm_close_reader) Free vars member instead of var_hash.
1507         (compare_var_shortnames) Removed.
1508         (hash_var_shortname) Removed.
1509         (sfm_open_reader) Fill out vars array.
1510         (compare_var_index) Removed.
1511         (sfm_read_case) Use vars instead of var_hash.
1512
1513         Second problem: we're confused about when we actually have very
1514         long strings, causing us to choose incorrectly between slow path
1515         and fast path in sfm_read_case.
1516
1517         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
1518         have very long strings, not when we have long variable names,
1519         which is an unrelated feature.
1520
1521 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
1522
1523         * variable.h: Move var_set and variable parsing declarations to
1524         new header, src/language/lexer/variable-parser.h.  Modified lots
1525         of files to include the new header.
1526
1527 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1528
1529         * value-labels.c (value_to_string): When there's no value label,
1530         format the variable according to its print format, instead of
1531         always effectively using A or F format.
1532
1533 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1534
1535         * casefile.c (casefile_get_random_reader): Nasty hack to get around
1536         the mode assertion.
1537
1538         * format.c: Removed tortological assertion.
1539
1540 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1541
1542         Reform string library.
1543
1544         * file-name.c (fn_interp_vars): Change interface to take a
1545         substring as input.  Updated all users.
1546
1547 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1548
1549         * format.c (measure_is_valid): Really return false when m >=
1550         n_MEASURES.
1551
1552 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1553
1554         Implement random access to casefiles, for use in GUI.
1555
1556         * casefile.c: (struct casereader) Add `random', `file_ofs',
1557         `buffer_ofs' members.
1558         (casefile_get_random_reader) New function.
1559         (read_open_file) Break part into new function
1560         seek_and_fill_buffer().
1561         (fill_buffer) Update buffer_ofs, file_ofs.
1562         (casereader_seek) New function.
1563
1564 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1565
1566         * settings.c: Added call to i18n{done, init}.
1567
1568 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1569
1570         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1571         prototypes.
1572
1573 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1574
1575         * casefile.c: Convert many uses of `int' to `bool'.
1576
1577 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1578
1579         * transformations.c (trns_chain_destroy): Destroy chain's trns
1580         member, to fix memory leak.
1581
1582 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1583
1584         * storage-stream.c (storage_source_decapsulate): Destroy case
1585         source to fix memory leak.
1586
1587 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1588
1589         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1590         case passed as argument instead of initializing the argument as a
1591         case.  Fixes memory leak that showed up in
1592         tests/command/aggregate.sh with scratch files.
1593
1594 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1595
1596         * procedure.c (proc_done): Destroy default_dict, to fix memory
1597         leak.
1598
1599 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1600
1601         Simplify procedure_with_splits().
1602
1603         * procedure.c (struct split_aux_data): Removed case_count member.
1604         (procedure_with_splits) Don't initialize case_count.
1605         (split_procedure_case_func) Check whether prev_case is null
1606         instead of case_count.
1607         (split_procedure_end_func) Ditto.
1608
1609 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1610
1611         * case.c (case_move): Do nothing if dst and src are the same
1612         object.
1613         (case_try_create) Merge two similar cases.
1614         (case_copy) Unshare only if data must be actually copied.
1615
1616 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1617
1618         * data-in.c data-out.c dictionary.c sys-file-reader.c
1619         sys-file-writer.c variable.c variable.h:  Reworked very long string
1620         support for better encapsulation.
1621
1622 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1623
1624         * value-labels.c (val_labs_can_set_width): New function.
1625         (val_labs_set_width) Clear labels if increasing width to long
1626         string.
1627         (val_labs_destroy) Remove unneeded test for null.
1628
1629 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1630
1631         * value-labels.h: Remove unneeded dependency on variable.h.
1632
1633 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1634
1635         Get rid of `char *c' member in union value, for cleanliness.
1636
1637         * value.h: (union value) Remove `c' member.
1638
1639 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1640
1641         Make dictionary compacting functions a little more general.
1642
1643         * sys-file-writer.c (sfm_open_writer): Use
1644         dict_compacting_would_change().
1645         (does_dict_need_translation) Removed.
1646
1647 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1648
1649         Make dictionary compacting functions a little more general.
1650
1651         * dictionary.c (dict_needs_compaction): Rename
1652         dict_compacting_would_shrink().  Update all callers.
1653         (dict_compacting_would_change) New function.
1654
1655 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1656
1657         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1658         inverted return value (!).
1659
1660 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1661
1662         Continue reforming procedure execution.
1663
1664         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1665         (static var vfm_source) Rename proc_source.  Update all
1666         references.
1667         (static var vfm_sink) Rename proc_sink.  Update all references.
1668
1669 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1670
1671         Continue reforming procedure execution.  In this phase, remove
1672         PROCESS IF, which was deprecated anyway and can be easily
1673         simulated with TEMPORARY followed by SELECT IF.
1674
1675         * procedure.c: (open_active_file) Don't call
1676         add_process_if_trns().
1677         (discard_variables) Get rid of redundant call to
1678         proc_cancel_all_transformations().
1679         (add_process_if_trns) Removed.
1680         (process_if_trns_proc) Removed.
1681         (process_if_trns_free) Removed.
1682
1683 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1684
1685         Continue reforming procedure execution.  In this phase, add
1686         `const' to the case passed to procedure()'s callback.
1687
1688         Updated all users of procedure() as well.
1689
1690         * procedure.c: (struct write_case_data) Add "const" to ccase
1691         parameter for case_func member.
1692         (procedure) Add "const" to ccase parameter for proc_func
1693         parameter.
1694         (multipass_case_func) Make ccase parameter const.
1695         (internal_procedure) Add "const" to ccase parameter for case_func
1696         parameter.
1697         (split_procedure_case_func) Make ccase parameter const.
1698         (multipass_split_case_func) Make ccase parameter const.
1699
1700 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1701
1702         Continue reforming procedure execution.  In this phase, get rid of
1703         the output code for SPLIT FILE groups in procedure.c, which really
1704         shouldn't be doing any output.  Move it into the individual
1705         procedures instead.  This also adds some flexibility.
1706
1707         Updated many users of procedure_with_splits() and
1708         multipass_procedure_with_splits() to call
1709         output_split_file_values() and to deal with increased use of
1710         const.
1711
1712         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1713         parameter to begin_func member.
1714         (procedure_with_splits) Add "const struct ccase *" parameter to
1715         begin_func parameter.  Make ccase parameter const in proc_func
1716         parameter.
1717         (split_procedure_case_func) Don't dump split file group.  Pass
1718         case to begin_func.
1719         (dump_splits) Moved to language/dictionary/split-file.c as
1720         output_split_file_values().
1721         (struct multipass_split_aux_data) Add "const struct ccase *"
1722         parameter to split_func member.
1723         (multipass_procedure_with_splits) Add "const struct ccase *"
1724         parameter to split_func parameter.
1725         (multipass_split_case_func) Save new SPLIT FILE case before
1726         outputting case.
1727         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1728
1729 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1730
1731         Continue reforming procedure execution.  Change
1732         internal_procedure() so that it calls open_active_file() and
1733         close_active_file(), which isolates most of the actual procedure
1734         functionality.
1735
1736         * procedure.c: (struct write_case_data) Rename `proc_func' member
1737         to `case_func' and update all references.
1738         (procedure) Rewrite as one-line wrapper around
1739         internal_procedure().
1740         (struct multipass_aux_data) New.
1741         (multipass_callback) Renamed multipass_case_func().  Use struct
1742         multipass_aux_data as auxiliary data.
1743         (multipass_end_func) New function.
1744         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1745         that uses multipass_case_func, multipass_end_func.
1746         (internal_procedure) Add `end_func' argument.  Move optimization
1747         of trivial case in here.  Move call to open_active_file() and
1748         close_active_file() in here.  Now assert that vfm_source is
1749         non-null.
1750         (procedure_with_splits_callback) Rename
1751         split_procedure_case_func().
1752         (split_procedure_end_func) New function.
1753         (multipass_split_callback) Rename multipass_split_case_func.
1754         (multipass_split_end_func) New function.
1755         (discard_variables) No need to test for nonnull vfm_source.
1756
1757 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1758
1759         Continue reforming procedure execution.  Get rid of unused member.
1760
1761         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1762         member.
1763         (write_case) Don't increment cases_analyzed.
1764
1765 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1766
1767         Continue reforming procedure execution.  In this phase, move
1768         procedure.c and procedure.h from src to src/data.  Update
1769         makefiles and #includes accordingly.
1770
1771         * procedure.c: Moved here from src/.
1772
1773         * procedure.h: Moved here from src/.
1774
1775 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1776
1777         Continue reforming procedure execution.  In this phase, get rid of
1778         many global variables, consolidating procedure execution in
1779         procedure.c.  Encapsulate transformations in new "struct
1780         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1781         and PROCESS IF from special cases to transformations.
1782
1783         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1784         transformations.h.
1785
1786         * dictionary.c: (global variable default_dict) Move to
1787         src/procedure.c.
1788
1789         * variable.h: (TRNS_*) Move to transformations.h.
1790         (struct transformation) Move to transformations.c.
1791
1792 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1793
1794         * sys-file-reader.c: Fixed invalid read problems.
1795
1796 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1797
1798         * storage-stream.c: Add missing function comments.
1799
1800 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1801
1802         Continue reforming procedure execution.  In this phase, add some
1803         new, needed functionality to storage-stream.
1804
1805         * storage-stream.c: (storage_source_decapsulate) New function.
1806
1807 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1808
1809         * variable.c (width_to_bytes): Declarations must precede
1810         statements for C90 compliance.
1811
1812 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1813
1814         * data-out.c, data-in.c, variable.c, variable.h: New functions
1815         copy_mangle and copy_demangle for reading/writing cases; emulates the
1816         way SPSS deals with strings > 255 bytes.
1817
1818         * sys-file-reader.c sys-file-writer.c: Added support for Record 7,
1819         subtype 14 needed for strings longer than 255 bytes.
1820
1821         * dictionary.c, format.def, value.c : Updated to use MAX_STRING
1822         instead of literal values. Also fixed some constness issues.
1823
1824         * format.h: Constness
1825
1826         * sfm-private.h: Renamed the case_size identifier, since I discovered
1827         that SPSS's respect for this variable is very nominal.
1828
1829 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1830
1831         Change case limit type from int to size_t.
1832
1833         * dictionary.c: (struct dictionary) Change type of case_limit
1834         member.
1835         (dict_get_case_limit) Change return type.
1836         (dict_set_case_limit) Change parameter type.
1837
1838 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1839
1840         * variable.h: (struct variable) Rename `reinit' member as `leave'
1841         and invert sense.  Fix up all references.
1842
1843 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1844
1845         Continue reforming procedure execution.  In this phase, break
1846         procedure.c into multiple files.
1847
1848         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1849
1850         * case-sink.c: New file.
1851
1852         * case-sink.h: New file.
1853
1854         * case-source.c: New file.
1855
1856         * case-source.h: New file.
1857
1858         * storage-stream.c: New file.
1859
1860         * storage-stream.h: New file.
1861
1862 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1863
1864         * variable.h: (struct variable) Remove `init' member and all
1865         references to it from other files.  It was initialized in several
1866         places, but nothing really ever used it for anything worthwhile.
1867         Thanks to Jason Stover for pointing out how confusing this
1868         member is.
1869
1870 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1871
1872         Continue reforming error message support.  In this phase, get rid
1873         of message "titles" and put the message text in `struct error'.
1874         Now `struct error' encapsulates a message more properly.
1875
1876         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1877         Format message ourselves.
1878
1879         * data-in.c: (vdls_error) Ditto.
1880
1881         * por-file-reader.c: (error) Ditto.
1882
1883         * sys-file-reader.c: (corrupt_msg) Ditto.
1884
1885 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1886
1887         GNU standards require "file name" instead of "filename" in
1888         documentation.  It's nice for our code to follow the convention
1889         too.
1890
1891         * casefile.c: (struct casefile) Rename `filename' member to
1892         `file_name'.  Updated all references.
1893
1894         * file-name.c: [!unix] (struct file_identity) Rename
1895         normalized_filename member to normalized_file_name.  Updated all
1896         references.
1897
1898 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1899
1900         We don't really support anything but Unix-like environments well,
1901         so we might as well de-obfuscate by writing directory and path
1902         separators explicitly.
1903
1904         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1905         to just '/'.
1906         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1907         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1908         "/".
1909         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1910         ":"
1911
1912 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1913
1914         GNU standards require "file name" instead of "filename" in
1915         documentation.  It's nice for our code to follow the convention
1916         too.
1917
1918         * filename.c: Rename to file-name.c.
1919
1920         * filename.h: Rename to file-name.h.  Update all inclusions.
1921         Update header guards.
1922
1923         * automake.mk: Update file names.
1924
1925 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1926
1927         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1928         updated.
1929         (fn_basename) Removed (dead code).
1930         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1931         (fn_special_p) Renamed fn_is_special(), all references updated.
1932         (fn_exists_p) Renamed fn_exists(), all references updated.
1933
1934 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1935
1936         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.
1937         Also, now it only tilde-expands file names, not paths.
1938         (fn_search_path) Tilde-expand one directory at a time.
1939
1940 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1941
1942         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1943         get rid of non-Unixlike version of the code, which has probably
1944         never been tested.
1945         (fn_prepend_dir) Removed (dead code).
1946
1947         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1948         (macro PATH_SEPARATOR_STRING) New.
1949 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1950
1951         Continue reforming error message support.  In this phase, we get
1952         rid of VM() and the other msg() support for "verbosity", replacing
1953         it by a new function verbose_msg().
1954
1955         * filename.c: (fn_search_path) Use verbose_msg() instead of
1956         msg(VM(), ...).
1957
1958 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1959
1960         * sfm-private.h: Get rid of #defines after #error, which makes no
1961         sense.
1962
1963 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1964
1965         Get rid of our own int32 type in favor of the standard int32_t
1966         type.
1967
1968         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1969         include <stdint.h>.
1970
1971         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1972
1973         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1974
1975 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1976
1977         Remove ill-considered file routines that are no longer used.
1978
1979         * filename.c: (fn_open_ext) Removed.
1980         (fn_close_ext) Removed.
1981
1982         * filename.h: (struct file_ext) Removed.
1983
1984 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1985
1986         * variable.c (var_is_valid_name): Move declarations before code
1987         for C90 compliance.
1988
1989 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1990
1991         * filename.ch (fn_interp_vars): Fixed small buglet.
1992
1993 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1994
1995         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1996         so as to modify the string inline.   Thus makeing it easier to
1997         destroy the results when no longer needed.
1998
1999 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
2000
2001         * category.c (cat_stored_values_destroy): Fixed memory leak.
2002
2003 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
2004
2005         Add some missing frees.  Thanks to John Darrington for reporting
2006         these.
2007
2008         * any-writer.c (any_writer_close): Free writer.
2009
2010         * any-reader.c (any_reader_close): Free reader.
2011
2012 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
2013
2014         * por-file-reader.c: (error) Mark as NO_RETURN.
2015
2016 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
2017
2018         * settings.c: Changed default value of scompress to true.
2019
2020 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
2021
2022         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
2023
2024         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
2025         really applies.
2026
2027         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
2028         here from pref.h.orig.
2029
2030 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
2031
2032         * sys-file-reader.c: Fixed bug reading compressed files.
2033
2034 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
2035
2036         * Numerous renames.  See src/ChangeLog for details.
2037
2038         * Moved files from src directory