src/data/ChangeLog

   1 2007-08-12  Ben Pfaff  <blp@gnu.org>
   2
   3         * casereader.c (casereader_read): Don't require cases read by a
   4         casereader to be exactly the expected size: as long as they're big
   5         enough, it's OK.
   6
   7 2007-08-12  Ben Pfaff  <blp@gnu.org>
   8
   9         Make casewriters keep track of the number of `union value's in
  10         each case.  This is useful for two reasons: casewriter_write can
  11         then check that the case being written is large enough, and later
  12         recipients of the casewriter can determine the size of the case.
  13
  14         * casewriter-translator.c (casewriter_create_translator): Add
  15         value_cnt parameter.
  16
  17         * casewriter.c (struct casewriter): Add value_cnt member.
  18         (casewriter_write): Check that the case passed in is big enough.
  19         (casewriter_get_value_cnt): New function.
  20         (casewriter_create): Add value_cnt parameter.
  21
  22 2007-08-09  Ben Pfaff  <blp@gnu.org>
  23
  24         Fix bug reported by Jason Stover.
  25         * settings.c: Move get_termcap_viewport and in particular the
  26         #include for <curses.h> to the end of the file.  curses.h
  27         redefines bool on some systems (e.g. OpenBSD), which causes
  28         disagreement between uses of bool before its inclusion and
  29         afterward.
  30         Tested by Jason Stover.
  31
  32 2007-07-29  Ben Pfaff  <blp@gnu.org>
  33
  34         Provisional fix for bug #18692 and bug #20161.  Reviewed by John
  35         Darrington.
  36
  37         * file-name.c (fn_open): Only pass "r" or "w" to popen as mode
  38         argument (never "rb" or "wb") because SUSv3 says that only those
  39         modes are defined, and glibc in fact rejects other modes.
  40
  41         Open portable files with fn_open so that they can be read from
  42         pipes.  Fix missing fh_close call to go along with fh_open.
  43         Report an error if the file close reports an error.
  44         * por-file-reader.c (close_reader): New function.
  45         (por_file_casereader_destroy): Use close_reader.
  46         (pfm_open_reader): Open file with fn_open.
  47
  48 2007-07-28  Ben Pfaff  <blp@gnu.org>
  49
  50         Make PSPP able to read all the portable files I could find on the
  51         web.  Thanks to John Darrington for review.  Bug #17620.
  52         * por-file-reader.c (struct pfm_reader): New member `line_length'.
  53         (error): Print file offset in hexadecimal.
  54         (warning): New function.
  55         (advance): Treat lines less than 80 bytes long as padded to 80
  56         bytes with spaces.
  57         (pfm_open_reader): Call read_documents if we find an "E" record.
  58         (convert_format): Convert invalid formats to the default format
  59         instead of aborting reading the file.
  60         (read_variables): Rename duplicate variable names instead of
  61         aborting reading the file.
  62         (read_value_label): Allow string variables of different widths to
  63         be assigned value labels in the same record.  Replace duplicate
  64         value labels instead of aborting.
  65         (read_documents): New function.
  66
  67         * por-file-writer.c (pfm_open_writer): Call write_documents if the
  68         dictionary has documents.
  69         (write_documents): New function.
  70
  71 2007-07-25  Ben Pfaff  <blp@gnu.org>
  72
  73         Fix bugs related to bug #17213.
  74
  75         * settings.c: Use HAVE_LIBNCURSES instead of HAVE_LIBTERMCAP,
  76         since the former is what config.h has.  Include the needed ncurses
  77         headers.
  78         (static var echo) Rename to `do_echo' because the original name is
  79         the same as an ncurses identifier.
  80         (get_termcap_viewport) Use error instead of msg.
  81
  82         * file-name.c (fn_interp_vars): Fix interpolation of $VARS.
  83         (fn_close): Don't close stdin, stdout, stderr.
  84
  85 2007-07-26 John Darrington <john@darrington.wattle.id.au>
  86
  87         * procedure.c procedure.h: Added callbacks which get invoked whenever
  88         a dataset's transformation chain changes.
  89
  90 2007-07-24  Ben Pfaff  <blp@gnu.org>
  91
  92         Fix bug #6113.
  93         * sys-file-writer.c (write_variable_display_parameters): Use new
  94         var_default_display_width function to choose display width of
  95         segments after the first one in a given variable.
  96         * variable.c (var_create): Use var_default_display_width to pick
  97         new variable's display width.
  98         (var_default_display_width): New function.
  99         Reviewed by John Darrington.
 100
 101 2007-07-24  Ben Pfaff  <blp@gnu.org>
 102
 103         Fix bug #20427.
 104         * por-file-writer.c (write_variables): Write weight variable.
 105         Reviewed by John Darrington.
 106
 107 2007-07-23  Ben Pfaff  <blp@gnu.org>
 108
 109         Improvements to system file reader and writer.
 110
 111         First, move all detailed knowledge of very long strings into
 112         sys-file-private.[ch], so that this nasty stuff can be isolated.
 113
 114         * sys-file-private.c (REAL_VLS_CHUNK): New macro.
 115         (EFFECTIVE_VLS_CHUNK): New macro.
 116         (min_int): New function.
 117         (max_int): New function.
 118         (sfm_width_to_bytes): Rewrite.
 119         (sfm_width_to_octs): New function.
 120         (sfm_segment_alloc_width): New function.
 121         (sfm_segment_alloc_bytes): New function.
 122         (sfm_segment_used_bytes): New function.
 123         (sfm_segment_offset): New function.
 124         (sfm_segment_effective_offset): New function.
 125         (sfm_dictionary_to_sfm_vars): New function.
 126
 127         * sys-file-private.h (MIN_VERY_LONG_STRING): Removed.
 128         (EFFECTIVE_LONG_STRING_LENGTH): Removed.
 129         (struct sfm_var): New structure.
 130
 131         Next, improvements to the system file reader.
 132
 133         * sys-file-reader.h (struct sfm_read_info): Changed `case_cnt' to
 134         type casenumber.  Added `version_major', `version_minor',
 135         `version_revision'.
 136
 137         * sys-file-reader.c (struct sfm_reader): Replaced `flt64_cnt' by
 138         `oct_cnt'.  Rename `vars', `var_cnt' to `sfm_vars', `sfm_var_cnt'.
 139         Change `case_cnt' to type casenumber.  Removed `has_vls'.
 140         (struct sfm_var): Removed.
 141         (sfm_open_reader): Don't warn on wrong case size if the file was
 142         written by SPSS 13, which tends to get it wrong.  Use
 143         sfm_dictionary_to_sfm_vars.
 144         (read_header): Always output system file info.
 145         (read_variable_record): Simplify code for reading missing values.
 146         (read_machine_int32_info): Save version numbers from system file
 147         into info struct passed as new argument.
 148         (read_long_string_map): Restructured to use new sys-file-private
 149         functions.
 150         (read_value_labels): Use size_overflow_p.
 151         (sys_file_casereader_read): Get rid of distinction between fast
 152         and slow paths.  Use information provided by sys-file-primate's
 153         struct sfm_var to simplify code.
 154         (skip_whole_strings): New function.
 155         (read_int32): Renamed read_int.  Changed return value to int.
 156         Updated all callers.
 157         (read_flt64): Renamed read_float.  Changed return value to
 158         double.  Updated all callers.
 159         (int32_to_native): Removed.  Changed callers to use
 160         integer_convert.
 161         (flt64_to_double): Removed.  Changed callers to use float_convert.
 162
 163         Finally, get rid of int32, flt64 terminology and types in system
 164         file writer.  The former wasn't very useful since a POSIX "int"
 165         can hold the whole range of int32 and we generally didn't have a
 166         need for it to be exactly-32-bits, just at-least-32-bits.  The
 167         latter was inconvenient because we had to assume that it could be
 168         different from double and thereby convert special values SYSMIS,
 169         HIGHEST, LOWEST to and from it in multiple places.  Instead, now
 170         we just use "int" and "double" in most places, and do conversions,
 171         if necessary, very close to where we do I/O.  This change meant
 172         that the writer code couldn't represent records in the file as C
 173         structs any longer, but that's no great loss.  The code actually
 174         seems to be more readable without them.
 175
 176         Simplify the compression buffering code: only buffer as much as
 177         necessary, which is no more than eight 8-byte units at any given
 178         time.
 179
 180         * sys-file-writer.c (typedef flt64): Removed.
 181         (macro second_lowest_flt64): Removed.
 182         (struct sysfile_header): Removed.
 183         (struct sysfile_variable): Removed.
 184         (struct sfm_writer): Removed `needs_translation', `has_vls',
 185         `flt64_cnt'.  Changed `compress' to type bool and `case_cnt' to
 186         type casenumber.  Renamed `vars' to `sfm_vars', `var_cnt' to
 187         `sfm_var_cnt'.  Replaced `buf', `end', `ptr', `x', `y' for
 188         compression buffering by `opcodes', `opcode_cnt', `data',
 189         `data_cnt'.  Renamed `var_cnt_vls' as `segment_cnt'.
 190         (sfm_open_writer): Use sfm_dictionary_to_sfm_vars.  Use simple
 191         data writer functions instead of structures.
 192         (calc_oct_idx): New function.
 193         (write_header): Use simple data writer functions instead of
 194         structures.
 195         (write_format_spec): Renamed write_format.  New argument.
 196         (write_variable_continuation_records): New function.
 197         (write_variable): Use simple data writer functions instead of
 198         structures.  Use write_variable_continuation_records.  Write
 199         entire very long string instead of requiring caller to understand
 200         them.
 201         (write_value_labels): Use simple data writer functions instead of
 202         structures.
 203         (write_documents): Ditto.
 204         (write_variable_display_parameters): Use sys-file-private
 205         functions to simplify.  Use simple data writer functions instead
 206         of structures.
 207         (write_vls_length_table): Use simple data writer functions instead
 208         of structures.
 209         (write_longvar_table): Ditto.
 210         (write_rec_7_34): Break into new functions
 211         write_integer_info_record, write_float_info_record.  Use simple
 212         data writer functions instead of structures.
 213         (buf_write): Removed.
 214         (append_string_max): Removed.
 215         (ensure_buf_space): Removed.
 216         (sys_file_casewriter_write): Get rid of the distinction between
 217         fast and slow paths, which didn't seem to be too useful.  Use new
 218         functions write_case_uncompressed, write_case_compressed.
 219         (put_instruction): Removed.
 220         (put_element): Removed.
 221         (write_compressed_data): Removed.
 222         (close_writer): Use flush_compressed.  Only write case count to
 223         system file if it will fit in the field.
 224         (write_case_compressed): New function.
 225         (write_case_uncompressed): New function.
 226         (flush_compressed): New function.
 227         (put_cmp_opcode): New function.
 228         (put_cmp_number): New function.
 229         (write_int): New function.
 230         (convert_double_to_output_format): New function.
 231         (write_float): New function.
 232         (write_value): New function.
 233         (write_string): New function.
 234         (write_bytes): New function.
 235         (write_zeros): New function.
 236         (write_spaces): New function.
 237
 238         Reviewed by John Darrington.
 239
 240 2007-07-22  Ben Pfaff  <blp@gnu.org>
 241
 242         Don't try to write very long strings to portable files.  The
 243         format does not support it.
 244
 245         * por-file-writer.c (MAX_POR_WIDTH): New macro.
 246         (pfm_open_writer): Limit output width to MAX_POR_WIDTH.
 247         (write_format): Add arg to take width to resize format to.
 248         (write_value): Limit width of value written to MAX_POR_WIDTH.
 249         (write_variables): Limit width of variable and its output formats
 250         to MAX_POR_WIDTH.
 251         Reviewed by John Darrington.
 252
 253 2007-07-22  Ben Pfaff  <blp@gnu.org>
 254
 255         * sys-file-reader.c (read_variable_to_value_map): Use max_warnings
 256         local variable instead of literal 5.
 257         Reviewed by John Darrington.
 258
 259 2007-07-22  Ben Pfaff  <blp@gnu.org>
 260
 261         Fix problems with uniqueness of short names in system files with
 262         very long string variables.  Now a variable may have multiple
 263         short names.
 264
 265         * automake.mk (src_data_libdata_a_SOURCES): Add new files
 266         short-names.c, short-names.h.
 267
 268         * dictionary.c (dict_clone): Clone all the short names.
 269         (compare_strings): Move into short-names.c.
 270         (hash_strings): Ditto.
 271         (set_var_short_name_suffix): Ditto.
 272         (dict_assign_short_names): Ditto, rename short_names_assign,
 273         change to assign all short names.
 274
 275         * por-file-writer.c (write_variables): Use short_names_assign
 276         instead of dict_assign_short_names.
 277
 278         * short-names.c: New file.
 279
 280         * short-names.h: New file.
 281
 282         * sys-file-private.c (sfm_width_to_segments): New function.
 283
 284         * sys-file-reader.c (read_long_var_name_map): Save and restore all
 285         the short names, not just the first one.
 286
 287         * sys-file-writer.c (cont_var_name): Removed.
 288         (sfm_open_writer): Use short_names_assign instead of
 289         dict_assign_short_names.  Use unique short names assigned by
 290         short_names_assign instead of those generated by cont_var_name.
 291
 292         * variable.c (struct variable): Remove `short_name' member,
 293         replace by `short_names' and `short_name_cnt'.
 294         (var_create) Initialize new members.
 295         (var_get_short_name_cnt): New function.
 296         (var_get_short_name): Now takes an index argument.  Changed most
 297         callers to pass 0.
 298         (var_set_short_name): Ditto.
 299         (var_clear_short_name): Renamed var_clear_short_names, changed to
 300         clear all short names.
 301
 302         Reviewed by John Darrington.
 303
 304 2007-07-22  Ben Pfaff  <blp@gnu.org>
 305
 306         * variable.c (var_set_width): Use new var_set_width function.
 307
 308         * missing-values.c (mv_n_values): Drop assertion, which was not
 309         needed.
 310
 311         * format.c (fmt_default_for_width): New function.
 312         (fmt_resize): New function.
 313
 314         Reviewed by John Darrington.
 315
 316 2007-07-18 John Darrington <john@darrington.wattle.id.au>
 317
 318         * datasheet.c (datasheet_delete_columns): Added assertion to check
 319         we're not deleting outside the range of the sheet.
 320
 321
 322         * dictionary.c dictionary.h variable.c: Added the ability for string
 323         variables to be resized.
 324
 325         * vardict.h: Added some prototypes (moved from dictionary.h) as
 326         these should only be called by variable.c
 327
 328
 329 2007-07-14 John Darrington <john@darrington.wattle.id.au>
 330
 331         * sfm-reader.c: Respect case_cnt field in file header.
 332
 333 2007-07-01 John Darrington <john@darrington.wattle.id.au>
 334
 335         * transformation.c transformation.h (trns_chain_execute): Changed the
 336         signature (Patch #6057)
 337
 338 2007-06-10  Ben Pfaff  <blp@gnu.org>
 339
 340         * casereader-filter.c (casereader_filter_destroy): Make sure to
 341         write all the remaining excluded cases to the casewriter, if any.
 342
 343         * caseinit.c (init_list_destroy): Rewrite.
 344         (init_list_clear): Ditto.
 345
 346         * casegrouper.c (casegrouper_get_next_group): Always set *reader
 347         to null when returning false.
 348
 349 2007-06-06  Ben Pfaff  <blp@gnu.org>
 350
 351         Actually implement the new procedure code and adapt all of its
 352         clients to match.  Also adapt all of the other case sources and
 353         sinks in the tree and their clients to use the
 354         casereader/casewriter infrastructure.
 355
 356         * automake.mk: Add and remove files.
 357
 358         * any-reader.c: Change into a casereader.
 359         * por-file-reader.c: Ditto.
 360         * scratch-reader.c: Ditto.
 361         * sys-file-reader.c: Ditto.
 362
 363         * any-writer.c: Change into a casewriter.
 364         * por-file-writer.c: Ditto.
 365         * scratch-writer.c: Ditto.
 366         * sys-file-writer.c: Ditto.
 367
 368         * procedure.c: Change to use casereader, casewriter, caseinit, and
 369         other new infrastructure.
 370
 371         * scratch-handle.c: Adapt to new infrastructure.
 372
 373         * case-sink.c: Removed, now dead code.
 374         * case-sink.h: Ditto.
 375         * case-source.c: Ditto.
 376         * case-source.h: Ditto.
 377         * casefile-factory.c: Ditto.
 378         * casefile-private.h: Ditto.
 379         * casefile.c: Ditto.
 380         * casefile.h: Ditto.
 381         * casefilter.c: Ditto.
 382         * casefilter.h: Ditto.
 383         * fastfile.c: Ditto.
 384         * fastfile.h: Ditto.
 385         * fastfile-factory.c: Ditto.
 386         * fastfile-factory.h: Ditto.
 387         * storage-stream.c: Ditto.
 388         * storage-stream.h: Ditto.
 389
 390 2007-06-06  Ben Pfaff  <blp@gnu.org>
 391
 392         Add datasheet code.
 393
 394         * automake.mk: Add new files.
 395
 396         * datasheet.c: New file.
 397
 398         * datasheet.h: New file.
 399
 400 2007-06-06  Ben Pfaff  <blp@gnu.org>
 401
 402         Until now, the procedure code has provided a case to the
 403         case_source, which has filled in the data values that come from
 404         the active file.  "Left" data values that don't come from the
 405         active file naturally stay the same from case to case, because the
 406         procedure code keeps using that same case.
 407
 408         One of the compromises that comes with the new procedure code is
 409         that the active file allocates and provides its own case, which
 410         the procedure code then has to resize to provide room for any
 411         other variables that should go in the case and then fill in the
 412         values of "left" variables.  Then, when we're done with that case,
 413         we have to save the values of "left" variables to copy into the
 414         next case read from the active file.
 415
 416         The caseinit code helps with this.
 417
 418         * automake.mk: Add new files.
 419
 420         * caseinit.c: New file.
 421
 422         * caseinit.h: New file.
 423
 424 2007-06-06  Ben Pfaff  <blp@gnu.org>
 425
 426         * value.h (value_cnt_from_width): New function.
 427
 428         * variable.c (var_get_value_cnt): Use new function.
 429
 430 2007-06-06  Ben Pfaff  <blp@gnu.org>
 431
 432         Add casegrouper, to allow cases read from a given casereader to be
 433         broken into groups, each of which has its own casereader.
 434         Generally cases are grouped based on having equal values for some
 435         set of variables.
 436
 437         * automake.mk: Add new files.
 438
 439         * casegrouper.c: New file.
 440
 441         * casegrouper.h: New file.
 442
 443 2007-06-06  Ben Pfaff  <blp@gnu.org>
 444
 445         Add interface to lexicographical ordering of cases.
 446
 447         * automake.mk: Add new files.
 448
 449         * case-ordering.c: New file.
 450
 451         * case-ordering.h: New file.
 452
 453 2007-06-06  Ben Pfaff  <blp@gnu.org>
 454
 455         Add casereaders and casewriters, the basis of the new data processing
 456         implementation.  A casereader is a uniform interface to reading cases
 457         from a data source; a casewriter is a uniform interface to writing
 458         cases to a data sink.
 459
 460         * automake.mk: Add new files.
 461
 462         * casereader-filter.c: New file.
 463
 464         * casereader-provider.h: New file.
 465
 466         * casereader-translator.c: New file.
 467
 468         * casereader.c: New file.
 469
 470         * casereader.h: New file.
 471
 472         * casewriter-provider.h: New file.
 473
 474         * casewriter-translator.c: New file.
 475
 476         * casewriter.c: New file.
 477
 478         * casewriter.h: New file.
 479
 480 2007-06-06  Ben Pfaff  <blp@gnu.org>
 481
 482         "casewindow" data structure that extends the deque (from libpspp)
 483         of cases with the ability to dump cases to disk if we get too many
 484         of them in memory.
 485
 486         * automake.mk: Add new files.
 487
 488         * casewindow.c: New file.
 489
 490         * casewindow.h: New file.
 491
 492 2007-06-06  Ben Pfaff  <blp@gnu.org>
 493
 494         sparse_cases data structure that augments a sparse_array of cases
 495         with the ability to dump cases to disk if we get too many cases in
 496         memory.
 497
 498         * automake.mk: Add new files.
 499
 500         * sparse-cases.c: New file.
 501
 502         * sparse-cases.h: New file.
 503
 504 2007-06-06  Ben Pfaff  <blp@gnu.org>
 505
 506         Adds a low-level on-disk case array data structure.
 507
 508         * automake.mk: Add new files.
 509
 510         * case-tmpfile.c: New file.
 511
 512         * case-tmpfile.h: New file.
 513
 514 2007-06-06  Ben Pfaff  <blp@gnu.org>
 515
 516         In a couple of places we calculate the maximum number of cases to
 517         keep in memory based on the user-defined workspace.  Enable
 518         centralizing the calculation through a new function.
 519
 520         * settings.c (get_workspace_cases): New function.
 521
 522 2007-06-06  Ben Pfaff  <blp@gnu.org>
 523
 524         The casenumber type is defined in transformations.h, but case.h is
 525         a more sensible place.  Move it.
 526
 527         * case.h (CASENUMBER_MAX): New macro.
 528         (typedef casenumber): Move here, from transformations.h.
 529
 530 2007-06-03  Ben Pfaff  <blp@gnu.org>
 531
 532         Slightly generalize case_to_values and case_from_values functions.
 533
 534         * case.c (case_to_values): Rename case_copy_out, change interface.
 535         (case_from_values): Rename case_copy_in, change interface.
 536
 537         * fastfile.c (fastfilereader_get_next_case): Update caller.
 538         (write_case_to_disk): Ditto.
 539
 540 2007-06-02  Ben Pfaff  <blp@gnu.org>
 541
 542         Clean up after a forgotten part of patch #5829.
 543
 544         * casedeque.h: Remove unused file.
 545
 546         * automake.mk: Remove casedeque.h from sources.
 547
 548 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
 549
 550         * category.c: Removed redundant #include
 551
 552 2007-05-06  Ben Pfaff  <blp@gnu.org>
 553
 554         Abstract the documents within a dictionary a little better.
 555         Thanks to John Darrington for suggestion, initial version, and
 556         review.  Patch #5917.
 557
 558         * dictionary.c (struct dictionary): Change `documents' member from
 559         char * to struct string.
 560         (dict_clear): Destroy struct string.
 561         (dict_get_documents): Convert struct string to char *.
 562         (dict_set_documents): Set struct string.  Pad to 80-character
 563         multiple.
 564         (dict_clear_documents): New function.
 565         (dict_add_document_line): New function.
 566         (dict_get_document_line_cnt): New function.
 567         (dict_get_document_line): New function.
 568
 569         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
 570
 571         * sys-file-reader.c (read_documents): Use new document functions.
 572
 573 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 574
 575         * sys-file-reader.c: When reading a system file which has no
 576         long name table, automatically create one where the long names
 577         are the lower case versions of the short names.
 578
 579 2007-04-22  Ben Pfaff  <blp@gnu.org>
 580
 581         * dictionary.c (dict_set_split_vars): dict_destroy expects that
 582         dict_clear will free most data related to the dictionary.
 583         dict_clear does a decent job, except that dict_set_split_vars on
 584         some systems won't actually free the dict's "split" member.
 585         Instead, it'll allocate a 1-byte region.  Fix this.
 586
 587         * value.c (value_copy): New function.
 588         (value_set_missing): Ditto.
 589
 590 2007-04-22 John Darrington <john@darrington.wattle.id.au>
 591
 592         * Deleted existing category.h and moved cat-routines.h into
 593         category.h  Encapsulated struct cat_vals better.
 594
 595 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 596
 597         * sys-file-reader.c: When reading a system file which has no
 598         long name table, automatically create one where the long names
 599         are the lower case versions of the short names.
 600
 601 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 602
 603         * sys-file-reader.c: Some versions of Other Software seem to
 604         produce system files with string  variables' measure set to
 605         zero.  We'll assume these are supposed to be nominal variables.
 606
 607 2007-03-30  Ben Pfaff  <blp@gnu.org>
 608
 609         * procedure.c: Adapt to new deque data structure.
 610
 611 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
 612                           Ben Pfaff <blp@gnu.org>
 613
 614         * file-name.c: Mingw compatibility fixes.
 615         (fn_search_path): Use ISSLASH instead of comparing against '/'
 616         directly.
 617         (fn_dir_name): Use dir_name from gnulib.
 618         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
 619         (fn_get_identity): Use GetFullPathName instead of canonicalize
 620         from gnulib, because the latter does not fully support
 621         Windows-style path names.  Use this implementation based on the
 622         detected presence of Windows instead of the absence of Unix, since
 623         the new implementation is Windows-specific.
 624         (fn_compare_file_identities): In Windows implementation, compare
 625         names case-insensitively.
 626
 627 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
 628
 629         * make-file.c: Don't include mkstemp.h, because gnulib now causes
 630         <stdlib.h> to have the same effect.
 631
 632 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
 633
 634         * por-file-reader.c: Add missing _() around messages.
 635
 636 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
 637
 638         * make-file.c: Include "mkstemp.h", without which linking on
 639         mingw32 fails.
 640
 641 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
 642
 643         Reduce platform dependence.
 644
 645         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
 646         Everywhere we using this, we really should have just depended on
 647         the shell to expand tildes.
 648         (fn_search_path): Simplify, given that we don't do tilde expansion
 649         any longer.
 650         (fn_normalize): Removed.  Caller changed to use the canonicalize
 651         module from gnulib.
 652         (fn_get_cwd): Removed.  Only user was fn_normalize.
 653         (fn_is_absolute): Really only test for absolute names.
 654         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
 655         unix.
 656         (fn_readlink): Removed, as it was only used fn_normalize.
 657         (fn_exists): Assume the stat function is available; gnulib does.
 658         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
 659
 660 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
 661
 662         * dictionary.c (dict_create_vector_assert): New function.
 663
 664 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
 665
 666         * file-name.c (fn_normalize): Correct name of function
 667         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
 668         for pointing this out.
 669
 670 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
 671
 672         We are using a single member in struct file_handle, the "name"
 673         field, for more than one purpose.  When it begins with '"', it's a
 674         file name; otherwise, it's a token that can be used to identify
 675         it.  When that assertion fires, it's because we searched for the
 676         name case-sensitively as a file name (so that there was no match),
 677         and then we try to insert it case-insensitively as a token, which
 678         fails because duplicates aren't allowed.
 679
 680         Solution: break the two purposes into two separate fields.  This
 681         fixes the problem and likely makes the code easier to read too.
 682
 683         Fixes bug #18922.  Thanks to John Darrington for bug report and
 684         review.
 685
 686         * file-handle-def.c (struct file_handle): New `id' member.
 687         (fh_from_name): Rename fh_from_id.  Update all callers.
 688         (create_handle): New `id' parameter.  Update all callers.
 689         (fh_create_file): Ditto.
 690         (fh_get_id): New function.
 691
 692 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
 693
 694         * case.c (case_is_null): Change return type to bool.
 695
 696 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
 697
 698         Add debugging code.
 699
 700         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
 701         reference counting to share data.  This makes it easy for
 702         valgrind, etc. to find accesses to cases that have been destroyed
 703         but have been kept around by another user's ref-count.  This often
 704         happens when the data set is small enough to find in memory; if a
 705         bigger data set that would overflow to disk were used, then data
 706         corruption would occur.
 707
 708 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
 709
 710         Simplify code.
 711
 712         * case.c (case_unshare): Make it check internally whether the
 713         ref_cnt is greater than 1, so that the callers don't have to.
 714         Update callers not to check.
 715
 716 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
 717
 718         Before, I was thinking that I might want to get rid of reference
 719         counting at some point.  Now, I'm pretty sure that it's here to
 720         stay.  Thus, because we have to store the value_cnt anyway for
 721         reference-counted cases, we might as well expose it to users.
 722
 723         * case.c (case_get_value_cnt): New function.
 724         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
 725         resize case if its size actually changed.
 726
 727         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
 728         instead of peeking inside struct case directly.
 729         (casefile_append): Ditto.
 730
 731 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
 732
 733         Get rid of the inlines for the case functions, which made the
 734         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
 735         the inlines didn't speed up "make check" at all, which is not a
 736         perfect benchmark but seems indicative.)
 737
 738         * case.c: Remove #ifdef DEBUGGING...#endif around many function
 739         definitions.  Remove some assertions on nonnull pointers that were
 740         redundant with a pointer dereference soon after in the function.
 741         Also:
 742         (struct case_data): Move definition here from case.h.
 743         (case_data): Ditto.
 744         (case_num): Ditto.
 745         (case_str): Ditto.
 746         (case_data_wr): Ditto.
 747
 748 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
 749
 750         * automake.mk: Add casedeque.h to sources.
 751
 752         * casedeque.h: New file.
 753
 754         * procedure.c: (struct dataset) Change lag_count, lag_head,
 755         lag_queue member into single struct casedeque member.  Update all
 756         users to use the casedeque instead.
 757         (lag_case) Removed.
 758
 759 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
 760
 761         * procedure.c: Simplify lagged cases interface.  Updated all
 762         clients--well, the only client--to use the simplified interface.
 763         (dataset_n_lag) Removed.
 764         (dataset_set_n_lag) Removed.
 765         (dataset_need_lag) New function.
 766
 767 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
 768
 769         * dictionary.c procedure.c: More changes to ensure that callbacks occur
 770         whenever appropriate, but only when the dataset/dictionary is in a
 771         consistent state.
 772
 773 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
 774
 775         * dictionary.c dictionary.h : Added callbacks for change of filter and
 776         split variables.  Refactored some code to ensure that callbacks get
 777         invoked when appropriate.
 778
 779         * procedure.c (proc_cancel_temporary_transformations): Make sure that
 780         replace_dict callback occurs when permanent_dict replaces the current
 781         dictionary.
 782
 783 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
 784
 785         * dictionary.c dictionary.h : Added callback for when the weight
 786         variable of a dictionary changes.
 787
 788 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
 789
 790         * dictionary.c dictionary.h : Added replace_source and replace_dict
 791         callbacks, and functions to deal with them.
 792
 793 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
 794
 795         Simplify missing value handling.
 796
 797         * missing-values.h (enum mv_class): New type.
 798         (enum mv_type): Moved definition into missing-values.c and renamed
 799         each MV_* to MVT_*, to distinguish them from the exposed mv_class
 800         enums.  Updated all uses.
 801         (struct missing_values): Changed type of `type' from `enum
 802         mv_type' to `int' because the definition is no longer exposed.
 803
 804         * missing-values.c (mv_is_value_missing): Add new enum mv_class
 805         parameter.  Update all callers.
 806         (mv_is_num_missing): Ditto.
 807         (mv_is_str_missing): Ditto.
 808         (mv_is_value_user_missing): Removed.  Changed callers to use
 809         mv_is_value_missing.
 810         (mv_is_num_user_missing): Removed.  Changed callers to use
 811         mv_is_num_missing.
 812         (mv_is_str_user_missing): Removed.  Changed callers to use
 813         mv_is_str_missing.
 814         (mv_is_value_system_missing): Removed.  Changed callers to use
 815         mv_is_value_missing.
 816         (mv_set_type): Removed.  Changed callers to use mv_clear.
 817         (mv_clear): New function.
 818
 819         * variable.c (var_is_value_missing): Add new enum mv_class
 820         parameter.  Update all callers.
 821         (var_is_num_missing): Ditto.
 822         (var_is_str_missing): Ditto.
 823         (var_is_value_user_missing): Removed.  Changed callers to use
 824         var_is_value_missing.
 825         (var_is_num_user_missing): Removed.  Changed callers to use
 826         var_is_num_missing.
 827         (var_is_str_user_missing): Removed.  Changed callers to use
 828         var_is_str_missing.
 829         (var_is_value_system_missing): Removed.  Changed callers to use
 830         var_is_value_missing.
 831
 832         * casefilter.c (struct casefilter): Use enum mv_class in place of
 833         bool.
 834         (casefilter_variable_missing): Adapt to new member.
 835         (casefilter_create): Change signature to take enum mv_class,
 836         update callers.
 837
 838 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 839
 840         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
 841
 842         * case-sink.c case-sink.h procedure.c procedure.h
 843           storage-stream.c: Now uses the factory.
 844
 845 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
 846
 847         Make it possible to pull cases from the active file with a
 848         function call, instead of requiring indirection through a callback
 849         function.
 850
 851         * case-source.h (struct case_source_class): Change ->read function
 852         to return a single case, instead of calling a callback function
 853         for each case.  Change ->destroy function to return an error
 854         status.
 855
 856         * case-source.c (free_case_source): Pass along the value returned
 857         by the case_source ->destroy function.
 858
 859         * procedure.c (struct write_case_data): Removed.
 860         (struct dataset): Added some members to track procedure state.
 861         (procedure): Optimize the trivial case at this level.
 862         (internal_procedure): Re-implement in terms of proc_open,
 863         proc_read, proc_close.
 864         (proc_open) New function.
 865         (proc_read) New function.
 866         (proc_close) New function.
 867         (write_case) Moved into proc_read.
 868         (close_active_file) Moved closing of data source into proc_close.
 869
 870         * storage-source.c: Rewrote to conform with modified
 871         case_source_class interface.
 872
 873         * transformations.c (trns_chain_execute): Added argument to allow
 874         starting execution from an arbitrary transformation.  Updated
 875         callers.
 876
 877         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
 878
 879 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
 880
 881         * sys-file-reader.c (read_display_parameters): Don't assume that
 882         MEASURE_* and ALIGN_* have the same values found in system files.
 883
 884         * sys-file-writer.c (write_variable_display_parameters): Ditto.
 885
 886         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
 887         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
 888         the value of n_MEASURES, which was off by 1 (at least from my
 889         point of view).
 890
 891 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 892
 893         * dictionary.c dictionary.h vardict.h variable.c: Added optional
 894                 callbacks which are invoked when the dictionary or its
 895                 variables are changed.
 896
 897         * missing-values.c missing-values.h value-labels.c: Tidied up
 898                 consistency checks, and made some of them return false
 899                 instead of assert-failing.
 900
 901 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
 902
 903         * calendar.c (calendar_days_in_month): New function.
 904
 905 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
 906
 907         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
 908         the value label's width.
 909
 910 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
 911
 912         * sfm-private.h: Move contents into sys-file-writer.c, which is
 913         the only remaining user.  Removed Borland C++-specific directives.
 914
 915         * sys-file-reader.c: Clean up and rewrite entire file.  The
 916         rewritten version is simpler and better abstracted, and should be
 917         easier to maintain and extend.  It avoids using structures to read
 918         file data, which is prone to padding variations among compilers.
 919         It should also handle non-IEEE 754 system files, although I
 920         haven't been able to find any.  It has been tested against many
 921         .sav files obtained from the Web and found to produce the same
 922         results as the earlier version of the code, or in some cases
 923         improved results.  It is more tolerant of format variations found
 924         in the wild.
 925
 926         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
 927         member, putting an enum integer_format in its place.  New member
 928         `float_format'.  Changed `compressed' member to type bool.
 929
 930 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
 931
 932         * dictionary.c (dict_delete_consecutive_vars): New function.
 933
 934 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
 935
 936         * file-name.c (fn_search_path): Remove prefix arg that was unused
 937         by any caller.  Updated all callers.
 938
 939 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
 940
 941         * format.c (fmt_dollar_template): Use user's decimal point
 942         character.  Add assertion.
 943
 944 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
 945
 946         * format.c (fmt_dollar_template): New function, based on
 947         dollar_format_template from var-type-dialog.c.
 948
 949 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
 950
 951         * data-out.c (output_scientific): Fix bad assumption that "buf" is
 952         null-terminated.
 953
 954 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
 955
 956         Finish converting struct variable to an opaque type.  In this
 957         phase, we add remaining setter and getter functions, convert the
 958         remaining PSPP code to use them, and do a bunch of cleanup.  The
 959         resulting changes are pervasive but mostly trivial, and only the
 960         notable changes are logged.
 961
 962         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
 963         files.
 964
 965         * case.c (case_data): Renamed case_data_idx.
 966         (case_num): Renamed case_num_idx.
 967         (case_str): Renamed case_str_idx.
 968         (case_data_rw): Renamed case_data_rw_idx.
 969
 970         * case.h (case_data): New function with old name and an interface
 971         that takes a variable instead of an index, which is easier to
 972         use.  Updated all callers to use the new interface, or to use the
 973         new *_idx function (see above).
 974         (case_num): Ditto.
 975         (case_str): Ditto.
 976         (case_data_rw): Ditto.
 977
 978         * category.c (cat_stored_values_destroy): Changed interface to
 979         take a struct cat_vals * instead of a struct variable *.
 980
 981         * dictionary.c (dict_clone): Use new vector_clone function.
 982         (dict_clear) Use new var_destroy function.
 983         (add_var) New function.
 984         (dict_create_var) Rewrite in terms of dict_create_var_assert.
 985         (dict_create_var_assert) Rewrite in terms of add_var.
 986         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
 987         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
 988         (dict_lookup_var) Use new var_create, var_destroy functions.
 989         (dict_contains_var) Rewrite in terms of new vardict functionality.
 990         (set_var_dict_index) New function.
 991         (set_var_case_index) New function.
 992         (reindex_vars) New function.
 993         (dict_delete_var) Rewrite in terms of new vardict functionality.
 994         (dict_reorder_var) Ditto.
 995         (dict_reorder_vars) Ditto.
 996         (rename_var) New function.
 997         (dict_rename_var) Use rename_var.
 998         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
 999         (dict_get_compacted_idx_to_fv) Rename
1000         dict_get_compacted_dict_index_to_case_index, update callers.
1001         (dict_create_vector) Use new vector_create function.
1002         (dict_clear_vectors) Use new vector_destroy function.
1003         (set_var_short_name_suffix) Move here from variable.c, renamed
1004         from var_set_short_name_suffix, make static, update caller.
1005
1006         * sys-file-private.c: New file.
1007         (sfm_width_to_bytes) Moved here from variable.c, renamed from
1008         width_to_bytes, update callers.
1009
1010         * sys-file-private.h: New file.  Later it will supplant
1011         sfm-private.h; for now it supplements it.
1012         (macro MIN_VERY_LONG_STRING) New macro.
1013         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
1014
1015         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
1016         MAX_LONG_STRING was used before.
1017
1018         * sys-file-writer.c: Ditto.
1019
1020         * value-labels.c: Change the paradigm here to be that a null
1021         pointer is OK for a struct val_labs * in most cases; it just
1022         represents an empty set of value labels.
1023         (val_labs_copy) A copy of a null set is a null set.
1024         (val_labs_count) A null set has 0 labels.
1025         (val_labs_replace) Change return type to void.  Rewrite for
1026         simplicity.
1027         (val_labs_find) A null set does not contain the value.
1028         (value_to_string) Moved to variable.c, renamed var_get_value_name,
1029         transposed argument order, updated all callers.
1030
1031         * value.c: New file.
1032         (value_dup) Moved here from variable.c.
1033         (compare_values) Ditto.
1034         (hash_value) Ditto.
1035
1036         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
1037         (macro MAX_LONG_STRING) Removed, because it was only interesting
1038         for system files, not for general code.
1039         (macro MAX_VERY_LONG_STRING) Ditto.
1040         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
1041         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
1042
1043         * vardict.h: New file, for an interface between variables and
1044         their dictionaries.
1045
1046         * variable.c: A lot of functions were moved around, for better
1047         organization.
1048         (struct variable) Move definition here, from variable.h.
1049         (var_type_adj) Removed--makes i18n hard.
1050         (var_type_noun) Ditto.
1051         (var_create) New function.
1052         (var_clone) New function.
1053         (var_destroy) New function.
1054         (var_set_name) Assert that variable is not in a dictionary.
1055         (compare_var_names) Rename compare_vars_by_name and fix a couple
1056         of callers who thought the args were strings.
1057         (hash_var_name) Rename hash_var_by_name.
1058         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
1059         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
1060         (var_is_very_long_string) Removed, because it was only interesting
1061         to system file code.
1062         (var_set_missing_values) Allow the argument to be the wrong width,
1063         as long as we can resize it.  Simplify callers who were doing the
1064         resizing themselves.
1065         (var_get_value_labels) New function.
1066         (var_has_value_labels) New function.
1067         (var_set_value_labels) New function.
1068         (alloc_value_labels) New function.
1069         (var_add_value_label) New function.
1070         (var_replace_value_label) New function.
1071         (var_clear_value_labels) New function.
1072         (var_lookup_value_label) New function.
1073         (var_get_value_name) Moved here from variable.c, renamed from
1074         var_get_value_name, transposed argument order, updated all
1075         callers.
1076         (var_to_string) Moved here, from variable-label.c.
1077         (var_set_leave) New function.
1078         (var_get_leave) New function.
1079         (var_must_leave) New function.
1080         (var_set_short_name_suffix) Moved to dictionary.c, renamed
1081         set_var_short_name_suffix.
1082         (var_get_dict_index) New function.
1083         (var_get_case_index) New function.
1084         (var_get_obs_vals) New function.
1085         (var_set_obs_vals) New function.
1086         (var_has_obs_vals) New function.
1087         (var_get_vardict) New function.
1088         (var_set_vardict) New function.
1089         (var_has_vardict) New function.
1090         (var_clear_vardict) New function.
1091         (value_dup) Moved to value.c.
1092         (compare_values) Ditto.
1093         (hash_value) Ditto.
1094
1095         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
1096         (enum ALPHA) Rename VAR_STRING, update all users.
1097
1098         * vector.c: New file.
1099         (struct vector) Moved here, from variable.h.
1100         (check_widths) New function.
1101         (vector_create) New function.
1102         (vector_clone) New function.
1103         (vector_destroy) New function.
1104         (vector_get_name) New function.
1105         (vector_get_var) New function.
1106         (vector_get_var_cnt) New function.
1107         (compare_vector_ptrs_by_name) New function.
1108
1109         * vector.h: New file.
1110
1111 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1112
1113         * casefilter.c (casefilter_variable_missing): Avoided comparision of
1114         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
1115         problem.
1116
1117 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
1118
1119         * value-labels.c (destroy_atoms): New function.
1120         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
1121
1122 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
1123
1124         Thanks to Jason Stover for pointing out this problem.
1125
1126         * data-out.c (output_number): Use gsl_finite from GSL, which is
1127         portable, instead of isfinite, which is not.
1128         (power256) Ditto.
1129
1130 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
1131
1132         * variable.c variable.h (value_dup): New function.
1133
1134 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
1135
1136         Start converting struct variable to an opaque type.  In this
1137         phase, we add a bunch of setter and getter functions and convert
1138         most of the PSPP code to use them.  The resulting changes are
1139         pervasive but mostly trivial, and only the notable changes are
1140         logged.
1141
1142         * format.c (fmt_equal): New function.
1143
1144         * variable.c (var_type_is_valid): New function.
1145         (measure_is_valid) Moved here, from format.c.
1146         (alignment_is_valid) Moved here, from format.c.
1147         (var_get_name) New function.
1148         (var_set_name) New function.
1149         (width_to_type) New function.
1150         (var_get_type) New function.
1151         (var_get_width) New function.
1152         (var_set_width) New function.
1153         (var_is_numeric) New function.
1154         (var_is_alpha) New function.
1155         (var_is_short_string) New function.
1156         (var_is_long_string) New function.
1157         (var_is_very_long_string) New function.
1158         (var_get_missing_values) New function.
1159         (var_set_missing_values) New function.
1160         (var_clear_missing_values) New function.
1161         (var_has_missing_values) New function.
1162         (var_is_value_missing) New function.
1163         (var_is_num_missing) New function.
1164         (var_is_str_missing) New function.
1165         (var_is_value_user_missing) New function.
1166         (var_is_num_user_missing) New function.
1167         (var_is_str_user_missing) New function.
1168         (var_is_value_system_missing) New function.
1169         (var_get_print_format) New function.
1170         (var_set_print_format) New function.
1171         (var_get_write_format) New function.
1172         (var_set_write_format) New function.
1173         (var_set_both_formats) New function.
1174         (var_get_label) New function.
1175         (var_set_label) New function.
1176         (var_clear_label) New function.
1177         (var_has_label) New function.
1178         (var_get_measure) New function.
1179         (var_set_measure) New function.
1180         (var_get_display_width) New function.
1181         (var_set_display_width) New function.
1182         (var_get_alignment) New function.
1183         (var_set_alignment) New function.
1184         (var_get_value_cnt) New function.
1185         (var_get_leave) New function.
1186         (var_get_short_name) New function.
1187
1188         * variable.h: (struct variable) Removed "type" and "nv" members;
1189         they are now computed from "width" where needed.
1190
1191 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
1192
1193         * missing-values.c (mv_resize): Don't write beyond end of the
1194         allocated buffer when resizing a long string.
1195
1196 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
1197
1198         Clean up identifier code: don't require identifier enumerations to
1199         be in a particular order; make better use of string library;
1200         expose less of the internals.
1201
1202         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
1203         change interface.  Updated all callers.
1204         (lex_id_match) Change interface to use struct substring, update
1205         all callers.
1206         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
1207         (global array keywords[]) Make static, change form.  Update all
1208         users to use lex_id_name instead.
1209         (lex_is_keyword) New function.
1210         (lex_id_to_token) Change interface to use struct substring, update
1211         all callers.
1212         (lex_id_name) New function.
1213
1214         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
1215         lex_is_keyword instead.
1216         (T_LAST_KEYWORD) Removed.
1217         (T_N_KEYWORDS) Removed.
1218
1219 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
1220
1221         * format.c: (fmt_date_template) Distinguish characters for which a
1222         space is output and any date delimiter is allowed on input, from
1223         those for which a space is output and only a space is allowed on
1224         input.  The former is represented by X, the latter by a space.
1225         Also, drop distinction between h and H, changing the former to the
1226         latter.
1227
1228         * data-in.c: Completely rewrite internals to conform to SPSS input
1229         formats as closely as possible.
1230         (data_in) Changed external interface by replacing the structure
1231         that was used as a single argument by a set of arguments.  Updated
1232         all callers.
1233         (data_in_finite_line) Removed.  Converted all callers to use plain
1234         data_in.
1235         (data_in_get_integer_format) New function.
1236         (data_in_set_integer_format) New function.
1237         (data_in_get_float_format) New function.
1238         (data_in_set_float_format) New function.
1239
1240         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
1241         (struct data_in) Removed.
1242
1243         * data-out.c: (output_date) Drop each component from the input as
1244         it is output, to allow us to drop the distinction between h (a
1245         count of hours) and H (the hour of day) template characters.
1246         Also, handle new X template character.
1247         (output_scientific) Follow more rational rule on when to drop
1248         fraction introduced between SPSS 13 and 15.  Updated test case to
1249         match new behavior.
1250
1251 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
1252
1253         Fix buffer overflow reported by John Darrington.
1254
1255         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
1256         realize that DIGITS is a count of nibbles, not of bytes.
1257
1258 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
1259
1260         * calendar.c (calendar_offset_to_gregorian) Also return the
1261         year-of-day.  Change callers to new interface.
1262
1263         * data-out.c: Completely rewrite internals to conform to SPSS
1264         output formats as completely as possible.
1265         (data_out) Change interface to put input parameters before output
1266         parameters, for consistency with the style I now prefer.  Update
1267         all callers.
1268         (data_out_get_integer_format) New public function.
1269         (data_out_set_integer_format) New public function.
1270         (data_out_get_float_format) New public function.
1271         (data_out_set_float_format) New public function.
1272
1273         * data-out.h: New file.  Move prototype for data_out here, from
1274         format.h.
1275
1276         * format.c: (fmt_step_width) Use equality comparison instead of
1277         bitwise and, for clarity.
1278         (fmt_is_string) Ditto.
1279         (fmt_input_to_output) Fix categories that are translated to F
1280         format.
1281
1282 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
1283
1284         * casefilter.c casefilter.h (new files), casefile.c casefile.h
1285         casefile-private.h: Added casefilter to assist commands with missing
1286         values.
1287
1288 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
1289
1290         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
1291
1292         * settings.c: (route_errors_to_terminal) New variable.
1293         (route_errors_to_listing) New variable.
1294         (get_error_routing_to_terminal) New function.
1295         (set_error_routing_to_terminal) New function.
1296         (get_error_routing_to_listing) New function.
1297         (set_error_routing_to_listing) New function.
1298
1299         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
1300
1301 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
1302
1303         * format.c: Completely rewrite, to achieve better abstraction.
1304         Rewrite all references to formats in other files.
1305
1306         * format.def: Rewrite and reorganize.
1307
1308         * settings.c: Move everything related to custom currency formats
1309         into format.[ch], changing them in form, so as to group related
1310         code and definitions better.  Changed all references to use the
1311         new functions.
1312         (static var decimal) Removed.
1313         (static var grouping) Removed.
1314         (static var cc) Removed.
1315         (get_decimal) Removed.
1316         (set_decimal) Removed.
1317         (get_grouping) Removed.
1318         (set_grouping) Removed.
1319         (get_cc) Removed.
1320         (set_cc) Removed.
1321
1322         * settings.h: (macro CC_CNT) Removed.
1323         (macro CC_WIDTH) Removed.
1324         (struct custom_currency) Removed.
1325
1326 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
1327
1328         * data-in.c (data_in): Use switch statement instead of table, to
1329         avoid dependence on the order of the FMT_* enums.
1330
1331 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
1332
1333         * data-out.c: (num_to_string) Removed, because it was dead code.
1334
1335 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
1336
1337         * data-in.c (parse_trailer): Fix error message.
1338
1339 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1340
1341         * format.c (fmt_is_binary): New function.
1342
1343 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1344
1345         * procedure.c procedure.h: Encapsulated the static data into a single
1346         struct.
1347
1348 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1349
1350         * casefile.c (casereader_read_xfer): Always initialize the case,
1351         even on an error condition.
1352
1353 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1354
1355         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the
1356         entire function useless.
1357
1358 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1359
1360         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1361         casereader method casereader_clone.
1362
1363         * procedure.c pransformations.h: Introduced new type casenum_t
1364
1365 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1366
1367         * variable.c: (width_to_bytes) Rephrase code for clarify.
1368
1369 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1370
1371         * format.c: (fmt_type_from_string) New function.
1372         (fmt_to_string) Include decimals in output if the format has
1373         decimals, even if the format type does not.  This way, we can
1374         accurately reproduce incorrect formats in user output.
1375         (check_common_specifier) Make the check for a bad format type an
1376         assertion, so we get bug reports if they show up.  Fix message.
1377         Check for decimal places with a format type that doesn't allow
1378         them.
1379         (check_input_specifier) Remove check for FMT_X, which has been
1380         deleted.
1381         (check_output_specifier) Ditto.
1382
1383         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1384
1385         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1386         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1387         (enum fmt_parse_flags) Removed.
1388
1389 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1390
1391         * casefile.c casefile.h: Converted to  an abstract base class.
1392         * casefile-private.h fastfile.c fastfile.h: New files.
1393         * automake.mk procedure.c scratch-writer.c storage-stream.c
1394
1395 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1396
1397         * procedure.c (internal_procedure): Create sink_case with only as
1398         many values as the compacted dictionary.
1399
1400 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1401
1402         Remove "debugging" code that caused plenty of false positives and
1403         no true positives.
1404
1405         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1406
1407         * case.c: Remove all references to `this' member.
1408
1409 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1410
1411         Fix link error noted by Jason Stover.
1412
1413         * storage-stream.c: Include <assert.h>.
1414
1415 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1416
1417         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1418         ALL) and additional underlying system file issues.
1419
1420         Thanks to John Darrington for review.
1421
1422         First problem: var_hash points to variables not owned by the
1423         sys-file-reader, which the caller may free or modify.  Use an
1424         array of sfm_vars instead, as done earlier (e.g. CVS version
1425         1.12).
1426
1427         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
1428         members and remove all code that references it.  Add vars, var_cnt
1429         members.  Remove fix_specials member, which was unused.
1430         (struct sfm_var) Remove name member, which was unused.
1431         (sfm_close_reader) Free vars member instead of var_hash.
1432         (compare_var_shortnames) Removed.
1433         (hash_var_shortname) Removed.
1434         (sfm_open_reader) Fill out vars array.
1435         (compare_var_index) Removed.
1436         (sfm_read_case) Use vars instead of var_hash.
1437
1438         Second problem: we're confused about when we actually have very
1439         long strings, causing us to choose incorrectly between slow path
1440         and fast path in sfm_read_case.
1441
1442         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
1443         have very long strings, not when we have long variable names,
1444         which is an unrelated feature.
1445
1446 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
1447
1448         * variable.h: Move var_set and variable parsing declarations to
1449         new header, src/language/lexer/variable-parser.h.  Modified lots
1450         of files to include the new header.
1451
1452 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1453
1454         * value-labels.c (value_to_string): When there's no value label,
1455         format the variable according to its print format, instead of
1456         always effectively using A or F format.
1457
1458 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1459
1460         * casefile.c (casefile_get_random_reader): Nasty hack to get around
1461         the mode assertion.
1462
1463         * format.c: Removed tortological assertion.
1464
1465 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1466
1467         Reform string library.
1468
1469         * file-name.c (fn_interp_vars): Change interface to take a
1470         substring as input.  Updated all users.
1471
1472 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1473
1474         * format.c (measure_is_valid): Really return false when m >=
1475         n_MEASURES.
1476
1477 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1478
1479         Implement random access to casefiles, for use in GUI.
1480
1481         * casefile.c: (struct casereader) Add `random', `file_ofs',
1482         `buffer_ofs' members.
1483         (casefile_get_random_reader) New function.
1484         (read_open_file) Break part into new function
1485         seek_and_fill_buffer().
1486         (fill_buffer) Update buffer_ofs, file_ofs.
1487         (casereader_seek) New function.
1488
1489 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1490
1491         * settings.c: Added call to i18n{done, init}.
1492
1493 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1494
1495         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1496         prototypes.
1497
1498 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1499
1500         * casefile.c: Convert many uses of `int' to `bool'.
1501
1502 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1503
1504         * transformations.c (trns_chain_destroy): Destroy chain's trns
1505         member, to fix memory leak.
1506
1507 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1508
1509         * storage-stream.c (storage_source_decapsulate): Destroy case
1510         source to fix memory leak.
1511
1512 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1513
1514         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1515         case passed as argument instead of initializing the argument as a
1516         case.  Fixes memory leak that showed up in
1517         tests/command/aggregate.sh with scratch files.
1518
1519 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1520
1521         * procedure.c (proc_done): Destroy default_dict, to fix memory
1522         leak.
1523
1524 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1525
1526         Simplify procedure_with_splits().
1527
1528         * procedure.c (struct split_aux_data): Removed case_count member.
1529         (procedure_with_splits) Don't initialize case_count.
1530         (split_procedure_case_func) Check whether prev_case is null
1531         instead of case_count.
1532         (split_procedure_end_func) Ditto.
1533
1534 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1535
1536         * case.c (case_move): Do nothing if dst and src are the same
1537         object.
1538         (case_try_create) Merge two similar cases.
1539         (case_copy) Unshare only if data must be actually copied.
1540
1541 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1542
1543         * data-in.c data-out.c dictionary.c sys-file-reader.c
1544         sys-file-writer.c variable.c variable.h:  Reworked very long string
1545         support for better encapsulation.
1546
1547 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1548
1549         * value-labels.c (val_labs_can_set_width): New function.
1550         (val_labs_set_width) Clear labels if increasing width to long
1551         string.
1552         (val_labs_destroy) Remove unneeded test for null.
1553
1554 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1555
1556         * value-labels.h: Remove unneeded dependency on variable.h.
1557
1558 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1559
1560         Get rid of `char *c' member in union value, for cleanliness.
1561
1562         * value.h: (union value) Remove `c' member.
1563
1564 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1565
1566         Make dictionary compacting functions a little more general.
1567
1568         * sys-file-writer.c (sfm_open_writer): Use
1569         dict_compacting_would_change().
1570         (does_dict_need_translation) Removed.
1571
1572 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1573
1574         Make dictionary compacting functions a little more general.
1575
1576         * dictionary.c (dict_needs_compaction): Rename
1577         dict_compacting_would_shrink().  Update all callers.
1578         (dict_compacting_would_change) New function.
1579
1580 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1581
1582         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1583         inverted return value (!).
1584
1585 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1586
1587         Continue reforming procedure execution.
1588
1589         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1590         (static var vfm_source) Rename proc_source.  Update all
1591         references.
1592         (static var vfm_sink) Rename proc_sink.  Update all references.
1593
1594 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1595
1596         Continue reforming procedure execution.  In this phase, remove
1597         PROCESS IF, which was deprecated anyway and can be easily
1598         simulated with TEMPORARY followed by SELECT IF.
1599
1600         * procedure.c: (open_active_file) Don't call
1601         add_process_if_trns().
1602         (discard_variables) Get rid of redundant call to
1603         proc_cancel_all_transformations().
1604         (add_process_if_trns) Removed.
1605         (process_if_trns_proc) Removed.
1606         (process_if_trns_free) Removed.
1607
1608 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1609
1610         Continue reforming procedure execution.  In this phase, add
1611         `const' to the case passed to procedure()'s callback.
1612
1613         Updated all users of procedure() as well.
1614
1615         * procedure.c: (struct write_case_data) Add "const" to ccase
1616         parameter for case_func member.
1617         (procedure) Add "const" to ccase parameter for proc_func
1618         parameter.
1619         (multipass_case_func) Make ccase parameter const.
1620         (internal_procedure) Add "const" to ccase parameter for case_func
1621         parameter.
1622         (split_procedure_case_func) Make ccase parameter const.
1623         (multipass_split_case_func) Make ccase parameter const.
1624
1625 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1626
1627         Continue reforming procedure execution.  In this phase, get rid of
1628         the output code for SPLIT FILE groups in procedure.c, which really
1629         shouldn't be doing any output.  Move it into the individual
1630         procedures instead.  This also adds some flexibility.
1631
1632         Updated many users of procedure_with_splits() and
1633         multipass_procedure_with_splits() to call
1634         output_split_file_values() and to deal with increased use of
1635         const.
1636
1637         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1638         parameter to begin_func member.
1639         (procedure_with_splits) Add "const struct ccase *" parameter to
1640         begin_func parameter.  Make ccase parameter const in proc_func
1641         parameter.
1642         (split_procedure_case_func) Don't dump split file group.  Pass
1643         case to begin_func.
1644         (dump_splits) Moved to language/dictionary/split-file.c as
1645         output_split_file_values().
1646         (struct multipass_split_aux_data) Add "const struct ccase *"
1647         parameter to split_func member.
1648         (multipass_procedure_with_splits) Add "const struct ccase *"
1649         parameter to split_func parameter.
1650         (multipass_split_case_func) Save new SPLIT FILE case before
1651         outputting case.
1652         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1653
1654 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1655
1656         Continue reforming procedure execution.  Change
1657         internal_procedure() so that it calls open_active_file() and
1658         close_active_file(), which isolates most of the actual procedure
1659         functionality.
1660
1661         * procedure.c: (struct write_case_data) Rename `proc_func' member
1662         to `case_func' and update all references.
1663         (procedure) Rewrite as one-line wrapper around
1664         internal_procedure().
1665         (struct multipass_aux_data) New.
1666         (multipass_callback) Renamed multipass_case_func().  Use struct
1667         multipass_aux_data as auxiliary data.
1668         (multipass_end_func) New function.
1669         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1670         that uses multipass_case_func, multipass_end_func.
1671         (internal_procedure) Add `end_func' argument.  Move optimization
1672         of trivial case in here.  Move call to open_active_file() and
1673         close_active_file() in here.  Now assert that vfm_source is
1674         non-null.
1675         (procedure_with_splits_callback) Rename
1676         split_procedure_case_func().
1677         (split_procedure_end_func) New function.
1678         (multipass_split_callback) Rename multipass_split_case_func.
1679         (multipass_split_end_func) New function.
1680         (discard_variables) No need to test for nonnull vfm_source.
1681
1682 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1683
1684         Continue reforming procedure execution.  Get rid of unused member.
1685
1686         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1687         member.
1688         (write_case) Don't increment cases_analyzed.
1689
1690 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1691
1692         Continue reforming procedure execution.  In this phase, move
1693         procedure.c and procedure.h from src to src/data.  Update
1694         makefiles and #includes accordingly.
1695
1696         * procedure.c: Moved here from src/.
1697
1698         * procedure.h: Moved here from src/.
1699
1700 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1701
1702         Continue reforming procedure execution.  In this phase, get rid of
1703         many global variables, consolidating procedure execution in
1704         procedure.c.  Encapsulate transformations in new "struct
1705         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1706         and PROCESS IF from special cases to transformations.
1707
1708         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1709         transformations.h.
1710
1711         * dictionary.c: (global variable default_dict) Move to
1712         src/procedure.c.
1713
1714         * variable.h: (TRNS_*) Move to transformations.h.
1715         (struct transformation) Move to transformations.c.
1716
1717 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1718
1719         * sys-file-reader.c: Fixed invalid read problems.
1720
1721 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1722
1723         * storage-stream.c: Add missing function comments.
1724
1725 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1726
1727         Continue reforming procedure execution.  In this phase, add some
1728         new, needed functionality to storage-stream.
1729
1730         * storage-stream.c: (storage_source_decapsulate) New function.
1731
1732 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1733
1734         * variable.c (width_to_bytes): Declarations must precede
1735         statements for C90 compliance.
1736
1737 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1738
1739         * data-out.c, data-in.c, variable.c, variable.h: New functions
1740         copy_mangle and copy_demangle for reading/writing cases; emulates the
1741         way SPSS deals with strings > 255 bytes.
1742
1743         * sys-file-reader.c sys-file-writer.c: Added support for Record 7,
1744         subtype 14 needed for strings longer than 255 bytes.
1745
1746         * dictionary.c, format.def, value.c : Updated to use MAX_STRING
1747         instead of literal values. Also fixed some constness issues.
1748
1749         * format.h: Constness
1750
1751         * sfm-private.h: Renamed the case_size identifier, since I discovered
1752         that SPSS's respect for this variable is very nominal.
1753
1754 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1755
1756         Change case limit type from int to size_t.
1757
1758         * dictionary.c: (struct dictionary) Change type of case_limit
1759         member.
1760         (dict_get_case_limit) Change return type.
1761         (dict_set_case_limit) Change parameter type.
1762
1763 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1764
1765         * variable.h: (struct variable) Rename `reinit' member as `leave'
1766         and invert sense.  Fix up all references.
1767
1768 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1769
1770         Continue reforming procedure execution.  In this phase, break
1771         procedure.c into multiple files.
1772
1773         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1774
1775         * case-sink.c: New file.
1776
1777         * case-sink.h: New file.
1778
1779         * case-source.c: New file.
1780
1781         * case-source.h: New file.
1782
1783         * storage-stream.c: New file.
1784
1785         * storage-stream.h: New file.
1786
1787 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1788
1789         * variable.h: (struct variable) Remove `init' member and all
1790         references to it from other files.  It was initialized in several
1791         places, but nothing really ever used it for anything worthwhile.
1792         Thanks to Jason Stover for pointing out how confusing this
1793         member is.
1794
1795 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1796
1797         Continue reforming error message support.  In this phase, get rid
1798         of message "titles" and put the message text in `struct error'.
1799         Now `struct error' encapsulates a message more properly.
1800
1801         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1802         Format message ourselves.
1803
1804         * data-in.c: (vdls_error) Ditto.
1805
1806         * por-file-reader.c: (error) Ditto.
1807
1808         * sys-file-reader.c: (corrupt_msg) Ditto.
1809
1810 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1811
1812         GNU standards require "file name" instead of "filename" in
1813         documentation.  It's nice for our code to follow the convention
1814         too.
1815
1816         * casefile.c: (struct casefile) Rename `filename' member to
1817         `file_name'.  Updated all references.
1818
1819         * file-name.c: [!unix] (struct file_identity) Rename
1820         normalized_filename member to normalized_file_name.  Updated all
1821         references.
1822
1823 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1824
1825         We don't really support anything but Unix-like environments well,
1826         so we might as well de-obfuscate by writing directory and path
1827         separators explicitly.
1828
1829         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1830         to just '/'.
1831         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1832         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1833         "/".
1834         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1835         ":"
1836
1837 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1838
1839         GNU standards require "file name" instead of "filename" in
1840         documentation.  It's nice for our code to follow the convention
1841         too.
1842
1843         * filename.c: Rename to file-name.c.
1844
1845         * filename.h: Rename to file-name.h.  Update all inclusions.
1846         Update header guards.
1847
1848         * automake.mk: Update file names.
1849
1850 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1851
1852         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1853         updated.
1854         (fn_basename) Removed (dead code).
1855         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1856         (fn_special_p) Renamed fn_is_special(), all references updated.
1857         (fn_exists_p) Renamed fn_exists(), all references updated.
1858
1859 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1860
1861         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.
1862         Also, now it only tilde-expands file names, not paths.
1863         (fn_search_path) Tilde-expand one directory at a time.
1864
1865 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1866
1867         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1868         get rid of non-Unixlike version of the code, which has probably
1869         never been tested.
1870         (fn_prepend_dir) Removed (dead code).
1871
1872         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1873         (macro PATH_SEPARATOR_STRING) New.
1874 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1875
1876         Continue reforming error message support.  In this phase, we get
1877         rid of VM() and the other msg() support for "verbosity", replacing
1878         it by a new function verbose_msg().
1879
1880         * filename.c: (fn_search_path) Use verbose_msg() instead of
1881         msg(VM(), ...).
1882
1883 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1884
1885         * sfm-private.h: Get rid of #defines after #error, which makes no
1886         sense.
1887
1888 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1889
1890         Get rid of our own int32 type in favor of the standard int32_t
1891         type.
1892
1893         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1894         include <stdint.h>.
1895
1896         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1897
1898         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1899
1900 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1901
1902         Remove ill-considered file routines that are no longer used.
1903
1904         * filename.c: (fn_open_ext) Removed.
1905         (fn_close_ext) Removed.
1906
1907         * filename.h: (struct file_ext) Removed.
1908
1909 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1910
1911         * variable.c (var_is_valid_name): Move declarations before code
1912         for C90 compliance.
1913
1914 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1915
1916         * filename.ch (fn_interp_vars): Fixed small buglet.
1917
1918 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1919
1920         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1921         so as to modify the string inline.   Thus makeing it easier to
1922         destroy the results when no longer needed.
1923
1924 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
1925
1926         * category.c (cat_stored_values_destroy): Fixed memory leak.
1927
1928 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
1929
1930         Add some missing frees.  Thanks to John Darrington for reporting
1931         these.
1932
1933         * any-writer.c (any_writer_close): Free writer.
1934
1935         * any-reader.c (any_reader_close): Free reader.
1936
1937 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
1938
1939         * por-file-reader.c: (error) Mark as NO_RETURN.
1940
1941 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
1942
1943         * settings.c: Changed default value of scompress to true.
1944
1945 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
1946
1947         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
1948
1949         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
1950         really applies.
1951
1952         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
1953         here from pref.h.orig.
1954
1955 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
1956
1957         * sys-file-reader.c: Fixed bug reading compressed files.
1958
1959 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1960
1961         * Numerous renames.  See src/ChangeLog for details.
1962
1963         * Moved files from src directory