src/data/ChangeLog

   1 2007-08-12  Ben Pfaff  <blp@gnu.org>
   2
   3         * dictionary.c (dict_compact_values): Don't delete scratch
   4         variables as well as compacting case indexes.  Update all callers.
   5         (dict_get_compacted_value_cnt): Rename dict_count_values and
   6         change interface.  Update all callers.
   7         (dict_get_compacted_value_cnt): Remove.
   8         (dict_compacting_would_shrink): Remove.
   9         (dict_compacting_would_change): Remove.
  10         (dict_make_compactor): Add new parameter.  Update all callers.
  11
  12         * procedure.c (proc_casereader_read): Use casewriter_get_value_cnt
  13         instead of dict_count_values, changing an O(N) operation into
  14         O(1).
  15
  16 2007-08-12  Ben Pfaff  <blp@gnu.org>
  17
  18         * casereader.c (casereader_read): Don't require cases read by a
  19         casereader to be exactly the expected size: as long as they're big
  20         enough, it's OK.
  21
  22 2007-08-12  Ben Pfaff  <blp@gnu.org>
  23
  24         Make casewriters keep track of the number of `union value's in
  25         each case.  This is useful for two reasons: casewriter_write can
  26         then check that the case being written is large enough, and later
  27         recipients of the casewriter can determine the size of the case.
  28
  29         * casewriter-translator.c (casewriter_create_translator): Add
  30         value_cnt parameter.
  31
  32         * casewriter.c (struct casewriter): Add value_cnt member.
  33         (casewriter_write): Check that the case passed in is big enough.
  34         (casewriter_get_value_cnt): New function.
  35         (casewriter_create): Add value_cnt parameter.
  36
  37 2007-08-09  Ben Pfaff  <blp@gnu.org>
  38
  39         Fix bug reported by Jason Stover.
  40         * settings.c: Move get_termcap_viewport and in particular the
  41         #include for <curses.h> to the end of the file.  curses.h
  42         redefines bool on some systems (e.g. OpenBSD), which causes
  43         disagreement between uses of bool before its inclusion and
  44         afterward.
  45         Tested by Jason Stover.
  46
  47 2007-07-29  Ben Pfaff  <blp@gnu.org>
  48
  49         Provisional fix for bug #18692 and bug #20161.  Reviewed by John
  50         Darrington.
  51
  52         * file-name.c (fn_open): Only pass "r" or "w" to popen as mode
  53         argument (never "rb" or "wb") because SUSv3 says that only those
  54         modes are defined, and glibc in fact rejects other modes.
  55
  56         Open portable files with fn_open so that they can be read from
  57         pipes.  Fix missing fh_close call to go along with fh_open.
  58         Report an error if the file close reports an error.
  59         * por-file-reader.c (close_reader): New function.
  60         (por_file_casereader_destroy): Use close_reader.
  61         (pfm_open_reader): Open file with fn_open.
  62
  63 2007-07-28  Ben Pfaff  <blp@gnu.org>
  64
  65         Make PSPP able to read all the portable files I could find on the
  66         web.  Thanks to John Darrington for review.  Bug #17620.
  67         * por-file-reader.c (struct pfm_reader): New member `line_length'.
  68         (error): Print file offset in hexadecimal.
  69         (warning): New function.
  70         (advance): Treat lines less than 80 bytes long as padded to 80
  71         bytes with spaces.
  72         (pfm_open_reader): Call read_documents if we find an "E" record.
  73         (convert_format): Convert invalid formats to the default format
  74         instead of aborting reading the file.
  75         (read_variables): Rename duplicate variable names instead of
  76         aborting reading the file.
  77         (read_value_label): Allow string variables of different widths to
  78         be assigned value labels in the same record.  Replace duplicate
  79         value labels instead of aborting.
  80         (read_documents): New function.
  81
  82         * por-file-writer.c (pfm_open_writer): Call write_documents if the
  83         dictionary has documents.
  84         (write_documents): New function.
  85
  86 2007-07-25  Ben Pfaff  <blp@gnu.org>
  87
  88         Fix bugs related to bug #17213.
  89
  90         * settings.c: Use HAVE_LIBNCURSES instead of HAVE_LIBTERMCAP,
  91         since the former is what config.h has.  Include the needed ncurses
  92         headers.
  93         (static var echo) Rename to `do_echo' because the original name is
  94         the same as an ncurses identifier.
  95         (get_termcap_viewport) Use error instead of msg.
  96
  97         * file-name.c (fn_interp_vars): Fix interpolation of $VARS.
  98         (fn_close): Don't close stdin, stdout, stderr.
  99
 100 2007-07-26 John Darrington <john@darrington.wattle.id.au>
 101
 102         * procedure.c procedure.h: Added callbacks which get invoked whenever
 103         a dataset's transformation chain changes.
 104
 105 2007-07-24  Ben Pfaff  <blp@gnu.org>
 106
 107         Fix bug #6113.
 108         * sys-file-writer.c (write_variable_display_parameters): Use new
 109         var_default_display_width function to choose display width of
 110         segments after the first one in a given variable.
 111         * variable.c (var_create): Use var_default_display_width to pick
 112         new variable's display width.
 113         (var_default_display_width): New function.
 114         Reviewed by John Darrington.
 115
 116 2007-07-24  Ben Pfaff  <blp@gnu.org>
 117
 118         Fix bug #20427.
 119         * por-file-writer.c (write_variables): Write weight variable.
 120         Reviewed by John Darrington.
 121
 122 2007-07-23  Ben Pfaff  <blp@gnu.org>
 123
 124         Improvements to system file reader and writer.
 125
 126         First, move all detailed knowledge of very long strings into
 127         sys-file-private.[ch], so that this nasty stuff can be isolated.
 128
 129         * sys-file-private.c (REAL_VLS_CHUNK): New macro.
 130         (EFFECTIVE_VLS_CHUNK): New macro.
 131         (min_int): New function.
 132         (max_int): New function.
 133         (sfm_width_to_bytes): Rewrite.
 134         (sfm_width_to_octs): New function.
 135         (sfm_segment_alloc_width): New function.
 136         (sfm_segment_alloc_bytes): New function.
 137         (sfm_segment_used_bytes): New function.
 138         (sfm_segment_offset): New function.
 139         (sfm_segment_effective_offset): New function.
 140         (sfm_dictionary_to_sfm_vars): New function.
 141
 142         * sys-file-private.h (MIN_VERY_LONG_STRING): Removed.
 143         (EFFECTIVE_LONG_STRING_LENGTH): Removed.
 144         (struct sfm_var): New structure.
 145
 146         Next, improvements to the system file reader.
 147
 148         * sys-file-reader.h (struct sfm_read_info): Changed `case_cnt' to
 149         type casenumber.  Added `version_major', `version_minor',
 150         `version_revision'.
 151
 152         * sys-file-reader.c (struct sfm_reader): Replaced `flt64_cnt' by
 153         `oct_cnt'.  Rename `vars', `var_cnt' to `sfm_vars', `sfm_var_cnt'.
 154         Change `case_cnt' to type casenumber.  Removed `has_vls'.
 155         (struct sfm_var): Removed.
 156         (sfm_open_reader): Don't warn on wrong case size if the file was
 157         written by SPSS 13, which tends to get it wrong.  Use
 158         sfm_dictionary_to_sfm_vars.
 159         (read_header): Always output system file info.
 160         (read_variable_record): Simplify code for reading missing values.
 161         (read_machine_int32_info): Save version numbers from system file
 162         into info struct passed as new argument.
 163         (read_long_string_map): Restructured to use new sys-file-private
 164         functions.
 165         (read_value_labels): Use size_overflow_p.
 166         (sys_file_casereader_read): Get rid of distinction between fast
 167         and slow paths.  Use information provided by sys-file-primate's
 168         struct sfm_var to simplify code.
 169         (skip_whole_strings): New function.
 170         (read_int32): Renamed read_int.  Changed return value to int.
 171         Updated all callers.
 172         (read_flt64): Renamed read_float.  Changed return value to
 173         double.  Updated all callers.
 174         (int32_to_native): Removed.  Changed callers to use
 175         integer_convert.
 176         (flt64_to_double): Removed.  Changed callers to use float_convert.
 177
 178         Finally, get rid of int32, flt64 terminology and types in system
 179         file writer.  The former wasn't very useful since a POSIX "int"
 180         can hold the whole range of int32 and we generally didn't have a
 181         need for it to be exactly-32-bits, just at-least-32-bits.  The
 182         latter was inconvenient because we had to assume that it could be
 183         different from double and thereby convert special values SYSMIS,
 184         HIGHEST, LOWEST to and from it in multiple places.  Instead, now
 185         we just use "int" and "double" in most places, and do conversions,
 186         if necessary, very close to where we do I/O.  This change meant
 187         that the writer code couldn't represent records in the file as C
 188         structs any longer, but that's no great loss.  The code actually
 189         seems to be more readable without them.
 190
 191         Simplify the compression buffering code: only buffer as much as
 192         necessary, which is no more than eight 8-byte units at any given
 193         time.
 194
 195         * sys-file-writer.c (typedef flt64): Removed.
 196         (macro second_lowest_flt64): Removed.
 197         (struct sysfile_header): Removed.
 198         (struct sysfile_variable): Removed.
 199         (struct sfm_writer): Removed `needs_translation', `has_vls',
 200         `flt64_cnt'.  Changed `compress' to type bool and `case_cnt' to
 201         type casenumber.  Renamed `vars' to `sfm_vars', `var_cnt' to
 202         `sfm_var_cnt'.  Replaced `buf', `end', `ptr', `x', `y' for
 203         compression buffering by `opcodes', `opcode_cnt', `data',
 204         `data_cnt'.  Renamed `var_cnt_vls' as `segment_cnt'.
 205         (sfm_open_writer): Use sfm_dictionary_to_sfm_vars.  Use simple
 206         data writer functions instead of structures.
 207         (calc_oct_idx): New function.
 208         (write_header): Use simple data writer functions instead of
 209         structures.
 210         (write_format_spec): Renamed write_format.  New argument.
 211         (write_variable_continuation_records): New function.
 212         (write_variable): Use simple data writer functions instead of
 213         structures.  Use write_variable_continuation_records.  Write
 214         entire very long string instead of requiring caller to understand
 215         them.
 216         (write_value_labels): Use simple data writer functions instead of
 217         structures.
 218         (write_documents): Ditto.
 219         (write_variable_display_parameters): Use sys-file-private
 220         functions to simplify.  Use simple data writer functions instead
 221         of structures.
 222         (write_vls_length_table): Use simple data writer functions instead
 223         of structures.
 224         (write_longvar_table): Ditto.
 225         (write_rec_7_34): Break into new functions
 226         write_integer_info_record, write_float_info_record.  Use simple
 227         data writer functions instead of structures.
 228         (buf_write): Removed.
 229         (append_string_max): Removed.
 230         (ensure_buf_space): Removed.
 231         (sys_file_casewriter_write): Get rid of the distinction between
 232         fast and slow paths, which didn't seem to be too useful.  Use new
 233         functions write_case_uncompressed, write_case_compressed.
 234         (put_instruction): Removed.
 235         (put_element): Removed.
 236         (write_compressed_data): Removed.
 237         (close_writer): Use flush_compressed.  Only write case count to
 238         system file if it will fit in the field.
 239         (write_case_compressed): New function.
 240         (write_case_uncompressed): New function.
 241         (flush_compressed): New function.
 242         (put_cmp_opcode): New function.
 243         (put_cmp_number): New function.
 244         (write_int): New function.
 245         (convert_double_to_output_format): New function.
 246         (write_float): New function.
 247         (write_value): New function.
 248         (write_string): New function.
 249         (write_bytes): New function.
 250         (write_zeros): New function.
 251         (write_spaces): New function.
 252
 253         Reviewed by John Darrington.
 254
 255 2007-07-22  Ben Pfaff  <blp@gnu.org>
 256
 257         Don't try to write very long strings to portable files.  The
 258         format does not support it.
 259
 260         * por-file-writer.c (MAX_POR_WIDTH): New macro.
 261         (pfm_open_writer): Limit output width to MAX_POR_WIDTH.
 262         (write_format): Add arg to take width to resize format to.
 263         (write_value): Limit width of value written to MAX_POR_WIDTH.
 264         (write_variables): Limit width of variable and its output formats
 265         to MAX_POR_WIDTH.
 266         Reviewed by John Darrington.
 267
 268 2007-07-22  Ben Pfaff  <blp@gnu.org>
 269
 270         * sys-file-reader.c (read_variable_to_value_map): Use max_warnings
 271         local variable instead of literal 5.
 272         Reviewed by John Darrington.
 273
 274 2007-07-22  Ben Pfaff  <blp@gnu.org>
 275
 276         Fix problems with uniqueness of short names in system files with
 277         very long string variables.  Now a variable may have multiple
 278         short names.
 279
 280         * automake.mk (src_data_libdata_a_SOURCES): Add new files
 281         short-names.c, short-names.h.
 282
 283         * dictionary.c (dict_clone): Clone all the short names.
 284         (compare_strings): Move into short-names.c.
 285         (hash_strings): Ditto.
 286         (set_var_short_name_suffix): Ditto.
 287         (dict_assign_short_names): Ditto, rename short_names_assign,
 288         change to assign all short names.
 289
 290         * por-file-writer.c (write_variables): Use short_names_assign
 291         instead of dict_assign_short_names.
 292
 293         * short-names.c: New file.
 294
 295         * short-names.h: New file.
 296
 297         * sys-file-private.c (sfm_width_to_segments): New function.
 298
 299         * sys-file-reader.c (read_long_var_name_map): Save and restore all
 300         the short names, not just the first one.
 301
 302         * sys-file-writer.c (cont_var_name): Removed.
 303         (sfm_open_writer): Use short_names_assign instead of
 304         dict_assign_short_names.  Use unique short names assigned by
 305         short_names_assign instead of those generated by cont_var_name.
 306
 307         * variable.c (struct variable): Remove `short_name' member,
 308         replace by `short_names' and `short_name_cnt'.
 309         (var_create) Initialize new members.
 310         (var_get_short_name_cnt): New function.
 311         (var_get_short_name): Now takes an index argument.  Changed most
 312         callers to pass 0.
 313         (var_set_short_name): Ditto.
 314         (var_clear_short_name): Renamed var_clear_short_names, changed to
 315         clear all short names.
 316
 317         Reviewed by John Darrington.
 318
 319 2007-07-22  Ben Pfaff  <blp@gnu.org>
 320
 321         * variable.c (var_set_width): Use new var_set_width function.
 322
 323         * missing-values.c (mv_n_values): Drop assertion, which was not
 324         needed.
 325
 326         * format.c (fmt_default_for_width): New function.
 327         (fmt_resize): New function.
 328
 329         Reviewed by John Darrington.
 330
 331 2007-07-18 John Darrington <john@darrington.wattle.id.au>
 332
 333         * datasheet.c (datasheet_delete_columns): Added assertion to check
 334         we're not deleting outside the range of the sheet.
 335
 336
 337         * dictionary.c dictionary.h variable.c: Added the ability for string
 338         variables to be resized.
 339
 340         * vardict.h: Added some prototypes (moved from dictionary.h) as
 341         these should only be called by variable.c
 342
 343
 344 2007-07-14 John Darrington <john@darrington.wattle.id.au>
 345
 346         * sfm-reader.c: Respect case_cnt field in file header.
 347
 348 2007-07-01 John Darrington <john@darrington.wattle.id.au>
 349
 350         * transformation.c transformation.h (trns_chain_execute): Changed the
 351         signature (Patch #6057)
 352
 353 2007-06-10  Ben Pfaff  <blp@gnu.org>
 354
 355         * casereader-filter.c (casereader_filter_destroy): Make sure to
 356         write all the remaining excluded cases to the casewriter, if any.
 357
 358         * caseinit.c (init_list_destroy): Rewrite.
 359         (init_list_clear): Ditto.
 360
 361         * casegrouper.c (casegrouper_get_next_group): Always set *reader
 362         to null when returning false.
 363
 364 2007-06-06  Ben Pfaff  <blp@gnu.org>
 365
 366         Actually implement the new procedure code and adapt all of its
 367         clients to match.  Also adapt all of the other case sources and
 368         sinks in the tree and their clients to use the
 369         casereader/casewriter infrastructure.
 370
 371         * automake.mk: Add and remove files.
 372
 373         * any-reader.c: Change into a casereader.
 374         * por-file-reader.c: Ditto.
 375         * scratch-reader.c: Ditto.
 376         * sys-file-reader.c: Ditto.
 377
 378         * any-writer.c: Change into a casewriter.
 379         * por-file-writer.c: Ditto.
 380         * scratch-writer.c: Ditto.
 381         * sys-file-writer.c: Ditto.
 382
 383         * procedure.c: Change to use casereader, casewriter, caseinit, and
 384         other new infrastructure.
 385
 386         * scratch-handle.c: Adapt to new infrastructure.
 387
 388         * case-sink.c: Removed, now dead code.
 389         * case-sink.h: Ditto.
 390         * case-source.c: Ditto.
 391         * case-source.h: Ditto.
 392         * casefile-factory.c: Ditto.
 393         * casefile-private.h: Ditto.
 394         * casefile.c: Ditto.
 395         * casefile.h: Ditto.
 396         * casefilter.c: Ditto.
 397         * casefilter.h: Ditto.
 398         * fastfile.c: Ditto.
 399         * fastfile.h: Ditto.
 400         * fastfile-factory.c: Ditto.
 401         * fastfile-factory.h: Ditto.
 402         * storage-stream.c: Ditto.
 403         * storage-stream.h: Ditto.
 404
 405 2007-06-06  Ben Pfaff  <blp@gnu.org>
 406
 407         Add datasheet code.
 408
 409         * automake.mk: Add new files.
 410
 411         * datasheet.c: New file.
 412
 413         * datasheet.h: New file.
 414
 415 2007-06-06  Ben Pfaff  <blp@gnu.org>
 416
 417         Until now, the procedure code has provided a case to the
 418         case_source, which has filled in the data values that come from
 419         the active file.  "Left" data values that don't come from the
 420         active file naturally stay the same from case to case, because the
 421         procedure code keeps using that same case.
 422
 423         One of the compromises that comes with the new procedure code is
 424         that the active file allocates and provides its own case, which
 425         the procedure code then has to resize to provide room for any
 426         other variables that should go in the case and then fill in the
 427         values of "left" variables.  Then, when we're done with that case,
 428         we have to save the values of "left" variables to copy into the
 429         next case read from the active file.
 430
 431         The caseinit code helps with this.
 432
 433         * automake.mk: Add new files.
 434
 435         * caseinit.c: New file.
 436
 437         * caseinit.h: New file.
 438
 439 2007-06-06  Ben Pfaff  <blp@gnu.org>
 440
 441         * value.h (value_cnt_from_width): New function.
 442
 443         * variable.c (var_get_value_cnt): Use new function.
 444
 445 2007-06-06  Ben Pfaff  <blp@gnu.org>
 446
 447         Add casegrouper, to allow cases read from a given casereader to be
 448         broken into groups, each of which has its own casereader.
 449         Generally cases are grouped based on having equal values for some
 450         set of variables.
 451
 452         * automake.mk: Add new files.
 453
 454         * casegrouper.c: New file.
 455
 456         * casegrouper.h: New file.
 457
 458 2007-06-06  Ben Pfaff  <blp@gnu.org>
 459
 460         Add interface to lexicographical ordering of cases.
 461
 462         * automake.mk: Add new files.
 463
 464         * case-ordering.c: New file.
 465
 466         * case-ordering.h: New file.
 467
 468 2007-06-06  Ben Pfaff  <blp@gnu.org>
 469
 470         Add casereaders and casewriters, the basis of the new data processing
 471         implementation.  A casereader is a uniform interface to reading cases
 472         from a data source; a casewriter is a uniform interface to writing
 473         cases to a data sink.
 474
 475         * automake.mk: Add new files.
 476
 477         * casereader-filter.c: New file.
 478
 479         * casereader-provider.h: New file.
 480
 481         * casereader-translator.c: New file.
 482
 483         * casereader.c: New file.
 484
 485         * casereader.h: New file.
 486
 487         * casewriter-provider.h: New file.
 488
 489         * casewriter-translator.c: New file.
 490
 491         * casewriter.c: New file.
 492
 493         * casewriter.h: New file.
 494
 495 2007-06-06  Ben Pfaff  <blp@gnu.org>
 496
 497         "casewindow" data structure that extends the deque (from libpspp)
 498         of cases with the ability to dump cases to disk if we get too many
 499         of them in memory.
 500
 501         * automake.mk: Add new files.
 502
 503         * casewindow.c: New file.
 504
 505         * casewindow.h: New file.
 506
 507 2007-06-06  Ben Pfaff  <blp@gnu.org>
 508
 509         sparse_cases data structure that augments a sparse_array of cases
 510         with the ability to dump cases to disk if we get too many cases in
 511         memory.
 512
 513         * automake.mk: Add new files.
 514
 515         * sparse-cases.c: New file.
 516
 517         * sparse-cases.h: New file.
 518
 519 2007-06-06  Ben Pfaff  <blp@gnu.org>
 520
 521         Adds a low-level on-disk case array data structure.
 522
 523         * automake.mk: Add new files.
 524
 525         * case-tmpfile.c: New file.
 526
 527         * case-tmpfile.h: New file.
 528
 529 2007-06-06  Ben Pfaff  <blp@gnu.org>
 530
 531         In a couple of places we calculate the maximum number of cases to
 532         keep in memory based on the user-defined workspace.  Enable
 533         centralizing the calculation through a new function.
 534
 535         * settings.c (get_workspace_cases): New function.
 536
 537 2007-06-06  Ben Pfaff  <blp@gnu.org>
 538
 539         The casenumber type is defined in transformations.h, but case.h is
 540         a more sensible place.  Move it.
 541
 542         * case.h (CASENUMBER_MAX): New macro.
 543         (typedef casenumber): Move here, from transformations.h.
 544
 545 2007-06-03  Ben Pfaff  <blp@gnu.org>
 546
 547         Slightly generalize case_to_values and case_from_values functions.
 548
 549         * case.c (case_to_values): Rename case_copy_out, change interface.
 550         (case_from_values): Rename case_copy_in, change interface.
 551
 552         * fastfile.c (fastfilereader_get_next_case): Update caller.
 553         (write_case_to_disk): Ditto.
 554
 555 2007-06-02  Ben Pfaff  <blp@gnu.org>
 556
 557         Clean up after a forgotten part of patch #5829.
 558
 559         * casedeque.h: Remove unused file.
 560
 561         * automake.mk: Remove casedeque.h from sources.
 562
 563 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
 564
 565         * category.c: Removed redundant #include
 566
 567 2007-05-06  Ben Pfaff  <blp@gnu.org>
 568
 569         Abstract the documents within a dictionary a little better.
 570         Thanks to John Darrington for suggestion, initial version, and
 571         review.  Patch #5917.
 572
 573         * dictionary.c (struct dictionary): Change `documents' member from
 574         char * to struct string.
 575         (dict_clear): Destroy struct string.
 576         (dict_get_documents): Convert struct string to char *.
 577         (dict_set_documents): Set struct string.  Pad to 80-character
 578         multiple.
 579         (dict_clear_documents): New function.
 580         (dict_add_document_line): New function.
 581         (dict_get_document_line_cnt): New function.
 582         (dict_get_document_line): New function.
 583
 584         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
 585
 586         * sys-file-reader.c (read_documents): Use new document functions.
 587
 588 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 589
 590         * sys-file-reader.c: When reading a system file which has no
 591         long name table, automatically create one where the long names
 592         are the lower case versions of the short names.
 593
 594 2007-04-22  Ben Pfaff  <blp@gnu.org>
 595
 596         * dictionary.c (dict_set_split_vars): dict_destroy expects that
 597         dict_clear will free most data related to the dictionary.
 598         dict_clear does a decent job, except that dict_set_split_vars on
 599         some systems won't actually free the dict's "split" member.
 600         Instead, it'll allocate a 1-byte region.  Fix this.
 601
 602         * value.c (value_copy): New function.
 603         (value_set_missing): Ditto.
 604
 605 2007-04-22 John Darrington <john@darrington.wattle.id.au>
 606
 607         * Deleted existing category.h and moved cat-routines.h into
 608         category.h  Encapsulated struct cat_vals better.
 609
 610 2007-04-19 John Darrington <john@darrington.wattle.id.au>
 611
 612         * sys-file-reader.c: When reading a system file which has no
 613         long name table, automatically create one where the long names
 614         are the lower case versions of the short names.
 615
 616 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 617
 618         * sys-file-reader.c: Some versions of Other Software seem to
 619         produce system files with string  variables' measure set to
 620         zero.  We'll assume these are supposed to be nominal variables.
 621
 622 2007-03-30  Ben Pfaff  <blp@gnu.org>
 623
 624         * procedure.c: Adapt to new deque data structure.
 625
 626 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
 627                           Ben Pfaff <blp@gnu.org>
 628
 629         * file-name.c: Mingw compatibility fixes.
 630         (fn_search_path): Use ISSLASH instead of comparing against '/'
 631         directly.
 632         (fn_dir_name): Use dir_name from gnulib.
 633         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
 634         (fn_get_identity): Use GetFullPathName instead of canonicalize
 635         from gnulib, because the latter does not fully support
 636         Windows-style path names.  Use this implementation based on the
 637         detected presence of Windows instead of the absence of Unix, since
 638         the new implementation is Windows-specific.
 639         (fn_compare_file_identities): In Windows implementation, compare
 640         names case-insensitively.
 641
 642 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
 643
 644         * make-file.c: Don't include mkstemp.h, because gnulib now causes
 645         <stdlib.h> to have the same effect.
 646
 647 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
 648
 649         * por-file-reader.c: Add missing _() around messages.
 650
 651 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
 652
 653         * make-file.c: Include "mkstemp.h", without which linking on
 654         mingw32 fails.
 655
 656 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
 657
 658         Reduce platform dependence.
 659
 660         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
 661         Everywhere we using this, we really should have just depended on
 662         the shell to expand tildes.
 663         (fn_search_path): Simplify, given that we don't do tilde expansion
 664         any longer.
 665         (fn_normalize): Removed.  Caller changed to use the canonicalize
 666         module from gnulib.
 667         (fn_get_cwd): Removed.  Only user was fn_normalize.
 668         (fn_is_absolute): Really only test for absolute names.
 669         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
 670         unix.
 671         (fn_readlink): Removed, as it was only used fn_normalize.
 672         (fn_exists): Assume the stat function is available; gnulib does.
 673         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
 674
 675 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
 676
 677         * dictionary.c (dict_create_vector_assert): New function.
 678
 679 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
 680
 681         * file-name.c (fn_normalize): Correct name of function
 682         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
 683         for pointing this out.
 684
 685 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
 686
 687         We are using a single member in struct file_handle, the "name"
 688         field, for more than one purpose.  When it begins with '"', it's a
 689         file name; otherwise, it's a token that can be used to identify
 690         it.  When that assertion fires, it's because we searched for the
 691         name case-sensitively as a file name (so that there was no match),
 692         and then we try to insert it case-insensitively as a token, which
 693         fails because duplicates aren't allowed.
 694
 695         Solution: break the two purposes into two separate fields.  This
 696         fixes the problem and likely makes the code easier to read too.
 697
 698         Fixes bug #18922.  Thanks to John Darrington for bug report and
 699         review.
 700
 701         * file-handle-def.c (struct file_handle): New `id' member.
 702         (fh_from_name): Rename fh_from_id.  Update all callers.
 703         (create_handle): New `id' parameter.  Update all callers.
 704         (fh_create_file): Ditto.
 705         (fh_get_id): New function.
 706
 707 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
 708
 709         * case.c (case_is_null): Change return type to bool.
 710
 711 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
 712
 713         Add debugging code.
 714
 715         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
 716         reference counting to share data.  This makes it easy for
 717         valgrind, etc. to find accesses to cases that have been destroyed
 718         but have been kept around by another user's ref-count.  This often
 719         happens when the data set is small enough to find in memory; if a
 720         bigger data set that would overflow to disk were used, then data
 721         corruption would occur.
 722
 723 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
 724
 725         Simplify code.
 726
 727         * case.c (case_unshare): Make it check internally whether the
 728         ref_cnt is greater than 1, so that the callers don't have to.
 729         Update callers not to check.
 730
 731 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
 732
 733         Before, I was thinking that I might want to get rid of reference
 734         counting at some point.  Now, I'm pretty sure that it's here to
 735         stay.  Thus, because we have to store the value_cnt anyway for
 736         reference-counted cases, we might as well expose it to users.
 737
 738         * case.c (case_get_value_cnt): New function.
 739         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
 740         resize case if its size actually changed.
 741
 742         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
 743         instead of peeking inside struct case directly.
 744         (casefile_append): Ditto.
 745
 746 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
 747
 748         Get rid of the inlines for the case functions, which made the
 749         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
 750         the inlines didn't speed up "make check" at all, which is not a
 751         perfect benchmark but seems indicative.)
 752
 753         * case.c: Remove #ifdef DEBUGGING...#endif around many function
 754         definitions.  Remove some assertions on nonnull pointers that were
 755         redundant with a pointer dereference soon after in the function.
 756         Also:
 757         (struct case_data): Move definition here from case.h.
 758         (case_data): Ditto.
 759         (case_num): Ditto.
 760         (case_str): Ditto.
 761         (case_data_wr): Ditto.
 762
 763 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
 764
 765         * automake.mk: Add casedeque.h to sources.
 766
 767         * casedeque.h: New file.
 768
 769         * procedure.c: (struct dataset) Change lag_count, lag_head,
 770         lag_queue member into single struct casedeque member.  Update all
 771         users to use the casedeque instead.
 772         (lag_case) Removed.
 773
 774 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
 775
 776         * procedure.c: Simplify lagged cases interface.  Updated all
 777         clients--well, the only client--to use the simplified interface.
 778         (dataset_n_lag) Removed.
 779         (dataset_set_n_lag) Removed.
 780         (dataset_need_lag) New function.
 781
 782 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
 783
 784         * dictionary.c procedure.c: More changes to ensure that callbacks occur
 785         whenever appropriate, but only when the dataset/dictionary is in a
 786         consistent state.
 787
 788 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
 789
 790         * dictionary.c dictionary.h : Added callbacks for change of filter and
 791         split variables.  Refactored some code to ensure that callbacks get
 792         invoked when appropriate.
 793
 794         * procedure.c (proc_cancel_temporary_transformations): Make sure that
 795         replace_dict callback occurs when permanent_dict replaces the current
 796         dictionary.
 797
 798 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
 799
 800         * dictionary.c dictionary.h : Added callback for when the weight
 801         variable of a dictionary changes.
 802
 803 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
 804
 805         * dictionary.c dictionary.h : Added replace_source and replace_dict
 806         callbacks, and functions to deal with them.
 807
 808 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
 809
 810         Simplify missing value handling.
 811
 812         * missing-values.h (enum mv_class): New type.
 813         (enum mv_type): Moved definition into missing-values.c and renamed
 814         each MV_* to MVT_*, to distinguish them from the exposed mv_class
 815         enums.  Updated all uses.
 816         (struct missing_values): Changed type of `type' from `enum
 817         mv_type' to `int' because the definition is no longer exposed.
 818
 819         * missing-values.c (mv_is_value_missing): Add new enum mv_class
 820         parameter.  Update all callers.
 821         (mv_is_num_missing): Ditto.
 822         (mv_is_str_missing): Ditto.
 823         (mv_is_value_user_missing): Removed.  Changed callers to use
 824         mv_is_value_missing.
 825         (mv_is_num_user_missing): Removed.  Changed callers to use
 826         mv_is_num_missing.
 827         (mv_is_str_user_missing): Removed.  Changed callers to use
 828         mv_is_str_missing.
 829         (mv_is_value_system_missing): Removed.  Changed callers to use
 830         mv_is_value_missing.
 831         (mv_set_type): Removed.  Changed callers to use mv_clear.
 832         (mv_clear): New function.
 833
 834         * variable.c (var_is_value_missing): Add new enum mv_class
 835         parameter.  Update all callers.
 836         (var_is_num_missing): Ditto.
 837         (var_is_str_missing): Ditto.
 838         (var_is_value_user_missing): Removed.  Changed callers to use
 839         var_is_value_missing.
 840         (var_is_num_user_missing): Removed.  Changed callers to use
 841         var_is_num_missing.
 842         (var_is_str_user_missing): Removed.  Changed callers to use
 843         var_is_str_missing.
 844         (var_is_value_system_missing): Removed.  Changed callers to use
 845         var_is_value_missing.
 846
 847         * casefilter.c (struct casefilter): Use enum mv_class in place of
 848         bool.
 849         (casefilter_variable_missing): Adapt to new member.
 850         (casefilter_create): Change signature to take enum mv_class,
 851         update callers.
 852
 853 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
 854
 855         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
 856
 857         * case-sink.c case-sink.h procedure.c procedure.h
 858           storage-stream.c: Now uses the factory.
 859
 860 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
 861
 862         Make it possible to pull cases from the active file with a
 863         function call, instead of requiring indirection through a callback
 864         function.
 865
 866         * case-source.h (struct case_source_class): Change ->read function
 867         to return a single case, instead of calling a callback function
 868         for each case.  Change ->destroy function to return an error
 869         status.
 870
 871         * case-source.c (free_case_source): Pass along the value returned
 872         by the case_source ->destroy function.
 873
 874         * procedure.c (struct write_case_data): Removed.
 875         (struct dataset): Added some members to track procedure state.
 876         (procedure): Optimize the trivial case at this level.
 877         (internal_procedure): Re-implement in terms of proc_open,
 878         proc_read, proc_close.
 879         (proc_open) New function.
 880         (proc_read) New function.
 881         (proc_close) New function.
 882         (write_case) Moved into proc_read.
 883         (close_active_file) Moved closing of data source into proc_close.
 884
 885         * storage-source.c: Rewrote to conform with modified
 886         case_source_class interface.
 887
 888         * transformations.c (trns_chain_execute): Added argument to allow
 889         starting execution from an arbitrary transformation.  Updated
 890         callers.
 891
 892         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
 893
 894 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
 895
 896         * sys-file-reader.c (read_display_parameters): Don't assume that
 897         MEASURE_* and ALIGN_* have the same values found in system files.
 898
 899         * sys-file-writer.c (write_variable_display_parameters): Ditto.
 900
 901         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
 902         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
 903         the value of n_MEASURES, which was off by 1 (at least from my
 904         point of view).
 905
 906 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
 907
 908         * dictionary.c dictionary.h vardict.h variable.c: Added optional
 909                 callbacks which are invoked when the dictionary or its
 910                 variables are changed.
 911
 912         * missing-values.c missing-values.h value-labels.c: Tidied up
 913                 consistency checks, and made some of them return false
 914                 instead of assert-failing.
 915
 916 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
 917
 918         * calendar.c (calendar_days_in_month): New function.
 919
 920 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
 921
 922         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
 923         the value label's width.
 924
 925 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
 926
 927         * sfm-private.h: Move contents into sys-file-writer.c, which is
 928         the only remaining user.  Removed Borland C++-specific directives.
 929
 930         * sys-file-reader.c: Clean up and rewrite entire file.  The
 931         rewritten version is simpler and better abstracted, and should be
 932         easier to maintain and extend.  It avoids using structures to read
 933         file data, which is prone to padding variations among compilers.
 934         It should also handle non-IEEE 754 system files, although I
 935         haven't been able to find any.  It has been tested against many
 936         .sav files obtained from the Web and found to produce the same
 937         results as the earlier version of the code, or in some cases
 938         improved results.  It is more tolerant of format variations found
 939         in the wild.
 940
 941         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
 942         member, putting an enum integer_format in its place.  New member
 943         `float_format'.  Changed `compressed' member to type bool.
 944
 945 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
 946
 947         * dictionary.c (dict_delete_consecutive_vars): New function.
 948
 949 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
 950
 951         * file-name.c (fn_search_path): Remove prefix arg that was unused
 952         by any caller.  Updated all callers.
 953
 954 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
 955
 956         * format.c (fmt_dollar_template): Use user's decimal point
 957         character.  Add assertion.
 958
 959 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
 960
 961         * format.c (fmt_dollar_template): New function, based on
 962         dollar_format_template from var-type-dialog.c.
 963
 964 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
 965
 966         * data-out.c (output_scientific): Fix bad assumption that "buf" is
 967         null-terminated.
 968
 969 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
 970
 971         Finish converting struct variable to an opaque type.  In this
 972         phase, we add remaining setter and getter functions, convert the
 973         remaining PSPP code to use them, and do a bunch of cleanup.  The
 974         resulting changes are pervasive but mostly trivial, and only the
 975         notable changes are logged.
 976
 977         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
 978         files.
 979
 980         * case.c (case_data): Renamed case_data_idx.
 981         (case_num): Renamed case_num_idx.
 982         (case_str): Renamed case_str_idx.
 983         (case_data_rw): Renamed case_data_rw_idx.
 984
 985         * case.h (case_data): New function with old name and an interface
 986         that takes a variable instead of an index, which is easier to
 987         use.  Updated all callers to use the new interface, or to use the
 988         new *_idx function (see above).
 989         (case_num): Ditto.
 990         (case_str): Ditto.
 991         (case_data_rw): Ditto.
 992
 993         * category.c (cat_stored_values_destroy): Changed interface to
 994         take a struct cat_vals * instead of a struct variable *.
 995
 996         * dictionary.c (dict_clone): Use new vector_clone function.
 997         (dict_clear) Use new var_destroy function.
 998         (add_var) New function.
 999         (dict_create_var) Rewrite in terms of dict_create_var_assert.
1000         (dict_create_var_assert) Rewrite in terms of add_var.
1001         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
1002         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
1003         (dict_lookup_var) Use new var_create, var_destroy functions.
1004         (dict_contains_var) Rewrite in terms of new vardict functionality.
1005         (set_var_dict_index) New function.
1006         (set_var_case_index) New function.
1007         (reindex_vars) New function.
1008         (dict_delete_var) Rewrite in terms of new vardict functionality.
1009         (dict_reorder_var) Ditto.
1010         (dict_reorder_vars) Ditto.
1011         (rename_var) New function.
1012         (dict_rename_var) Use rename_var.
1013         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
1014         (dict_get_compacted_idx_to_fv) Rename
1015         dict_get_compacted_dict_index_to_case_index, update callers.
1016         (dict_create_vector) Use new vector_create function.
1017         (dict_clear_vectors) Use new vector_destroy function.
1018         (set_var_short_name_suffix) Move here from variable.c, renamed
1019         from var_set_short_name_suffix, make static, update caller.
1020
1021         * sys-file-private.c: New file.
1022         (sfm_width_to_bytes) Moved here from variable.c, renamed from
1023         width_to_bytes, update callers.
1024
1025         * sys-file-private.h: New file.  Later it will supplant
1026         sfm-private.h; for now it supplements it.
1027         (macro MIN_VERY_LONG_STRING) New macro.
1028         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
1029
1030         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
1031         MAX_LONG_STRING was used before.
1032
1033         * sys-file-writer.c: Ditto.
1034
1035         * value-labels.c: Change the paradigm here to be that a null
1036         pointer is OK for a struct val_labs * in most cases; it just
1037         represents an empty set of value labels.
1038         (val_labs_copy) A copy of a null set is a null set.
1039         (val_labs_count) A null set has 0 labels.
1040         (val_labs_replace) Change return type to void.  Rewrite for
1041         simplicity.
1042         (val_labs_find) A null set does not contain the value.
1043         (value_to_string) Moved to variable.c, renamed var_get_value_name,
1044         transposed argument order, updated all callers.
1045
1046         * value.c: New file.
1047         (value_dup) Moved here from variable.c.
1048         (compare_values) Ditto.
1049         (hash_value) Ditto.
1050
1051         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
1052         (macro MAX_LONG_STRING) Removed, because it was only interesting
1053         for system files, not for general code.
1054         (macro MAX_VERY_LONG_STRING) Ditto.
1055         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
1056         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
1057
1058         * vardict.h: New file, for an interface between variables and
1059         their dictionaries.
1060
1061         * variable.c: A lot of functions were moved around, for better
1062         organization.
1063         (struct variable) Move definition here, from variable.h.
1064         (var_type_adj) Removed--makes i18n hard.
1065         (var_type_noun) Ditto.
1066         (var_create) New function.
1067         (var_clone) New function.
1068         (var_destroy) New function.
1069         (var_set_name) Assert that variable is not in a dictionary.
1070         (compare_var_names) Rename compare_vars_by_name and fix a couple
1071         of callers who thought the args were strings.
1072         (hash_var_name) Rename hash_var_by_name.
1073         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
1074         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
1075         (var_is_very_long_string) Removed, because it was only interesting
1076         to system file code.
1077         (var_set_missing_values) Allow the argument to be the wrong width,
1078         as long as we can resize it.  Simplify callers who were doing the
1079         resizing themselves.
1080         (var_get_value_labels) New function.
1081         (var_has_value_labels) New function.
1082         (var_set_value_labels) New function.
1083         (alloc_value_labels) New function.
1084         (var_add_value_label) New function.
1085         (var_replace_value_label) New function.
1086         (var_clear_value_labels) New function.
1087         (var_lookup_value_label) New function.
1088         (var_get_value_name) Moved here from variable.c, renamed from
1089         var_get_value_name, transposed argument order, updated all
1090         callers.
1091         (var_to_string) Moved here, from variable-label.c.
1092         (var_set_leave) New function.
1093         (var_get_leave) New function.
1094         (var_must_leave) New function.
1095         (var_set_short_name_suffix) Moved to dictionary.c, renamed
1096         set_var_short_name_suffix.
1097         (var_get_dict_index) New function.
1098         (var_get_case_index) New function.
1099         (var_get_obs_vals) New function.
1100         (var_set_obs_vals) New function.
1101         (var_has_obs_vals) New function.
1102         (var_get_vardict) New function.
1103         (var_set_vardict) New function.
1104         (var_has_vardict) New function.
1105         (var_clear_vardict) New function.
1106         (value_dup) Moved to value.c.
1107         (compare_values) Ditto.
1108         (hash_value) Ditto.
1109
1110         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
1111         (enum ALPHA) Rename VAR_STRING, update all users.
1112
1113         * vector.c: New file.
1114         (struct vector) Moved here, from variable.h.
1115         (check_widths) New function.
1116         (vector_create) New function.
1117         (vector_clone) New function.
1118         (vector_destroy) New function.
1119         (vector_get_name) New function.
1120         (vector_get_var) New function.
1121         (vector_get_var_cnt) New function.
1122         (compare_vector_ptrs_by_name) New function.
1123
1124         * vector.h: New file.
1125
1126 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1127
1128         * casefilter.c (casefilter_variable_missing): Avoided comparision of
1129         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
1130         problem.
1131
1132 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
1133
1134         * value-labels.c (destroy_atoms): New function.
1135         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
1136
1137 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
1138
1139         Thanks to Jason Stover for pointing out this problem.
1140
1141         * data-out.c (output_number): Use gsl_finite from GSL, which is
1142         portable, instead of isfinite, which is not.
1143         (power256) Ditto.
1144
1145 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
1146
1147         * variable.c variable.h (value_dup): New function.
1148
1149 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
1150
1151         Start converting struct variable to an opaque type.  In this
1152         phase, we add a bunch of setter and getter functions and convert
1153         most of the PSPP code to use them.  The resulting changes are
1154         pervasive but mostly trivial, and only the notable changes are
1155         logged.
1156
1157         * format.c (fmt_equal): New function.
1158
1159         * variable.c (var_type_is_valid): New function.
1160         (measure_is_valid) Moved here, from format.c.
1161         (alignment_is_valid) Moved here, from format.c.
1162         (var_get_name) New function.
1163         (var_set_name) New function.
1164         (width_to_type) New function.
1165         (var_get_type) New function.
1166         (var_get_width) New function.
1167         (var_set_width) New function.
1168         (var_is_numeric) New function.
1169         (var_is_alpha) New function.
1170         (var_is_short_string) New function.
1171         (var_is_long_string) New function.
1172         (var_is_very_long_string) New function.
1173         (var_get_missing_values) New function.
1174         (var_set_missing_values) New function.
1175         (var_clear_missing_values) New function.
1176         (var_has_missing_values) New function.
1177         (var_is_value_missing) New function.
1178         (var_is_num_missing) New function.
1179         (var_is_str_missing) New function.
1180         (var_is_value_user_missing) New function.
1181         (var_is_num_user_missing) New function.
1182         (var_is_str_user_missing) New function.
1183         (var_is_value_system_missing) New function.
1184         (var_get_print_format) New function.
1185         (var_set_print_format) New function.
1186         (var_get_write_format) New function.
1187         (var_set_write_format) New function.
1188         (var_set_both_formats) New function.
1189         (var_get_label) New function.
1190         (var_set_label) New function.
1191         (var_clear_label) New function.
1192         (var_has_label) New function.
1193         (var_get_measure) New function.
1194         (var_set_measure) New function.
1195         (var_get_display_width) New function.
1196         (var_set_display_width) New function.
1197         (var_get_alignment) New function.
1198         (var_set_alignment) New function.
1199         (var_get_value_cnt) New function.
1200         (var_get_leave) New function.
1201         (var_get_short_name) New function.
1202
1203         * variable.h: (struct variable) Removed "type" and "nv" members;
1204         they are now computed from "width" where needed.
1205
1206 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
1207
1208         * missing-values.c (mv_resize): Don't write beyond end of the
1209         allocated buffer when resizing a long string.
1210
1211 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
1212
1213         Clean up identifier code: don't require identifier enumerations to
1214         be in a particular order; make better use of string library;
1215         expose less of the internals.
1216
1217         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
1218         change interface.  Updated all callers.
1219         (lex_id_match) Change interface to use struct substring, update
1220         all callers.
1221         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
1222         (global array keywords[]) Make static, change form.  Update all
1223         users to use lex_id_name instead.
1224         (lex_is_keyword) New function.
1225         (lex_id_to_token) Change interface to use struct substring, update
1226         all callers.
1227         (lex_id_name) New function.
1228
1229         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
1230         lex_is_keyword instead.
1231         (T_LAST_KEYWORD) Removed.
1232         (T_N_KEYWORDS) Removed.
1233
1234 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
1235
1236         * format.c: (fmt_date_template) Distinguish characters for which a
1237         space is output and any date delimiter is allowed on input, from
1238         those for which a space is output and only a space is allowed on
1239         input.  The former is represented by X, the latter by a space.
1240         Also, drop distinction between h and H, changing the former to the
1241         latter.
1242
1243         * data-in.c: Completely rewrite internals to conform to SPSS input
1244         formats as closely as possible.
1245         (data_in) Changed external interface by replacing the structure
1246         that was used as a single argument by a set of arguments.  Updated
1247         all callers.
1248         (data_in_finite_line) Removed.  Converted all callers to use plain
1249         data_in.
1250         (data_in_get_integer_format) New function.
1251         (data_in_set_integer_format) New function.
1252         (data_in_get_float_format) New function.
1253         (data_in_set_float_format) New function.
1254
1255         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
1256         (struct data_in) Removed.
1257
1258         * data-out.c: (output_date) Drop each component from the input as
1259         it is output, to allow us to drop the distinction between h (a
1260         count of hours) and H (the hour of day) template characters.
1261         Also, handle new X template character.
1262         (output_scientific) Follow more rational rule on when to drop
1263         fraction introduced between SPSS 13 and 15.  Updated test case to
1264         match new behavior.
1265
1266 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
1267
1268         Fix buffer overflow reported by John Darrington.
1269
1270         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
1271         realize that DIGITS is a count of nibbles, not of bytes.
1272
1273 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
1274
1275         * calendar.c (calendar_offset_to_gregorian) Also return the
1276         year-of-day.  Change callers to new interface.
1277
1278         * data-out.c: Completely rewrite internals to conform to SPSS
1279         output formats as completely as possible.
1280         (data_out) Change interface to put input parameters before output
1281         parameters, for consistency with the style I now prefer.  Update
1282         all callers.
1283         (data_out_get_integer_format) New public function.
1284         (data_out_set_integer_format) New public function.
1285         (data_out_get_float_format) New public function.
1286         (data_out_set_float_format) New public function.
1287
1288         * data-out.h: New file.  Move prototype for data_out here, from
1289         format.h.
1290
1291         * format.c: (fmt_step_width) Use equality comparison instead of
1292         bitwise and, for clarity.
1293         (fmt_is_string) Ditto.
1294         (fmt_input_to_output) Fix categories that are translated to F
1295         format.
1296
1297 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
1298
1299         * casefilter.c casefilter.h (new files), casefile.c casefile.h
1300         casefile-private.h: Added casefilter to assist commands with missing
1301         values.
1302
1303 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
1304
1305         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
1306
1307         * settings.c: (route_errors_to_terminal) New variable.
1308         (route_errors_to_listing) New variable.
1309         (get_error_routing_to_terminal) New function.
1310         (set_error_routing_to_terminal) New function.
1311         (get_error_routing_to_listing) New function.
1312         (set_error_routing_to_listing) New function.
1313
1314         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
1315
1316 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
1317
1318         * format.c: Completely rewrite, to achieve better abstraction.
1319         Rewrite all references to formats in other files.
1320
1321         * format.def: Rewrite and reorganize.
1322
1323         * settings.c: Move everything related to custom currency formats
1324         into format.[ch], changing them in form, so as to group related
1325         code and definitions better.  Changed all references to use the
1326         new functions.
1327         (static var decimal) Removed.
1328         (static var grouping) Removed.
1329         (static var cc) Removed.
1330         (get_decimal) Removed.
1331         (set_decimal) Removed.
1332         (get_grouping) Removed.
1333         (set_grouping) Removed.
1334         (get_cc) Removed.
1335         (set_cc) Removed.
1336
1337         * settings.h: (macro CC_CNT) Removed.
1338         (macro CC_WIDTH) Removed.
1339         (struct custom_currency) Removed.
1340
1341 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
1342
1343         * data-in.c (data_in): Use switch statement instead of table, to
1344         avoid dependence on the order of the FMT_* enums.
1345
1346 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
1347
1348         * data-out.c: (num_to_string) Removed, because it was dead code.
1349
1350 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
1351
1352         * data-in.c (parse_trailer): Fix error message.
1353
1354 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1355
1356         * format.c (fmt_is_binary): New function.
1357
1358 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1359
1360         * procedure.c procedure.h: Encapsulated the static data into a single
1361         struct.
1362
1363 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1364
1365         * casefile.c (casereader_read_xfer): Always initialize the case,
1366         even on an error condition.
1367
1368 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1369
1370         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the
1371         entire function useless.
1372
1373 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1374
1375         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1376         casereader method casereader_clone.
1377
1378         * procedure.c pransformations.h: Introduced new type casenum_t
1379
1380 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1381
1382         * variable.c: (width_to_bytes) Rephrase code for clarify.
1383
1384 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1385
1386         * format.c: (fmt_type_from_string) New function.
1387         (fmt_to_string) Include decimals in output if the format has
1388         decimals, even if the format type does not.  This way, we can
1389         accurately reproduce incorrect formats in user output.
1390         (check_common_specifier) Make the check for a bad format type an
1391         assertion, so we get bug reports if they show up.  Fix message.
1392         Check for decimal places with a format type that doesn't allow
1393         them.
1394         (check_input_specifier) Remove check for FMT_X, which has been
1395         deleted.
1396         (check_output_specifier) Ditto.
1397
1398         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1399
1400         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1401         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1402         (enum fmt_parse_flags) Removed.
1403
1404 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1405
1406         * casefile.c casefile.h: Converted to  an abstract base class.
1407         * casefile-private.h fastfile.c fastfile.h: New files.
1408         * automake.mk procedure.c scratch-writer.c storage-stream.c
1409
1410 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1411
1412         * procedure.c (internal_procedure): Create sink_case with only as
1413         many values as the compacted dictionary.
1414
1415 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1416
1417         Remove "debugging" code that caused plenty of false positives and
1418         no true positives.
1419
1420         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1421
1422         * case.c: Remove all references to `this' member.
1423
1424 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1425
1426         Fix link error noted by Jason Stover.
1427
1428         * storage-stream.c: Include <assert.h>.
1429
1430 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1431
1432         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1433         ALL) and additional underlying system file issues.
1434
1435         Thanks to John Darrington for review.
1436
1437         First problem: var_hash points to variables not owned by the
1438         sys-file-reader, which the caller may free or modify.  Use an
1439         array of sfm_vars instead, as done earlier (e.g. CVS version
1440         1.12).
1441
1442         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
1443         members and remove all code that references it.  Add vars, var_cnt
1444         members.  Remove fix_specials member, which was unused.
1445         (struct sfm_var) Remove name member, which was unused.
1446         (sfm_close_reader) Free vars member instead of var_hash.
1447         (compare_var_shortnames) Removed.
1448         (hash_var_shortname) Removed.
1449         (sfm_open_reader) Fill out vars array.
1450         (compare_var_index) Removed.
1451         (sfm_read_case) Use vars instead of var_hash.
1452
1453         Second problem: we're confused about when we actually have very
1454         long strings, causing us to choose incorrectly between slow path
1455         and fast path in sfm_read_case.
1456
1457         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
1458         have very long strings, not when we have long variable names,
1459         which is an unrelated feature.
1460
1461 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
1462
1463         * variable.h: Move var_set and variable parsing declarations to
1464         new header, src/language/lexer/variable-parser.h.  Modified lots
1465         of files to include the new header.
1466
1467 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1468
1469         * value-labels.c (value_to_string): When there's no value label,
1470         format the variable according to its print format, instead of
1471         always effectively using A or F format.
1472
1473 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1474
1475         * casefile.c (casefile_get_random_reader): Nasty hack to get around
1476         the mode assertion.
1477
1478         * format.c: Removed tortological assertion.
1479
1480 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1481
1482         Reform string library.
1483
1484         * file-name.c (fn_interp_vars): Change interface to take a
1485         substring as input.  Updated all users.
1486
1487 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1488
1489         * format.c (measure_is_valid): Really return false when m >=
1490         n_MEASURES.
1491
1492 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1493
1494         Implement random access to casefiles, for use in GUI.
1495
1496         * casefile.c: (struct casereader) Add `random', `file_ofs',
1497         `buffer_ofs' members.
1498         (casefile_get_random_reader) New function.
1499         (read_open_file) Break part into new function
1500         seek_and_fill_buffer().
1501         (fill_buffer) Update buffer_ofs, file_ofs.
1502         (casereader_seek) New function.
1503
1504 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1505
1506         * settings.c: Added call to i18n{done, init}.
1507
1508 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1509
1510         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1511         prototypes.
1512
1513 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1514
1515         * casefile.c: Convert many uses of `int' to `bool'.
1516
1517 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1518
1519         * transformations.c (trns_chain_destroy): Destroy chain's trns
1520         member, to fix memory leak.
1521
1522 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1523
1524         * storage-stream.c (storage_source_decapsulate): Destroy case
1525         source to fix memory leak.
1526
1527 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1528
1529         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1530         case passed as argument instead of initializing the argument as a
1531         case.  Fixes memory leak that showed up in
1532         tests/command/aggregate.sh with scratch files.
1533
1534 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1535
1536         * procedure.c (proc_done): Destroy default_dict, to fix memory
1537         leak.
1538
1539 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1540
1541         Simplify procedure_with_splits().
1542
1543         * procedure.c (struct split_aux_data): Removed case_count member.
1544         (procedure_with_splits) Don't initialize case_count.
1545         (split_procedure_case_func) Check whether prev_case is null
1546         instead of case_count.
1547         (split_procedure_end_func) Ditto.
1548
1549 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1550
1551         * case.c (case_move): Do nothing if dst and src are the same
1552         object.
1553         (case_try_create) Merge two similar cases.
1554         (case_copy) Unshare only if data must be actually copied.
1555
1556 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1557
1558         * data-in.c data-out.c dictionary.c sys-file-reader.c
1559         sys-file-writer.c variable.c variable.h:  Reworked very long string
1560         support for better encapsulation.
1561
1562 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1563
1564         * value-labels.c (val_labs_can_set_width): New function.
1565         (val_labs_set_width) Clear labels if increasing width to long
1566         string.
1567         (val_labs_destroy) Remove unneeded test for null.
1568
1569 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1570
1571         * value-labels.h: Remove unneeded dependency on variable.h.
1572
1573 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1574
1575         Get rid of `char *c' member in union value, for cleanliness.
1576
1577         * value.h: (union value) Remove `c' member.
1578
1579 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1580
1581         Make dictionary compacting functions a little more general.
1582
1583         * sys-file-writer.c (sfm_open_writer): Use
1584         dict_compacting_would_change().
1585         (does_dict_need_translation) Removed.
1586
1587 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1588
1589         Make dictionary compacting functions a little more general.
1590
1591         * dictionary.c (dict_needs_compaction): Rename
1592         dict_compacting_would_shrink().  Update all callers.
1593         (dict_compacting_would_change) New function.
1594
1595 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1596
1597         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1598         inverted return value (!).
1599
1600 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1601
1602         Continue reforming procedure execution.
1603
1604         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1605         (static var vfm_source) Rename proc_source.  Update all
1606         references.
1607         (static var vfm_sink) Rename proc_sink.  Update all references.
1608
1609 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1610
1611         Continue reforming procedure execution.  In this phase, remove
1612         PROCESS IF, which was deprecated anyway and can be easily
1613         simulated with TEMPORARY followed by SELECT IF.
1614
1615         * procedure.c: (open_active_file) Don't call
1616         add_process_if_trns().
1617         (discard_variables) Get rid of redundant call to
1618         proc_cancel_all_transformations().
1619         (add_process_if_trns) Removed.
1620         (process_if_trns_proc) Removed.
1621         (process_if_trns_free) Removed.
1622
1623 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1624
1625         Continue reforming procedure execution.  In this phase, add
1626         `const' to the case passed to procedure()'s callback.
1627
1628         Updated all users of procedure() as well.
1629
1630         * procedure.c: (struct write_case_data) Add "const" to ccase
1631         parameter for case_func member.
1632         (procedure) Add "const" to ccase parameter for proc_func
1633         parameter.
1634         (multipass_case_func) Make ccase parameter const.
1635         (internal_procedure) Add "const" to ccase parameter for case_func
1636         parameter.
1637         (split_procedure_case_func) Make ccase parameter const.
1638         (multipass_split_case_func) Make ccase parameter const.
1639
1640 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1641
1642         Continue reforming procedure execution.  In this phase, get rid of
1643         the output code for SPLIT FILE groups in procedure.c, which really
1644         shouldn't be doing any output.  Move it into the individual
1645         procedures instead.  This also adds some flexibility.
1646
1647         Updated many users of procedure_with_splits() and
1648         multipass_procedure_with_splits() to call
1649         output_split_file_values() and to deal with increased use of
1650         const.
1651
1652         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1653         parameter to begin_func member.
1654         (procedure_with_splits) Add "const struct ccase *" parameter to
1655         begin_func parameter.  Make ccase parameter const in proc_func
1656         parameter.
1657         (split_procedure_case_func) Don't dump split file group.  Pass
1658         case to begin_func.
1659         (dump_splits) Moved to language/dictionary/split-file.c as
1660         output_split_file_values().
1661         (struct multipass_split_aux_data) Add "const struct ccase *"
1662         parameter to split_func member.
1663         (multipass_procedure_with_splits) Add "const struct ccase *"
1664         parameter to split_func parameter.
1665         (multipass_split_case_func) Save new SPLIT FILE case before
1666         outputting case.
1667         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1668
1669 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1670
1671         Continue reforming procedure execution.  Change
1672         internal_procedure() so that it calls open_active_file() and
1673         close_active_file(), which isolates most of the actual procedure
1674         functionality.
1675
1676         * procedure.c: (struct write_case_data) Rename `proc_func' member
1677         to `case_func' and update all references.
1678         (procedure) Rewrite as one-line wrapper around
1679         internal_procedure().
1680         (struct multipass_aux_data) New.
1681         (multipass_callback) Renamed multipass_case_func().  Use struct
1682         multipass_aux_data as auxiliary data.
1683         (multipass_end_func) New function.
1684         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1685         that uses multipass_case_func, multipass_end_func.
1686         (internal_procedure) Add `end_func' argument.  Move optimization
1687         of trivial case in here.  Move call to open_active_file() and
1688         close_active_file() in here.  Now assert that vfm_source is
1689         non-null.
1690         (procedure_with_splits_callback) Rename
1691         split_procedure_case_func().
1692         (split_procedure_end_func) New function.
1693         (multipass_split_callback) Rename multipass_split_case_func.
1694         (multipass_split_end_func) New function.
1695         (discard_variables) No need to test for nonnull vfm_source.
1696
1697 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1698
1699         Continue reforming procedure execution.  Get rid of unused member.
1700
1701         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1702         member.
1703         (write_case) Don't increment cases_analyzed.
1704
1705 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1706
1707         Continue reforming procedure execution.  In this phase, move
1708         procedure.c and procedure.h from src to src/data.  Update
1709         makefiles and #includes accordingly.
1710
1711         * procedure.c: Moved here from src/.
1712
1713         * procedure.h: Moved here from src/.
1714
1715 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1716
1717         Continue reforming procedure execution.  In this phase, get rid of
1718         many global variables, consolidating procedure execution in
1719         procedure.c.  Encapsulate transformations in new "struct
1720         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1721         and PROCESS IF from special cases to transformations.
1722
1723         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1724         transformations.h.
1725
1726         * dictionary.c: (global variable default_dict) Move to
1727         src/procedure.c.
1728
1729         * variable.h: (TRNS_*) Move to transformations.h.
1730         (struct transformation) Move to transformations.c.
1731
1732 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1733
1734         * sys-file-reader.c: Fixed invalid read problems.
1735
1736 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1737
1738         * storage-stream.c: Add missing function comments.
1739
1740 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1741
1742         Continue reforming procedure execution.  In this phase, add some
1743         new, needed functionality to storage-stream.
1744
1745         * storage-stream.c: (storage_source_decapsulate) New function.
1746
1747 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1748
1749         * variable.c (width_to_bytes): Declarations must precede
1750         statements for C90 compliance.
1751
1752 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1753
1754         * data-out.c, data-in.c, variable.c, variable.h: New functions
1755         copy_mangle and copy_demangle for reading/writing cases; emulates the
1756         way SPSS deals with strings > 255 bytes.
1757
1758         * sys-file-reader.c sys-file-writer.c: Added support for Record 7,
1759         subtype 14 needed for strings longer than 255 bytes.
1760
1761         * dictionary.c, format.def, value.c : Updated to use MAX_STRING
1762         instead of literal values. Also fixed some constness issues.
1763
1764         * format.h: Constness
1765
1766         * sfm-private.h: Renamed the case_size identifier, since I discovered
1767         that SPSS's respect for this variable is very nominal.
1768
1769 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1770
1771         Change case limit type from int to size_t.
1772
1773         * dictionary.c: (struct dictionary) Change type of case_limit
1774         member.
1775         (dict_get_case_limit) Change return type.
1776         (dict_set_case_limit) Change parameter type.
1777
1778 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1779
1780         * variable.h: (struct variable) Rename `reinit' member as `leave'
1781         and invert sense.  Fix up all references.
1782
1783 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1784
1785         Continue reforming procedure execution.  In this phase, break
1786         procedure.c into multiple files.
1787
1788         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1789
1790         * case-sink.c: New file.
1791
1792         * case-sink.h: New file.
1793
1794         * case-source.c: New file.
1795
1796         * case-source.h: New file.
1797
1798         * storage-stream.c: New file.
1799
1800         * storage-stream.h: New file.
1801
1802 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1803
1804         * variable.h: (struct variable) Remove `init' member and all
1805         references to it from other files.  It was initialized in several
1806         places, but nothing really ever used it for anything worthwhile.
1807         Thanks to Jason Stover for pointing out how confusing this
1808         member is.
1809
1810 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1811
1812         Continue reforming error message support.  In this phase, get rid
1813         of message "titles" and put the message text in `struct error'.
1814         Now `struct error' encapsulates a message more properly.
1815
1816         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1817         Format message ourselves.
1818
1819         * data-in.c: (vdls_error) Ditto.
1820
1821         * por-file-reader.c: (error) Ditto.
1822
1823         * sys-file-reader.c: (corrupt_msg) Ditto.
1824
1825 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1826
1827         GNU standards require "file name" instead of "filename" in
1828         documentation.  It's nice for our code to follow the convention
1829         too.
1830
1831         * casefile.c: (struct casefile) Rename `filename' member to
1832         `file_name'.  Updated all references.
1833
1834         * file-name.c: [!unix] (struct file_identity) Rename
1835         normalized_filename member to normalized_file_name.  Updated all
1836         references.
1837
1838 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1839
1840         We don't really support anything but Unix-like environments well,
1841         so we might as well de-obfuscate by writing directory and path
1842         separators explicitly.
1843
1844         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1845         to just '/'.
1846         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1847         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1848         "/".
1849         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1850         ":"
1851
1852 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1853
1854         GNU standards require "file name" instead of "filename" in
1855         documentation.  It's nice for our code to follow the convention
1856         too.
1857
1858         * filename.c: Rename to file-name.c.
1859
1860         * filename.h: Rename to file-name.h.  Update all inclusions.
1861         Update header guards.
1862
1863         * automake.mk: Update file names.
1864
1865 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1866
1867         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1868         updated.
1869         (fn_basename) Removed (dead code).
1870         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1871         (fn_special_p) Renamed fn_is_special(), all references updated.
1872         (fn_exists_p) Renamed fn_exists(), all references updated.
1873
1874 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1875
1876         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.
1877         Also, now it only tilde-expands file names, not paths.
1878         (fn_search_path) Tilde-expand one directory at a time.
1879
1880 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1881
1882         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1883         get rid of non-Unixlike version of the code, which has probably
1884         never been tested.
1885         (fn_prepend_dir) Removed (dead code).
1886
1887         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1888         (macro PATH_SEPARATOR_STRING) New.
1889 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1890
1891         Continue reforming error message support.  In this phase, we get
1892         rid of VM() and the other msg() support for "verbosity", replacing
1893         it by a new function verbose_msg().
1894
1895         * filename.c: (fn_search_path) Use verbose_msg() instead of
1896         msg(VM(), ...).
1897
1898 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1899
1900         * sfm-private.h: Get rid of #defines after #error, which makes no
1901         sense.
1902
1903 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1904
1905         Get rid of our own int32 type in favor of the standard int32_t
1906         type.
1907
1908         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1909         include <stdint.h>.
1910
1911         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1912
1913         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1914
1915 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1916
1917         Remove ill-considered file routines that are no longer used.
1918
1919         * filename.c: (fn_open_ext) Removed.
1920         (fn_close_ext) Removed.
1921
1922         * filename.h: (struct file_ext) Removed.
1923
1924 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1925
1926         * variable.c (var_is_valid_name): Move declarations before code
1927         for C90 compliance.
1928
1929 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1930
1931         * filename.ch (fn_interp_vars): Fixed small buglet.
1932
1933 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1934
1935         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1936         so as to modify the string inline.   Thus makeing it easier to
1937         destroy the results when no longer needed.
1938
1939 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
1940
1941         * category.c (cat_stored_values_destroy): Fixed memory leak.
1942
1943 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
1944
1945         Add some missing frees.  Thanks to John Darrington for reporting
1946         these.
1947
1948         * any-writer.c (any_writer_close): Free writer.
1949
1950         * any-reader.c (any_reader_close): Free reader.
1951
1952 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
1953
1954         * por-file-reader.c: (error) Mark as NO_RETURN.
1955
1956 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
1957
1958         * settings.c: Changed default value of scompress to true.
1959
1960 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
1961
1962         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
1963
1964         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
1965         really applies.
1966
1967         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
1968         here from pref.h.orig.
1969
1970 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
1971
1972         * sys-file-reader.c: Fixed bug reading compressed files.
1973
1974 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1975
1976         * Numerous renames.  See src/ChangeLog for details.
1977
1978         * Moved files from src directory