src/language/data-io/ChangeLog

   1 2007-11-08  Ben Pfaff  <blp@gnu.org>
   2
   3         Patch #6256: add support for binary, 360 file formats.  Reviewed
   4         by John Darrington.
   5
   6         * data-reader.c (struct dfm_reader): New member `block_left'.
   7         (dfm_open_reader): Initialize block_left.  For FH_MODE_TEXT, open
   8         the file in text mode.
   9         (read_error): New function.
  10         (partial_record): New function.
  11         (try_to_read_fully): New function.
  12         (enum descriptor_type): New enum.
  13         (read_descriptor_word): New function.
  14         (corrupt_size): New function.
  15         (read_size): New function.
  16         (read_file_record): Implement new modes.
  17         (read_record): Now take care of tracking line numbers here.
  18         (dfm_reader_get_legacy_encoding): New function.
  19
  20         * data-writer.c (dfm_put_record): Implement new modes.
  21         (dfm_writer_get_legacy_encoding): New function.
  22
  23         * file-handle.q: Parse new formats.
  24         (cmd_file_handle): Set up new formats.
  25
  26         * print.c (struct print_trns): New member `encoding'.
  27         (internal_cmd_print): Set encoding.
  28         (print_trns_proc): Recode output data if necessary.
  29         (flush_records): Recode leader byte.
  30
  31 2007-11-03  Ben Pfaff  <blp@gnu.org>
  32
  33         Allow output files to overwrite input files (bug #21280).
  34
  35         * data-list.c (cmd_data_list): Manage file handle reference
  36         counts.
  37
  38         * data-reader.c (struct dfm_reader): Add `lock' member.
  39         (dfm_close_reader): Simplify, as reference counting is now
  40         separate from locking.
  41         (dfm_open_reader): Lock file.
  42
  43         * data-writer.c (struct dfm_writer): Add fh_lock, replace_file
  44         members.
  45         (dfm_open_writer): Lock file and prepare for replacement.
  46         (dfm_close_writer): Unlock file and replace it.
  47
  48         * file-handle.q (cmd_close_file_handle): Use fh_unname.
  49         (fh_parse): Don't distinguish existing handles for a given file
  50         name from new ones.  Manage file handle reference counts.
  51
  52         * get.c (parse_read_command): Manage file handle reference counts.
  53         (parse_write_command): Ditto.
  54         (mtf_close_all_files): Ditto.
  55
  56         * inpt-pgm.c (cmd_reread): Manage file handle reference counts.
  57
  58         * print-space.c (cmd_print_space): Manage file handle reference
  59         counts.
  60
  61         * print.c (internal_cmd_print): Manage file handle reference
  62         counts.
  63
  64 2007-11-03 John Darrington <john@darrington.wattle.id.au>
  65
  66         * get.c: Add GET DATA command variant.
  67
  68         * get-data.c get-data.h (new files): Added support for
  69          GET DATA /TYPE='gnm'  command.
  70
  71 2007-09-23  Ben Pfaff  <blp@gnu.org>
  72
  73         Bug #21111.  Reviewed by John Darrington.
  74
  75         * data-list.c (data_list_trns_proc): Properly set retval when END
  76         subcommand is in use.
  77         (cmd_data_list): Don't allow END subcommand to be used with DATA
  78         LIST FREE or LIST.
  79
  80 2007-09-12  Ben Pfaff  <blp@gnu.org>
  81
  82         * get.c (get_translate_case): Change input case parameter from
  83         const struct ccase * to struct ccase *, to match change in
  84         casereader and casewriter translators.  Destroy input case, to fix
  85         memory leak.
  86
  87 2007-08-12  Ben Pfaff  <blp@gnu.org>
  88
  89         * get.c (parse_read_command): Compact the values in the target
  90         dictionary, to save space.
  91
  92 2007-08-12  Ben Pfaff  <blp@gnu.org>
  93
  94         * get.c (struct case_map): Move into new file src/data/case-map.c.
  95         (start_case_map): Ditto, and rename case_map_prepare_dict.
  96         (finish_case_map): Ditto, and rename case_map_from_dict.
  97         (map_case): Ditto, and rename case_map_execute.
  98         (destroy_case_map): Ditto, and rename case_map_destroy.
  99         (case_map_get_value_cnt): Ditto.
 100
 101 2007-08-12  Ben Pfaff  <blp@gnu.org>
 102
 103         * get.c (case_map_get_value_cnt): New function.
 104
 105 2007-07-25  Ben Pfaff  <blp@gnu.org>
 106
 107         Fix bug #17100.
 108         * data-list.c (read_from_data_list_fixed): Handle multi-record
 109         DATA LIST correctly.
 110
 111 2007-07-11  Ben Pfaff  <blp@gnu.org>
 112
 113         * get.c (map_case): Create destination case instead of leaving it
 114         undefined.  Fixes bug #20285.
 115         Reviewed by John Darrington.
 116
 117 2007-06-06  Ben Pfaff  <blp@gnu.org>
 118
 119         * get.c: Essentially rewrite MATCH FILES to support FIRST and
 120         LAST.
 121
 122 2007-06-06  Ben Pfaff  <blp@gnu.org>
 123
 124         Adapt case sources, sinks, and clients of procedure code to the
 125         new infrastructure.
 126
 127         * data-list.c: Make DATA LIST into a casereader.
 128
 129         * get.c: Change GET, IMPORT, SAVE, EXPORT to use casereaders,
 130         casewriters.
 131
 132         * inpt-pgm.c: Use caseinit code.  Turn INPUT PROGRAM into a
 133         casereader.
 134
 135         * list.q: Adapt to new procedure code.
 136
 137 2007-05-06  Ben Pfaff  <blp@gnu.org>
 138
 139         Abstract the documents within a dictionary a little better.
 140         Thanks to John Darrington for suggestion, initial version, and
 141         review.  Patch #5917.
 142
 143         * get.c (mtf_merge_dictionary): Simplify creating merged document.
 144
 145         * sys-file-info.c (display_documents): Use new
 146         dict_get_document_line_cnt and dict_get_document_line functions.
 147
 148 Thu Feb  1 16:56:02 2007  Ben Pfaff  <blp@gnu.org>
 149
 150         * file-handle.q (fh_parse): Update to new fh_create_file
 151         prototype.
 152
 153 Sat Dec 16 22:16:18 2006  Ben Pfaff  <blp@gnu.org>
 154
 155         Make it possible to pull cases from the active file with a
 156         function call, instead of requiring indirection through a callback
 157         function.
 158
 159         * automake.mk: Removed matrix-data.c.
 160
 161         * matrix-data.c: Removed.
 162
 163         * data-list.c (data_list_source_read): Conform with new
 164         case_source_class interface.
 165         (data_list_source_destroy): Ditto.
 166
 167         * get.c (case_reader_source_class): Ditto.
 168         (case_reader_source_destroy): Ditto.
 169         (parse_output_proc): Take advantage of new procedure interface.
 170         (output_proc): Removed.
 171         (struct mtf_file): Add "struct ccase *" member to allow use of new
 172         procedure interface.
 173         (cmd_match_files): Take advantage of new procedure interface.
 174         (mtf_processing_finish): Removed.
 175         (mtf_read_nonactive_records): Renamed mtf_read_records.  Now reads
 176         from every file, without any exception for the active file.
 177         (mtf_compare_BY_values): Simplify for new interface.
 178         (mtf_processing): Simplify for new interface.
 179
 180         * inpt-pgm.c (is_valid_state): New function.
 181         (input_program_source_read): Conform with new case_source_class
 182         interface.
 183         (input_program_source_destroy): Ditto.
 184         (end_case_trns_proc): Now just needs to return TRNS_END_CASE.
 185
 186 Sat Dec  9 18:43:34 2006  Ben Pfaff  <blp@gnu.org>
 187
 188         * list.q (cmd_list): Use new var_create, var_destroy functions.
 189
 190 Thu Nov 30 21:51:58 2006  Ben Pfaff  <blp@gnu.org>
 191
 192         * inpt-pgm.c (cmd_reread): Always return error code upon detecting
 193         syntax error.  Fixes bug #18419.  Thanks to John Darrington for
 194         reporting this bug.
 195
 196 Sun Nov 19 09:17:45 2006  Ben Pfaff  <blp@gnu.org>
 197
 198         * data-list.c (parse_free): Follow documented (but odd) rule that
 199         N format is treated as F format for free-field input.
 200
 201         * data-reader.c (read_file_record): Drop new-line character from
 202         input text lines.  This is symmetrical with the recently changed
 203         dfm_put_record semantics.
 204
 205 Thu Nov  2 20:56:03 2006  Ben Pfaff  <blp@gnu.org>
 206
 207         Implement SKIP keyword on DATA LIST.  Fixes bug #17099.
 208
 209         * data-list.c: (struct data_list_pgm) Add `skip_records' members.
 210         (cmd_data_list) Set skip_records based on user input.
 211         (data_list_source_read) Skip records requested by user.
 212
 213 Tue Oct 31 20:04:06 2006  Ben Pfaff  <blp@gnu.org>
 214
 215         * placement-parser.c: (PRS_TYPE_T) Now that struct fmt_spec uses
 216         an enum fmt_type for its type member, we can't depend on the
 217         ability to put negative values into that member as out-of-band
 218         values, because enum fmt_type might be an unsigned type.  So use
 219         values around SCHAR_MAX instead, because we know that SCHAR_MAX
 220         will fit into any type, signed or unsigned, and there aren't
 221         nearly that many format types.
 222         (parse_var_placements) Add for_input parameter to specify whether
 223         we're parsing input or output formats.  Update all callers.
 224         (fixed_parse_columns) Ditto.
 225         (fixed_parse_fortran) Ditto.
 226
 227 Tue Oct 31 18:21:48 2006  Ben Pfaff  <blp@gnu.org>
 228
 229         * print-space.c (print_space_trns_proc): Let dfm_put_record add
 230         the new-line character, to match dfm_put_record change below.
 231
 232 Sat Oct 28 11:57:19 2006  Ben Pfaff  <blp@gnu.org>
 233
 234         * data-writer.c (struct dfm_writer): Removed `bounce' member, and
 235         all references to it.
 236         (dfm_put_record) Change semantics so that it adds formatting
 237         itself, such as new-line characters, instead of putting that
 238         responsibility on the caller.  Also, pad binary records with
 239         spaces instead of zeros, for compatibility.
 240
 241         * print.c (struct prt_out_spec) New member `sysmis_as_spaces'.
 242         (struct print_trns) Remove `omit_new_lines' and all references,
 243         since dfm_put_record() is taking care of that.  Add
 244         `include_prefix'.
 245         (internal_cmd_print) Allow an empty set of data to print.  Set
 246         include_prefix.
 247         (parse_specs) Allow an empty set of data to print.
 248         (parse_variable_argument) Only add space with PRINT command.  Set
 249         sysmis_as_spaces.
 250         (print_trns_proc) Indent records if include_prefix is set, for
 251         compatibility.  Output SYSMIS as spaces if sysmis_as_spaces is
 252         set.  Put "1" in first column if PRINT EJECT is used with an
 253         external output file.
 254         (flush_records) Ditto.
 255
 256 Sat Oct 28 16:19:57 WST 2006 John Darrington <john@darrington.wattle.id.au>
 257
 258         * data-reader.c: Eliminated references to extern variable getl_buf
 259
 260 Sat Aug  5 08:25:07 2006  Ben Pfaff  <blp@gnu.org>
 261
 262         Fix bug #17329 in REREAD parsing, reported by John Darrington.
 263
 264         * inpt-pgm.c (cmd_reread): Fix file handle parsing.
 265
 266 Mon Jul 31 10:32:31 2006  Ben Pfaff  <blp@gnu.org>
 267
 268         * print.c (parse_specs): Allow a comma between specifications.
 269
 270 Sun Jul 16 19:57:10 2006  Ben Pfaff  <blp@gnu.org>
 271
 272         * automake.mk: (src_language_data_io_libdata_io_a_SOURCE) Add
 273         print-space.c, placement-parser.c, placement-parser.h.
 274
 275         * data-list.c: Basically rewrote the whole thing.  Broke out a lot
 276         of code into placement-parser.c.  Code is much cleaner now.
 277
 278         * placement-parser.c: New file.
 279
 280         * placement-parser.h: New file.
 281
 282         * print.c: Basically rewrote the whole thing.  Broke out PRINT
 283         SPACE into print-space.c.  Code is much cleaner now.
 284
 285         * print-space.c: New file.
 286
 287 Sat Jul  1 17:39:40 2006  Ben Pfaff  <blp@gnu.org>
 288
 289         Fix bug #11612, "q2c documentation does not agree with code".
 290
 291         * list.q: Audit use of q2c "+" prefixes that indicate that a
 292         command may appear multiple times.
 293
 294 Sat Jul  1 20:44:22 2006  Ben Pfaff  <blp@gnu.org>
 295
 296         Fix bug #15786: System File Creation crashes if directoy is
 297         nonexistent.
 298
 299         * get.c (parse_write_command): Check that the any_writer open
 300         succeeds.
 301
 302 Tue Jun 27 22:44:28 2006  Ben Pfaff  <blp@gnu.org>
 303
 304         Fix regression in command name completion reported by John
 305         Darrington.  Now completion is again state-dependent and occurs
 306         only on the first line of a command.
 307
 308         * inpt-pgm.c: (cmd_input_program) Reading of first token in
 309         command moved into cmd_parse.
 310
 311 Fri Jun  9 13:56:00 2006  Ben Pfaff  <blp@gnu.org>
 312
 313         Reform string library.
 314
 315         * matrix-data.c (context): Use dynamic string.
 316         (another_token) Deal with changed dfm_get_record() interface.
 317         (mget_token) Ditto.
 318         (force_eol) Ditto.
 319
 320         * data-list.c (struct data_list_pgm) Delete delims, delim_cnt
 321         members, replacing them by struct string delims.  Update all
 322         references to use struct string functions.
 323         (cut_field) Change interface to avoid needing "end_blank", by
 324         getting the data-reader to remember that state for us.  Change
 325         internals to use substring.  Update both callers.
 326
 327         * data-reader.c (read_file_record): Use ds_read_stream().
 328         (dfm_get_record) Change interface to return substring.  Updated
 329         all callers.
 330         (dfm_expand_tabs) Use ds_find_char().  Now maintain position
 331         relative to end-of-line.  Use ds_swap().
 332         (dfm_reread_record) Don't limit position by line length.
 333         (dfm_column_start) Make parameter const.
 334         (dfm_columns_past_end) New function.
 335         (dfm_get_column) New function.
 336
 337 Thu May 25 18:26:26 WST 2006 John Darrington <john@darrington.wattle.id.au>
 338
 339         * print.c (print_trns_free): Made the code agree with the comment, by
 340         not freeing PRT.  Has the side effect that the command no longer
 341         crashes on invalid syntax.
 342
 343 Tue May  9 20:55:46 2006  Ben Pfaff  <blp@gnu.org>
 344
 345         * get.c (cmd_match_files): Fix memory leak replacing default_dict.
 346
 347 Sat May  6 22:25:09 2006  Ben Pfaff  <blp@gnu.org>
 348
 349         Fix segfault.
 350
 351         * list.q (write_fallback_headers): (write_fallback_headers)
 352         Properly record width of leader and pass it to write_varname().
 353
 354 Sat May  6 19:03:13 2006  Ben Pfaff  <blp@gnu.org>
 355
 356         * get.c: (mtf_merge_dictionary) Fix value label memory leak.
 357
 358 Sat May  6 13:51:16 2006  Ben Pfaff  <blp@gnu.org>
 359
 360         Use a casefile, instead of a case sink, for MATCH FILES output.
 361         It's more straightforward, although it has the same effect.
 362
 363         * get.c: (struct mtf_proc) Replace `sink' case sink member by
 364         `output' casefile member.
 365         (cmd_match_files) Work with casefile instead of sink.
 366         (mtf_processing) Add case to casefile instead of sink.
 367
 368 Sat May  6 10:43:07 2006  Ben Pfaff  <blp@gnu.org>
 369
 370         Continue reforming procedure execution.  In this phase, get rid of
 371         the output code for SPLIT FILE groups in procedure.c, which really
 372         shouldn't be doing any output.  Move it into the individual
 373         procedures instead.  This also adds some flexibility.
 374
 375         * list.q (write_all_headers): Call output_split_file_values().
 376
 377 Wed May  3 23:00:17 2006  Ben Pfaff  <blp@gnu.org>
 378
 379         Continue reforming procedure execution.  In this phase, get rid of
 380         many global variables, consolidating procedure execution in
 381         procedure.c.  Encapsulate transformations in new "struct
 382         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 383         and PROCESS IF from special cases to transformations.
 384
 385         * data-list.c: (data_list_trns_proc) Return TRNS_END_FILE at end
 386         of file.  (Why didn't we do this before?)
 387         (cmd_match_files) Direct procedure output to null sink.
 388         Use discard_variables() instead of indirect version.
 389
 390         * inpt-pgm.c: Use transformation chain.
 391         (struct input_program_pgm) Add trns_chain member.
 392         (cmd_input_program) Initialize trns_chain member and capture
 393         transformations with proc_capture_transformations().
 394         (input_program_source_read) Use trns_chain_execute().
 395         (destroy_input_program) Destroy input chain.
 396
 397 Tue May  2 10:39:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 398
 399         * list.q Changed from using fixed length char buffers to struct
 400         string so that any length variables can be used.
 401
 402 Mon May  1 18:21:19 2006  Ben Pfaff  <blp@gnu.org>
 403
 404         Further clean up the CMD_* command result codes.
 405
 406         * (enum cmd_result_extensions) New.  Add CMD_END_INPUT_PROGRAM and
 407         CMD_END_CASE result codes.
 408         (struct input_program_pgm) Added case_nr, write_case, wc_data
 409         members for use by END CASE transformation.
 410         (emit_END_CASE) New function.
 411         (cmd_input_program) Interpret CMD_END_CASE by outputting an END
 412         CASE transformation.  If none is output by the input program
 413         itself, add one automatically at the end.  Change lack of
 414         variables from warning to error.
 415         (cmd_end_input_program) Return CMD_END_INPUT_PROGRAM instead of
 416         CMD_END_SUBLOOP.
 417         (input_program_source_read) No longer any need to special-case END
 418         CASE.  Handle TRNS_DROP_CASE properly.  Initialize new members in
 419         inp for use by END CASE transformation.
 420         (destroy_input_program) New function.
 421         (input_program_source_destroy) Just call destroy_input_program().
 422         (cmd_end_case) Just return CMD_END_CASE.
 423         (end_case_trns_proc) No longer a stub handled by
 424         input_program_source_read().  Actually output the case and
 425         increment the case number.
 426
 427 Mon May  1 16:06:30 2006  Ben Pfaff  <blp@gnu.org>
 428
 429         Remove vestiges of REPEATING DATA support.
 430
 431         * data-list.c: (struct rpd_num_or_var) Removed.
 432         (struct repeating_data_trns) Removed.
 433         (cmd_repeating_data) Removed.
 434         (find_variable_input_spec) Removed.
 435         (parse_num_or_var) Removed.
 436         (parse_repeating_data) Removed.
 437         (realize_value) Removed.
 438         (struct rpd_parse_info) Removed.
 439         (rpd_parse_record) Removed.
 440         (repeating_data_trns_proc) Removed.
 441         (repeating_data_trns_free) Removed.
 442         (repeating_data_set_write_case) Removed.
 443         (rpd_msg) Removed.
 444
 445         * inpt-pgm.c: (input_program_source_read) Don't deal with
 446         REPEATING DATA.
 447
 448         * data-list.h: Removed.
 449
 450         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Removed
 451         data-list.h.
 452
 453 Mon May  1 15:58:28 2006  Ben Pfaff  <blp@gnu.org>
 454
 455         Remove vestiges of FILE TYPE support.
 456
 457         * data-list.c: (cmd_data_list) Don't check for FILE TYPE.
 458         (cmd_repeating_data) Ditto.
 459
 460         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Remove
 461         file-type.c, file-type.h.
 462
 463         * file-type.c: Removed.
 464
 465         * file-type.h: Removed.
 466
 467 Wed Apr 26 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 468
 469         Improve the way we handle the various parsing "states".  Until now
 470         we've hard-coded the state transitions in the command definition
 471         file, but that's error-prone and, worse, it's redundant--we can
 472         figure out what state we're in anyhow.  We can cleanly handle
 473         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
 474
 475         * data-list.c: (cmd_data_list) Use in_file_type() or
 476         in_input_program() in place of case_source_is_class() or
 477         case_source_is_complex().
 478
 479         * file-type.c: NB: Not really fixed except minimally to compile,
 480         because it doesn't work anyway.
 481         (in_file_type) New function.
 482         (cmd_record_type) No need to check that we're in FILE TYPE.
 483         (cmd_end_file_type) Ditto.
 484         (var file_type_source_class) Make static.
 485
 486         * get.c: (cmd_match_files) Check vfm_source instead of pgm_state.
 487
 488         * inpt-pgm.c: (in_input_program) New function.
 489         (cmd_input_program) Rewrite to include nested command processing
 490         loop.
 491         (cmd_end_input_program) Just return CMD_END_SUBLOOP.
 492         (var input_program_source_class) Make static.
 493         (cmd_end_case) No need to check that we're in INPUT PROGRAM.
 494         (cmd_end_file) Ditto.
 495
 496         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Add
 497         file-type.h, inpt-pgm.h.
 498
 499         * file-type.h: New file.
 500
 501         * inpt-pgm.h: New file.
 502
 503 Tue Apr 25 13:11:55 2006  Ben Pfaff  <blp@gnu.org>
 504
 505         * print.c: Don't special-case MS-DOS line terminators.
 506         (macro LINE_END_WIDTH) Removed.
 507         (alloc_line) Line ends are 1 byte.
 508         (print_trns_proc) Just output \n for line end.
 509
 510 Sun Apr 23 22:05:58 2006  Ben Pfaff  <blp@gnu.org>
 511
 512         Continue reforming error message support.  In this phase, get rid
 513         of message "titles" and put the message text in `struct error'.
 514         Now `struct error' encapsulates a message more properly.
 515
 516         * data-list.c: (macro RPD_ERR) Removed.
 517         (rpd_msg) New function.  Updated all references to tmsg() to call
 518         this function instead.
 519
 520 Sat Apr 15 19:38:13 2006  Ben Pfaff  <blp@gnu.org>
 521
 522         Remove last users of struct file_ext so we can get rid of it
 523         entirely.
 524
 525         * data-reader.c: (struct dfm_reader) Change file member from
 526         struct file_ext to FILE *.  Updated all references.
 527         (dfm_close_reader) Close file with fn_close() instead of
 528         fn_close_ext().  Also, make a copy of the file name from the file
 529         handle before closing it, because we can't extract it after we
 530         close the file.
 531         (dfm_open_reader) Open file with fn_open() instead of
 532         fn_open_ext().
 533
 534         * data-writer.c: (struct dfm_writer) Change file member
 535         struct file_ext to FILE *.  Updated all references.
 536         (dfm_close_writer) Close file with fn_close() instead of
 537         fn_close_ext().  Also, make a copy of the file name from the file
 538         handle before closing it, because we can't extract it after we
 539         close the file.
 540         (dfm_open_writer) Open file with fn_open() instead of
 541         fn_open_ext().
 542
 543 Sat Apr 15 18:00:32 2006  Ben Pfaff  <blp@gnu.org>
 544
 545         * data-list.c: Add prototype to suppress warning for
 546         cmd_repeating_data().
 547
 548 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 549
 550         * Moved files from src directory