src/language/data-io/ChangeLog

   1 2007-12-04  Ben Pfaff  <blp@gnu.org>
   2
   3         * src/language/data-io/data-reader.c (struct dfm_reader): New
   4         `file_size' member to support dfm_get_percent_read.
   5         (dfm_open_reader): Initialize file_size.
   6         (dfm_get_percent_read): New function.
   7
   8 2007-11-08  Ben Pfaff  <blp@gnu.org>
   9
  10         Patch #6256: add support for binary, 360 file formats.  Reviewed
  11         by John Darrington.
  12
  13         * data-reader.c (struct dfm_reader): New member `block_left'.
  14         (dfm_open_reader): Initialize block_left.  For FH_MODE_TEXT, open
  15         the file in text mode.
  16         (read_error): New function.
  17         (partial_record): New function.
  18         (try_to_read_fully): New function.
  19         (enum descriptor_type): New enum.
  20         (read_descriptor_word): New function.
  21         (corrupt_size): New function.
  22         (read_size): New function.
  23         (read_file_record): Implement new modes.
  24         (read_record): Now take care of tracking line numbers here.
  25         (dfm_reader_get_legacy_encoding): New function.
  26
  27         * data-writer.c (dfm_put_record): Implement new modes.
  28         (dfm_writer_get_legacy_encoding): New function.
  29
  30         * file-handle.q: Parse new formats.
  31         (cmd_file_handle): Set up new formats.
  32
  33         * print.c (struct print_trns): New member `encoding'.
  34         (internal_cmd_print): Set encoding.
  35         (print_trns_proc): Recode output data if necessary.
  36         (flush_records): Recode leader byte.
  37
  38 2007-11-03  Ben Pfaff  <blp@gnu.org>
  39
  40         Allow output files to overwrite input files (bug #21280).
  41
  42         * data-list.c (cmd_data_list): Manage file handle reference
  43         counts.
  44
  45         * data-reader.c (struct dfm_reader): Add `lock' member.
  46         (dfm_close_reader): Simplify, as reference counting is now
  47         separate from locking.
  48         (dfm_open_reader): Lock file.
  49
  50         * data-writer.c (struct dfm_writer): Add fh_lock, replace_file
  51         members.
  52         (dfm_open_writer): Lock file and prepare for replacement.
  53         (dfm_close_writer): Unlock file and replace it.
  54
  55         * file-handle.q (cmd_close_file_handle): Use fh_unname.
  56         (fh_parse): Don't distinguish existing handles for a given file
  57         name from new ones.  Manage file handle reference counts.
  58
  59         * get.c (parse_read_command): Manage file handle reference counts.
  60         (parse_write_command): Ditto.
  61         (mtf_close_all_files): Ditto.
  62
  63         * inpt-pgm.c (cmd_reread): Manage file handle reference counts.
  64
  65         * print-space.c (cmd_print_space): Manage file handle reference
  66         counts.
  67
  68         * print.c (internal_cmd_print): Manage file handle reference
  69         counts.
  70
  71 2007-11-03 John Darrington <john@darrington.wattle.id.au>
  72
  73         * get.c: Add GET DATA command variant.
  74
  75         * get-data.c get-data.h (new files): Added support for
  76          GET DATA /TYPE='gnm'  command.
  77
  78 2007-09-23  Ben Pfaff  <blp@gnu.org>
  79
  80         Bug #21111.  Reviewed by John Darrington.
  81
  82         * data-list.c (data_list_trns_proc): Properly set retval when END
  83         subcommand is in use.
  84         (cmd_data_list): Don't allow END subcommand to be used with DATA
  85         LIST FREE or LIST.
  86
  87 2007-09-12  Ben Pfaff  <blp@gnu.org>
  88
  89         * get.c (get_translate_case): Change input case parameter from
  90         const struct ccase * to struct ccase *, to match change in
  91         casereader and casewriter translators.  Destroy input case, to fix
  92         memory leak.
  93
  94 2007-08-12  Ben Pfaff  <blp@gnu.org>
  95
  96         * get.c (parse_read_command): Compact the values in the target
  97         dictionary, to save space.
  98
  99 2007-08-12  Ben Pfaff  <blp@gnu.org>
 100
 101         * get.c (struct case_map): Move into new file src/data/case-map.c.
 102         (start_case_map): Ditto, and rename case_map_prepare_dict.
 103         (finish_case_map): Ditto, and rename case_map_from_dict.
 104         (map_case): Ditto, and rename case_map_execute.
 105         (destroy_case_map): Ditto, and rename case_map_destroy.
 106         (case_map_get_value_cnt): Ditto.
 107
 108 2007-08-12  Ben Pfaff  <blp@gnu.org>
 109
 110         * get.c (case_map_get_value_cnt): New function.
 111
 112 2007-07-25  Ben Pfaff  <blp@gnu.org>
 113
 114         Fix bug #17100.
 115         * data-list.c (read_from_data_list_fixed): Handle multi-record
 116         DATA LIST correctly.
 117
 118 2007-07-11  Ben Pfaff  <blp@gnu.org>
 119
 120         * get.c (map_case): Create destination case instead of leaving it
 121         undefined.  Fixes bug #20285.
 122         Reviewed by John Darrington.
 123
 124 2007-06-06  Ben Pfaff  <blp@gnu.org>
 125
 126         * get.c: Essentially rewrite MATCH FILES to support FIRST and
 127         LAST.
 128
 129 2007-06-06  Ben Pfaff  <blp@gnu.org>
 130
 131         Adapt case sources, sinks, and clients of procedure code to the
 132         new infrastructure.
 133
 134         * data-list.c: Make DATA LIST into a casereader.
 135
 136         * get.c: Change GET, IMPORT, SAVE, EXPORT to use casereaders,
 137         casewriters.
 138
 139         * inpt-pgm.c: Use caseinit code.  Turn INPUT PROGRAM into a
 140         casereader.
 141
 142         * list.q: Adapt to new procedure code.
 143
 144 2007-05-06  Ben Pfaff  <blp@gnu.org>
 145
 146         Abstract the documents within a dictionary a little better.
 147         Thanks to John Darrington for suggestion, initial version, and
 148         review.  Patch #5917.
 149
 150         * get.c (mtf_merge_dictionary): Simplify creating merged document.
 151
 152         * sys-file-info.c (display_documents): Use new
 153         dict_get_document_line_cnt and dict_get_document_line functions.
 154
 155 Thu Feb  1 16:56:02 2007  Ben Pfaff  <blp@gnu.org>
 156
 157         * file-handle.q (fh_parse): Update to new fh_create_file
 158         prototype.
 159
 160 Sat Dec 16 22:16:18 2006  Ben Pfaff  <blp@gnu.org>
 161
 162         Make it possible to pull cases from the active file with a
 163         function call, instead of requiring indirection through a callback
 164         function.
 165
 166         * automake.mk: Removed matrix-data.c.
 167
 168         * matrix-data.c: Removed.
 169
 170         * data-list.c (data_list_source_read): Conform with new
 171         case_source_class interface.
 172         (data_list_source_destroy): Ditto.
 173
 174         * get.c (case_reader_source_class): Ditto.
 175         (case_reader_source_destroy): Ditto.
 176         (parse_output_proc): Take advantage of new procedure interface.
 177         (output_proc): Removed.
 178         (struct mtf_file): Add "struct ccase *" member to allow use of new
 179         procedure interface.
 180         (cmd_match_files): Take advantage of new procedure interface.
 181         (mtf_processing_finish): Removed.
 182         (mtf_read_nonactive_records): Renamed mtf_read_records.  Now reads
 183         from every file, without any exception for the active file.
 184         (mtf_compare_BY_values): Simplify for new interface.
 185         (mtf_processing): Simplify for new interface.
 186
 187         * inpt-pgm.c (is_valid_state): New function.
 188         (input_program_source_read): Conform with new case_source_class
 189         interface.
 190         (input_program_source_destroy): Ditto.
 191         (end_case_trns_proc): Now just needs to return TRNS_END_CASE.
 192
 193 Sat Dec  9 18:43:34 2006  Ben Pfaff  <blp@gnu.org>
 194
 195         * list.q (cmd_list): Use new var_create, var_destroy functions.
 196
 197 Thu Nov 30 21:51:58 2006  Ben Pfaff  <blp@gnu.org>
 198
 199         * inpt-pgm.c (cmd_reread): Always return error code upon detecting
 200         syntax error.  Fixes bug #18419.  Thanks to John Darrington for
 201         reporting this bug.
 202
 203 Sun Nov 19 09:17:45 2006  Ben Pfaff  <blp@gnu.org>
 204
 205         * data-list.c (parse_free): Follow documented (but odd) rule that
 206         N format is treated as F format for free-field input.
 207
 208         * data-reader.c (read_file_record): Drop new-line character from
 209         input text lines.  This is symmetrical with the recently changed
 210         dfm_put_record semantics.
 211
 212 Thu Nov  2 20:56:03 2006  Ben Pfaff  <blp@gnu.org>
 213
 214         Implement SKIP keyword on DATA LIST.  Fixes bug #17099.
 215
 216         * data-list.c: (struct data_list_pgm) Add `skip_records' members.
 217         (cmd_data_list) Set skip_records based on user input.
 218         (data_list_source_read) Skip records requested by user.
 219
 220 Tue Oct 31 20:04:06 2006  Ben Pfaff  <blp@gnu.org>
 221
 222         * placement-parser.c: (PRS_TYPE_T) Now that struct fmt_spec uses
 223         an enum fmt_type for its type member, we can't depend on the
 224         ability to put negative values into that member as out-of-band
 225         values, because enum fmt_type might be an unsigned type.  So use
 226         values around SCHAR_MAX instead, because we know that SCHAR_MAX
 227         will fit into any type, signed or unsigned, and there aren't
 228         nearly that many format types.
 229         (parse_var_placements) Add for_input parameter to specify whether
 230         we're parsing input or output formats.  Update all callers.
 231         (fixed_parse_columns) Ditto.
 232         (fixed_parse_fortran) Ditto.
 233
 234 Tue Oct 31 18:21:48 2006  Ben Pfaff  <blp@gnu.org>
 235
 236         * print-space.c (print_space_trns_proc): Let dfm_put_record add
 237         the new-line character, to match dfm_put_record change below.
 238
 239 Sat Oct 28 11:57:19 2006  Ben Pfaff  <blp@gnu.org>
 240
 241         * data-writer.c (struct dfm_writer): Removed `bounce' member, and
 242         all references to it.
 243         (dfm_put_record) Change semantics so that it adds formatting
 244         itself, such as new-line characters, instead of putting that
 245         responsibility on the caller.  Also, pad binary records with
 246         spaces instead of zeros, for compatibility.
 247
 248         * print.c (struct prt_out_spec) New member `sysmis_as_spaces'.
 249         (struct print_trns) Remove `omit_new_lines' and all references,
 250         since dfm_put_record() is taking care of that.  Add
 251         `include_prefix'.
 252         (internal_cmd_print) Allow an empty set of data to print.  Set
 253         include_prefix.
 254         (parse_specs) Allow an empty set of data to print.
 255         (parse_variable_argument) Only add space with PRINT command.  Set
 256         sysmis_as_spaces.
 257         (print_trns_proc) Indent records if include_prefix is set, for
 258         compatibility.  Output SYSMIS as spaces if sysmis_as_spaces is
 259         set.  Put "1" in first column if PRINT EJECT is used with an
 260         external output file.
 261         (flush_records) Ditto.
 262
 263 Sat Oct 28 16:19:57 WST 2006 John Darrington <john@darrington.wattle.id.au>
 264
 265         * data-reader.c: Eliminated references to extern variable getl_buf
 266
 267 Sat Aug  5 08:25:07 2006  Ben Pfaff  <blp@gnu.org>
 268
 269         Fix bug #17329 in REREAD parsing, reported by John Darrington.
 270
 271         * inpt-pgm.c (cmd_reread): Fix file handle parsing.
 272
 273 Mon Jul 31 10:32:31 2006  Ben Pfaff  <blp@gnu.org>
 274
 275         * print.c (parse_specs): Allow a comma between specifications.
 276
 277 Sun Jul 16 19:57:10 2006  Ben Pfaff  <blp@gnu.org>
 278
 279         * automake.mk: (src_language_data_io_libdata_io_a_SOURCE) Add
 280         print-space.c, placement-parser.c, placement-parser.h.
 281
 282         * data-list.c: Basically rewrote the whole thing.  Broke out a lot
 283         of code into placement-parser.c.  Code is much cleaner now.
 284
 285         * placement-parser.c: New file.
 286
 287         * placement-parser.h: New file.
 288
 289         * print.c: Basically rewrote the whole thing.  Broke out PRINT
 290         SPACE into print-space.c.  Code is much cleaner now.
 291
 292         * print-space.c: New file.
 293
 294 Sat Jul  1 17:39:40 2006  Ben Pfaff  <blp@gnu.org>
 295
 296         Fix bug #11612, "q2c documentation does not agree with code".
 297
 298         * list.q: Audit use of q2c "+" prefixes that indicate that a
 299         command may appear multiple times.
 300
 301 Sat Jul  1 20:44:22 2006  Ben Pfaff  <blp@gnu.org>
 302
 303         Fix bug #15786: System File Creation crashes if directoy is
 304         nonexistent.
 305
 306         * get.c (parse_write_command): Check that the any_writer open
 307         succeeds.
 308
 309 Tue Jun 27 22:44:28 2006  Ben Pfaff  <blp@gnu.org>
 310
 311         Fix regression in command name completion reported by John
 312         Darrington.  Now completion is again state-dependent and occurs
 313         only on the first line of a command.
 314
 315         * inpt-pgm.c: (cmd_input_program) Reading of first token in
 316         command moved into cmd_parse.
 317
 318 Fri Jun  9 13:56:00 2006  Ben Pfaff  <blp@gnu.org>
 319
 320         Reform string library.
 321
 322         * matrix-data.c (context): Use dynamic string.
 323         (another_token) Deal with changed dfm_get_record() interface.
 324         (mget_token) Ditto.
 325         (force_eol) Ditto.
 326
 327         * data-list.c (struct data_list_pgm) Delete delims, delim_cnt
 328         members, replacing them by struct string delims.  Update all
 329         references to use struct string functions.
 330         (cut_field) Change interface to avoid needing "end_blank", by
 331         getting the data-reader to remember that state for us.  Change
 332         internals to use substring.  Update both callers.
 333
 334         * data-reader.c (read_file_record): Use ds_read_stream().
 335         (dfm_get_record) Change interface to return substring.  Updated
 336         all callers.
 337         (dfm_expand_tabs) Use ds_find_char().  Now maintain position
 338         relative to end-of-line.  Use ds_swap().
 339         (dfm_reread_record) Don't limit position by line length.
 340         (dfm_column_start) Make parameter const.
 341         (dfm_columns_past_end) New function.
 342         (dfm_get_column) New function.
 343
 344 Thu May 25 18:26:26 WST 2006 John Darrington <john@darrington.wattle.id.au>
 345
 346         * print.c (print_trns_free): Made the code agree with the comment, by
 347         not freeing PRT.  Has the side effect that the command no longer
 348         crashes on invalid syntax.
 349
 350 Tue May  9 20:55:46 2006  Ben Pfaff  <blp@gnu.org>
 351
 352         * get.c (cmd_match_files): Fix memory leak replacing default_dict.
 353
 354 Sat May  6 22:25:09 2006  Ben Pfaff  <blp@gnu.org>
 355
 356         Fix segfault.
 357
 358         * list.q (write_fallback_headers): (write_fallback_headers)
 359         Properly record width of leader and pass it to write_varname().
 360
 361 Sat May  6 19:03:13 2006  Ben Pfaff  <blp@gnu.org>
 362
 363         * get.c: (mtf_merge_dictionary) Fix value label memory leak.
 364
 365 Sat May  6 13:51:16 2006  Ben Pfaff  <blp@gnu.org>
 366
 367         Use a casefile, instead of a case sink, for MATCH FILES output.
 368         It's more straightforward, although it has the same effect.
 369
 370         * get.c: (struct mtf_proc) Replace `sink' case sink member by
 371         `output' casefile member.
 372         (cmd_match_files) Work with casefile instead of sink.
 373         (mtf_processing) Add case to casefile instead of sink.
 374
 375 Sat May  6 10:43:07 2006  Ben Pfaff  <blp@gnu.org>
 376
 377         Continue reforming procedure execution.  In this phase, get rid of
 378         the output code for SPLIT FILE groups in procedure.c, which really
 379         shouldn't be doing any output.  Move it into the individual
 380         procedures instead.  This also adds some flexibility.
 381
 382         * list.q (write_all_headers): Call output_split_file_values().
 383
 384 Wed May  3 23:00:17 2006  Ben Pfaff  <blp@gnu.org>
 385
 386         Continue reforming procedure execution.  In this phase, get rid of
 387         many global variables, consolidating procedure execution in
 388         procedure.c.  Encapsulate transformations in new "struct
 389         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 390         and PROCESS IF from special cases to transformations.
 391
 392         * data-list.c: (data_list_trns_proc) Return TRNS_END_FILE at end
 393         of file.  (Why didn't we do this before?)
 394         (cmd_match_files) Direct procedure output to null sink.
 395         Use discard_variables() instead of indirect version.
 396
 397         * inpt-pgm.c: Use transformation chain.
 398         (struct input_program_pgm) Add trns_chain member.
 399         (cmd_input_program) Initialize trns_chain member and capture
 400         transformations with proc_capture_transformations().
 401         (input_program_source_read) Use trns_chain_execute().
 402         (destroy_input_program) Destroy input chain.
 403
 404 Tue May  2 10:39:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 405
 406         * list.q Changed from using fixed length char buffers to struct
 407         string so that any length variables can be used.
 408
 409 Mon May  1 18:21:19 2006  Ben Pfaff  <blp@gnu.org>
 410
 411         Further clean up the CMD_* command result codes.
 412
 413         * (enum cmd_result_extensions) New.  Add CMD_END_INPUT_PROGRAM and
 414         CMD_END_CASE result codes.
 415         (struct input_program_pgm) Added case_nr, write_case, wc_data
 416         members for use by END CASE transformation.
 417         (emit_END_CASE) New function.
 418         (cmd_input_program) Interpret CMD_END_CASE by outputting an END
 419         CASE transformation.  If none is output by the input program
 420         itself, add one automatically at the end.  Change lack of
 421         variables from warning to error.
 422         (cmd_end_input_program) Return CMD_END_INPUT_PROGRAM instead of
 423         CMD_END_SUBLOOP.
 424         (input_program_source_read) No longer any need to special-case END
 425         CASE.  Handle TRNS_DROP_CASE properly.  Initialize new members in
 426         inp for use by END CASE transformation.
 427         (destroy_input_program) New function.
 428         (input_program_source_destroy) Just call destroy_input_program().
 429         (cmd_end_case) Just return CMD_END_CASE.
 430         (end_case_trns_proc) No longer a stub handled by
 431         input_program_source_read().  Actually output the case and
 432         increment the case number.
 433
 434 Mon May  1 16:06:30 2006  Ben Pfaff  <blp@gnu.org>
 435
 436         Remove vestiges of REPEATING DATA support.
 437
 438         * data-list.c: (struct rpd_num_or_var) Removed.
 439         (struct repeating_data_trns) Removed.
 440         (cmd_repeating_data) Removed.
 441         (find_variable_input_spec) Removed.
 442         (parse_num_or_var) Removed.
 443         (parse_repeating_data) Removed.
 444         (realize_value) Removed.
 445         (struct rpd_parse_info) Removed.
 446         (rpd_parse_record) Removed.
 447         (repeating_data_trns_proc) Removed.
 448         (repeating_data_trns_free) Removed.
 449         (repeating_data_set_write_case) Removed.
 450         (rpd_msg) Removed.
 451
 452         * inpt-pgm.c: (input_program_source_read) Don't deal with
 453         REPEATING DATA.
 454
 455         * data-list.h: Removed.
 456
 457         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Removed
 458         data-list.h.
 459
 460 Mon May  1 15:58:28 2006  Ben Pfaff  <blp@gnu.org>
 461
 462         Remove vestiges of FILE TYPE support.
 463
 464         * data-list.c: (cmd_data_list) Don't check for FILE TYPE.
 465         (cmd_repeating_data) Ditto.
 466
 467         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Remove
 468         file-type.c, file-type.h.
 469
 470         * file-type.c: Removed.
 471
 472         * file-type.h: Removed.
 473
 474 Wed Apr 26 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 475
 476         Improve the way we handle the various parsing "states".  Until now
 477         we've hard-coded the state transitions in the command definition
 478         file, but that's error-prone and, worse, it's redundant--we can
 479         figure out what state we're in anyhow.  We can cleanly handle
 480         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
 481
 482         * data-list.c: (cmd_data_list) Use in_file_type() or
 483         in_input_program() in place of case_source_is_class() or
 484         case_source_is_complex().
 485
 486         * file-type.c: NB: Not really fixed except minimally to compile,
 487         because it doesn't work anyway.
 488         (in_file_type) New function.
 489         (cmd_record_type) No need to check that we're in FILE TYPE.
 490         (cmd_end_file_type) Ditto.
 491         (var file_type_source_class) Make static.
 492
 493         * get.c: (cmd_match_files) Check vfm_source instead of pgm_state.
 494
 495         * inpt-pgm.c: (in_input_program) New function.
 496         (cmd_input_program) Rewrite to include nested command processing
 497         loop.
 498         (cmd_end_input_program) Just return CMD_END_SUBLOOP.
 499         (var input_program_source_class) Make static.
 500         (cmd_end_case) No need to check that we're in INPUT PROGRAM.
 501         (cmd_end_file) Ditto.
 502
 503         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Add
 504         file-type.h, inpt-pgm.h.
 505
 506         * file-type.h: New file.
 507
 508         * inpt-pgm.h: New file.
 509
 510 Tue Apr 25 13:11:55 2006  Ben Pfaff  <blp@gnu.org>
 511
 512         * print.c: Don't special-case MS-DOS line terminators.
 513         (macro LINE_END_WIDTH) Removed.
 514         (alloc_line) Line ends are 1 byte.
 515         (print_trns_proc) Just output \n for line end.
 516
 517 Sun Apr 23 22:05:58 2006  Ben Pfaff  <blp@gnu.org>
 518
 519         Continue reforming error message support.  In this phase, get rid
 520         of message "titles" and put the message text in `struct error'.
 521         Now `struct error' encapsulates a message more properly.
 522
 523         * data-list.c: (macro RPD_ERR) Removed.
 524         (rpd_msg) New function.  Updated all references to tmsg() to call
 525         this function instead.
 526
 527 Sat Apr 15 19:38:13 2006  Ben Pfaff  <blp@gnu.org>
 528
 529         Remove last users of struct file_ext so we can get rid of it
 530         entirely.
 531
 532         * data-reader.c: (struct dfm_reader) Change file member from
 533         struct file_ext to FILE *.  Updated all references.
 534         (dfm_close_reader) Close file with fn_close() instead of
 535         fn_close_ext().  Also, make a copy of the file name from the file
 536         handle before closing it, because we can't extract it after we
 537         close the file.
 538         (dfm_open_reader) Open file with fn_open() instead of
 539         fn_open_ext().
 540
 541         * data-writer.c: (struct dfm_writer) Change file member
 542         struct file_ext to FILE *.  Updated all references.
 543         (dfm_close_writer) Close file with fn_close() instead of
 544         fn_close_ext().  Also, make a copy of the file name from the file
 545         handle before closing it, because we can't extract it after we
 546         close the file.
 547         (dfm_open_writer) Open file with fn_open() instead of
 548         fn_open_ext().
 549
 550 Sat Apr 15 18:00:32 2006  Ben Pfaff  <blp@gnu.org>
 551
 552         * data-list.c: Add prototype to suppress warning for
 553         cmd_repeating_data().
 554
 555 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 556
 557         * Moved files from src directory