src/language/data-io/ChangeLog

   1 2007-09-12  Ben Pfaff  <blp@gnu.org>
   2
   3         * get.c (get_translate_case): Change input case parameter from
   4         const struct ccase * to struct ccase *, to match change in
   5         casereader and casewriter translators.  Destroy input case, to fix
   6         memory leak.
   7
   8 2007-08-12  Ben Pfaff  <blp@gnu.org>
   9
  10         * get.c (parse_read_command): Compact the values in the target
  11         dictionary, to save space.
  12
  13 2007-08-12  Ben Pfaff  <blp@gnu.org>
  14
  15         * get.c (struct case_map): Move into new file src/data/case-map.c.
  16         (start_case_map): Ditto, and rename case_map_prepare_dict.
  17         (finish_case_map): Ditto, and rename case_map_from_dict.
  18         (map_case): Ditto, and rename case_map_execute.
  19         (destroy_case_map): Ditto, and rename case_map_destroy.
  20         (case_map_get_value_cnt): Ditto.
  21
  22 2007-08-12  Ben Pfaff  <blp@gnu.org>
  23
  24         * get.c (case_map_get_value_cnt): New function.
  25
  26 2007-07-25  Ben Pfaff  <blp@gnu.org>
  27
  28         Fix bug #17100.
  29         * data-list.c (read_from_data_list_fixed): Handle multi-record
  30         DATA LIST correctly.
  31
  32 2007-07-11  Ben Pfaff  <blp@gnu.org>
  33
  34         * get.c (map_case): Create destination case instead of leaving it
  35         undefined.  Fixes bug #20285.
  36         Reviewed by John Darrington.
  37
  38 2007-06-06  Ben Pfaff  <blp@gnu.org>
  39
  40         * get.c: Essentially rewrite MATCH FILES to support FIRST and
  41         LAST.
  42
  43 2007-06-06  Ben Pfaff  <blp@gnu.org>
  44
  45         Adapt case sources, sinks, and clients of procedure code to the
  46         new infrastructure.
  47
  48         * data-list.c: Make DATA LIST into a casereader.
  49
  50         * get.c: Change GET, IMPORT, SAVE, EXPORT to use casereaders,
  51         casewriters.
  52
  53         * inpt-pgm.c: Use caseinit code.  Turn INPUT PROGRAM into a
  54         casereader.
  55
  56         * list.q: Adapt to new procedure code.
  57
  58 2007-05-06  Ben Pfaff  <blp@gnu.org>
  59
  60         Abstract the documents within a dictionary a little better.
  61         Thanks to John Darrington for suggestion, initial version, and
  62         review.  Patch #5917.
  63
  64         * get.c (mtf_merge_dictionary): Simplify creating merged document.
  65
  66         * sys-file-info.c (display_documents): Use new
  67         dict_get_document_line_cnt and dict_get_document_line functions.
  68
  69 Thu Feb  1 16:56:02 2007  Ben Pfaff  <blp@gnu.org>
  70
  71         * file-handle.q (fh_parse): Update to new fh_create_file
  72         prototype.
  73
  74 Sat Dec 16 22:16:18 2006  Ben Pfaff  <blp@gnu.org>
  75
  76         Make it possible to pull cases from the active file with a
  77         function call, instead of requiring indirection through a callback
  78         function.
  79
  80         * automake.mk: Removed matrix-data.c.
  81
  82         * matrix-data.c: Removed.
  83
  84         * data-list.c (data_list_source_read): Conform with new
  85         case_source_class interface.
  86         (data_list_source_destroy): Ditto.
  87
  88         * get.c (case_reader_source_class): Ditto.
  89         (case_reader_source_destroy): Ditto.
  90         (parse_output_proc): Take advantage of new procedure interface.
  91         (output_proc): Removed.
  92         (struct mtf_file): Add "struct ccase *" member to allow use of new
  93         procedure interface.
  94         (cmd_match_files): Take advantage of new procedure interface.
  95         (mtf_processing_finish): Removed.
  96         (mtf_read_nonactive_records): Renamed mtf_read_records.  Now reads
  97         from every file, without any exception for the active file.
  98         (mtf_compare_BY_values): Simplify for new interface.
  99         (mtf_processing): Simplify for new interface.
 100
 101         * inpt-pgm.c (is_valid_state): New function.
 102         (input_program_source_read): Conform with new case_source_class
 103         interface.
 104         (input_program_source_destroy): Ditto.
 105         (end_case_trns_proc): Now just needs to return TRNS_END_CASE.
 106
 107 Sat Dec  9 18:43:34 2006  Ben Pfaff  <blp@gnu.org>
 108
 109         * list.q (cmd_list): Use new var_create, var_destroy functions.
 110
 111 Thu Nov 30 21:51:58 2006  Ben Pfaff  <blp@gnu.org>
 112
 113         * inpt-pgm.c (cmd_reread): Always return error code upon detecting
 114         syntax error.  Fixes bug #18419.  Thanks to John Darrington for
 115         reporting this bug.
 116
 117 Sun Nov 19 09:17:45 2006  Ben Pfaff  <blp@gnu.org>
 118
 119         * data-list.c (parse_free): Follow documented (but odd) rule that
 120         N format is treated as F format for free-field input.
 121
 122         * data-reader.c (read_file_record): Drop new-line character from
 123         input text lines.  This is symmetrical with the recently changed
 124         dfm_put_record semantics.
 125
 126 Thu Nov  2 20:56:03 2006  Ben Pfaff  <blp@gnu.org>
 127
 128         Implement SKIP keyword on DATA LIST.  Fixes bug #17099.
 129
 130         * data-list.c: (struct data_list_pgm) Add `skip_records' members.
 131         (cmd_data_list) Set skip_records based on user input.
 132         (data_list_source_read) Skip records requested by user.
 133
 134 Tue Oct 31 20:04:06 2006  Ben Pfaff  <blp@gnu.org>
 135
 136         * placement-parser.c: (PRS_TYPE_T) Now that struct fmt_spec uses
 137         an enum fmt_type for its type member, we can't depend on the
 138         ability to put negative values into that member as out-of-band
 139         values, because enum fmt_type might be an unsigned type.  So use
 140         values around SCHAR_MAX instead, because we know that SCHAR_MAX
 141         will fit into any type, signed or unsigned, and there aren't
 142         nearly that many format types.
 143         (parse_var_placements) Add for_input parameter to specify whether
 144         we're parsing input or output formats.  Update all callers.
 145         (fixed_parse_columns) Ditto.
 146         (fixed_parse_fortran) Ditto.
 147
 148 Tue Oct 31 18:21:48 2006  Ben Pfaff  <blp@gnu.org>
 149
 150         * print-space.c (print_space_trns_proc): Let dfm_put_record add
 151         the new-line character, to match dfm_put_record change below.
 152
 153 Sat Oct 28 11:57:19 2006  Ben Pfaff  <blp@gnu.org>
 154
 155         * data-writer.c (struct dfm_writer): Removed `bounce' member, and
 156         all references to it.
 157         (dfm_put_record) Change semantics so that it adds formatting
 158         itself, such as new-line characters, instead of putting that
 159         responsibility on the caller.  Also, pad binary records with
 160         spaces instead of zeros, for compatibility.
 161
 162         * print.c (struct prt_out_spec) New member `sysmis_as_spaces'.
 163         (struct print_trns) Remove `omit_new_lines' and all references,
 164         since dfm_put_record() is taking care of that.  Add
 165         `include_prefix'.
 166         (internal_cmd_print) Allow an empty set of data to print.  Set
 167         include_prefix.
 168         (parse_specs) Allow an empty set of data to print.
 169         (parse_variable_argument) Only add space with PRINT command.  Set
 170         sysmis_as_spaces.
 171         (print_trns_proc) Indent records if include_prefix is set, for
 172         compatibility.  Output SYSMIS as spaces if sysmis_as_spaces is
 173         set.  Put "1" in first column if PRINT EJECT is used with an
 174         external output file.
 175         (flush_records) Ditto.
 176
 177 Sat Oct 28 16:19:57 WST 2006 John Darrington <john@darrington.wattle.id.au>
 178
 179         * data-reader.c: Eliminated references to extern variable getl_buf
 180
 181 Sat Aug  5 08:25:07 2006  Ben Pfaff  <blp@gnu.org>
 182
 183         Fix bug #17329 in REREAD parsing, reported by John Darrington.
 184
 185         * inpt-pgm.c (cmd_reread): Fix file handle parsing.
 186
 187 Mon Jul 31 10:32:31 2006  Ben Pfaff  <blp@gnu.org>
 188
 189         * print.c (parse_specs): Allow a comma between specifications.
 190
 191 Sun Jul 16 19:57:10 2006  Ben Pfaff  <blp@gnu.org>
 192
 193         * automake.mk: (src_language_data_io_libdata_io_a_SOURCE) Add
 194         print-space.c, placement-parser.c, placement-parser.h.
 195
 196         * data-list.c: Basically rewrote the whole thing.  Broke out a lot
 197         of code into placement-parser.c.  Code is much cleaner now.
 198
 199         * placement-parser.c: New file.
 200
 201         * placement-parser.h: New file.
 202
 203         * print.c: Basically rewrote the whole thing.  Broke out PRINT
 204         SPACE into print-space.c.  Code is much cleaner now.
 205
 206         * print-space.c: New file.
 207
 208 Sat Jul  1 17:39:40 2006  Ben Pfaff  <blp@gnu.org>
 209
 210         Fix bug #11612, "q2c documentation does not agree with code".
 211
 212         * list.q: Audit use of q2c "+" prefixes that indicate that a
 213         command may appear multiple times.
 214
 215 Sat Jul  1 20:44:22 2006  Ben Pfaff  <blp@gnu.org>
 216
 217         Fix bug #15786: System File Creation crashes if directoy is
 218         nonexistent.
 219
 220         * get.c (parse_write_command): Check that the any_writer open
 221         succeeds.
 222
 223 Tue Jun 27 22:44:28 2006  Ben Pfaff  <blp@gnu.org>
 224
 225         Fix regression in command name completion reported by John
 226         Darrington.  Now completion is again state-dependent and occurs
 227         only on the first line of a command.
 228
 229         * inpt-pgm.c: (cmd_input_program) Reading of first token in
 230         command moved into cmd_parse.
 231
 232 Fri Jun  9 13:56:00 2006  Ben Pfaff  <blp@gnu.org>
 233
 234         Reform string library.
 235
 236         * matrix-data.c (context): Use dynamic string.
 237         (another_token) Deal with changed dfm_get_record() interface.
 238         (mget_token) Ditto.
 239         (force_eol) Ditto.
 240
 241         * data-list.c (struct data_list_pgm) Delete delims, delim_cnt
 242         members, replacing them by struct string delims.  Update all
 243         references to use struct string functions.
 244         (cut_field) Change interface to avoid needing "end_blank", by
 245         getting the data-reader to remember that state for us.  Change
 246         internals to use substring.  Update both callers.
 247
 248         * data-reader.c (read_file_record): Use ds_read_stream().
 249         (dfm_get_record) Change interface to return substring.  Updated
 250         all callers.
 251         (dfm_expand_tabs) Use ds_find_char().  Now maintain position
 252         relative to end-of-line.  Use ds_swap().
 253         (dfm_reread_record) Don't limit position by line length.
 254         (dfm_column_start) Make parameter const.
 255         (dfm_columns_past_end) New function.
 256         (dfm_get_column) New function.
 257
 258 Thu May 25 18:26:26 WST 2006 John Darrington <john@darrington.wattle.id.au>
 259
 260         * print.c (print_trns_free): Made the code agree with the comment, by
 261         not freeing PRT.  Has the side effect that the command no longer
 262         crashes on invalid syntax.
 263
 264 Tue May  9 20:55:46 2006  Ben Pfaff  <blp@gnu.org>
 265
 266         * get.c (cmd_match_files): Fix memory leak replacing default_dict.
 267
 268 Sat May  6 22:25:09 2006  Ben Pfaff  <blp@gnu.org>
 269
 270         Fix segfault.
 271
 272         * list.q (write_fallback_headers): (write_fallback_headers)
 273         Properly record width of leader and pass it to write_varname().
 274
 275 Sat May  6 19:03:13 2006  Ben Pfaff  <blp@gnu.org>
 276
 277         * get.c: (mtf_merge_dictionary) Fix value label memory leak.
 278
 279 Sat May  6 13:51:16 2006  Ben Pfaff  <blp@gnu.org>
 280
 281         Use a casefile, instead of a case sink, for MATCH FILES output.
 282         It's more straightforward, although it has the same effect.
 283
 284         * get.c: (struct mtf_proc) Replace `sink' case sink member by
 285         `output' casefile member.
 286         (cmd_match_files) Work with casefile instead of sink.
 287         (mtf_processing) Add case to casefile instead of sink.
 288
 289 Sat May  6 10:43:07 2006  Ben Pfaff  <blp@gnu.org>
 290
 291         Continue reforming procedure execution.  In this phase, get rid of
 292         the output code for SPLIT FILE groups in procedure.c, which really
 293         shouldn't be doing any output.  Move it into the individual
 294         procedures instead.  This also adds some flexibility.
 295
 296         * list.q (write_all_headers): Call output_split_file_values().
 297
 298 Wed May  3 23:00:17 2006  Ben Pfaff  <blp@gnu.org>
 299
 300         Continue reforming procedure execution.  In this phase, get rid of
 301         many global variables, consolidating procedure execution in
 302         procedure.c.  Encapsulate transformations in new "struct
 303         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 304         and PROCESS IF from special cases to transformations.
 305
 306         * data-list.c: (data_list_trns_proc) Return TRNS_END_FILE at end
 307         of file.  (Why didn't we do this before?)
 308         (cmd_match_files) Direct procedure output to null sink.
 309         Use discard_variables() instead of indirect version.
 310
 311         * inpt-pgm.c: Use transformation chain.
 312         (struct input_program_pgm) Add trns_chain member.
 313         (cmd_input_program) Initialize trns_chain member and capture
 314         transformations with proc_capture_transformations().
 315         (input_program_source_read) Use trns_chain_execute().
 316         (destroy_input_program) Destroy input chain.
 317
 318 Tue May  2 10:39:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 319
 320         * list.q Changed from using fixed length char buffers to struct
 321         string so that any length variables can be used.
 322
 323 Mon May  1 18:21:19 2006  Ben Pfaff  <blp@gnu.org>
 324
 325         Further clean up the CMD_* command result codes.
 326
 327         * (enum cmd_result_extensions) New.  Add CMD_END_INPUT_PROGRAM and
 328         CMD_END_CASE result codes.
 329         (struct input_program_pgm) Added case_nr, write_case, wc_data
 330         members for use by END CASE transformation.
 331         (emit_END_CASE) New function.
 332         (cmd_input_program) Interpret CMD_END_CASE by outputting an END
 333         CASE transformation.  If none is output by the input program
 334         itself, add one automatically at the end.  Change lack of
 335         variables from warning to error.
 336         (cmd_end_input_program) Return CMD_END_INPUT_PROGRAM instead of
 337         CMD_END_SUBLOOP.
 338         (input_program_source_read) No longer any need to special-case END
 339         CASE.  Handle TRNS_DROP_CASE properly.  Initialize new members in
 340         inp for use by END CASE transformation.
 341         (destroy_input_program) New function.
 342         (input_program_source_destroy) Just call destroy_input_program().
 343         (cmd_end_case) Just return CMD_END_CASE.
 344         (end_case_trns_proc) No longer a stub handled by
 345         input_program_source_read().  Actually output the case and
 346         increment the case number.
 347
 348 Mon May  1 16:06:30 2006  Ben Pfaff  <blp@gnu.org>
 349
 350         Remove vestiges of REPEATING DATA support.
 351
 352         * data-list.c: (struct rpd_num_or_var) Removed.
 353         (struct repeating_data_trns) Removed.
 354         (cmd_repeating_data) Removed.
 355         (find_variable_input_spec) Removed.
 356         (parse_num_or_var) Removed.
 357         (parse_repeating_data) Removed.
 358         (realize_value) Removed.
 359         (struct rpd_parse_info) Removed.
 360         (rpd_parse_record) Removed.
 361         (repeating_data_trns_proc) Removed.
 362         (repeating_data_trns_free) Removed.
 363         (repeating_data_set_write_case) Removed.
 364         (rpd_msg) Removed.
 365
 366         * inpt-pgm.c: (input_program_source_read) Don't deal with
 367         REPEATING DATA.
 368
 369         * data-list.h: Removed.
 370
 371         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Removed
 372         data-list.h.
 373
 374 Mon May  1 15:58:28 2006  Ben Pfaff  <blp@gnu.org>
 375
 376         Remove vestiges of FILE TYPE support.
 377
 378         * data-list.c: (cmd_data_list) Don't check for FILE TYPE.
 379         (cmd_repeating_data) Ditto.
 380
 381         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Remove
 382         file-type.c, file-type.h.
 383
 384         * file-type.c: Removed.
 385
 386         * file-type.h: Removed.
 387
 388 Wed Apr 26 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 389
 390         Improve the way we handle the various parsing "states".  Until now
 391         we've hard-coded the state transitions in the command definition
 392         file, but that's error-prone and, worse, it's redundant--we can
 393         figure out what state we're in anyhow.  We can cleanly handle
 394         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
 395
 396         * data-list.c: (cmd_data_list) Use in_file_type() or
 397         in_input_program() in place of case_source_is_class() or
 398         case_source_is_complex().
 399
 400         * file-type.c: NB: Not really fixed except minimally to compile,
 401         because it doesn't work anyway.
 402         (in_file_type) New function.
 403         (cmd_record_type) No need to check that we're in FILE TYPE.
 404         (cmd_end_file_type) Ditto.
 405         (var file_type_source_class) Make static.
 406
 407         * get.c: (cmd_match_files) Check vfm_source instead of pgm_state.
 408
 409         * inpt-pgm.c: (in_input_program) New function.
 410         (cmd_input_program) Rewrite to include nested command processing
 411         loop.
 412         (cmd_end_input_program) Just return CMD_END_SUBLOOP.
 413         (var input_program_source_class) Make static.
 414         (cmd_end_case) No need to check that we're in INPUT PROGRAM.
 415         (cmd_end_file) Ditto.
 416
 417         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Add
 418         file-type.h, inpt-pgm.h.
 419
 420         * file-type.h: New file.
 421
 422         * inpt-pgm.h: New file.
 423
 424 Tue Apr 25 13:11:55 2006  Ben Pfaff  <blp@gnu.org>
 425
 426         * print.c: Don't special-case MS-DOS line terminators.
 427         (macro LINE_END_WIDTH) Removed.
 428         (alloc_line) Line ends are 1 byte.
 429         (print_trns_proc) Just output \n for line end.
 430
 431 Sun Apr 23 22:05:58 2006  Ben Pfaff  <blp@gnu.org>
 432
 433         Continue reforming error message support.  In this phase, get rid
 434         of message "titles" and put the message text in `struct error'.
 435         Now `struct error' encapsulates a message more properly.
 436
 437         * data-list.c: (macro RPD_ERR) Removed.
 438         (rpd_msg) New function.  Updated all references to tmsg() to call
 439         this function instead.
 440
 441 Sat Apr 15 19:38:13 2006  Ben Pfaff  <blp@gnu.org>
 442
 443         Remove last users of struct file_ext so we can get rid of it
 444         entirely.
 445
 446         * data-reader.c: (struct dfm_reader) Change file member from
 447         struct file_ext to FILE *.  Updated all references.
 448         (dfm_close_reader) Close file with fn_close() instead of
 449         fn_close_ext().  Also, make a copy of the file name from the file
 450         handle before closing it, because we can't extract it after we
 451         close the file.
 452         (dfm_open_reader) Open file with fn_open() instead of
 453         fn_open_ext().
 454
 455         * data-writer.c: (struct dfm_writer) Change file member
 456         struct file_ext to FILE *.  Updated all references.
 457         (dfm_close_writer) Close file with fn_close() instead of
 458         fn_close_ext().  Also, make a copy of the file name from the file
 459         handle before closing it, because we can't extract it after we
 460         close the file.
 461         (dfm_open_writer) Open file with fn_open() instead of
 462         fn_open_ext().
 463
 464 Sat Apr 15 18:00:32 2006  Ben Pfaff  <blp@gnu.org>
 465
 466         * data-list.c: Add prototype to suppress warning for
 467         cmd_repeating_data().
 468
 469 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 470
 471         * Moved files from src directory