src/language/data-io/ChangeLog

   1 2007-09-23  Ben Pfaff  <blp@gnu.org>
   2
   3         Bug #21111.  Reviewed by John Darrington.
   4
   5         * data-list.c (data_list_trns_proc): Properly set retval when END
   6         subcommand is in use.
   7         (cmd_data_list): Don't allow END subcommand to be used with DATA
   8         LIST FREE or LIST.
   9
  10 2007-09-12  Ben Pfaff  <blp@gnu.org>
  11
  12         * get.c (get_translate_case): Change input case parameter from
  13         const struct ccase * to struct ccase *, to match change in
  14         casereader and casewriter translators.  Destroy input case, to fix
  15         memory leak.
  16
  17 2007-08-12  Ben Pfaff  <blp@gnu.org>
  18
  19         * get.c (parse_read_command): Compact the values in the target
  20         dictionary, to save space.
  21
  22 2007-08-12  Ben Pfaff  <blp@gnu.org>
  23
  24         * get.c (struct case_map): Move into new file src/data/case-map.c.
  25         (start_case_map): Ditto, and rename case_map_prepare_dict.
  26         (finish_case_map): Ditto, and rename case_map_from_dict.
  27         (map_case): Ditto, and rename case_map_execute.
  28         (destroy_case_map): Ditto, and rename case_map_destroy.
  29         (case_map_get_value_cnt): Ditto.
  30
  31 2007-08-12  Ben Pfaff  <blp@gnu.org>
  32
  33         * get.c (case_map_get_value_cnt): New function.
  34
  35 2007-07-25  Ben Pfaff  <blp@gnu.org>
  36
  37         Fix bug #17100.
  38         * data-list.c (read_from_data_list_fixed): Handle multi-record
  39         DATA LIST correctly.
  40
  41 2007-07-11  Ben Pfaff  <blp@gnu.org>
  42
  43         * get.c (map_case): Create destination case instead of leaving it
  44         undefined.  Fixes bug #20285.
  45         Reviewed by John Darrington.
  46
  47 2007-06-06  Ben Pfaff  <blp@gnu.org>
  48
  49         * get.c: Essentially rewrite MATCH FILES to support FIRST and
  50         LAST.
  51
  52 2007-06-06  Ben Pfaff  <blp@gnu.org>
  53
  54         Adapt case sources, sinks, and clients of procedure code to the
  55         new infrastructure.
  56
  57         * data-list.c: Make DATA LIST into a casereader.
  58
  59         * get.c: Change GET, IMPORT, SAVE, EXPORT to use casereaders,
  60         casewriters.
  61
  62         * inpt-pgm.c: Use caseinit code.  Turn INPUT PROGRAM into a
  63         casereader.
  64
  65         * list.q: Adapt to new procedure code.
  66
  67 2007-05-06  Ben Pfaff  <blp@gnu.org>
  68
  69         Abstract the documents within a dictionary a little better.
  70         Thanks to John Darrington for suggestion, initial version, and
  71         review.  Patch #5917.
  72
  73         * get.c (mtf_merge_dictionary): Simplify creating merged document.
  74
  75         * sys-file-info.c (display_documents): Use new
  76         dict_get_document_line_cnt and dict_get_document_line functions.
  77
  78 Thu Feb  1 16:56:02 2007  Ben Pfaff  <blp@gnu.org>
  79
  80         * file-handle.q (fh_parse): Update to new fh_create_file
  81         prototype.
  82
  83 Sat Dec 16 22:16:18 2006  Ben Pfaff  <blp@gnu.org>
  84
  85         Make it possible to pull cases from the active file with a
  86         function call, instead of requiring indirection through a callback
  87         function.
  88
  89         * automake.mk: Removed matrix-data.c.
  90
  91         * matrix-data.c: Removed.
  92
  93         * data-list.c (data_list_source_read): Conform with new
  94         case_source_class interface.
  95         (data_list_source_destroy): Ditto.
  96
  97         * get.c (case_reader_source_class): Ditto.
  98         (case_reader_source_destroy): Ditto.
  99         (parse_output_proc): Take advantage of new procedure interface.
 100         (output_proc): Removed.
 101         (struct mtf_file): Add "struct ccase *" member to allow use of new
 102         procedure interface.
 103         (cmd_match_files): Take advantage of new procedure interface.
 104         (mtf_processing_finish): Removed.
 105         (mtf_read_nonactive_records): Renamed mtf_read_records.  Now reads
 106         from every file, without any exception for the active file.
 107         (mtf_compare_BY_values): Simplify for new interface.
 108         (mtf_processing): Simplify for new interface.
 109
 110         * inpt-pgm.c (is_valid_state): New function.
 111         (input_program_source_read): Conform with new case_source_class
 112         interface.
 113         (input_program_source_destroy): Ditto.
 114         (end_case_trns_proc): Now just needs to return TRNS_END_CASE.
 115
 116 Sat Dec  9 18:43:34 2006  Ben Pfaff  <blp@gnu.org>
 117
 118         * list.q (cmd_list): Use new var_create, var_destroy functions.
 119
 120 Thu Nov 30 21:51:58 2006  Ben Pfaff  <blp@gnu.org>
 121
 122         * inpt-pgm.c (cmd_reread): Always return error code upon detecting
 123         syntax error.  Fixes bug #18419.  Thanks to John Darrington for
 124         reporting this bug.
 125
 126 Sun Nov 19 09:17:45 2006  Ben Pfaff  <blp@gnu.org>
 127
 128         * data-list.c (parse_free): Follow documented (but odd) rule that
 129         N format is treated as F format for free-field input.
 130
 131         * data-reader.c (read_file_record): Drop new-line character from
 132         input text lines.  This is symmetrical with the recently changed
 133         dfm_put_record semantics.
 134
 135 Thu Nov  2 20:56:03 2006  Ben Pfaff  <blp@gnu.org>
 136
 137         Implement SKIP keyword on DATA LIST.  Fixes bug #17099.
 138
 139         * data-list.c: (struct data_list_pgm) Add `skip_records' members.
 140         (cmd_data_list) Set skip_records based on user input.
 141         (data_list_source_read) Skip records requested by user.
 142
 143 Tue Oct 31 20:04:06 2006  Ben Pfaff  <blp@gnu.org>
 144
 145         * placement-parser.c: (PRS_TYPE_T) Now that struct fmt_spec uses
 146         an enum fmt_type for its type member, we can't depend on the
 147         ability to put negative values into that member as out-of-band
 148         values, because enum fmt_type might be an unsigned type.  So use
 149         values around SCHAR_MAX instead, because we know that SCHAR_MAX
 150         will fit into any type, signed or unsigned, and there aren't
 151         nearly that many format types.
 152         (parse_var_placements) Add for_input parameter to specify whether
 153         we're parsing input or output formats.  Update all callers.
 154         (fixed_parse_columns) Ditto.
 155         (fixed_parse_fortran) Ditto.
 156
 157 Tue Oct 31 18:21:48 2006  Ben Pfaff  <blp@gnu.org>
 158
 159         * print-space.c (print_space_trns_proc): Let dfm_put_record add
 160         the new-line character, to match dfm_put_record change below.
 161
 162 Sat Oct 28 11:57:19 2006  Ben Pfaff  <blp@gnu.org>
 163
 164         * data-writer.c (struct dfm_writer): Removed `bounce' member, and
 165         all references to it.
 166         (dfm_put_record) Change semantics so that it adds formatting
 167         itself, such as new-line characters, instead of putting that
 168         responsibility on the caller.  Also, pad binary records with
 169         spaces instead of zeros, for compatibility.
 170
 171         * print.c (struct prt_out_spec) New member `sysmis_as_spaces'.
 172         (struct print_trns) Remove `omit_new_lines' and all references,
 173         since dfm_put_record() is taking care of that.  Add
 174         `include_prefix'.
 175         (internal_cmd_print) Allow an empty set of data to print.  Set
 176         include_prefix.
 177         (parse_specs) Allow an empty set of data to print.
 178         (parse_variable_argument) Only add space with PRINT command.  Set
 179         sysmis_as_spaces.
 180         (print_trns_proc) Indent records if include_prefix is set, for
 181         compatibility.  Output SYSMIS as spaces if sysmis_as_spaces is
 182         set.  Put "1" in first column if PRINT EJECT is used with an
 183         external output file.
 184         (flush_records) Ditto.
 185
 186 Sat Oct 28 16:19:57 WST 2006 John Darrington <john@darrington.wattle.id.au>
 187
 188         * data-reader.c: Eliminated references to extern variable getl_buf
 189
 190 Sat Aug  5 08:25:07 2006  Ben Pfaff  <blp@gnu.org>
 191
 192         Fix bug #17329 in REREAD parsing, reported by John Darrington.
 193
 194         * inpt-pgm.c (cmd_reread): Fix file handle parsing.
 195
 196 Mon Jul 31 10:32:31 2006  Ben Pfaff  <blp@gnu.org>
 197
 198         * print.c (parse_specs): Allow a comma between specifications.
 199
 200 Sun Jul 16 19:57:10 2006  Ben Pfaff  <blp@gnu.org>
 201
 202         * automake.mk: (src_language_data_io_libdata_io_a_SOURCE) Add
 203         print-space.c, placement-parser.c, placement-parser.h.
 204
 205         * data-list.c: Basically rewrote the whole thing.  Broke out a lot
 206         of code into placement-parser.c.  Code is much cleaner now.
 207
 208         * placement-parser.c: New file.
 209
 210         * placement-parser.h: New file.
 211
 212         * print.c: Basically rewrote the whole thing.  Broke out PRINT
 213         SPACE into print-space.c.  Code is much cleaner now.
 214
 215         * print-space.c: New file.
 216
 217 Sat Jul  1 17:39:40 2006  Ben Pfaff  <blp@gnu.org>
 218
 219         Fix bug #11612, "q2c documentation does not agree with code".
 220
 221         * list.q: Audit use of q2c "+" prefixes that indicate that a
 222         command may appear multiple times.
 223
 224 Sat Jul  1 20:44:22 2006  Ben Pfaff  <blp@gnu.org>
 225
 226         Fix bug #15786: System File Creation crashes if directoy is
 227         nonexistent.
 228
 229         * get.c (parse_write_command): Check that the any_writer open
 230         succeeds.
 231
 232 Tue Jun 27 22:44:28 2006  Ben Pfaff  <blp@gnu.org>
 233
 234         Fix regression in command name completion reported by John
 235         Darrington.  Now completion is again state-dependent and occurs
 236         only on the first line of a command.
 237
 238         * inpt-pgm.c: (cmd_input_program) Reading of first token in
 239         command moved into cmd_parse.
 240
 241 Fri Jun  9 13:56:00 2006  Ben Pfaff  <blp@gnu.org>
 242
 243         Reform string library.
 244
 245         * matrix-data.c (context): Use dynamic string.
 246         (another_token) Deal with changed dfm_get_record() interface.
 247         (mget_token) Ditto.
 248         (force_eol) Ditto.
 249
 250         * data-list.c (struct data_list_pgm) Delete delims, delim_cnt
 251         members, replacing them by struct string delims.  Update all
 252         references to use struct string functions.
 253         (cut_field) Change interface to avoid needing "end_blank", by
 254         getting the data-reader to remember that state for us.  Change
 255         internals to use substring.  Update both callers.
 256
 257         * data-reader.c (read_file_record): Use ds_read_stream().
 258         (dfm_get_record) Change interface to return substring.  Updated
 259         all callers.
 260         (dfm_expand_tabs) Use ds_find_char().  Now maintain position
 261         relative to end-of-line.  Use ds_swap().
 262         (dfm_reread_record) Don't limit position by line length.
 263         (dfm_column_start) Make parameter const.
 264         (dfm_columns_past_end) New function.
 265         (dfm_get_column) New function.
 266
 267 Thu May 25 18:26:26 WST 2006 John Darrington <john@darrington.wattle.id.au>
 268
 269         * print.c (print_trns_free): Made the code agree with the comment, by
 270         not freeing PRT.  Has the side effect that the command no longer
 271         crashes on invalid syntax.
 272
 273 Tue May  9 20:55:46 2006  Ben Pfaff  <blp@gnu.org>
 274
 275         * get.c (cmd_match_files): Fix memory leak replacing default_dict.
 276
 277 Sat May  6 22:25:09 2006  Ben Pfaff  <blp@gnu.org>
 278
 279         Fix segfault.
 280
 281         * list.q (write_fallback_headers): (write_fallback_headers)
 282         Properly record width of leader and pass it to write_varname().
 283
 284 Sat May  6 19:03:13 2006  Ben Pfaff  <blp@gnu.org>
 285
 286         * get.c: (mtf_merge_dictionary) Fix value label memory leak.
 287
 288 Sat May  6 13:51:16 2006  Ben Pfaff  <blp@gnu.org>
 289
 290         Use a casefile, instead of a case sink, for MATCH FILES output.
 291         It's more straightforward, although it has the same effect.
 292
 293         * get.c: (struct mtf_proc) Replace `sink' case sink member by
 294         `output' casefile member.
 295         (cmd_match_files) Work with casefile instead of sink.
 296         (mtf_processing) Add case to casefile instead of sink.
 297
 298 Sat May  6 10:43:07 2006  Ben Pfaff  <blp@gnu.org>
 299
 300         Continue reforming procedure execution.  In this phase, get rid of
 301         the output code for SPLIT FILE groups in procedure.c, which really
 302         shouldn't be doing any output.  Move it into the individual
 303         procedures instead.  This also adds some flexibility.
 304
 305         * list.q (write_all_headers): Call output_split_file_values().
 306
 307 Wed May  3 23:00:17 2006  Ben Pfaff  <blp@gnu.org>
 308
 309         Continue reforming procedure execution.  In this phase, get rid of
 310         many global variables, consolidating procedure execution in
 311         procedure.c.  Encapsulate transformations in new "struct
 312         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 313         and PROCESS IF from special cases to transformations.
 314
 315         * data-list.c: (data_list_trns_proc) Return TRNS_END_FILE at end
 316         of file.  (Why didn't we do this before?)
 317         (cmd_match_files) Direct procedure output to null sink.
 318         Use discard_variables() instead of indirect version.
 319
 320         * inpt-pgm.c: Use transformation chain.
 321         (struct input_program_pgm) Add trns_chain member.
 322         (cmd_input_program) Initialize trns_chain member and capture
 323         transformations with proc_capture_transformations().
 324         (input_program_source_read) Use trns_chain_execute().
 325         (destroy_input_program) Destroy input chain.
 326
 327 Tue May  2 10:39:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 328
 329         * list.q Changed from using fixed length char buffers to struct
 330         string so that any length variables can be used.
 331
 332 Mon May  1 18:21:19 2006  Ben Pfaff  <blp@gnu.org>
 333
 334         Further clean up the CMD_* command result codes.
 335
 336         * (enum cmd_result_extensions) New.  Add CMD_END_INPUT_PROGRAM and
 337         CMD_END_CASE result codes.
 338         (struct input_program_pgm) Added case_nr, write_case, wc_data
 339         members for use by END CASE transformation.
 340         (emit_END_CASE) New function.
 341         (cmd_input_program) Interpret CMD_END_CASE by outputting an END
 342         CASE transformation.  If none is output by the input program
 343         itself, add one automatically at the end.  Change lack of
 344         variables from warning to error.
 345         (cmd_end_input_program) Return CMD_END_INPUT_PROGRAM instead of
 346         CMD_END_SUBLOOP.
 347         (input_program_source_read) No longer any need to special-case END
 348         CASE.  Handle TRNS_DROP_CASE properly.  Initialize new members in
 349         inp for use by END CASE transformation.
 350         (destroy_input_program) New function.
 351         (input_program_source_destroy) Just call destroy_input_program().
 352         (cmd_end_case) Just return CMD_END_CASE.
 353         (end_case_trns_proc) No longer a stub handled by
 354         input_program_source_read().  Actually output the case and
 355         increment the case number.
 356
 357 Mon May  1 16:06:30 2006  Ben Pfaff  <blp@gnu.org>
 358
 359         Remove vestiges of REPEATING DATA support.
 360
 361         * data-list.c: (struct rpd_num_or_var) Removed.
 362         (struct repeating_data_trns) Removed.
 363         (cmd_repeating_data) Removed.
 364         (find_variable_input_spec) Removed.
 365         (parse_num_or_var) Removed.
 366         (parse_repeating_data) Removed.
 367         (realize_value) Removed.
 368         (struct rpd_parse_info) Removed.
 369         (rpd_parse_record) Removed.
 370         (repeating_data_trns_proc) Removed.
 371         (repeating_data_trns_free) Removed.
 372         (repeating_data_set_write_case) Removed.
 373         (rpd_msg) Removed.
 374
 375         * inpt-pgm.c: (input_program_source_read) Don't deal with
 376         REPEATING DATA.
 377
 378         * data-list.h: Removed.
 379
 380         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Removed
 381         data-list.h.
 382
 383 Mon May  1 15:58:28 2006  Ben Pfaff  <blp@gnu.org>
 384
 385         Remove vestiges of FILE TYPE support.
 386
 387         * data-list.c: (cmd_data_list) Don't check for FILE TYPE.
 388         (cmd_repeating_data) Ditto.
 389
 390         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Remove
 391         file-type.c, file-type.h.
 392
 393         * file-type.c: Removed.
 394
 395         * file-type.h: Removed.
 396
 397 Wed Apr 26 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 398
 399         Improve the way we handle the various parsing "states".  Until now
 400         we've hard-coded the state transitions in the command definition
 401         file, but that's error-prone and, worse, it's redundant--we can
 402         figure out what state we're in anyhow.  We can cleanly handle
 403         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
 404
 405         * data-list.c: (cmd_data_list) Use in_file_type() or
 406         in_input_program() in place of case_source_is_class() or
 407         case_source_is_complex().
 408
 409         * file-type.c: NB: Not really fixed except minimally to compile,
 410         because it doesn't work anyway.
 411         (in_file_type) New function.
 412         (cmd_record_type) No need to check that we're in FILE TYPE.
 413         (cmd_end_file_type) Ditto.
 414         (var file_type_source_class) Make static.
 415
 416         * get.c: (cmd_match_files) Check vfm_source instead of pgm_state.
 417
 418         * inpt-pgm.c: (in_input_program) New function.
 419         (cmd_input_program) Rewrite to include nested command processing
 420         loop.
 421         (cmd_end_input_program) Just return CMD_END_SUBLOOP.
 422         (var input_program_source_class) Make static.
 423         (cmd_end_case) No need to check that we're in INPUT PROGRAM.
 424         (cmd_end_file) Ditto.
 425
 426         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Add
 427         file-type.h, inpt-pgm.h.
 428
 429         * file-type.h: New file.
 430
 431         * inpt-pgm.h: New file.
 432
 433 Tue Apr 25 13:11:55 2006  Ben Pfaff  <blp@gnu.org>
 434
 435         * print.c: Don't special-case MS-DOS line terminators.
 436         (macro LINE_END_WIDTH) Removed.
 437         (alloc_line) Line ends are 1 byte.
 438         (print_trns_proc) Just output \n for line end.
 439
 440 Sun Apr 23 22:05:58 2006  Ben Pfaff  <blp@gnu.org>
 441
 442         Continue reforming error message support.  In this phase, get rid
 443         of message "titles" and put the message text in `struct error'.
 444         Now `struct error' encapsulates a message more properly.
 445
 446         * data-list.c: (macro RPD_ERR) Removed.
 447         (rpd_msg) New function.  Updated all references to tmsg() to call
 448         this function instead.
 449
 450 Sat Apr 15 19:38:13 2006  Ben Pfaff  <blp@gnu.org>
 451
 452         Remove last users of struct file_ext so we can get rid of it
 453         entirely.
 454
 455         * data-reader.c: (struct dfm_reader) Change file member from
 456         struct file_ext to FILE *.  Updated all references.
 457         (dfm_close_reader) Close file with fn_close() instead of
 458         fn_close_ext().  Also, make a copy of the file name from the file
 459         handle before closing it, because we can't extract it after we
 460         close the file.
 461         (dfm_open_reader) Open file with fn_open() instead of
 462         fn_open_ext().
 463
 464         * data-writer.c: (struct dfm_writer) Change file member
 465         struct file_ext to FILE *.  Updated all references.
 466         (dfm_close_writer) Close file with fn_close() instead of
 467         fn_close_ext().  Also, make a copy of the file name from the file
 468         handle before closing it, because we can't extract it after we
 469         close the file.
 470         (dfm_open_writer) Open file with fn_open() instead of
 471         fn_open_ext().
 472
 473 Sat Apr 15 18:00:32 2006  Ben Pfaff  <blp@gnu.org>
 474
 475         * data-list.c: Add prototype to suppress warning for
 476         cmd_repeating_data().
 477
 478 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 479
 480         * Moved files from src directory