src/language/data-io/ChangeLog

   1 2007-11-03 John Darrington <john@darrington.wattle.id.au>
   2
   3         * get.c: Add GET DATA command variant.
   4
   5         * get-data.c get-data.h (new files): Added support for
   6          GET DATA /TYPE='gnm'  command.
   7
   8 2007-09-23  Ben Pfaff  <blp@gnu.org>
   9
  10         Bug #21111.  Reviewed by John Darrington.
  11
  12         * data-list.c (data_list_trns_proc): Properly set retval when END
  13         subcommand is in use.
  14         (cmd_data_list): Don't allow END subcommand to be used with DATA
  15         LIST FREE or LIST.
  16
  17 2007-09-12  Ben Pfaff  <blp@gnu.org>
  18
  19         * get.c (get_translate_case): Change input case parameter from
  20         const struct ccase * to struct ccase *, to match change in
  21         casereader and casewriter translators.  Destroy input case, to fix
  22         memory leak.
  23
  24 2007-08-12  Ben Pfaff  <blp@gnu.org>
  25
  26         * get.c (parse_read_command): Compact the values in the target
  27         dictionary, to save space.
  28
  29 2007-08-12  Ben Pfaff  <blp@gnu.org>
  30
  31         * get.c (struct case_map): Move into new file src/data/case-map.c.
  32         (start_case_map): Ditto, and rename case_map_prepare_dict.
  33         (finish_case_map): Ditto, and rename case_map_from_dict.
  34         (map_case): Ditto, and rename case_map_execute.
  35         (destroy_case_map): Ditto, and rename case_map_destroy.
  36         (case_map_get_value_cnt): Ditto.
  37
  38 2007-08-12  Ben Pfaff  <blp@gnu.org>
  39
  40         * get.c (case_map_get_value_cnt): New function.
  41
  42 2007-07-25  Ben Pfaff  <blp@gnu.org>
  43
  44         Fix bug #17100.
  45         * data-list.c (read_from_data_list_fixed): Handle multi-record
  46         DATA LIST correctly.
  47
  48 2007-07-11  Ben Pfaff  <blp@gnu.org>
  49
  50         * get.c (map_case): Create destination case instead of leaving it
  51         undefined.  Fixes bug #20285.
  52         Reviewed by John Darrington.
  53
  54 2007-06-06  Ben Pfaff  <blp@gnu.org>
  55
  56         * get.c: Essentially rewrite MATCH FILES to support FIRST and
  57         LAST.
  58
  59 2007-06-06  Ben Pfaff  <blp@gnu.org>
  60
  61         Adapt case sources, sinks, and clients of procedure code to the
  62         new infrastructure.
  63
  64         * data-list.c: Make DATA LIST into a casereader.
  65
  66         * get.c: Change GET, IMPORT, SAVE, EXPORT to use casereaders,
  67         casewriters.
  68
  69         * inpt-pgm.c: Use caseinit code.  Turn INPUT PROGRAM into a
  70         casereader.
  71
  72         * list.q: Adapt to new procedure code.
  73
  74 2007-05-06  Ben Pfaff  <blp@gnu.org>
  75
  76         Abstract the documents within a dictionary a little better.
  77         Thanks to John Darrington for suggestion, initial version, and
  78         review.  Patch #5917.
  79
  80         * get.c (mtf_merge_dictionary): Simplify creating merged document.
  81
  82         * sys-file-info.c (display_documents): Use new
  83         dict_get_document_line_cnt and dict_get_document_line functions.
  84
  85 Thu Feb  1 16:56:02 2007  Ben Pfaff  <blp@gnu.org>
  86
  87         * file-handle.q (fh_parse): Update to new fh_create_file
  88         prototype.
  89
  90 Sat Dec 16 22:16:18 2006  Ben Pfaff  <blp@gnu.org>
  91
  92         Make it possible to pull cases from the active file with a
  93         function call, instead of requiring indirection through a callback
  94         function.
  95
  96         * automake.mk: Removed matrix-data.c.
  97
  98         * matrix-data.c: Removed.
  99
 100         * data-list.c (data_list_source_read): Conform with new
 101         case_source_class interface.
 102         (data_list_source_destroy): Ditto.
 103
 104         * get.c (case_reader_source_class): Ditto.
 105         (case_reader_source_destroy): Ditto.
 106         (parse_output_proc): Take advantage of new procedure interface.
 107         (output_proc): Removed.
 108         (struct mtf_file): Add "struct ccase *" member to allow use of new
 109         procedure interface.
 110         (cmd_match_files): Take advantage of new procedure interface.
 111         (mtf_processing_finish): Removed.
 112         (mtf_read_nonactive_records): Renamed mtf_read_records.  Now reads
 113         from every file, without any exception for the active file.
 114         (mtf_compare_BY_values): Simplify for new interface.
 115         (mtf_processing): Simplify for new interface.
 116
 117         * inpt-pgm.c (is_valid_state): New function.
 118         (input_program_source_read): Conform with new case_source_class
 119         interface.
 120         (input_program_source_destroy): Ditto.
 121         (end_case_trns_proc): Now just needs to return TRNS_END_CASE.
 122
 123 Sat Dec  9 18:43:34 2006  Ben Pfaff  <blp@gnu.org>
 124
 125         * list.q (cmd_list): Use new var_create, var_destroy functions.
 126
 127 Thu Nov 30 21:51:58 2006  Ben Pfaff  <blp@gnu.org>
 128
 129         * inpt-pgm.c (cmd_reread): Always return error code upon detecting
 130         syntax error.  Fixes bug #18419.  Thanks to John Darrington for
 131         reporting this bug.
 132
 133 Sun Nov 19 09:17:45 2006  Ben Pfaff  <blp@gnu.org>
 134
 135         * data-list.c (parse_free): Follow documented (but odd) rule that
 136         N format is treated as F format for free-field input.
 137
 138         * data-reader.c (read_file_record): Drop new-line character from
 139         input text lines.  This is symmetrical with the recently changed
 140         dfm_put_record semantics.
 141
 142 Thu Nov  2 20:56:03 2006  Ben Pfaff  <blp@gnu.org>
 143
 144         Implement SKIP keyword on DATA LIST.  Fixes bug #17099.
 145
 146         * data-list.c: (struct data_list_pgm) Add `skip_records' members.
 147         (cmd_data_list) Set skip_records based on user input.
 148         (data_list_source_read) Skip records requested by user.
 149
 150 Tue Oct 31 20:04:06 2006  Ben Pfaff  <blp@gnu.org>
 151
 152         * placement-parser.c: (PRS_TYPE_T) Now that struct fmt_spec uses
 153         an enum fmt_type for its type member, we can't depend on the
 154         ability to put negative values into that member as out-of-band
 155         values, because enum fmt_type might be an unsigned type.  So use
 156         values around SCHAR_MAX instead, because we know that SCHAR_MAX
 157         will fit into any type, signed or unsigned, and there aren't
 158         nearly that many format types.
 159         (parse_var_placements) Add for_input parameter to specify whether
 160         we're parsing input or output formats.  Update all callers.
 161         (fixed_parse_columns) Ditto.
 162         (fixed_parse_fortran) Ditto.
 163
 164 Tue Oct 31 18:21:48 2006  Ben Pfaff  <blp@gnu.org>
 165
 166         * print-space.c (print_space_trns_proc): Let dfm_put_record add
 167         the new-line character, to match dfm_put_record change below.
 168
 169 Sat Oct 28 11:57:19 2006  Ben Pfaff  <blp@gnu.org>
 170
 171         * data-writer.c (struct dfm_writer): Removed `bounce' member, and
 172         all references to it.
 173         (dfm_put_record) Change semantics so that it adds formatting
 174         itself, such as new-line characters, instead of putting that
 175         responsibility on the caller.  Also, pad binary records with
 176         spaces instead of zeros, for compatibility.
 177
 178         * print.c (struct prt_out_spec) New member `sysmis_as_spaces'.
 179         (struct print_trns) Remove `omit_new_lines' and all references,
 180         since dfm_put_record() is taking care of that.  Add
 181         `include_prefix'.
 182         (internal_cmd_print) Allow an empty set of data to print.  Set
 183         include_prefix.
 184         (parse_specs) Allow an empty set of data to print.
 185         (parse_variable_argument) Only add space with PRINT command.  Set
 186         sysmis_as_spaces.
 187         (print_trns_proc) Indent records if include_prefix is set, for
 188         compatibility.  Output SYSMIS as spaces if sysmis_as_spaces is
 189         set.  Put "1" in first column if PRINT EJECT is used with an
 190         external output file.
 191         (flush_records) Ditto.
 192
 193 Sat Oct 28 16:19:57 WST 2006 John Darrington <john@darrington.wattle.id.au>
 194
 195         * data-reader.c: Eliminated references to extern variable getl_buf
 196
 197 Sat Aug  5 08:25:07 2006  Ben Pfaff  <blp@gnu.org>
 198
 199         Fix bug #17329 in REREAD parsing, reported by John Darrington.
 200
 201         * inpt-pgm.c (cmd_reread): Fix file handle parsing.
 202
 203 Mon Jul 31 10:32:31 2006  Ben Pfaff  <blp@gnu.org>
 204
 205         * print.c (parse_specs): Allow a comma between specifications.
 206
 207 Sun Jul 16 19:57:10 2006  Ben Pfaff  <blp@gnu.org>
 208
 209         * automake.mk: (src_language_data_io_libdata_io_a_SOURCE) Add
 210         print-space.c, placement-parser.c, placement-parser.h.
 211
 212         * data-list.c: Basically rewrote the whole thing.  Broke out a lot
 213         of code into placement-parser.c.  Code is much cleaner now.
 214
 215         * placement-parser.c: New file.
 216
 217         * placement-parser.h: New file.
 218
 219         * print.c: Basically rewrote the whole thing.  Broke out PRINT
 220         SPACE into print-space.c.  Code is much cleaner now.
 221
 222         * print-space.c: New file.
 223
 224 Sat Jul  1 17:39:40 2006  Ben Pfaff  <blp@gnu.org>
 225
 226         Fix bug #11612, "q2c documentation does not agree with code".
 227
 228         * list.q: Audit use of q2c "+" prefixes that indicate that a
 229         command may appear multiple times.
 230
 231 Sat Jul  1 20:44:22 2006  Ben Pfaff  <blp@gnu.org>
 232
 233         Fix bug #15786: System File Creation crashes if directoy is
 234         nonexistent.
 235
 236         * get.c (parse_write_command): Check that the any_writer open
 237         succeeds.
 238
 239 Tue Jun 27 22:44:28 2006  Ben Pfaff  <blp@gnu.org>
 240
 241         Fix regression in command name completion reported by John
 242         Darrington.  Now completion is again state-dependent and occurs
 243         only on the first line of a command.
 244
 245         * inpt-pgm.c: (cmd_input_program) Reading of first token in
 246         command moved into cmd_parse.
 247
 248 Fri Jun  9 13:56:00 2006  Ben Pfaff  <blp@gnu.org>
 249
 250         Reform string library.
 251
 252         * matrix-data.c (context): Use dynamic string.
 253         (another_token) Deal with changed dfm_get_record() interface.
 254         (mget_token) Ditto.
 255         (force_eol) Ditto.
 256
 257         * data-list.c (struct data_list_pgm) Delete delims, delim_cnt
 258         members, replacing them by struct string delims.  Update all
 259         references to use struct string functions.
 260         (cut_field) Change interface to avoid needing "end_blank", by
 261         getting the data-reader to remember that state for us.  Change
 262         internals to use substring.  Update both callers.
 263
 264         * data-reader.c (read_file_record): Use ds_read_stream().
 265         (dfm_get_record) Change interface to return substring.  Updated
 266         all callers.
 267         (dfm_expand_tabs) Use ds_find_char().  Now maintain position
 268         relative to end-of-line.  Use ds_swap().
 269         (dfm_reread_record) Don't limit position by line length.
 270         (dfm_column_start) Make parameter const.
 271         (dfm_columns_past_end) New function.
 272         (dfm_get_column) New function.
 273
 274 Thu May 25 18:26:26 WST 2006 John Darrington <john@darrington.wattle.id.au>
 275
 276         * print.c (print_trns_free): Made the code agree with the comment, by
 277         not freeing PRT.  Has the side effect that the command no longer
 278         crashes on invalid syntax.
 279
 280 Tue May  9 20:55:46 2006  Ben Pfaff  <blp@gnu.org>
 281
 282         * get.c (cmd_match_files): Fix memory leak replacing default_dict.
 283
 284 Sat May  6 22:25:09 2006  Ben Pfaff  <blp@gnu.org>
 285
 286         Fix segfault.
 287
 288         * list.q (write_fallback_headers): (write_fallback_headers)
 289         Properly record width of leader and pass it to write_varname().
 290
 291 Sat May  6 19:03:13 2006  Ben Pfaff  <blp@gnu.org>
 292
 293         * get.c: (mtf_merge_dictionary) Fix value label memory leak.
 294
 295 Sat May  6 13:51:16 2006  Ben Pfaff  <blp@gnu.org>
 296
 297         Use a casefile, instead of a case sink, for MATCH FILES output.
 298         It's more straightforward, although it has the same effect.
 299
 300         * get.c: (struct mtf_proc) Replace `sink' case sink member by
 301         `output' casefile member.
 302         (cmd_match_files) Work with casefile instead of sink.
 303         (mtf_processing) Add case to casefile instead of sink.
 304
 305 Sat May  6 10:43:07 2006  Ben Pfaff  <blp@gnu.org>
 306
 307         Continue reforming procedure execution.  In this phase, get rid of
 308         the output code for SPLIT FILE groups in procedure.c, which really
 309         shouldn't be doing any output.  Move it into the individual
 310         procedures instead.  This also adds some flexibility.
 311
 312         * list.q (write_all_headers): Call output_split_file_values().
 313
 314 Wed May  3 23:00:17 2006  Ben Pfaff  <blp@gnu.org>
 315
 316         Continue reforming procedure execution.  In this phase, get rid of
 317         many global variables, consolidating procedure execution in
 318         procedure.c.  Encapsulate transformations in new "struct
 319         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 320         and PROCESS IF from special cases to transformations.
 321
 322         * data-list.c: (data_list_trns_proc) Return TRNS_END_FILE at end
 323         of file.  (Why didn't we do this before?)
 324         (cmd_match_files) Direct procedure output to null sink.
 325         Use discard_variables() instead of indirect version.
 326
 327         * inpt-pgm.c: Use transformation chain.
 328         (struct input_program_pgm) Add trns_chain member.
 329         (cmd_input_program) Initialize trns_chain member and capture
 330         transformations with proc_capture_transformations().
 331         (input_program_source_read) Use trns_chain_execute().
 332         (destroy_input_program) Destroy input chain.
 333
 334 Tue May  2 10:39:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 335
 336         * list.q Changed from using fixed length char buffers to struct
 337         string so that any length variables can be used.
 338
 339 Mon May  1 18:21:19 2006  Ben Pfaff  <blp@gnu.org>
 340
 341         Further clean up the CMD_* command result codes.
 342
 343         * (enum cmd_result_extensions) New.  Add CMD_END_INPUT_PROGRAM and
 344         CMD_END_CASE result codes.
 345         (struct input_program_pgm) Added case_nr, write_case, wc_data
 346         members for use by END CASE transformation.
 347         (emit_END_CASE) New function.
 348         (cmd_input_program) Interpret CMD_END_CASE by outputting an END
 349         CASE transformation.  If none is output by the input program
 350         itself, add one automatically at the end.  Change lack of
 351         variables from warning to error.
 352         (cmd_end_input_program) Return CMD_END_INPUT_PROGRAM instead of
 353         CMD_END_SUBLOOP.
 354         (input_program_source_read) No longer any need to special-case END
 355         CASE.  Handle TRNS_DROP_CASE properly.  Initialize new members in
 356         inp for use by END CASE transformation.
 357         (destroy_input_program) New function.
 358         (input_program_source_destroy) Just call destroy_input_program().
 359         (cmd_end_case) Just return CMD_END_CASE.
 360         (end_case_trns_proc) No longer a stub handled by
 361         input_program_source_read().  Actually output the case and
 362         increment the case number.
 363
 364 Mon May  1 16:06:30 2006  Ben Pfaff  <blp@gnu.org>
 365
 366         Remove vestiges of REPEATING DATA support.
 367
 368         * data-list.c: (struct rpd_num_or_var) Removed.
 369         (struct repeating_data_trns) Removed.
 370         (cmd_repeating_data) Removed.
 371         (find_variable_input_spec) Removed.
 372         (parse_num_or_var) Removed.
 373         (parse_repeating_data) Removed.
 374         (realize_value) Removed.
 375         (struct rpd_parse_info) Removed.
 376         (rpd_parse_record) Removed.
 377         (repeating_data_trns_proc) Removed.
 378         (repeating_data_trns_free) Removed.
 379         (repeating_data_set_write_case) Removed.
 380         (rpd_msg) Removed.
 381
 382         * inpt-pgm.c: (input_program_source_read) Don't deal with
 383         REPEATING DATA.
 384
 385         * data-list.h: Removed.
 386
 387         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Removed
 388         data-list.h.
 389
 390 Mon May  1 15:58:28 2006  Ben Pfaff  <blp@gnu.org>
 391
 392         Remove vestiges of FILE TYPE support.
 393
 394         * data-list.c: (cmd_data_list) Don't check for FILE TYPE.
 395         (cmd_repeating_data) Ditto.
 396
 397         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Remove
 398         file-type.c, file-type.h.
 399
 400         * file-type.c: Removed.
 401
 402         * file-type.h: Removed.
 403
 404 Wed Apr 26 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 405
 406         Improve the way we handle the various parsing "states".  Until now
 407         we've hard-coded the state transitions in the command definition
 408         file, but that's error-prone and, worse, it's redundant--we can
 409         figure out what state we're in anyhow.  We can cleanly handle
 410         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
 411
 412         * data-list.c: (cmd_data_list) Use in_file_type() or
 413         in_input_program() in place of case_source_is_class() or
 414         case_source_is_complex().
 415
 416         * file-type.c: NB: Not really fixed except minimally to compile,
 417         because it doesn't work anyway.
 418         (in_file_type) New function.
 419         (cmd_record_type) No need to check that we're in FILE TYPE.
 420         (cmd_end_file_type) Ditto.
 421         (var file_type_source_class) Make static.
 422
 423         * get.c: (cmd_match_files) Check vfm_source instead of pgm_state.
 424
 425         * inpt-pgm.c: (in_input_program) New function.
 426         (cmd_input_program) Rewrite to include nested command processing
 427         loop.
 428         (cmd_end_input_program) Just return CMD_END_SUBLOOP.
 429         (var input_program_source_class) Make static.
 430         (cmd_end_case) No need to check that we're in INPUT PROGRAM.
 431         (cmd_end_file) Ditto.
 432
 433         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Add
 434         file-type.h, inpt-pgm.h.
 435
 436         * file-type.h: New file.
 437
 438         * inpt-pgm.h: New file.
 439
 440 Tue Apr 25 13:11:55 2006  Ben Pfaff  <blp@gnu.org>
 441
 442         * print.c: Don't special-case MS-DOS line terminators.
 443         (macro LINE_END_WIDTH) Removed.
 444         (alloc_line) Line ends are 1 byte.
 445         (print_trns_proc) Just output \n for line end.
 446
 447 Sun Apr 23 22:05:58 2006  Ben Pfaff  <blp@gnu.org>
 448
 449         Continue reforming error message support.  In this phase, get rid
 450         of message "titles" and put the message text in `struct error'.
 451         Now `struct error' encapsulates a message more properly.
 452
 453         * data-list.c: (macro RPD_ERR) Removed.
 454         (rpd_msg) New function.  Updated all references to tmsg() to call
 455         this function instead.
 456
 457 Sat Apr 15 19:38:13 2006  Ben Pfaff  <blp@gnu.org>
 458
 459         Remove last users of struct file_ext so we can get rid of it
 460         entirely.
 461
 462         * data-reader.c: (struct dfm_reader) Change file member from
 463         struct file_ext to FILE *.  Updated all references.
 464         (dfm_close_reader) Close file with fn_close() instead of
 465         fn_close_ext().  Also, make a copy of the file name from the file
 466         handle before closing it, because we can't extract it after we
 467         close the file.
 468         (dfm_open_reader) Open file with fn_open() instead of
 469         fn_open_ext().
 470
 471         * data-writer.c: (struct dfm_writer) Change file member
 472         struct file_ext to FILE *.  Updated all references.
 473         (dfm_close_writer) Close file with fn_close() instead of
 474         fn_close_ext().  Also, make a copy of the file name from the file
 475         handle before closing it, because we can't extract it after we
 476         close the file.
 477         (dfm_open_writer) Open file with fn_open() instead of
 478         fn_open_ext().
 479
 480 Sat Apr 15 18:00:32 2006  Ben Pfaff  <blp@gnu.org>
 481
 482         * data-list.c: Add prototype to suppress warning for
 483         cmd_repeating_data().
 484
 485 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 486
 487         * Moved files from src directory