src/language/data-io/ChangeLog

   1 2007-06-06  Ben Pfaff  <blp@gnu.org>
   2
   3         Adapt case sources, sinks, and clients of procedure code to the
   4         new infrastructure.
   5
   6         * data-list.c: Make DATA LIST into a casereader.
   7
   8         * get.c: Change GET, IMPORT, SAVE, EXPORT to use casereaders,
   9         casewriters.
  10
  11         * inpt-pgm.c: Use caseinit code.  Turn INPUT PROGRAM into a
  12         casereader.
  13
  14         * list.q: Adapt to new procedure code.
  15
  16 2007-05-06  Ben Pfaff  <blp@gnu.org>
  17
  18         Abstract the documents within a dictionary a little better.
  19         Thanks to John Darrington for suggestion, initial version, and
  20         review.  Patch #5917.
  21
  22         * get.c (mtf_merge_dictionary): Simplify creating merged document.
  23
  24         * sys-file-info.c (display_documents): Use new
  25         dict_get_document_line_cnt and dict_get_document_line functions.
  26
  27 Thu Feb  1 16:56:02 2007  Ben Pfaff  <blp@gnu.org>
  28
  29         * file-handle.q (fh_parse): Update to new fh_create_file
  30         prototype.
  31
  32 Sat Dec 16 22:16:18 2006  Ben Pfaff  <blp@gnu.org>
  33
  34         Make it possible to pull cases from the active file with a
  35         function call, instead of requiring indirection through a callback
  36         function.
  37
  38         * automake.mk: Removed matrix-data.c.
  39
  40         * matrix-data.c: Removed.
  41
  42         * data-list.c (data_list_source_read): Conform with new
  43         case_source_class interface.
  44         (data_list_source_destroy): Ditto.
  45
  46         * get.c (case_reader_source_class): Ditto.
  47         (case_reader_source_destroy): Ditto.
  48         (parse_output_proc): Take advantage of new procedure interface.
  49         (output_proc): Removed.
  50         (struct mtf_file): Add "struct ccase *" member to allow use of new
  51         procedure interface.
  52         (cmd_match_files): Take advantage of new procedure interface.
  53         (mtf_processing_finish): Removed.
  54         (mtf_read_nonactive_records): Renamed mtf_read_records.  Now reads
  55         from every file, without any exception for the active file.
  56         (mtf_compare_BY_values): Simplify for new interface.
  57         (mtf_processing): Simplify for new interface.
  58
  59         * inpt-pgm.c (is_valid_state): New function.
  60         (input_program_source_read): Conform with new case_source_class
  61         interface.
  62         (input_program_source_destroy): Ditto.
  63         (end_case_trns_proc): Now just needs to return TRNS_END_CASE.
  64
  65 Sat Dec  9 18:43:34 2006  Ben Pfaff  <blp@gnu.org>
  66
  67         * list.q (cmd_list): Use new var_create, var_destroy functions.
  68
  69 Thu Nov 30 21:51:58 2006  Ben Pfaff  <blp@gnu.org>
  70
  71         * inpt-pgm.c (cmd_reread): Always return error code upon detecting
  72         syntax error.  Fixes bug #18419.  Thanks to John Darrington for
  73         reporting this bug.
  74
  75 Sun Nov 19 09:17:45 2006  Ben Pfaff  <blp@gnu.org>
  76
  77         * data-list.c (parse_free): Follow documented (but odd) rule that
  78         N format is treated as F format for free-field input.
  79
  80         * data-reader.c (read_file_record): Drop new-line character from
  81         input text lines.  This is symmetrical with the recently changed
  82         dfm_put_record semantics.
  83
  84 Thu Nov  2 20:56:03 2006  Ben Pfaff  <blp@gnu.org>
  85
  86         Implement SKIP keyword on DATA LIST.  Fixes bug #17099.
  87
  88         * data-list.c: (struct data_list_pgm) Add `skip_records' members.
  89         (cmd_data_list) Set skip_records based on user input.
  90         (data_list_source_read) Skip records requested by user.
  91
  92 Tue Oct 31 20:04:06 2006  Ben Pfaff  <blp@gnu.org>
  93
  94         * placement-parser.c: (PRS_TYPE_T) Now that struct fmt_spec uses
  95         an enum fmt_type for its type member, we can't depend on the
  96         ability to put negative values into that member as out-of-band
  97         values, because enum fmt_type might be an unsigned type.  So use
  98         values around SCHAR_MAX instead, because we know that SCHAR_MAX
  99         will fit into any type, signed or unsigned, and there aren't
 100         nearly that many format types.
 101         (parse_var_placements) Add for_input parameter to specify whether
 102         we're parsing input or output formats.  Update all callers.
 103         (fixed_parse_columns) Ditto.
 104         (fixed_parse_fortran) Ditto.
 105
 106 Tue Oct 31 18:21:48 2006  Ben Pfaff  <blp@gnu.org>
 107
 108         * print-space.c (print_space_trns_proc): Let dfm_put_record add
 109         the new-line character, to match dfm_put_record change below.
 110
 111 Sat Oct 28 11:57:19 2006  Ben Pfaff  <blp@gnu.org>
 112
 113         * data-writer.c (struct dfm_writer): Removed `bounce' member, and
 114         all references to it.
 115         (dfm_put_record) Change semantics so that it adds formatting
 116         itself, such as new-line characters, instead of putting that
 117         responsibility on the caller.  Also, pad binary records with
 118         spaces instead of zeros, for compatibility.
 119
 120         * print.c (struct prt_out_spec) New member `sysmis_as_spaces'.
 121         (struct print_trns) Remove `omit_new_lines' and all references,
 122         since dfm_put_record() is taking care of that.  Add
 123         `include_prefix'.
 124         (internal_cmd_print) Allow an empty set of data to print.  Set
 125         include_prefix.
 126         (parse_specs) Allow an empty set of data to print.
 127         (parse_variable_argument) Only add space with PRINT command.  Set
 128         sysmis_as_spaces.
 129         (print_trns_proc) Indent records if include_prefix is set, for
 130         compatibility.  Output SYSMIS as spaces if sysmis_as_spaces is
 131         set.  Put "1" in first column if PRINT EJECT is used with an
 132         external output file.
 133         (flush_records) Ditto.
 134
 135 Sat Oct 28 16:19:57 WST 2006 John Darrington <john@darrington.wattle.id.au>
 136
 137         * data-reader.c: Eliminated references to extern variable getl_buf
 138
 139 Sat Aug  5 08:25:07 2006  Ben Pfaff  <blp@gnu.org>
 140
 141         Fix bug #17329 in REREAD parsing, reported by John Darrington.
 142
 143         * inpt-pgm.c (cmd_reread): Fix file handle parsing.
 144
 145 Mon Jul 31 10:32:31 2006  Ben Pfaff  <blp@gnu.org>
 146
 147         * print.c (parse_specs): Allow a comma between specifications.
 148
 149 Sun Jul 16 19:57:10 2006  Ben Pfaff  <blp@gnu.org>
 150
 151         * automake.mk: (src_language_data_io_libdata_io_a_SOURCE) Add
 152         print-space.c, placement-parser.c, placement-parser.h.
 153
 154         * data-list.c: Basically rewrote the whole thing.  Broke out a lot
 155         of code into placement-parser.c.  Code is much cleaner now.
 156
 157         * placement-parser.c: New file.
 158
 159         * placement-parser.h: New file.
 160
 161         * print.c: Basically rewrote the whole thing.  Broke out PRINT
 162         SPACE into print-space.c.  Code is much cleaner now.
 163
 164         * print-space.c: New file.
 165
 166 Sat Jul  1 17:39:40 2006  Ben Pfaff  <blp@gnu.org>
 167
 168         Fix bug #11612, "q2c documentation does not agree with code".
 169
 170         * list.q: Audit use of q2c "+" prefixes that indicate that a
 171         command may appear multiple times.
 172
 173 Sat Jul  1 20:44:22 2006  Ben Pfaff  <blp@gnu.org>
 174
 175         Fix bug #15786: System File Creation crashes if directoy is
 176         nonexistent.
 177
 178         * get.c (parse_write_command): Check that the any_writer open
 179         succeeds.
 180
 181 Tue Jun 27 22:44:28 2006  Ben Pfaff  <blp@gnu.org>
 182
 183         Fix regression in command name completion reported by John
 184         Darrington.  Now completion is again state-dependent and occurs
 185         only on the first line of a command.
 186
 187         * inpt-pgm.c: (cmd_input_program) Reading of first token in
 188         command moved into cmd_parse.
 189
 190 Fri Jun  9 13:56:00 2006  Ben Pfaff  <blp@gnu.org>
 191
 192         Reform string library.
 193
 194         * matrix-data.c (context): Use dynamic string.
 195         (another_token) Deal with changed dfm_get_record() interface.
 196         (mget_token) Ditto.
 197         (force_eol) Ditto.
 198
 199         * data-list.c (struct data_list_pgm) Delete delims, delim_cnt
 200         members, replacing them by struct string delims.  Update all
 201         references to use struct string functions.
 202         (cut_field) Change interface to avoid needing "end_blank", by
 203         getting the data-reader to remember that state for us.  Change
 204         internals to use substring.  Update both callers.
 205
 206         * data-reader.c (read_file_record): Use ds_read_stream().
 207         (dfm_get_record) Change interface to return substring.  Updated
 208         all callers.
 209         (dfm_expand_tabs) Use ds_find_char().  Now maintain position
 210         relative to end-of-line.  Use ds_swap().
 211         (dfm_reread_record) Don't limit position by line length.
 212         (dfm_column_start) Make parameter const.
 213         (dfm_columns_past_end) New function.
 214         (dfm_get_column) New function.
 215
 216 Thu May 25 18:26:26 WST 2006 John Darrington <john@darrington.wattle.id.au>
 217
 218         * print.c (print_trns_free): Made the code agree with the comment, by
 219         not freeing PRT.  Has the side effect that the command no longer
 220         crashes on invalid syntax.
 221
 222 Tue May  9 20:55:46 2006  Ben Pfaff  <blp@gnu.org>
 223
 224         * get.c (cmd_match_files): Fix memory leak replacing default_dict.
 225
 226 Sat May  6 22:25:09 2006  Ben Pfaff  <blp@gnu.org>
 227
 228         Fix segfault.
 229
 230         * list.q (write_fallback_headers): (write_fallback_headers)
 231         Properly record width of leader and pass it to write_varname().
 232
 233 Sat May  6 19:03:13 2006  Ben Pfaff  <blp@gnu.org>
 234
 235         * get.c: (mtf_merge_dictionary) Fix value label memory leak.
 236
 237 Sat May  6 13:51:16 2006  Ben Pfaff  <blp@gnu.org>
 238
 239         Use a casefile, instead of a case sink, for MATCH FILES output.
 240         It's more straightforward, although it has the same effect.
 241
 242         * get.c: (struct mtf_proc) Replace `sink' case sink member by
 243         `output' casefile member.
 244         (cmd_match_files) Work with casefile instead of sink.
 245         (mtf_processing) Add case to casefile instead of sink.
 246
 247 Sat May  6 10:43:07 2006  Ben Pfaff  <blp@gnu.org>
 248
 249         Continue reforming procedure execution.  In this phase, get rid of
 250         the output code for SPLIT FILE groups in procedure.c, which really
 251         shouldn't be doing any output.  Move it into the individual
 252         procedures instead.  This also adds some flexibility.
 253
 254         * list.q (write_all_headers): Call output_split_file_values().
 255
 256 Wed May  3 23:00:17 2006  Ben Pfaff  <blp@gnu.org>
 257
 258         Continue reforming procedure execution.  In this phase, get rid of
 259         many global variables, consolidating procedure execution in
 260         procedure.c.  Encapsulate transformations in new "struct
 261         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 262         and PROCESS IF from special cases to transformations.
 263
 264         * data-list.c: (data_list_trns_proc) Return TRNS_END_FILE at end
 265         of file.  (Why didn't we do this before?)
 266         (cmd_match_files) Direct procedure output to null sink.
 267         Use discard_variables() instead of indirect version.
 268
 269         * inpt-pgm.c: Use transformation chain.
 270         (struct input_program_pgm) Add trns_chain member.
 271         (cmd_input_program) Initialize trns_chain member and capture
 272         transformations with proc_capture_transformations().
 273         (input_program_source_read) Use trns_chain_execute().
 274         (destroy_input_program) Destroy input chain.
 275
 276 Tue May  2 10:39:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 277
 278         * list.q Changed from using fixed length char buffers to struct
 279         string so that any length variables can be used.
 280
 281 Mon May  1 18:21:19 2006  Ben Pfaff  <blp@gnu.org>
 282
 283         Further clean up the CMD_* command result codes.
 284
 285         * (enum cmd_result_extensions) New.  Add CMD_END_INPUT_PROGRAM and
 286         CMD_END_CASE result codes.
 287         (struct input_program_pgm) Added case_nr, write_case, wc_data
 288         members for use by END CASE transformation.
 289         (emit_END_CASE) New function.
 290         (cmd_input_program) Interpret CMD_END_CASE by outputting an END
 291         CASE transformation.  If none is output by the input program
 292         itself, add one automatically at the end.  Change lack of
 293         variables from warning to error.
 294         (cmd_end_input_program) Return CMD_END_INPUT_PROGRAM instead of
 295         CMD_END_SUBLOOP.
 296         (input_program_source_read) No longer any need to special-case END
 297         CASE.  Handle TRNS_DROP_CASE properly.  Initialize new members in
 298         inp for use by END CASE transformation.
 299         (destroy_input_program) New function.
 300         (input_program_source_destroy) Just call destroy_input_program().
 301         (cmd_end_case) Just return CMD_END_CASE.
 302         (end_case_trns_proc) No longer a stub handled by
 303         input_program_source_read().  Actually output the case and
 304         increment the case number.
 305
 306 Mon May  1 16:06:30 2006  Ben Pfaff  <blp@gnu.org>
 307
 308         Remove vestiges of REPEATING DATA support.
 309
 310         * data-list.c: (struct rpd_num_or_var) Removed.
 311         (struct repeating_data_trns) Removed.
 312         (cmd_repeating_data) Removed.
 313         (find_variable_input_spec) Removed.
 314         (parse_num_or_var) Removed.
 315         (parse_repeating_data) Removed.
 316         (realize_value) Removed.
 317         (struct rpd_parse_info) Removed.
 318         (rpd_parse_record) Removed.
 319         (repeating_data_trns_proc) Removed.
 320         (repeating_data_trns_free) Removed.
 321         (repeating_data_set_write_case) Removed.
 322         (rpd_msg) Removed.
 323
 324         * inpt-pgm.c: (input_program_source_read) Don't deal with
 325         REPEATING DATA.
 326
 327         * data-list.h: Removed.
 328
 329         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Removed
 330         data-list.h.
 331
 332 Mon May  1 15:58:28 2006  Ben Pfaff  <blp@gnu.org>
 333
 334         Remove vestiges of FILE TYPE support.
 335
 336         * data-list.c: (cmd_data_list) Don't check for FILE TYPE.
 337         (cmd_repeating_data) Ditto.
 338
 339         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Remove
 340         file-type.c, file-type.h.
 341
 342         * file-type.c: Removed.
 343
 344         * file-type.h: Removed.
 345
 346 Wed Apr 26 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 347
 348         Improve the way we handle the various parsing "states".  Until now
 349         we've hard-coded the state transitions in the command definition
 350         file, but that's error-prone and, worse, it's redundant--we can
 351         figure out what state we're in anyhow.  We can cleanly handle
 352         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
 353
 354         * data-list.c: (cmd_data_list) Use in_file_type() or
 355         in_input_program() in place of case_source_is_class() or
 356         case_source_is_complex().
 357
 358         * file-type.c: NB: Not really fixed except minimally to compile,
 359         because it doesn't work anyway.
 360         (in_file_type) New function.
 361         (cmd_record_type) No need to check that we're in FILE TYPE.
 362         (cmd_end_file_type) Ditto.
 363         (var file_type_source_class) Make static.
 364
 365         * get.c: (cmd_match_files) Check vfm_source instead of pgm_state.
 366
 367         * inpt-pgm.c: (in_input_program) New function.
 368         (cmd_input_program) Rewrite to include nested command processing
 369         loop.
 370         (cmd_end_input_program) Just return CMD_END_SUBLOOP.
 371         (var input_program_source_class) Make static.
 372         (cmd_end_case) No need to check that we're in INPUT PROGRAM.
 373         (cmd_end_file) Ditto.
 374
 375         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Add
 376         file-type.h, inpt-pgm.h.
 377
 378         * file-type.h: New file.
 379
 380         * inpt-pgm.h: New file.
 381
 382 Tue Apr 25 13:11:55 2006  Ben Pfaff  <blp@gnu.org>
 383
 384         * print.c: Don't special-case MS-DOS line terminators.
 385         (macro LINE_END_WIDTH) Removed.
 386         (alloc_line) Line ends are 1 byte.
 387         (print_trns_proc) Just output \n for line end.
 388
 389 Sun Apr 23 22:05:58 2006  Ben Pfaff  <blp@gnu.org>
 390
 391         Continue reforming error message support.  In this phase, get rid
 392         of message "titles" and put the message text in `struct error'.
 393         Now `struct error' encapsulates a message more properly.
 394
 395         * data-list.c: (macro RPD_ERR) Removed.
 396         (rpd_msg) New function.  Updated all references to tmsg() to call
 397         this function instead.
 398
 399 Sat Apr 15 19:38:13 2006  Ben Pfaff  <blp@gnu.org>
 400
 401         Remove last users of struct file_ext so we can get rid of it
 402         entirely.
 403
 404         * data-reader.c: (struct dfm_reader) Change file member from
 405         struct file_ext to FILE *.  Updated all references.
 406         (dfm_close_reader) Close file with fn_close() instead of
 407         fn_close_ext().  Also, make a copy of the file name from the file
 408         handle before closing it, because we can't extract it after we
 409         close the file.
 410         (dfm_open_reader) Open file with fn_open() instead of
 411         fn_open_ext().
 412
 413         * data-writer.c: (struct dfm_writer) Change file member
 414         struct file_ext to FILE *.  Updated all references.
 415         (dfm_close_writer) Close file with fn_close() instead of
 416         fn_close_ext().  Also, make a copy of the file name from the file
 417         handle before closing it, because we can't extract it after we
 418         close the file.
 419         (dfm_open_writer) Open file with fn_open() instead of
 420         fn_open_ext().
 421
 422 Sat Apr 15 18:00:32 2006  Ben Pfaff  <blp@gnu.org>
 423
 424         * data-list.c: Add prototype to suppress warning for
 425         cmd_repeating_data().
 426
 427 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 428
 429         * Moved files from src directory