src/language/data-io/ChangeLog

   1 2007-08-12  Ben Pfaff  <blp@gnu.org>
   2
   3         * get.c (parse_read_command): Compact the values in the target
   4         dictionary, to save space.
   5
   6 2007-08-12  Ben Pfaff  <blp@gnu.org>
   7
   8         * get.c (struct case_map): Move into new file src/data/case-map.c.
   9         (start_case_map): Ditto, and rename case_map_prepare_dict.
  10         (finish_case_map): Ditto, and rename case_map_from_dict.
  11         (map_case): Ditto, and rename case_map_execute.
  12         (destroy_case_map): Ditto, and rename case_map_destroy.
  13         (case_map_get_value_cnt): Ditto.
  14
  15 2007-08-12  Ben Pfaff  <blp@gnu.org>
  16
  17         * get.c (case_map_get_value_cnt): New function.
  18
  19 2007-07-25  Ben Pfaff  <blp@gnu.org>
  20
  21         Fix bug #17100.
  22         * data-list.c (read_from_data_list_fixed): Handle multi-record
  23         DATA LIST correctly.
  24
  25 2007-07-11  Ben Pfaff  <blp@gnu.org>
  26
  27         * get.c (map_case): Create destination case instead of leaving it
  28         undefined.  Fixes bug #20285.
  29         Reviewed by John Darrington.
  30
  31 2007-06-06  Ben Pfaff  <blp@gnu.org>
  32
  33         * get.c: Essentially rewrite MATCH FILES to support FIRST and
  34         LAST.
  35
  36 2007-06-06  Ben Pfaff  <blp@gnu.org>
  37
  38         Adapt case sources, sinks, and clients of procedure code to the
  39         new infrastructure.
  40
  41         * data-list.c: Make DATA LIST into a casereader.
  42
  43         * get.c: Change GET, IMPORT, SAVE, EXPORT to use casereaders,
  44         casewriters.
  45
  46         * inpt-pgm.c: Use caseinit code.  Turn INPUT PROGRAM into a
  47         casereader.
  48
  49         * list.q: Adapt to new procedure code.
  50
  51 2007-05-06  Ben Pfaff  <blp@gnu.org>
  52
  53         Abstract the documents within a dictionary a little better.
  54         Thanks to John Darrington for suggestion, initial version, and
  55         review.  Patch #5917.
  56
  57         * get.c (mtf_merge_dictionary): Simplify creating merged document.
  58
  59         * sys-file-info.c (display_documents): Use new
  60         dict_get_document_line_cnt and dict_get_document_line functions.
  61
  62 Thu Feb  1 16:56:02 2007  Ben Pfaff  <blp@gnu.org>
  63
  64         * file-handle.q (fh_parse): Update to new fh_create_file
  65         prototype.
  66
  67 Sat Dec 16 22:16:18 2006  Ben Pfaff  <blp@gnu.org>
  68
  69         Make it possible to pull cases from the active file with a
  70         function call, instead of requiring indirection through a callback
  71         function.
  72
  73         * automake.mk: Removed matrix-data.c.
  74
  75         * matrix-data.c: Removed.
  76
  77         * data-list.c (data_list_source_read): Conform with new
  78         case_source_class interface.
  79         (data_list_source_destroy): Ditto.
  80
  81         * get.c (case_reader_source_class): Ditto.
  82         (case_reader_source_destroy): Ditto.
  83         (parse_output_proc): Take advantage of new procedure interface.
  84         (output_proc): Removed.
  85         (struct mtf_file): Add "struct ccase *" member to allow use of new
  86         procedure interface.
  87         (cmd_match_files): Take advantage of new procedure interface.
  88         (mtf_processing_finish): Removed.
  89         (mtf_read_nonactive_records): Renamed mtf_read_records.  Now reads
  90         from every file, without any exception for the active file.
  91         (mtf_compare_BY_values): Simplify for new interface.
  92         (mtf_processing): Simplify for new interface.
  93
  94         * inpt-pgm.c (is_valid_state): New function.
  95         (input_program_source_read): Conform with new case_source_class
  96         interface.
  97         (input_program_source_destroy): Ditto.
  98         (end_case_trns_proc): Now just needs to return TRNS_END_CASE.
  99
 100 Sat Dec  9 18:43:34 2006  Ben Pfaff  <blp@gnu.org>
 101
 102         * list.q (cmd_list): Use new var_create, var_destroy functions.
 103
 104 Thu Nov 30 21:51:58 2006  Ben Pfaff  <blp@gnu.org>
 105
 106         * inpt-pgm.c (cmd_reread): Always return error code upon detecting
 107         syntax error.  Fixes bug #18419.  Thanks to John Darrington for
 108         reporting this bug.
 109
 110 Sun Nov 19 09:17:45 2006  Ben Pfaff  <blp@gnu.org>
 111
 112         * data-list.c (parse_free): Follow documented (but odd) rule that
 113         N format is treated as F format for free-field input.
 114
 115         * data-reader.c (read_file_record): Drop new-line character from
 116         input text lines.  This is symmetrical with the recently changed
 117         dfm_put_record semantics.
 118
 119 Thu Nov  2 20:56:03 2006  Ben Pfaff  <blp@gnu.org>
 120
 121         Implement SKIP keyword on DATA LIST.  Fixes bug #17099.
 122
 123         * data-list.c: (struct data_list_pgm) Add `skip_records' members.
 124         (cmd_data_list) Set skip_records based on user input.
 125         (data_list_source_read) Skip records requested by user.
 126
 127 Tue Oct 31 20:04:06 2006  Ben Pfaff  <blp@gnu.org>
 128
 129         * placement-parser.c: (PRS_TYPE_T) Now that struct fmt_spec uses
 130         an enum fmt_type for its type member, we can't depend on the
 131         ability to put negative values into that member as out-of-band
 132         values, because enum fmt_type might be an unsigned type.  So use
 133         values around SCHAR_MAX instead, because we know that SCHAR_MAX
 134         will fit into any type, signed or unsigned, and there aren't
 135         nearly that many format types.
 136         (parse_var_placements) Add for_input parameter to specify whether
 137         we're parsing input or output formats.  Update all callers.
 138         (fixed_parse_columns) Ditto.
 139         (fixed_parse_fortran) Ditto.
 140
 141 Tue Oct 31 18:21:48 2006  Ben Pfaff  <blp@gnu.org>
 142
 143         * print-space.c (print_space_trns_proc): Let dfm_put_record add
 144         the new-line character, to match dfm_put_record change below.
 145
 146 Sat Oct 28 11:57:19 2006  Ben Pfaff  <blp@gnu.org>
 147
 148         * data-writer.c (struct dfm_writer): Removed `bounce' member, and
 149         all references to it.
 150         (dfm_put_record) Change semantics so that it adds formatting
 151         itself, such as new-line characters, instead of putting that
 152         responsibility on the caller.  Also, pad binary records with
 153         spaces instead of zeros, for compatibility.
 154
 155         * print.c (struct prt_out_spec) New member `sysmis_as_spaces'.
 156         (struct print_trns) Remove `omit_new_lines' and all references,
 157         since dfm_put_record() is taking care of that.  Add
 158         `include_prefix'.
 159         (internal_cmd_print) Allow an empty set of data to print.  Set
 160         include_prefix.
 161         (parse_specs) Allow an empty set of data to print.
 162         (parse_variable_argument) Only add space with PRINT command.  Set
 163         sysmis_as_spaces.
 164         (print_trns_proc) Indent records if include_prefix is set, for
 165         compatibility.  Output SYSMIS as spaces if sysmis_as_spaces is
 166         set.  Put "1" in first column if PRINT EJECT is used with an
 167         external output file.
 168         (flush_records) Ditto.
 169
 170 Sat Oct 28 16:19:57 WST 2006 John Darrington <john@darrington.wattle.id.au>
 171
 172         * data-reader.c: Eliminated references to extern variable getl_buf
 173
 174 Sat Aug  5 08:25:07 2006  Ben Pfaff  <blp@gnu.org>
 175
 176         Fix bug #17329 in REREAD parsing, reported by John Darrington.
 177
 178         * inpt-pgm.c (cmd_reread): Fix file handle parsing.
 179
 180 Mon Jul 31 10:32:31 2006  Ben Pfaff  <blp@gnu.org>
 181
 182         * print.c (parse_specs): Allow a comma between specifications.
 183
 184 Sun Jul 16 19:57:10 2006  Ben Pfaff  <blp@gnu.org>
 185
 186         * automake.mk: (src_language_data_io_libdata_io_a_SOURCE) Add
 187         print-space.c, placement-parser.c, placement-parser.h.
 188
 189         * data-list.c: Basically rewrote the whole thing.  Broke out a lot
 190         of code into placement-parser.c.  Code is much cleaner now.
 191
 192         * placement-parser.c: New file.
 193
 194         * placement-parser.h: New file.
 195
 196         * print.c: Basically rewrote the whole thing.  Broke out PRINT
 197         SPACE into print-space.c.  Code is much cleaner now.
 198
 199         * print-space.c: New file.
 200
 201 Sat Jul  1 17:39:40 2006  Ben Pfaff  <blp@gnu.org>
 202
 203         Fix bug #11612, "q2c documentation does not agree with code".
 204
 205         * list.q: Audit use of q2c "+" prefixes that indicate that a
 206         command may appear multiple times.
 207
 208 Sat Jul  1 20:44:22 2006  Ben Pfaff  <blp@gnu.org>
 209
 210         Fix bug #15786: System File Creation crashes if directoy is
 211         nonexistent.
 212
 213         * get.c (parse_write_command): Check that the any_writer open
 214         succeeds.
 215
 216 Tue Jun 27 22:44:28 2006  Ben Pfaff  <blp@gnu.org>
 217
 218         Fix regression in command name completion reported by John
 219         Darrington.  Now completion is again state-dependent and occurs
 220         only on the first line of a command.
 221
 222         * inpt-pgm.c: (cmd_input_program) Reading of first token in
 223         command moved into cmd_parse.
 224
 225 Fri Jun  9 13:56:00 2006  Ben Pfaff  <blp@gnu.org>
 226
 227         Reform string library.
 228
 229         * matrix-data.c (context): Use dynamic string.
 230         (another_token) Deal with changed dfm_get_record() interface.
 231         (mget_token) Ditto.
 232         (force_eol) Ditto.
 233
 234         * data-list.c (struct data_list_pgm) Delete delims, delim_cnt
 235         members, replacing them by struct string delims.  Update all
 236         references to use struct string functions.
 237         (cut_field) Change interface to avoid needing "end_blank", by
 238         getting the data-reader to remember that state for us.  Change
 239         internals to use substring.  Update both callers.
 240
 241         * data-reader.c (read_file_record): Use ds_read_stream().
 242         (dfm_get_record) Change interface to return substring.  Updated
 243         all callers.
 244         (dfm_expand_tabs) Use ds_find_char().  Now maintain position
 245         relative to end-of-line.  Use ds_swap().
 246         (dfm_reread_record) Don't limit position by line length.
 247         (dfm_column_start) Make parameter const.
 248         (dfm_columns_past_end) New function.
 249         (dfm_get_column) New function.
 250
 251 Thu May 25 18:26:26 WST 2006 John Darrington <john@darrington.wattle.id.au>
 252
 253         * print.c (print_trns_free): Made the code agree with the comment, by
 254         not freeing PRT.  Has the side effect that the command no longer
 255         crashes on invalid syntax.
 256
 257 Tue May  9 20:55:46 2006  Ben Pfaff  <blp@gnu.org>
 258
 259         * get.c (cmd_match_files): Fix memory leak replacing default_dict.
 260
 261 Sat May  6 22:25:09 2006  Ben Pfaff  <blp@gnu.org>
 262
 263         Fix segfault.
 264
 265         * list.q (write_fallback_headers): (write_fallback_headers)
 266         Properly record width of leader and pass it to write_varname().
 267
 268 Sat May  6 19:03:13 2006  Ben Pfaff  <blp@gnu.org>
 269
 270         * get.c: (mtf_merge_dictionary) Fix value label memory leak.
 271
 272 Sat May  6 13:51:16 2006  Ben Pfaff  <blp@gnu.org>
 273
 274         Use a casefile, instead of a case sink, for MATCH FILES output.
 275         It's more straightforward, although it has the same effect.
 276
 277         * get.c: (struct mtf_proc) Replace `sink' case sink member by
 278         `output' casefile member.
 279         (cmd_match_files) Work with casefile instead of sink.
 280         (mtf_processing) Add case to casefile instead of sink.
 281
 282 Sat May  6 10:43:07 2006  Ben Pfaff  <blp@gnu.org>
 283
 284         Continue reforming procedure execution.  In this phase, get rid of
 285         the output code for SPLIT FILE groups in procedure.c, which really
 286         shouldn't be doing any output.  Move it into the individual
 287         procedures instead.  This also adds some flexibility.
 288
 289         * list.q (write_all_headers): Call output_split_file_values().
 290
 291 Wed May  3 23:00:17 2006  Ben Pfaff  <blp@gnu.org>
 292
 293         Continue reforming procedure execution.  In this phase, get rid of
 294         many global variables, consolidating procedure execution in
 295         procedure.c.  Encapsulate transformations in new "struct
 296         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 297         and PROCESS IF from special cases to transformations.
 298
 299         * data-list.c: (data_list_trns_proc) Return TRNS_END_FILE at end
 300         of file.  (Why didn't we do this before?)
 301         (cmd_match_files) Direct procedure output to null sink.
 302         Use discard_variables() instead of indirect version.
 303
 304         * inpt-pgm.c: Use transformation chain.
 305         (struct input_program_pgm) Add trns_chain member.
 306         (cmd_input_program) Initialize trns_chain member and capture
 307         transformations with proc_capture_transformations().
 308         (input_program_source_read) Use trns_chain_execute().
 309         (destroy_input_program) Destroy input chain.
 310
 311 Tue May  2 10:39:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 312
 313         * list.q Changed from using fixed length char buffers to struct
 314         string so that any length variables can be used.
 315
 316 Mon May  1 18:21:19 2006  Ben Pfaff  <blp@gnu.org>
 317
 318         Further clean up the CMD_* command result codes.
 319
 320         * (enum cmd_result_extensions) New.  Add CMD_END_INPUT_PROGRAM and
 321         CMD_END_CASE result codes.
 322         (struct input_program_pgm) Added case_nr, write_case, wc_data
 323         members for use by END CASE transformation.
 324         (emit_END_CASE) New function.
 325         (cmd_input_program) Interpret CMD_END_CASE by outputting an END
 326         CASE transformation.  If none is output by the input program
 327         itself, add one automatically at the end.  Change lack of
 328         variables from warning to error.
 329         (cmd_end_input_program) Return CMD_END_INPUT_PROGRAM instead of
 330         CMD_END_SUBLOOP.
 331         (input_program_source_read) No longer any need to special-case END
 332         CASE.  Handle TRNS_DROP_CASE properly.  Initialize new members in
 333         inp for use by END CASE transformation.
 334         (destroy_input_program) New function.
 335         (input_program_source_destroy) Just call destroy_input_program().
 336         (cmd_end_case) Just return CMD_END_CASE.
 337         (end_case_trns_proc) No longer a stub handled by
 338         input_program_source_read().  Actually output the case and
 339         increment the case number.
 340
 341 Mon May  1 16:06:30 2006  Ben Pfaff  <blp@gnu.org>
 342
 343         Remove vestiges of REPEATING DATA support.
 344
 345         * data-list.c: (struct rpd_num_or_var) Removed.
 346         (struct repeating_data_trns) Removed.
 347         (cmd_repeating_data) Removed.
 348         (find_variable_input_spec) Removed.
 349         (parse_num_or_var) Removed.
 350         (parse_repeating_data) Removed.
 351         (realize_value) Removed.
 352         (struct rpd_parse_info) Removed.
 353         (rpd_parse_record) Removed.
 354         (repeating_data_trns_proc) Removed.
 355         (repeating_data_trns_free) Removed.
 356         (repeating_data_set_write_case) Removed.
 357         (rpd_msg) Removed.
 358
 359         * inpt-pgm.c: (input_program_source_read) Don't deal with
 360         REPEATING DATA.
 361
 362         * data-list.h: Removed.
 363
 364         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Removed
 365         data-list.h.
 366
 367 Mon May  1 15:58:28 2006  Ben Pfaff  <blp@gnu.org>
 368
 369         Remove vestiges of FILE TYPE support.
 370
 371         * data-list.c: (cmd_data_list) Don't check for FILE TYPE.
 372         (cmd_repeating_data) Ditto.
 373
 374         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Remove
 375         file-type.c, file-type.h.
 376
 377         * file-type.c: Removed.
 378
 379         * file-type.h: Removed.
 380
 381 Wed Apr 26 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 382
 383         Improve the way we handle the various parsing "states".  Until now
 384         we've hard-coded the state transitions in the command definition
 385         file, but that's error-prone and, worse, it's redundant--we can
 386         figure out what state we're in anyhow.  We can cleanly handle
 387         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
 388
 389         * data-list.c: (cmd_data_list) Use in_file_type() or
 390         in_input_program() in place of case_source_is_class() or
 391         case_source_is_complex().
 392
 393         * file-type.c: NB: Not really fixed except minimally to compile,
 394         because it doesn't work anyway.
 395         (in_file_type) New function.
 396         (cmd_record_type) No need to check that we're in FILE TYPE.
 397         (cmd_end_file_type) Ditto.
 398         (var file_type_source_class) Make static.
 399
 400         * get.c: (cmd_match_files) Check vfm_source instead of pgm_state.
 401
 402         * inpt-pgm.c: (in_input_program) New function.
 403         (cmd_input_program) Rewrite to include nested command processing
 404         loop.
 405         (cmd_end_input_program) Just return CMD_END_SUBLOOP.
 406         (var input_program_source_class) Make static.
 407         (cmd_end_case) No need to check that we're in INPUT PROGRAM.
 408         (cmd_end_file) Ditto.
 409
 410         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Add
 411         file-type.h, inpt-pgm.h.
 412
 413         * file-type.h: New file.
 414
 415         * inpt-pgm.h: New file.
 416
 417 Tue Apr 25 13:11:55 2006  Ben Pfaff  <blp@gnu.org>
 418
 419         * print.c: Don't special-case MS-DOS line terminators.
 420         (macro LINE_END_WIDTH) Removed.
 421         (alloc_line) Line ends are 1 byte.
 422         (print_trns_proc) Just output \n for line end.
 423
 424 Sun Apr 23 22:05:58 2006  Ben Pfaff  <blp@gnu.org>
 425
 426         Continue reforming error message support.  In this phase, get rid
 427         of message "titles" and put the message text in `struct error'.
 428         Now `struct error' encapsulates a message more properly.
 429
 430         * data-list.c: (macro RPD_ERR) Removed.
 431         (rpd_msg) New function.  Updated all references to tmsg() to call
 432         this function instead.
 433
 434 Sat Apr 15 19:38:13 2006  Ben Pfaff  <blp@gnu.org>
 435
 436         Remove last users of struct file_ext so we can get rid of it
 437         entirely.
 438
 439         * data-reader.c: (struct dfm_reader) Change file member from
 440         struct file_ext to FILE *.  Updated all references.
 441         (dfm_close_reader) Close file with fn_close() instead of
 442         fn_close_ext().  Also, make a copy of the file name from the file
 443         handle before closing it, because we can't extract it after we
 444         close the file.
 445         (dfm_open_reader) Open file with fn_open() instead of
 446         fn_open_ext().
 447
 448         * data-writer.c: (struct dfm_writer) Change file member
 449         struct file_ext to FILE *.  Updated all references.
 450         (dfm_close_writer) Close file with fn_close() instead of
 451         fn_close_ext().  Also, make a copy of the file name from the file
 452         handle before closing it, because we can't extract it after we
 453         close the file.
 454         (dfm_open_writer) Open file with fn_open() instead of
 455         fn_open_ext().
 456
 457 Sat Apr 15 18:00:32 2006  Ben Pfaff  <blp@gnu.org>
 458
 459         * data-list.c: Add prototype to suppress warning for
 460         cmd_repeating_data().
 461
 462 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 463
 464         * Moved files from src directory