src/language/data-io/ChangeLog

   1 2007-08-12  Ben Pfaff  <blp@gnu.org>
   2
   3         * get.c (struct case_map): Move into new file src/data/case-map.c.
   4         (start_case_map): Ditto, and rename case_map_prepare_dict.
   5         (finish_case_map): Ditto, and rename case_map_from_dict.
   6         (map_case): Ditto, and rename case_map_execute.
   7         (destroy_case_map): Ditto, and rename case_map_destroy.
   8         (case_map_get_value_cnt): Ditto.
   9
  10 2007-08-12  Ben Pfaff  <blp@gnu.org>
  11
  12         * get.c (case_map_get_value_cnt): New function.
  13
  14 2007-07-25  Ben Pfaff  <blp@gnu.org>
  15
  16         Fix bug #17100.
  17         * data-list.c (read_from_data_list_fixed): Handle multi-record
  18         DATA LIST correctly.
  19
  20 2007-07-11  Ben Pfaff  <blp@gnu.org>
  21
  22         * get.c (map_case): Create destination case instead of leaving it
  23         undefined.  Fixes bug #20285.
  24         Reviewed by John Darrington.
  25
  26 2007-06-06  Ben Pfaff  <blp@gnu.org>
  27
  28         * get.c: Essentially rewrite MATCH FILES to support FIRST and
  29         LAST.
  30
  31 2007-06-06  Ben Pfaff  <blp@gnu.org>
  32
  33         Adapt case sources, sinks, and clients of procedure code to the
  34         new infrastructure.
  35
  36         * data-list.c: Make DATA LIST into a casereader.
  37
  38         * get.c: Change GET, IMPORT, SAVE, EXPORT to use casereaders,
  39         casewriters.
  40
  41         * inpt-pgm.c: Use caseinit code.  Turn INPUT PROGRAM into a
  42         casereader.
  43
  44         * list.q: Adapt to new procedure code.
  45
  46 2007-05-06  Ben Pfaff  <blp@gnu.org>
  47
  48         Abstract the documents within a dictionary a little better.
  49         Thanks to John Darrington for suggestion, initial version, and
  50         review.  Patch #5917.
  51
  52         * get.c (mtf_merge_dictionary): Simplify creating merged document.
  53
  54         * sys-file-info.c (display_documents): Use new
  55         dict_get_document_line_cnt and dict_get_document_line functions.
  56
  57 Thu Feb  1 16:56:02 2007  Ben Pfaff  <blp@gnu.org>
  58
  59         * file-handle.q (fh_parse): Update to new fh_create_file
  60         prototype.
  61
  62 Sat Dec 16 22:16:18 2006  Ben Pfaff  <blp@gnu.org>
  63
  64         Make it possible to pull cases from the active file with a
  65         function call, instead of requiring indirection through a callback
  66         function.
  67
  68         * automake.mk: Removed matrix-data.c.
  69
  70         * matrix-data.c: Removed.
  71
  72         * data-list.c (data_list_source_read): Conform with new
  73         case_source_class interface.
  74         (data_list_source_destroy): Ditto.
  75
  76         * get.c (case_reader_source_class): Ditto.
  77         (case_reader_source_destroy): Ditto.
  78         (parse_output_proc): Take advantage of new procedure interface.
  79         (output_proc): Removed.
  80         (struct mtf_file): Add "struct ccase *" member to allow use of new
  81         procedure interface.
  82         (cmd_match_files): Take advantage of new procedure interface.
  83         (mtf_processing_finish): Removed.
  84         (mtf_read_nonactive_records): Renamed mtf_read_records.  Now reads
  85         from every file, without any exception for the active file.
  86         (mtf_compare_BY_values): Simplify for new interface.
  87         (mtf_processing): Simplify for new interface.
  88
  89         * inpt-pgm.c (is_valid_state): New function.
  90         (input_program_source_read): Conform with new case_source_class
  91         interface.
  92         (input_program_source_destroy): Ditto.
  93         (end_case_trns_proc): Now just needs to return TRNS_END_CASE.
  94
  95 Sat Dec  9 18:43:34 2006  Ben Pfaff  <blp@gnu.org>
  96
  97         * list.q (cmd_list): Use new var_create, var_destroy functions.
  98
  99 Thu Nov 30 21:51:58 2006  Ben Pfaff  <blp@gnu.org>
 100
 101         * inpt-pgm.c (cmd_reread): Always return error code upon detecting
 102         syntax error.  Fixes bug #18419.  Thanks to John Darrington for
 103         reporting this bug.
 104
 105 Sun Nov 19 09:17:45 2006  Ben Pfaff  <blp@gnu.org>
 106
 107         * data-list.c (parse_free): Follow documented (but odd) rule that
 108         N format is treated as F format for free-field input.
 109
 110         * data-reader.c (read_file_record): Drop new-line character from
 111         input text lines.  This is symmetrical with the recently changed
 112         dfm_put_record semantics.
 113
 114 Thu Nov  2 20:56:03 2006  Ben Pfaff  <blp@gnu.org>
 115
 116         Implement SKIP keyword on DATA LIST.  Fixes bug #17099.
 117
 118         * data-list.c: (struct data_list_pgm) Add `skip_records' members.
 119         (cmd_data_list) Set skip_records based on user input.
 120         (data_list_source_read) Skip records requested by user.
 121
 122 Tue Oct 31 20:04:06 2006  Ben Pfaff  <blp@gnu.org>
 123
 124         * placement-parser.c: (PRS_TYPE_T) Now that struct fmt_spec uses
 125         an enum fmt_type for its type member, we can't depend on the
 126         ability to put negative values into that member as out-of-band
 127         values, because enum fmt_type might be an unsigned type.  So use
 128         values around SCHAR_MAX instead, because we know that SCHAR_MAX
 129         will fit into any type, signed or unsigned, and there aren't
 130         nearly that many format types.
 131         (parse_var_placements) Add for_input parameter to specify whether
 132         we're parsing input or output formats.  Update all callers.
 133         (fixed_parse_columns) Ditto.
 134         (fixed_parse_fortran) Ditto.
 135
 136 Tue Oct 31 18:21:48 2006  Ben Pfaff  <blp@gnu.org>
 137
 138         * print-space.c (print_space_trns_proc): Let dfm_put_record add
 139         the new-line character, to match dfm_put_record change below.
 140
 141 Sat Oct 28 11:57:19 2006  Ben Pfaff  <blp@gnu.org>
 142
 143         * data-writer.c (struct dfm_writer): Removed `bounce' member, and
 144         all references to it.
 145         (dfm_put_record) Change semantics so that it adds formatting
 146         itself, such as new-line characters, instead of putting that
 147         responsibility on the caller.  Also, pad binary records with
 148         spaces instead of zeros, for compatibility.
 149
 150         * print.c (struct prt_out_spec) New member `sysmis_as_spaces'.
 151         (struct print_trns) Remove `omit_new_lines' and all references,
 152         since dfm_put_record() is taking care of that.  Add
 153         `include_prefix'.
 154         (internal_cmd_print) Allow an empty set of data to print.  Set
 155         include_prefix.
 156         (parse_specs) Allow an empty set of data to print.
 157         (parse_variable_argument) Only add space with PRINT command.  Set
 158         sysmis_as_spaces.
 159         (print_trns_proc) Indent records if include_prefix is set, for
 160         compatibility.  Output SYSMIS as spaces if sysmis_as_spaces is
 161         set.  Put "1" in first column if PRINT EJECT is used with an
 162         external output file.
 163         (flush_records) Ditto.
 164
 165 Sat Oct 28 16:19:57 WST 2006 John Darrington <john@darrington.wattle.id.au>
 166
 167         * data-reader.c: Eliminated references to extern variable getl_buf
 168
 169 Sat Aug  5 08:25:07 2006  Ben Pfaff  <blp@gnu.org>
 170
 171         Fix bug #17329 in REREAD parsing, reported by John Darrington.
 172
 173         * inpt-pgm.c (cmd_reread): Fix file handle parsing.
 174
 175 Mon Jul 31 10:32:31 2006  Ben Pfaff  <blp@gnu.org>
 176
 177         * print.c (parse_specs): Allow a comma between specifications.
 178
 179 Sun Jul 16 19:57:10 2006  Ben Pfaff  <blp@gnu.org>
 180
 181         * automake.mk: (src_language_data_io_libdata_io_a_SOURCE) Add
 182         print-space.c, placement-parser.c, placement-parser.h.
 183
 184         * data-list.c: Basically rewrote the whole thing.  Broke out a lot
 185         of code into placement-parser.c.  Code is much cleaner now.
 186
 187         * placement-parser.c: New file.
 188
 189         * placement-parser.h: New file.
 190
 191         * print.c: Basically rewrote the whole thing.  Broke out PRINT
 192         SPACE into print-space.c.  Code is much cleaner now.
 193
 194         * print-space.c: New file.
 195
 196 Sat Jul  1 17:39:40 2006  Ben Pfaff  <blp@gnu.org>
 197
 198         Fix bug #11612, "q2c documentation does not agree with code".
 199
 200         * list.q: Audit use of q2c "+" prefixes that indicate that a
 201         command may appear multiple times.
 202
 203 Sat Jul  1 20:44:22 2006  Ben Pfaff  <blp@gnu.org>
 204
 205         Fix bug #15786: System File Creation crashes if directoy is
 206         nonexistent.
 207
 208         * get.c (parse_write_command): Check that the any_writer open
 209         succeeds.
 210
 211 Tue Jun 27 22:44:28 2006  Ben Pfaff  <blp@gnu.org>
 212
 213         Fix regression in command name completion reported by John
 214         Darrington.  Now completion is again state-dependent and occurs
 215         only on the first line of a command.
 216
 217         * inpt-pgm.c: (cmd_input_program) Reading of first token in
 218         command moved into cmd_parse.
 219
 220 Fri Jun  9 13:56:00 2006  Ben Pfaff  <blp@gnu.org>
 221
 222         Reform string library.
 223
 224         * matrix-data.c (context): Use dynamic string.
 225         (another_token) Deal with changed dfm_get_record() interface.
 226         (mget_token) Ditto.
 227         (force_eol) Ditto.
 228
 229         * data-list.c (struct data_list_pgm) Delete delims, delim_cnt
 230         members, replacing them by struct string delims.  Update all
 231         references to use struct string functions.
 232         (cut_field) Change interface to avoid needing "end_blank", by
 233         getting the data-reader to remember that state for us.  Change
 234         internals to use substring.  Update both callers.
 235
 236         * data-reader.c (read_file_record): Use ds_read_stream().
 237         (dfm_get_record) Change interface to return substring.  Updated
 238         all callers.
 239         (dfm_expand_tabs) Use ds_find_char().  Now maintain position
 240         relative to end-of-line.  Use ds_swap().
 241         (dfm_reread_record) Don't limit position by line length.
 242         (dfm_column_start) Make parameter const.
 243         (dfm_columns_past_end) New function.
 244         (dfm_get_column) New function.
 245
 246 Thu May 25 18:26:26 WST 2006 John Darrington <john@darrington.wattle.id.au>
 247
 248         * print.c (print_trns_free): Made the code agree with the comment, by
 249         not freeing PRT.  Has the side effect that the command no longer
 250         crashes on invalid syntax.
 251
 252 Tue May  9 20:55:46 2006  Ben Pfaff  <blp@gnu.org>
 253
 254         * get.c (cmd_match_files): Fix memory leak replacing default_dict.
 255
 256 Sat May  6 22:25:09 2006  Ben Pfaff  <blp@gnu.org>
 257
 258         Fix segfault.
 259
 260         * list.q (write_fallback_headers): (write_fallback_headers)
 261         Properly record width of leader and pass it to write_varname().
 262
 263 Sat May  6 19:03:13 2006  Ben Pfaff  <blp@gnu.org>
 264
 265         * get.c: (mtf_merge_dictionary) Fix value label memory leak.
 266
 267 Sat May  6 13:51:16 2006  Ben Pfaff  <blp@gnu.org>
 268
 269         Use a casefile, instead of a case sink, for MATCH FILES output.
 270         It's more straightforward, although it has the same effect.
 271
 272         * get.c: (struct mtf_proc) Replace `sink' case sink member by
 273         `output' casefile member.
 274         (cmd_match_files) Work with casefile instead of sink.
 275         (mtf_processing) Add case to casefile instead of sink.
 276
 277 Sat May  6 10:43:07 2006  Ben Pfaff  <blp@gnu.org>
 278
 279         Continue reforming procedure execution.  In this phase, get rid of
 280         the output code for SPLIT FILE groups in procedure.c, which really
 281         shouldn't be doing any output.  Move it into the individual
 282         procedures instead.  This also adds some flexibility.
 283
 284         * list.q (write_all_headers): Call output_split_file_values().
 285
 286 Wed May  3 23:00:17 2006  Ben Pfaff  <blp@gnu.org>
 287
 288         Continue reforming procedure execution.  In this phase, get rid of
 289         many global variables, consolidating procedure execution in
 290         procedure.c.  Encapsulate transformations in new "struct
 291         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 292         and PROCESS IF from special cases to transformations.
 293
 294         * data-list.c: (data_list_trns_proc) Return TRNS_END_FILE at end
 295         of file.  (Why didn't we do this before?)
 296         (cmd_match_files) Direct procedure output to null sink.
 297         Use discard_variables() instead of indirect version.
 298
 299         * inpt-pgm.c: Use transformation chain.
 300         (struct input_program_pgm) Add trns_chain member.
 301         (cmd_input_program) Initialize trns_chain member and capture
 302         transformations with proc_capture_transformations().
 303         (input_program_source_read) Use trns_chain_execute().
 304         (destroy_input_program) Destroy input chain.
 305
 306 Tue May  2 10:39:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
 307
 308         * list.q Changed from using fixed length char buffers to struct
 309         string so that any length variables can be used.
 310
 311 Mon May  1 18:21:19 2006  Ben Pfaff  <blp@gnu.org>
 312
 313         Further clean up the CMD_* command result codes.
 314
 315         * (enum cmd_result_extensions) New.  Add CMD_END_INPUT_PROGRAM and
 316         CMD_END_CASE result codes.
 317         (struct input_program_pgm) Added case_nr, write_case, wc_data
 318         members for use by END CASE transformation.
 319         (emit_END_CASE) New function.
 320         (cmd_input_program) Interpret CMD_END_CASE by outputting an END
 321         CASE transformation.  If none is output by the input program
 322         itself, add one automatically at the end.  Change lack of
 323         variables from warning to error.
 324         (cmd_end_input_program) Return CMD_END_INPUT_PROGRAM instead of
 325         CMD_END_SUBLOOP.
 326         (input_program_source_read) No longer any need to special-case END
 327         CASE.  Handle TRNS_DROP_CASE properly.  Initialize new members in
 328         inp for use by END CASE transformation.
 329         (destroy_input_program) New function.
 330         (input_program_source_destroy) Just call destroy_input_program().
 331         (cmd_end_case) Just return CMD_END_CASE.
 332         (end_case_trns_proc) No longer a stub handled by
 333         input_program_source_read().  Actually output the case and
 334         increment the case number.
 335
 336 Mon May  1 16:06:30 2006  Ben Pfaff  <blp@gnu.org>
 337
 338         Remove vestiges of REPEATING DATA support.
 339
 340         * data-list.c: (struct rpd_num_or_var) Removed.
 341         (struct repeating_data_trns) Removed.
 342         (cmd_repeating_data) Removed.
 343         (find_variable_input_spec) Removed.
 344         (parse_num_or_var) Removed.
 345         (parse_repeating_data) Removed.
 346         (realize_value) Removed.
 347         (struct rpd_parse_info) Removed.
 348         (rpd_parse_record) Removed.
 349         (repeating_data_trns_proc) Removed.
 350         (repeating_data_trns_free) Removed.
 351         (repeating_data_set_write_case) Removed.
 352         (rpd_msg) Removed.
 353
 354         * inpt-pgm.c: (input_program_source_read) Don't deal with
 355         REPEATING DATA.
 356
 357         * data-list.h: Removed.
 358
 359         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Removed
 360         data-list.h.
 361
 362 Mon May  1 15:58:28 2006  Ben Pfaff  <blp@gnu.org>
 363
 364         Remove vestiges of FILE TYPE support.
 365
 366         * data-list.c: (cmd_data_list) Don't check for FILE TYPE.
 367         (cmd_repeating_data) Ditto.
 368
 369         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Remove
 370         file-type.c, file-type.h.
 371
 372         * file-type.c: Removed.
 373
 374         * file-type.h: Removed.
 375
 376 Wed Apr 26 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 377
 378         Improve the way we handle the various parsing "states".  Until now
 379         we've hard-coded the state transitions in the command definition
 380         file, but that's error-prone and, worse, it's redundant--we can
 381         figure out what state we're in anyhow.  We can cleanly handle
 382         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
 383
 384         * data-list.c: (cmd_data_list) Use in_file_type() or
 385         in_input_program() in place of case_source_is_class() or
 386         case_source_is_complex().
 387
 388         * file-type.c: NB: Not really fixed except minimally to compile,
 389         because it doesn't work anyway.
 390         (in_file_type) New function.
 391         (cmd_record_type) No need to check that we're in FILE TYPE.
 392         (cmd_end_file_type) Ditto.
 393         (var file_type_source_class) Make static.
 394
 395         * get.c: (cmd_match_files) Check vfm_source instead of pgm_state.
 396
 397         * inpt-pgm.c: (in_input_program) New function.
 398         (cmd_input_program) Rewrite to include nested command processing
 399         loop.
 400         (cmd_end_input_program) Just return CMD_END_SUBLOOP.
 401         (var input_program_source_class) Make static.
 402         (cmd_end_case) No need to check that we're in INPUT PROGRAM.
 403         (cmd_end_file) Ditto.
 404
 405         * automake.mk (src_language_data_io_libdata_io_a_SOURCES): Add
 406         file-type.h, inpt-pgm.h.
 407
 408         * file-type.h: New file.
 409
 410         * inpt-pgm.h: New file.
 411
 412 Tue Apr 25 13:11:55 2006  Ben Pfaff  <blp@gnu.org>
 413
 414         * print.c: Don't special-case MS-DOS line terminators.
 415         (macro LINE_END_WIDTH) Removed.
 416         (alloc_line) Line ends are 1 byte.
 417         (print_trns_proc) Just output \n for line end.
 418
 419 Sun Apr 23 22:05:58 2006  Ben Pfaff  <blp@gnu.org>
 420
 421         Continue reforming error message support.  In this phase, get rid
 422         of message "titles" and put the message text in `struct error'.
 423         Now `struct error' encapsulates a message more properly.
 424
 425         * data-list.c: (macro RPD_ERR) Removed.
 426         (rpd_msg) New function.  Updated all references to tmsg() to call
 427         this function instead.
 428
 429 Sat Apr 15 19:38:13 2006  Ben Pfaff  <blp@gnu.org>
 430
 431         Remove last users of struct file_ext so we can get rid of it
 432         entirely.
 433
 434         * data-reader.c: (struct dfm_reader) Change file member from
 435         struct file_ext to FILE *.  Updated all references.
 436         (dfm_close_reader) Close file with fn_close() instead of
 437         fn_close_ext().  Also, make a copy of the file name from the file
 438         handle before closing it, because we can't extract it after we
 439         close the file.
 440         (dfm_open_reader) Open file with fn_open() instead of
 441         fn_open_ext().
 442
 443         * data-writer.c: (struct dfm_writer) Change file member
 444         struct file_ext to FILE *.  Updated all references.
 445         (dfm_close_writer) Close file with fn_close() instead of
 446         fn_close_ext().  Also, make a copy of the file name from the file
 447         handle before closing it, because we can't extract it after we
 448         close the file.
 449         (dfm_open_writer) Open file with fn_open() instead of
 450         fn_open_ext().
 451
 452 Sat Apr 15 18:00:32 2006  Ben Pfaff  <blp@gnu.org>
 453
 454         * data-list.c: Add prototype to suppress warning for
 455         cmd_repeating_data().
 456
 457 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 458
 459         * Moved files from src directory