gui: Fix behavior of print preview in psppire-output-window.
[pspp] / src / data / OChangeLog
1 2008-07-25  Ben Pfaff  <blp@gnu.org>
2
3         * casereader-translator.c (struct casereader_arithmetic_sequence):
4         New struct.
5         (casereader_create_arithmetic_sequence): New function.
6         (cas_translate): New function.
7         (cas_destroy): New function.
8
9 2008-07-26  John Darrington <john@darrington.wattle.id.au>
10
11         * case-ordering.c case-ordering.h: Removed the value_cnt
12         associated with the ordering structure.
13
14 2008-07-16  Jason Stover  <jhs@math.gcsu.edu>
15
16         * category.c (cat_get_category_count): New function.
17
18 2008-05-15  Ben Pfaff  <blp@gnu.org>
19
20         Patch #6512.
21
22         * data-out.c (output_infinite): Use gsl_isnan instead of isnan,
23         and gsl_isinf instead of isinf, as a stopgap measure for
24         portability until appropriate gnulib modules are available.
25
26         * por-file-writer.c (format_trig_double): Similarly, use
27         gsl_finite instead of finite.
28
29 2008-03-18  John Darrington <john@darrington.wattle.id.au>
30
31         * data-in.c: If category is custom currency, then use
32         numeric format for input.
33
34 2008-03-06  Ben Pfaff  <blp@gnu.org>
35
36         * dictionary.c (var_name_is_insertable): New function.
37         (make_hinted_name): Don't accept variable names that match PSPP
38         keywords.  Thanks to Jason Stover for reporting the problem.
39
40 2008-03-06  Ben Pfaff  <blp@gnu.org>
41
42         * format-guesser.c (syntax): Require month names to be spelled out
43         as English words, so that single characters that happen to be
44         Roman numerals don't get detected as months.  Thanks to John
45         Darrington for reporting this bug.
46
47 2008-03-04  Ben Pfaff  <blp@gnu.org>
48
49         Patch #6441.  Reviewed by John Darrington.
50
51         * format.c (fmt_fix): New function.
52         (fmt_fix_input): New function.
53         (fmt_fix_output): New function.
54
55         * format.def: Correct minimum width for DATETIME format.  It was
56         7, should have been 17.
57
58         * automake.mk: Add new files.
59
60         * format-guesser.c: New file.
61
62         * format-guesser.h: New file.
63
64 2008-02-18  Ben Pfaff  <blp@gnu.org>
65
66         Patch #6426.  Reviewed by John Darrington.
67         
68         * format.c (min_width): Renamed fmt_min_width and made public.
69         Updated all references.
70         (max_width): Renamed fmt_max_width and made public.  Updated all
71         references.
72         (max_decimals): Renamed fmt_max_decimals and made public.  Updated
73         all references.
74         (var_create): Use the new functions for default variable
75         attributes below.
76         (var_default_formats): New function.
77         (var_default_measure): New function.
78         (var_default_alignment): New function.
79
80         * format.h (macro FMT_MAX_NUMERIC_WIDTH): New macro.
81
82 2008-02-09  Ben Pfaff  <blp@gnu.org>
83
84         Add a couple of extensions to GET DATA TYPE=TXT.  Patch #6412.
85         Thanks to John Darrington for review.
86
87         * data-in.c (data_in): Add new argument to designate the last
88         column of the data field being parsed, for use in error messages.
89         Update all callers.
90
91         * data-parser (struct data_parser): New member `quote_escape'.
92         (data_parser_create): Initialize quote_escape.
93         (data_parser_set_quotes): New function.
94         (cut_field): Support escaped quotes.
95         (parse_delimited_span): Ditto.
96         (parse_delimited_no_span): Ditto.
97
98         * get-data.c (parse_get_txt): Support ESCAPE extension subcommand
99         in enhanced mode.  Only support multiple quote characters in
100         enhanced mode.
101
102 2008-02-06  John Darrington <john@darrington.wattle.id.au>
103
104         psql-reader.c psql-reader.h: Read more than one tuple at
105         once.  Fix bug reading a query which returns no data. Fix bug
106         when transformation followed a reader.
107         Ask the server for the number of records in the query, for the
108         benefit of the gui.
109
110 2008-02-05  John Darrington <john@darrington.wattle.id.au>
111
112         psql-reader.c: So yesterday they release postgresql 8.3.0
113         which has money represented with 64 bits.  They must get
114         paid more than me.
115
116 2008-02-02  John Darrington <john@darrington.wattle.id.au>
117
118         psql-reader.c psql-reader.h: New files.  Thanks to Ben Pfaff
119         for reviewing this code.
120         
121 2008-02-02  Ben Pfaff  <blp@gnu.org>
122
123         Patch #6347.
124
125         * sys-file-reader.c (read_variable_record): Allow missing values
126         to be specified on long string variables, but warn about them
127         because PSPP does not yet support them.
128         (read_extension_record): Ignore extension records 20 and 21, which
129         PSPP does not yet support.
130         (read_header): Fix error message when floating-point format cannot
131         be identified.
132
133 2008-02-01  Ben Pfaff  <blp@gnu.org>
134
135         Patch #6386.  Thanks to John Darrington for review and for the
136         updates to gnumeric-reader.c.
137
138         * dictionary.c (make_hinted_name): New function.
139         (make_numeric_name): New function.
140         (dict_make_unique_var_name): New function.
141
142         * gnumeric-reader.c (devise_name): Removed.
143         (munge_name): Removed.
144         (gnumeric_open_reader): Use new function
145         dict_make_unique_var_name.
146
147         * short-names.c (set_var_short_name_suffix): Use new function
148         str_format_26adic.
149
150 2008-01-19  John Darrington <john@darrington.wattle.id.au>
151
152         * settings.c settings.h: Moved static variables into a 
153         single struct.  Renamed functions to have a settings_ prefix.
154
155 2008-01-14  John Darrington <john@darrington.wattle.id.au>
156
157         * data-out.c (output_AHEX): Corrected number of bytes in
158         call to output_hex.  Closes bug #22011
159
160 2008-01-02  John Darrington <john@darrington.wattle.id.au>
161
162         * variable.c variable.h: Replaced var_get_value_name with 
163         var_append_value_name which doesn't use any static data.
164         Thanks to Ben for review.
165
166 2007-12-07  Ben Pfaff  <blp@gnu.org>
167
168         Patch #6302.
169
170         * casegrouper.c (casegrouper_get_next_group): Cause a casegrouper
171         made from an empty casereader produce a casegrouper with no
172         groups, instead of one with one group that has no cases.
173
174         * casereader.c (casereader_is_empty): New function.
175
176 2007-12-06  Ben Pfaff  <blp@gnu.org>
177
178         Patch #6303.
179
180         * sys-file-reader.c (read_display_parameters): Handle variable
181         display parameters record with only 2 data items per variable.
182         Reported by Guido Gay <gay@irer.it>.
183
184 2007-12-04  Ben Pfaff  <blp@gnu.org>
185
186         * identifier.c (lex_id_match_n): New function.
187         (lex_id_match): Reimplement in terms of lex_id_match_n.
188
189 2007-11-24  Ben Pfaff  <blp@gnu.org>
190
191         * automake.mk (src_data_libdata_a_SOURCES): Add val-type.h, to fix
192         make distcheck.
193
194 2007-11-24  Ben Pfaff  <blp@gnu.org>
195
196         Fix warning reported when reading back system files that include
197         very long string variables.  Thanks to Guido Gay <gay@irer.it> for
198         reporting this bug.
199
200         * short-names.c (short_names_assign): Fix dumb typo, in which `i'
201         was written where `j' was meant.
202
203 2007-11-18  Ben Pfaff  <blp@gnu.org>
204
205         Properly write variables that include a range of missing values to
206         system files.  Thanks to Guido Gay <gay@irer.it> for reporting
207         this bug.
208
209         * sys-file-writer.c (write_variable): Correctly calculate
210         n_missing_values field when writing variables that include a range
211         of missing values.
212
213 2007-11-10  Ben Pfaff  <blp@gnu.org>
214
215         Cleanups and bug fixes devised while writing up documentation.
216         Patch #6262.
217
218         * automake.mk (src_data_libdata_a_SOURCES): Add new files.
219
220         * dict-class.c: New file.
221         (dict_class_from_id): Move here.
222         (dict_class_to_name): Move here.
223
224         * dict-class.h: New file.
225         (enum dict_class): Move here.  Change from consecutive integers to
226         consecutive bits, to make testing for any of multiple values
227         easier.  Add new DC_ALL constant.
228
229         * dictionary.c (struct dictionary): Change `case_limit' from
230         size_t to casenumber.
231         (dict_get_vars): Make final argument an enum dict_class.
232         (dict_get_vars_mutable): Ditto.
233         (dict_get_case_limit): Change return value to casenumber.
234         (dict_set_case_limit): Change final argument to a casenumber.
235         (dict_unset_split_var): Add assertion.  Rephrase slightly.
236         (dict_set_label): Use xstrndup to simplify.
237
238         * format.c (fmt_step_width): AHEX format also needs 2-byte
239         stepping.
240         (fmt_set_style): Simplify assertions.
241
242         * missing-values.c (mv_add_num_range): Rename mv_add_range.
243         Simplify implementation.
244         (mv_has_value): Simplify implementation.
245         (mv_pop_value): Remove the first value, not the last, to avoid
246         having GET followed by SAVE reverse the order of missing values.
247         (mv_peek_value): Rename mv_get_value.  Simplify assertion.
248         (mv_has_range): Simplify implementation.
249         (mv_peek_range): Rename mv_get_range.
250         (can_resize_string): Removed.
251         (mv_is_resizable): Use value_is_resizable.
252         (mv_resize): Use value_resize.
253
254         * short-names.h (SHORT_NAME_LEN): Move here.
255
256         * val-type.h: New file, for definitions related to type and width
257         of abstract values.  Before, these definitions were mixed among
258         those related to "union value" and those related to variables.
259         (macro SYSMIS): Move here.
260         (macro LOWEST): Move here.
261         (macro HIGHEST): Move here.
262         (macro MAX_STRING); Move here.
263         (enum val_type): New enum with values VAL_NUMERIC and VAL_STRING.
264         Replaces enum var_type that had values VAR_NUMERIC and VAR_STRING.
265         All references updated.
266         (val_type_is_valid): New function.  Replaces var_type_is_valid.
267         All references updated.
268         (val_type_from_width): New function.  Replaces
269         var_type_from_width.  All references updated.
270
271         * value-labels.c (val_labs_copy): Renamed val_labs_clone.  All
272         references updated.
273         (val_labs_can_set_width): Use value_is_resizable.
274         (val_labs_add): Simply return false if the value labels set is too
275         wide, instead of having undefined behavior.
276         (val_labs_replace): Ditto.
277         (val_labs_replace): Ditto.
278         (val_labs_first): Set iterator to null if iteration is complete.
279         (val_labs_first_sorted): Ditto.
280         (val_labs_done): Become a no-op if the iterator is null.
281
282         * value.c (value_is_resizable): New function.
283         (value_resize): New function.
284
285         * variable.c (var_get_dict_class): New function.
286
287         * variable.h (macro LONG_NAME_LEN): Rename VAR_NAME_LEN.  Update
288         all references.
289
290 2007-11-08  Ben Pfaff  <blp@gnu.org>
291
292         * data-in.c: Make formatted data parsing locale-independent.
293         (parse_number): Use c_strtod instead of strtod, to avoid
294         locale-specific behavior.
295         (parse_Z): Ditto.
296
297 2007-11-06  Ben Pfaff  <blp@gnu.org>
298
299         Patch #6256: add support for binary, 360 file formats.  Reviewed
300         by John Darrington.
301
302         * data-in.c (struct data_in): Add `encoding' member.
303         (data_in): Add `encoding' parameter, and re-encode the data passed
304         in where appropriate.  Update all callers to pass it in.
305         (parse_A): Implement EBCDIC recoding wart described in manual.
306         (parse_AHEX): Implement EBCDIC recoding.
307
308         * data-out.c (data_out_legacy): New function.
309         (data_out): Make into a wrapper around data_out_legacy.
310
311         * file-handle-def.c (struct file_handle): New member `encoding'.
312         (fh_create_file): Set encoding.
313         (fh_default_properties): Set default encoding.
314         (fh_get_legacy_encoding): New function.
315
316         * file-handle-def.h (enum fh_mode): New modes FH_MODE_FIXED
317         (that replaces FH_MODE_BINARY), FH_MODE_VARIABLE,
318         FH_MODE_360_VARIABLE, FH_MODE_360_SPANNED.
319         (struct fh_properties): New member `encoding'.
320
321 2007-11-05  Ben Pfaff  <blp@gnu.org>
322
323         Patch #6258.  Reviewed by John Darrington.
324
325         * file-handle-def.c (fh_lock): Add comment that TYPE should be
326         marked with N_() in the caller.  Added these markings to each
327         caller too.  Should make i18n easier.
328         Suggested by Chusslove Illich <caslav.ilic@gmx.net>.
329
330 2007-11-03  Ben Pfaff  <blp@gnu.org>
331
332         Allow output files to overwrite input files (bug #21280).
333
334         * file-handle-def.c: Separate locking of files for input and for
335         output, to allow both to take place at once.  Also, distinguish a
336         file handle from the identity of the underlying file, because the
337         identity of a file changes over time and the file handle can't
338         represent two different identities.
339         (struct file_handle): Remove `next', `open_cnt', `deleted',
340         `type', `open_mode', `aux', `identity' members.  Change `id' from
341         char array to char *.  Add `ref_cnt' member.
342         (file_handle_from_ll) New function.
343         (file_handles) Removed.
344         (named_handles) New variable.
345         (fh_init) Initialize named_handles.
346         (fh_done) Remove name from all named_handles.
347         (free_handle) Updated for modified struct file_handle.
348         (unname_handle) New function.
349         (fh_ref) New function.
350         (fh_from_file_name) Removed.
351         (fh_unref) New function.
352         (fh_unname) New function.
353         (fh_from_id) Rewritten.
354         (create_handle) Updated for modified struct file_handle.
355         (fh_inline_file) Increment the handle's ref count.
356         (fh_create_file) Updated for modified struct file_handle.
357         (fh_create_scratch) Ditto.
358         (fh_free) Removed.
359         (mode_name) Removed.
360         (fh_open) Removed.
361         (fh_close) Removed.
362         (fh_is_open) Removed.
363         (fh_get_id) Updated for modified struct file_handle.
364         (fh_get_default_handle) Increment the handle's ref count.
365         (fh_set_default_handle) Handle ref counts.
366         (struct fh_lock) New structure.
367         (locks) New static var.
368         (fh_lock) New function.
369         (fh_unlock) New function.
370         (fh_lock_get_aux) New function.
371         (fh_lock_set_aux) New function.
372         (fh_is_locked) New function.
373         (make_key) New function.
374         (free_key) New function.
375         (compare_fh_locks) New function.
376         (hash_fh_lock) New function.
377
378         * file-handle-def.h (enum fh_access) New enum.
379
380         * file-name.c: Made file_identity the same in all supported
381         environments.
382         (struct file_identity): New `name' member.
383         (fn_get_identity): For a file that doesn't exist, get the
384         dev/inode of its directory plus its name.  If even the directory
385         doesn't exist, just use its name.  Merge the Windows
386         implementation into the Unix one.
387         (fn_compare_file_identities): Rewritten.  Merge the Windows
388         implementation into the Unix one.
389         (fn_hash_identity): New function.
390
391         * make-file.c (struct replace_file): New structure.
392         (all_files): New static var.
393         (replace_file_start): New function.
394         (replace_file_commit): New function.
395         (replace_file_abort): New function.
396         (free_replace_file): New function.
397         (unlink_replace_files): New function.
398
399         * por-file-reader.c (struct pfm_reader): Add `lock' member.
400         (close_reader): Unlock file.
401         (pfm_open_reader): Lock file.
402
403         * por-file-writer.c (struct pfm_writer): Add fh_lock, replace_file
404         members.
405         (pfm_open_writer): Lock file and prepare for its replacement.
406         (close_writer): Unlock file.
407
408         * scratch-handle.h (struct scratch_handle): Add unique_id so that
409         different generations of a scratch file can be distinguished.
410
411         * scratch-reader.c (scratch_reader_open): Verify that the file is
412         a scratch file.
413
414         * scratch-writer.c (struct scratch_writer): Add `lock' and `dict',
415         remove scratch_handle member.
416         (scratch_writer_open): Lock handle.  Prepare to replace handle
417         data, instead of doing it immediately.
418         (scratch_writer_casewriter_destroy): Replace handle data and
419         unlock handle.
420
421         * sys-file-reader.c (struct sfm_reader): Add `lock' member.
422         (sfm_open_reader): Lock file.
423         (close_reader): Unlock file.
424
425         * sys-file-writer.c (struct sfm_writer): Add fh_lock, replace_file
426         members.
427         (sfm_open_writer): Lock file and prepare for its replacement.
428         (close_writer): Unlock file.
429
430 2007-11-02  Ben Pfaff  <blp@gnu.org>
431
432         * data-out.c (output_number): Use isfinite (from C99) instead of
433         gsl_isfinite, since we now have universal support for it in
434         gnulib.
435         (output_infinite): Ditto.
436         [!HAVE_ROUND] (round): Remove definition, since we now have a
437         replacement in gnulib.
438
439 2007-10-27  John Darrington <john@darrington.wattle.id.au>
440
441         * dictionary.c: Fixed bug in dict_clone, where the vardict.dict member
442         wasn't initialised correctly. Closes bugs #21330 and 21397
443
444
445 2007-10-08  Ben Pfaff  <blp@gnu.org>
446
447         Fix bug #21280.  Thanks to John Darrington for review.
448
449         * file-name.c (create_stream): New function.
450
451         * por-file-writer.c (pfm_open_writer): Use fh_open to open the
452         file handle before creating the file, to ensure that we don't
453         truncate a file that we're reading.  Make code easier to read by
454         using create_stream.
455
456         * sys-file-write.c (sfm_open_writer): Ditto.
457
458 2007-10-01  Ben Pfaff  <blp@gnu.org>
459
460         Fix bug #21192.  Thanks to John Darrington for review.
461
462         * casereader.c (casereader_read): Decrement case_cnt before
463         calling the casereader's "read" member function, so that we
464         interact properly with lazy_casereader.
465
466         * datasheet.c: Add regression test for above bug fix.
467         (clone_datasheet): New function.
468         (lazy_callback): New function.
469         (check_datasheet_casereader): New function.
470         (check_datasheet): Check datasheet contents are reported correctly
471         through an ordinary casereader and a lazy casereader.
472         (clone_model): Use clone_datasheet.
473
474 2007-09-24  Ben Pfaff  <blp@gnu.org>
475
476         Patch #6210.  Reviewed by John Darrington.
477         * settings.c: Drop "long view", which is not needed any longer.
478         (static var long_view): Removed.
479         (force_long_view): Removed.
480         (get_viewwidth): Removed.
481         (init_viewport): Removed long_view reference.
482
483 2007-09-19  John Darrington <john@darrington.wattle.id.au>
484         
485         * settings.c settings.h: Changed viewport's length and width to be 
486         owned by the user interface which uses the data library.  This allows
487         better abstraction, and makes dynamically adjustable dimensions easier.
488         
489 2007-09-18  Ben Pfaff  <blp@gnu.org>
490
491         * procedure.c (proc_extract_active_file_data): New function.
492
493         * lazy-casereader.h: New file.
494
495         * lazy-casereader.c: New file.
496
497         * casereader.c (casereader_dynamic_cast): New function.
498
499 2007-09-14  Ben Pfaff  <blp@gnu.org>
500
501         * dictionary.c (dict_clone): Copy case indexes from cloned
502         dictionary.  Fixes bug #21061.  Reviewed by John Darrington.
503
504 2007-09-13  John Darrington <john@darrington.wattle.id.au>
505
506         * value.c value.h (create_value): New function.
507
508 2007-09-12  Ben Pfaff  <blp@gnu.org>
509
510         Make it clear that translator casereader and casewriter translate
511         functions are supposed to destroy their input case.
512         
513         * casereader-translator.c (struct casereader_translator): Change
514         input case parameter of translate member function from const
515         struct ccase * to struct ccase *.
516         (casereader_create_translator): Ditto, for translate parameter.
517
518         * casewriter-translator.c (struct casewriter_translator): Ditto.
519         (casewriter_create_translator): Ditto.
520
521 2007-08-27  John Darrington <john@darrington.wattle.id.au>
522         
523         * sys-file-reader.c (read_display_parameters): Force display width 
524         to 8, if the sys file says 0 (like SPSS does).
525
526 2007-08-12  Ben Pfaff  <blp@gnu.org>
527
528         * dictionary.c (dict_dump): New function.
529
530 2007-08-12  Ben Pfaff  <blp@gnu.org>
531
532         Drop dict_compactor in favor of using the new struct case_map.
533
534         * dictionary.c (struct copy_map): Removed.
535         (struct dict_compactor): Removed.
536         (dict_make_compactor): Removed.
537         (dict_compactor_compact): Removed.
538         (dict_compactor_destroy): Removed.
539
540         * procedure.c (struct data_set): Change `compactor' member to be a
541         struct case_map *.
542         (proc_open): Use case_map_to_compact_dict instead of
543         dict_make_compactor.
544         (proc_casereader_read): Use case_map_execute instead of
545         dict_compactor_compact.
546         (proc_commit): Use case_map_destroy instead of
547         dict_compactor_destroy.
548
549         * scratch-writer.c (struct scratch_writer): Change `compactor'
550         member to be a struct case_map *.
551         (scratch_writer_open): Use case_map_to_compact_dict instead of
552         dict_make_compactor.
553         (scratch_writer_casewriter_write): Use case_map_execute instead of
554         dict_compactor_compact.
555
556 2007-08-12  Ben Pfaff  <blp@gnu.org>
557
558         * automake.mk: Add case-map.c, case-map.h.
559
560         * case-map.c: New file.
561
562         * case-map.h: New file.
563
564 2007-08-12  Ben Pfaff  <blp@gnu.org>
565
566         * dictionary.c (dict_compact_values): Don't delete scratch
567         variables as well as compacting case indexes.  Update all callers.
568         (dict_get_compacted_value_cnt): Rename dict_count_values and
569         change interface.  Update all callers.
570         (dict_get_compacted_value_cnt): Remove.
571         (dict_compacting_would_shrink): Remove.
572         (dict_compacting_would_change): Remove.
573         (dict_make_compactor): Add new parameter.  Update all callers.
574         
575         * procedure.c (proc_casereader_read): Use casewriter_get_value_cnt
576         instead of dict_count_values, changing an O(N) operation into
577         O(1).
578
579 2007-08-12  Ben Pfaff  <blp@gnu.org>
580
581         * casereader.c (casereader_read): Don't require cases read by a
582         casereader to be exactly the expected size: as long as they're big
583         enough, it's OK.
584
585 2007-08-12  Ben Pfaff  <blp@gnu.org>
586
587         Make casewriters keep track of the number of `union value's in
588         each case.  This is useful for two reasons: casewriter_write can
589         then check that the case being written is large enough, and later
590         recipients of the casewriter can determine the size of the case.
591         
592         * casewriter-translator.c (casewriter_create_translator): Add
593         value_cnt parameter.
594         
595         * casewriter.c (struct casewriter): Add value_cnt member.
596         (casewriter_write): Check that the case passed in is big enough.
597         (casewriter_get_value_cnt): New function.
598         (casewriter_create): Add value_cnt parameter.
599
600 2007-08-09  Ben Pfaff  <blp@gnu.org>
601
602         Fix bug reported by Jason Stover.
603         * settings.c: Move get_termcap_viewport and in particular the
604         #include for <curses.h> to the end of the file.  curses.h
605         redefines bool on some systems (e.g. OpenBSD), which causes
606         disagreement between uses of bool before its inclusion and
607         afterward.
608         Tested by Jason Stover.
609
610 2007-07-29  Ben Pfaff  <blp@gnu.org>
611
612         Provisional fix for bug #18692 and bug #20161.  Reviewed by John
613         Darrington.
614
615         * file-name.c (fn_open): Only pass "r" or "w" to popen as mode
616         argument (never "rb" or "wb") because SUSv3 says that only those
617         modes are defined, and glibc in fact rejects other modes.
618
619         Open portable files with fn_open so that they can be read from
620         pipes.  Fix missing fh_close call to go along with fh_open.
621         Report an error if the file close reports an error.
622         * por-file-reader.c (close_reader): New function.
623         (por_file_casereader_destroy): Use close_reader.
624         (pfm_open_reader): Open file with fn_open.
625
626 2007-07-28  Ben Pfaff  <blp@gnu.org>
627
628         Make PSPP able to read all the portable files I could find on the
629         web.  Thanks to John Darrington for review.  Bug #17620.
630         * por-file-reader.c (struct pfm_reader): New member `line_length'.
631         (error): Print file offset in hexadecimal.
632         (warning): New function.
633         (advance): Treat lines less than 80 bytes long as padded to 80
634         bytes with spaces.
635         (pfm_open_reader): Call read_documents if we find an "E" record.
636         (convert_format): Convert invalid formats to the default format
637         instead of aborting reading the file.
638         (read_variables): Rename duplicate variable names instead of
639         aborting reading the file.
640         (read_value_label): Allow string variables of different widths to
641         be assigned value labels in the same record.  Replace duplicate
642         value labels instead of aborting.
643         (read_documents): New function.
644
645         * por-file-writer.c (pfm_open_writer): Call write_documents if the
646         dictionary has documents.
647         (write_documents): New function.
648
649 2007-07-25  Ben Pfaff  <blp@gnu.org>
650
651         Fix bugs related to bug #17213.
652
653         * settings.c: Use HAVE_LIBNCURSES instead of HAVE_LIBTERMCAP,
654         since the former is what config.h has.  Include the needed ncurses
655         headers.
656         (static var echo) Rename to `do_echo' because the original name is
657         the same as an ncurses identifier.
658         (get_termcap_viewport) Use error instead of msg.
659
660         * file-name.c (fn_interp_vars): Fix interpolation of $VARS.
661         (fn_close): Don't close stdin, stdout, stderr.
662
663 2007-07-26 John Darrington <john@darrington.wattle.id.au>
664
665         * procedure.c procedure.h: Added callbacks which get invoked whenever 
666         a dataset's transformation chain changes.
667
668 2007-07-24  Ben Pfaff  <blp@gnu.org>
669
670         Fix bug #6113.
671         * sys-file-writer.c (write_variable_display_parameters): Use new
672         var_default_display_width function to choose display width of
673         segments after the first one in a given variable.
674         * variable.c (var_create): Use var_default_display_width to pick
675         new variable's display width.
676         (var_default_display_width): New function.
677         Reviewed by John Darrington.
678
679 2007-07-24  Ben Pfaff  <blp@gnu.org>
680
681         Fix bug #20427.
682         * por-file-writer.c (write_variables): Write weight variable.
683         Reviewed by John Darrington.
684
685 2007-07-23  Ben Pfaff  <blp@gnu.org>
686
687         Improvements to system file reader and writer.
688         
689         First, move all detailed knowledge of very long strings into
690         sys-file-private.[ch], so that this nasty stuff can be isolated.
691
692         * sys-file-private.c (REAL_VLS_CHUNK): New macro.
693         (EFFECTIVE_VLS_CHUNK): New macro.
694         (min_int): New function.
695         (max_int): New function.
696         (sfm_width_to_bytes): Rewrite.
697         (sfm_width_to_octs): New function.
698         (sfm_segment_alloc_width): New function.
699         (sfm_segment_alloc_bytes): New function.
700         (sfm_segment_used_bytes): New function.
701         (sfm_segment_offset): New function.
702         (sfm_segment_effective_offset): New function.
703         (sfm_dictionary_to_sfm_vars): New function.
704
705         * sys-file-private.h (MIN_VERY_LONG_STRING): Removed.
706         (EFFECTIVE_LONG_STRING_LENGTH): Removed.
707         (struct sfm_var): New structure.
708
709         Next, improvements to the system file reader.
710
711         * sys-file-reader.h (struct sfm_read_info): Changed `case_cnt' to
712         type casenumber.  Added `version_major', `version_minor',
713         `version_revision'.
714
715         * sys-file-reader.c (struct sfm_reader): Replaced `flt64_cnt' by
716         `oct_cnt'.  Rename `vars', `var_cnt' to `sfm_vars', `sfm_var_cnt'.
717         Change `case_cnt' to type casenumber.  Removed `has_vls'.
718         (struct sfm_var): Removed.
719         (sfm_open_reader): Don't warn on wrong case size if the file was
720         written by SPSS 13, which tends to get it wrong.  Use
721         sfm_dictionary_to_sfm_vars.
722         (read_header): Always output system file info.
723         (read_variable_record): Simplify code for reading missing values.
724         (read_machine_int32_info): Save version numbers from system file
725         into info struct passed as new argument.
726         (read_long_string_map): Restructured to use new sys-file-private
727         functions.
728         (read_value_labels): Use size_overflow_p.
729         (sys_file_casereader_read): Get rid of distinction between fast
730         and slow paths.  Use information provided by sys-file-primate's
731         struct sfm_var to simplify code.
732         (skip_whole_strings): New function.
733         (read_int32): Renamed read_int.  Changed return value to int.
734         Updated all callers.
735         (read_flt64): Renamed read_float.  Changed return value to
736         double.  Updated all callers.
737         (int32_to_native): Removed.  Changed callers to use
738         integer_convert.
739         (flt64_to_double): Removed.  Changed callers to use float_convert.
740         
741         Finally, get rid of int32, flt64 terminology and types in system
742         file writer.  The former wasn't very useful since a POSIX "int"
743         can hold the whole range of int32 and we generally didn't have a
744         need for it to be exactly-32-bits, just at-least-32-bits.  The
745         latter was inconvenient because we had to assume that it could be
746         different from double and thereby convert special values SYSMIS,
747         HIGHEST, LOWEST to and from it in multiple places.  Instead, now
748         we just use "int" and "double" in most places, and do conversions,
749         if necessary, very close to where we do I/O.  This change meant
750         that the writer code couldn't represent records in the file as C
751         structs any longer, but that's no great loss.  The code actually
752         seems to be more readable without them.
753
754         Simplify the compression buffering code: only buffer as much as
755         necessary, which is no more than eight 8-byte units at any given
756         time.
757
758         * sys-file-writer.c (typedef flt64): Removed.
759         (macro second_lowest_flt64): Removed.
760         (struct sysfile_header): Removed.
761         (struct sysfile_variable): Removed.
762         (struct sfm_writer): Removed `needs_translation', `has_vls',
763         `flt64_cnt'.  Changed `compress' to type bool and `case_cnt' to
764         type casenumber.  Renamed `vars' to `sfm_vars', `var_cnt' to
765         `sfm_var_cnt'.  Replaced `buf', `end', `ptr', `x', `y' for
766         compression buffering by `opcodes', `opcode_cnt', `data',
767         `data_cnt'.  Renamed `var_cnt_vls' as `segment_cnt'.
768         (sfm_open_writer): Use sfm_dictionary_to_sfm_vars.  Use simple
769         data writer functions instead of structures.
770         (calc_oct_idx): New function.
771         (write_header): Use simple data writer functions instead of
772         structures.
773         (write_format_spec): Renamed write_format.  New argument.
774         (write_variable_continuation_records): New function.
775         (write_variable): Use simple data writer functions instead of
776         structures.  Use write_variable_continuation_records.  Write
777         entire very long string instead of requiring caller to understand
778         them.
779         (write_value_labels): Use simple data writer functions instead of
780         structures.
781         (write_documents): Ditto.
782         (write_variable_display_parameters): Use sys-file-private
783         functions to simplify.  Use simple data writer functions instead
784         of structures.
785         (write_vls_length_table): Use simple data writer functions instead
786         of structures.
787         (write_longvar_table): Ditto.
788         (write_rec_7_34): Break into new functions
789         write_integer_info_record, write_float_info_record.  Use simple
790         data writer functions instead of structures.
791         (buf_write): Removed.
792         (append_string_max): Removed.
793         (ensure_buf_space): Removed.
794         (sys_file_casewriter_write): Get rid of the distinction between
795         fast and slow paths, which didn't seem to be too useful.  Use new
796         functions write_case_uncompressed, write_case_compressed.
797         (put_instruction): Removed.
798         (put_element): Removed.
799         (write_compressed_data): Removed.
800         (close_writer): Use flush_compressed.  Only write case count to
801         system file if it will fit in the field.
802         (write_case_compressed): New function.
803         (write_case_uncompressed): New function.
804         (flush_compressed): New function.
805         (put_cmp_opcode): New function.
806         (put_cmp_number): New function.
807         (write_int): New function.
808         (convert_double_to_output_format): New function.
809         (write_float): New function.
810         (write_value): New function.
811         (write_string): New function.
812         (write_bytes): New function.
813         (write_zeros): New function.
814         (write_spaces): New function.
815
816         Reviewed by John Darrington.
817
818 2007-07-22  Ben Pfaff  <blp@gnu.org>
819
820         Don't try to write very long strings to portable files.  The
821         format does not support it.
822
823         * por-file-writer.c (MAX_POR_WIDTH): New macro.
824         (pfm_open_writer): Limit output width to MAX_POR_WIDTH.
825         (write_format): Add arg to take width to resize format to.
826         (write_value): Limit width of value written to MAX_POR_WIDTH.
827         (write_variables): Limit width of variable and its output formats
828         to MAX_POR_WIDTH.
829         Reviewed by John Darrington.
830
831 2007-07-22  Ben Pfaff  <blp@gnu.org>
832
833         * sys-file-reader.c (read_variable_to_value_map): Use max_warnings
834         local variable instead of literal 5.
835         Reviewed by John Darrington.
836         
837 2007-07-22  Ben Pfaff  <blp@gnu.org>
838
839         Fix problems with uniqueness of short names in system files with
840         very long string variables.  Now a variable may have multiple
841         short names.
842         
843         * automake.mk (src_data_libdata_a_SOURCES): Add new files
844         short-names.c, short-names.h.
845
846         * dictionary.c (dict_clone): Clone all the short names.
847         (compare_strings): Move into short-names.c.
848         (hash_strings): Ditto.
849         (set_var_short_name_suffix): Ditto.
850         (dict_assign_short_names): Ditto, rename short_names_assign,
851         change to assign all short names.
852         
853         * por-file-writer.c (write_variables): Use short_names_assign
854         instead of dict_assign_short_names.
855
856         * short-names.c: New file.
857
858         * short-names.h: New file.
859
860         * sys-file-private.c (sfm_width_to_segments): New function.
861
862         * sys-file-reader.c (read_long_var_name_map): Save and restore all
863         the short names, not just the first one.
864         
865         * sys-file-writer.c (cont_var_name): Removed.
866         (sfm_open_writer): Use short_names_assign instead of
867         dict_assign_short_names.  Use unique short names assigned by
868         short_names_assign instead of those generated by cont_var_name.
869
870         * variable.c (struct variable): Remove `short_name' member,
871         replace by `short_names' and `short_name_cnt'.
872         (var_create) Initialize new members.
873         (var_get_short_name_cnt): New function.
874         (var_get_short_name): Now takes an index argument.  Changed most
875         callers to pass 0.
876         (var_set_short_name): Ditto.
877         (var_clear_short_name): Renamed var_clear_short_names, changed to
878         clear all short names.
879         
880         Reviewed by John Darrington.
881
882 2007-07-22  Ben Pfaff  <blp@gnu.org>
883
884         * variable.c (var_set_width): Use new var_set_width function.
885
886         * missing-values.c (mv_n_values): Drop assertion, which was not
887         needed.
888
889         * format.c (fmt_default_for_width): New function.
890         (fmt_resize): New function.
891
892         Reviewed by John Darrington.
893
894 2007-07-18 John Darrington <john@darrington.wattle.id.au>
895
896         * datasheet.c (datasheet_delete_columns): Added assertion to check
897         we're not deleting outside the range of the sheet.  
898
899         
900         * dictionary.c dictionary.h variable.c: Added the ability for string
901         variables to be resized.
902         
903         * vardict.h: Added some prototypes (moved from dictionary.h) as
904         these should only be called by variable.c
905
906
907 2007-07-14 John Darrington <john@darrington.wattle.id.au>
908
909         * sfm-reader.c: Respect case_cnt field in file header.
910
911 2007-07-01 John Darrington <john@darrington.wattle.id.au>
912
913         * transformation.c transformation.h (trns_chain_execute): Changed the 
914         signature (Patch #6057)
915
916 2007-06-10  Ben Pfaff  <blp@gnu.org>
917
918         * casereader-filter.c (casereader_filter_destroy): Make sure to
919         write all the remaining excluded cases to the casewriter, if any.
920
921         * caseinit.c (init_list_destroy): Rewrite.
922         (init_list_clear): Ditto.
923
924         * casegrouper.c (casegrouper_get_next_group): Always set *reader
925         to null when returning false.
926
927 2007-06-06  Ben Pfaff  <blp@gnu.org>
928
929         Actually implement the new procedure code and adapt all of its
930         clients to match.  Also adapt all of the other case sources and
931         sinks in the tree and their clients to use the
932         casereader/casewriter infrastructure.
933
934         * automake.mk: Add and remove files.
935
936         * any-reader.c: Change into a casereader.
937         * por-file-reader.c: Ditto.
938         * scratch-reader.c: Ditto.
939         * sys-file-reader.c: Ditto.
940
941         * any-writer.c: Change into a casewriter.
942         * por-file-writer.c: Ditto.
943         * scratch-writer.c: Ditto.
944         * sys-file-writer.c: Ditto.
945
946         * procedure.c: Change to use casereader, casewriter, caseinit, and
947         other new infrastructure.
948
949         * scratch-handle.c: Adapt to new infrastructure.
950
951         * case-sink.c: Removed, now dead code.
952         * case-sink.h: Ditto.
953         * case-source.c: Ditto.
954         * case-source.h: Ditto.
955         * casefile-factory.c: Ditto.
956         * casefile-private.h: Ditto.
957         * casefile.c: Ditto.
958         * casefile.h: Ditto.
959         * casefilter.c: Ditto.
960         * casefilter.h: Ditto.
961         * fastfile.c: Ditto.
962         * fastfile.h: Ditto.
963         * fastfile-factory.c: Ditto.
964         * fastfile-factory.h: Ditto.
965         * storage-stream.c: Ditto.
966         * storage-stream.h: Ditto.
967
968 2007-06-06  Ben Pfaff  <blp@gnu.org>
969
970         Add datasheet code.
971
972         * automake.mk: Add new files.
973
974         * datasheet.c: New file.
975
976         * datasheet.h: New file.
977
978 2007-06-06  Ben Pfaff  <blp@gnu.org>
979
980         Until now, the procedure code has provided a case to the
981         case_source, which has filled in the data values that come from
982         the active file.  "Left" data values that don't come from the
983         active file naturally stay the same from case to case, because the
984         procedure code keeps using that same case.
985
986         One of the compromises that comes with the new procedure code is
987         that the active file allocates and provides its own case, which
988         the procedure code then has to resize to provide room for any
989         other variables that should go in the case and then fill in the
990         values of "left" variables.  Then, when we're done with that case,
991         we have to save the values of "left" variables to copy into the
992         next case read from the active file.
993
994         The caseinit code helps with this.
995
996         * automake.mk: Add new files.
997
998         * caseinit.c: New file. 
999
1000         * caseinit.h: New file. 
1001
1002 2007-06-06  Ben Pfaff  <blp@gnu.org>
1003
1004         * value.h (value_cnt_from_width): New function.
1005
1006         * variable.c (var_get_value_cnt): Use new function.
1007
1008 2007-06-06  Ben Pfaff  <blp@gnu.org>
1009
1010         Add casegrouper, to allow cases read from a given casereader to be
1011         broken into groups, each of which has its own casereader.
1012         Generally cases are grouped based on having equal values for some
1013         set of variables.
1014
1015         * automake.mk: Add new files.
1016
1017         * casegrouper.c: New file.
1018
1019         * casegrouper.h: New file.
1020
1021 2007-06-06  Ben Pfaff  <blp@gnu.org>
1022
1023         Add interface to lexicographical ordering of cases.
1024
1025         * automake.mk: Add new files.
1026
1027         * case-ordering.c: New file.
1028
1029         * case-ordering.h: New file.
1030
1031 2007-06-06  Ben Pfaff  <blp@gnu.org>
1032
1033         Add casereaders and casewriters, the basis of the new data processing
1034         implementation.  A casereader is a uniform interface to reading cases
1035         from a data source; a casewriter is a uniform interface to writing
1036         cases to a data sink.
1037
1038         * automake.mk: Add new files.
1039         
1040         * casereader-filter.c: New file.
1041         
1042         * casereader-provider.h: New file.
1043
1044         * casereader-translator.c: New file.
1045         
1046         * casereader.c: New file.
1047         
1048         * casereader.h: New file.
1049         
1050         * casewriter-provider.h: New file.
1051         
1052         * casewriter-translator.c: New file.
1053         
1054         * casewriter.c: New file.
1055         
1056         * casewriter.h: New file.
1057
1058 2007-06-06  Ben Pfaff  <blp@gnu.org>
1059
1060         "casewindow" data structure that extends the deque (from libpspp)
1061         of cases with the ability to dump cases to disk if we get too many
1062         of them in memory.
1063
1064         * automake.mk: Add new files.
1065
1066         * casewindow.c: New file.
1067
1068         * casewindow.h: New file.
1069
1070 2007-06-06  Ben Pfaff  <blp@gnu.org>
1071
1072         sparse_cases data structure that augments a sparse_array of cases
1073         with the ability to dump cases to disk if we get too many cases in
1074         memory.
1075
1076         * automake.mk: Add new files.
1077
1078         * sparse-cases.c: New file.
1079
1080         * sparse-cases.h: New file.
1081
1082 2007-06-06  Ben Pfaff  <blp@gnu.org>
1083
1084         Adds a low-level on-disk case array data structure.
1085         
1086         * automake.mk: Add new files.
1087
1088         * case-tmpfile.c: New file.
1089
1090         * case-tmpfile.h: New file.
1091
1092 2007-06-06  Ben Pfaff  <blp@gnu.org>
1093
1094         In a couple of places we calculate the maximum number of cases to
1095         keep in memory based on the user-defined workspace.  Enable
1096         centralizing the calculation through a new function.
1097         
1098         * settings.c (get_workspace_cases): New function.
1099
1100 2007-06-06  Ben Pfaff  <blp@gnu.org>
1101
1102         The casenumber type is defined in transformations.h, but case.h is
1103         a more sensible place.  Move it.
1104
1105         * case.h (CASENUMBER_MAX): New macro.
1106         (typedef casenumber): Move here, from transformations.h.
1107
1108 2007-06-03  Ben Pfaff  <blp@gnu.org>
1109
1110         Slightly generalize case_to_values and case_from_values functions.
1111
1112         * case.c (case_to_values): Rename case_copy_out, change interface.
1113         (case_from_values): Rename case_copy_in, change interface.
1114
1115         * fastfile.c (fastfilereader_get_next_case): Update caller.
1116         (write_case_to_disk): Ditto.
1117
1118 2007-06-02  Ben Pfaff  <blp@gnu.org>
1119
1120         Clean up after a forgotten part of patch #5829.
1121         
1122         * casedeque.h: Remove unused file.
1123
1124         * automake.mk: Remove casedeque.h from sources.
1125
1126 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
1127
1128         * category.c: Removed redundant #include
1129
1130 2007-05-06  Ben Pfaff  <blp@gnu.org>
1131
1132         Abstract the documents within a dictionary a little better.
1133         Thanks to John Darrington for suggestion, initial version, and
1134         review.  Patch #5917.
1135
1136         * dictionary.c (struct dictionary): Change `documents' member from
1137         char * to struct string.
1138         (dict_clear): Destroy struct string.
1139         (dict_get_documents): Convert struct string to char *.
1140         (dict_set_documents): Set struct string.  Pad to 80-character
1141         multiple.
1142         (dict_clear_documents): New function.
1143         (dict_add_document_line): New function.
1144         (dict_get_document_line_cnt): New function.
1145         (dict_get_document_line): New function.
1146
1147         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
1148
1149         * sys-file-reader.c (read_documents): Use new document functions.
1150
1151 2007-04-19 John Darrington <john@darrington.wattle.id.au>
1152
1153         * sys-file-reader.c: When reading a system file which has no 
1154         long name table, automatically create one where the long names 
1155         are the lower case versions of the short names.
1156         
1157 2007-04-22  Ben Pfaff  <blp@gnu.org>
1158
1159         * dictionary.c (dict_set_split_vars): dict_destroy expects that
1160         dict_clear will free most data related to the dictionary.
1161         dict_clear does a decent job, except that dict_set_split_vars on
1162         some systems won't actually free the dict's "split" member.
1163         Instead, it'll allocate a 1-byte region.  Fix this.
1164
1165         * value.c (value_copy): New function.
1166         (value_set_missing): Ditto.
1167
1168 2007-04-22 John Darrington <john@darrington.wattle.id.au>
1169
1170         * Deleted existing category.h and moved cat-routines.h into 
1171         category.h  Encapsulated struct cat_vals better.
1172
1173 2007-04-19 John Darrington <john@darrington.wattle.id.au>
1174
1175         * sys-file-reader.c: When reading a system file which has no 
1176         long name table, automatically create one where the long names 
1177         are the lower case versions of the short names.
1178         
1179 2007-04-16 John Darrington <john@darrington.wattle.id.au>
1180
1181         * sys-file-reader.c: Some versions of Other Software seem to 
1182         produce system files with string  variables' measure set to 
1183         zero.  We'll assume these are supposed to be nominal variables.
1184
1185 2007-03-30  Ben Pfaff  <blp@gnu.org>
1186
1187         * procedure.c: Adapt to new deque data structure.
1188
1189 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
1190                           Ben Pfaff <blp@gnu.org>
1191
1192         * file-name.c: Mingw compatibility fixes.
1193         (fn_search_path): Use ISSLASH instead of comparing against '/'
1194         directly.
1195         (fn_dir_name): Use dir_name from gnulib.
1196         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
1197         (fn_get_identity): Use GetFullPathName instead of canonicalize
1198         from gnulib, because the latter does not fully support
1199         Windows-style path names.  Use this implementation based on the
1200         detected presence of Windows instead of the absence of Unix, since
1201         the new implementation is Windows-specific.
1202         (fn_compare_file_identities): In Windows implementation, compare
1203         names case-insensitively.
1204
1205 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
1206
1207         * make-file.c: Don't include mkstemp.h, because gnulib now causes
1208         <stdlib.h> to have the same effect.
1209
1210 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
1211
1212         * por-file-reader.c: Add missing _() around messages.
1213
1214 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
1215
1216         * make-file.c: Include "mkstemp.h", without which linking on
1217         mingw32 fails.
1218
1219 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
1220  
1221         Reduce platform dependence.
1222  
1223         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
1224         Everywhere we using this, we really should have just depended on
1225         the shell to expand tildes.
1226         (fn_search_path): Simplify, given that we don't do tilde expansion
1227         any longer.
1228         (fn_normalize): Removed.  Caller changed to use the canonicalize
1229         module from gnulib.
1230         (fn_get_cwd): Removed.  Only user was fn_normalize.
1231         (fn_is_absolute): Really only test for absolute names.
1232         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
1233         unix.
1234         (fn_readlink): Removed, as it was only used fn_normalize.
1235         (fn_exists): Assume the stat function is available; gnulib does.
1236         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
1237  
1238 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
1239
1240         * dictionary.c (dict_create_vector_assert): New function.
1241
1242 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
1243
1244         * file-name.c (fn_normalize): Correct name of function
1245         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
1246         for pointing this out.
1247
1248 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
1249
1250         We are using a single member in struct file_handle, the "name"
1251         field, for more than one purpose.  When it begins with '"', it's a
1252         file name; otherwise, it's a token that can be used to identify
1253         it.  When that assertion fires, it's because we searched for the
1254         name case-sensitively as a file name (so that there was no match),
1255         and then we try to insert it case-insensitively as a token, which
1256         fails because duplicates aren't allowed.
1257
1258         Solution: break the two purposes into two separate fields.  This
1259         fixes the problem and likely makes the code easier to read too.
1260
1261         Fixes bug #18922.  Thanks to John Darrington for bug report and
1262         review.
1263
1264         * file-handle-def.c (struct file_handle): New `id' member.
1265         (fh_from_name): Rename fh_from_id.  Update all callers.
1266         (create_handle): New `id' parameter.  Update all callers.
1267         (fh_create_file): Ditto.
1268         (fh_get_id): New function.
1269
1270 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
1271
1272         * case.c (case_is_null): Change return type to bool.
1273
1274 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
1275
1276         Add debugging code.
1277         
1278         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
1279         reference counting to share data.  This makes it easy for
1280         valgrind, etc. to find accesses to cases that have been destroyed
1281         but have been kept around by another user's ref-count.  This often
1282         happens when the data set is small enough to find in memory; if a
1283         bigger data set that would overflow to disk were used, then data
1284         corruption would occur.
1285
1286 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
1287
1288         Simplify code.
1289
1290         * case.c (case_unshare): Make it check internally whether the
1291         ref_cnt is greater than 1, so that the callers don't have to.
1292         Update callers not to check.
1293
1294 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
1295
1296         Before, I was thinking that I might want to get rid of reference
1297         counting at some point.  Now, I'm pretty sure that it's here to
1298         stay.  Thus, because we have to store the value_cnt anyway for
1299         reference-counted cases, we might as well expose it to users.
1300
1301         * case.c (case_get_value_cnt): New function.
1302         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
1303         resize case if its size actually changed.
1304
1305         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
1306         instead of peeking inside struct case directly.
1307         (casefile_append): Ditto.
1308
1309 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
1310
1311         Get rid of the inlines for the case functions, which made the
1312         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
1313         the inlines didn't speed up "make check" at all, which is not a
1314         perfect benchmark but seems indicative.)
1315         
1316         * case.c: Remove #ifdef DEBUGGING...#endif around many function
1317         definitions.  Remove some assertions on nonnull pointers that were
1318         redundant with a pointer dereference soon after in the function.
1319         Also:
1320         (struct case_data): Move definition here from case.h.
1321         (case_data): Ditto.
1322         (case_num): Ditto.
1323         (case_str): Ditto.
1324         (case_data_wr): Ditto.
1325         
1326 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
1327
1328         * automake.mk: Add casedeque.h to sources.
1329         
1330         * casedeque.h: New file.
1331
1332         * procedure.c: (struct dataset) Change lag_count, lag_head,
1333         lag_queue member into single struct casedeque member.  Update all
1334         users to use the casedeque instead.
1335         (lag_case) Removed.
1336
1337 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
1338
1339         * procedure.c: Simplify lagged cases interface.  Updated all
1340         clients--well, the only client--to use the simplified interface.
1341         (dataset_n_lag) Removed.
1342         (dataset_set_n_lag) Removed.
1343         (dataset_need_lag) New function.
1344
1345 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
1346
1347         * dictionary.c procedure.c: More changes to ensure that callbacks occur
1348         whenever appropriate, but only when the dataset/dictionary is in a 
1349         consistent state.
1350
1351 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
1352
1353         * dictionary.c dictionary.h : Added callbacks for change of filter and 
1354         split variables.  Refactored some code to ensure that callbacks get
1355         invoked when appropriate.
1356
1357         * procedure.c (proc_cancel_temporary_transformations): Make sure that 
1358         replace_dict callback occurs when permanent_dict replaces the current
1359         dictionary.
1360
1361 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
1362
1363         * dictionary.c dictionary.h : Added callback for when the weight 
1364         variable of a dictionary changes.
1365
1366 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
1367
1368         * dictionary.c dictionary.h : Added replace_source and replace_dict
1369         callbacks, and functions to deal with them.
1370
1371 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
1372
1373         Simplify missing value handling.
1374
1375         * missing-values.h (enum mv_class): New type.
1376         (enum mv_type): Moved definition into missing-values.c and renamed
1377         each MV_* to MVT_*, to distinguish them from the exposed mv_class
1378         enums.  Updated all uses.
1379         (struct missing_values): Changed type of `type' from `enum
1380         mv_type' to `int' because the definition is no longer exposed.
1381         
1382         * missing-values.c (mv_is_value_missing): Add new enum mv_class
1383         parameter.  Update all callers.
1384         (mv_is_num_missing): Ditto.
1385         (mv_is_str_missing): Ditto.
1386         (mv_is_value_user_missing): Removed.  Changed callers to use
1387         mv_is_value_missing.
1388         (mv_is_num_user_missing): Removed.  Changed callers to use
1389         mv_is_num_missing.
1390         (mv_is_str_user_missing): Removed.  Changed callers to use
1391         mv_is_str_missing.
1392         (mv_is_value_system_missing): Removed.  Changed callers to use
1393         mv_is_value_missing.
1394         (mv_set_type): Removed.  Changed callers to use mv_clear.
1395         (mv_clear): New function.
1396         
1397         * variable.c (var_is_value_missing): Add new enum mv_class
1398         parameter.  Update all callers.
1399         (var_is_num_missing): Ditto.
1400         (var_is_str_missing): Ditto.
1401         (var_is_value_user_missing): Removed.  Changed callers to use
1402         var_is_value_missing.
1403         (var_is_num_user_missing): Removed.  Changed callers to use
1404         var_is_num_missing.
1405         (var_is_str_user_missing): Removed.  Changed callers to use
1406         var_is_str_missing.
1407         (var_is_value_system_missing): Removed.  Changed callers to use
1408         var_is_value_missing.
1409         
1410         * casefilter.c (struct casefilter): Use enum mv_class in place of
1411         bool.
1412         (casefilter_variable_missing): Adapt to new member.
1413         (casefilter_create): Change signature to take enum mv_class,
1414         update callers.
1415
1416 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
1417
1418         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
1419
1420         * case-sink.c case-sink.h procedure.c procedure.h 
1421           storage-stream.c: Now uses the factory.
1422         
1423 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
1424
1425         Make it possible to pull cases from the active file with a
1426         function call, instead of requiring indirection through a callback
1427         function.
1428
1429         * case-source.h (struct case_source_class): Change ->read function
1430         to return a single case, instead of calling a callback function
1431         for each case.  Change ->destroy function to return an error
1432         status.
1433
1434         * case-source.c (free_case_source): Pass along the value returned
1435         by the case_source ->destroy function.
1436
1437         * procedure.c (struct write_case_data): Removed.
1438         (struct dataset): Added some members to track procedure state.
1439         (procedure): Optimize the trivial case at this level.
1440         (internal_procedure): Re-implement in terms of proc_open,
1441         proc_read, proc_close.
1442         (proc_open) New function.
1443         (proc_read) New function.
1444         (proc_close) New function.
1445         (write_case) Moved into proc_read.
1446         (close_active_file) Moved closing of data source into proc_close.
1447
1448         * storage-source.c: Rewrote to conform with modified
1449         case_source_class interface.
1450
1451         * transformations.c (trns_chain_execute): Added argument to allow
1452         starting execution from an arbitrary transformation.  Updated
1453         callers.
1454
1455         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
1456
1457 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
1458
1459         * sys-file-reader.c (read_display_parameters): Don't assume that
1460         MEASURE_* and ALIGN_* have the same values found in system files.
1461
1462         * sys-file-writer.c (write_variable_display_parameters): Ditto.
1463
1464         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
1465         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
1466         the value of n_MEASURES, which was off by 1 (at least from my
1467         point of view).
1468
1469 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
1470
1471         * dictionary.c dictionary.h vardict.h variable.c: Added optional
1472                 callbacks which are invoked when the dictionary or its 
1473                 variables are changed.  
1474         
1475         * missing-values.c missing-values.h value-labels.c: Tidied up
1476                 consistency checks, and made some of them return false 
1477                 instead of assert-failing. 
1478
1479 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
1480
1481         * calendar.c (calendar_days_in_month): New function.
1482
1483 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
1484
1485         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
1486         the value label's width.
1487
1488 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
1489
1490         * sfm-private.h: Move contents into sys-file-writer.c, which is
1491         the only remaining user.  Removed Borland C++-specific directives.
1492         
1493         * sys-file-reader.c: Clean up and rewrite entire file.  The
1494         rewritten version is simpler and better abstracted, and should be
1495         easier to maintain and extend.  It avoids using structures to read
1496         file data, which is prone to padding variations among compilers.
1497         It should also handle non-IEEE 754 system files, although I
1498         haven't been able to find any.  It has been tested against many
1499         .sav files obtained from the Web and found to produce the same
1500         results as the earlier version of the code, or in some cases
1501         improved results.  It is more tolerant of format variations found
1502         in the wild.
1503
1504         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
1505         member, putting an enum integer_format in its place.  New member
1506         `float_format'.  Changed `compressed' member to type bool.
1507
1508 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
1509
1510         * dictionary.c (dict_delete_consecutive_vars): New function.
1511
1512 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
1513
1514         * file-name.c (fn_search_path): Remove prefix arg that was unused
1515         by any caller.  Updated all callers.
1516
1517 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
1518
1519         * format.c (fmt_dollar_template): Use user's decimal point
1520         character.  Add assertion.
1521
1522 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
1523
1524         * format.c (fmt_dollar_template): New function, based on
1525         dollar_format_template from var-type-dialog.c.
1526
1527 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
1528
1529         * data-out.c (output_scientific): Fix bad assumption that "buf" is
1530         null-terminated.
1531         
1532 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
1533
1534         Finish converting struct variable to an opaque type.  In this
1535         phase, we add remaining setter and getter functions, convert the
1536         remaining PSPP code to use them, and do a bunch of cleanup.  The
1537         resulting changes are pervasive but mostly trivial, and only the
1538         notable changes are logged.
1539         
1540         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
1541         files.
1542         
1543         * case.c (case_data): Renamed case_data_idx.
1544         (case_num): Renamed case_num_idx.
1545         (case_str): Renamed case_str_idx.
1546         (case_data_rw): Renamed case_data_rw_idx.
1547
1548         * case.h (case_data): New function with old name and an interface
1549         that takes a variable instead of an index, which is easier to
1550         use.  Updated all callers to use the new interface, or to use the
1551         new *_idx function (see above).
1552         (case_num): Ditto.
1553         (case_str): Ditto.
1554         (case_data_rw): Ditto.
1555         
1556         * category.c (cat_stored_values_destroy): Changed interface to
1557         take a struct cat_vals * instead of a struct variable *.
1558
1559         * dictionary.c (dict_clone): Use new vector_clone function.     
1560         (dict_clear) Use new var_destroy function.
1561         (add_var) New function.
1562         (dict_create_var) Rewrite in terms of dict_create_var_assert.
1563         (dict_create_var_assert) Rewrite in terms of add_var.
1564         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
1565         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
1566         (dict_lookup_var) Use new var_create, var_destroy functions.
1567         (dict_contains_var) Rewrite in terms of new vardict functionality.
1568         (set_var_dict_index) New function.
1569         (set_var_case_index) New function.
1570         (reindex_vars) New function.
1571         (dict_delete_var) Rewrite in terms of new vardict functionality.
1572         (dict_reorder_var) Ditto.
1573         (dict_reorder_vars) Ditto.
1574         (rename_var) New function.
1575         (dict_rename_var) Use rename_var.
1576         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
1577         (dict_get_compacted_idx_to_fv) Rename
1578         dict_get_compacted_dict_index_to_case_index, update callers.
1579         (dict_create_vector) Use new vector_create function.
1580         (dict_clear_vectors) Use new vector_destroy function.
1581         (set_var_short_name_suffix) Move here from variable.c, renamed
1582         from var_set_short_name_suffix, make static, update caller.
1583
1584         * sys-file-private.c: New file.  
1585         (sfm_width_to_bytes) Moved here from variable.c, renamed from
1586         width_to_bytes, update callers.
1587
1588         * sys-file-private.h: New file.  Later it will supplant
1589         sfm-private.h; for now it supplements it.
1590         (macro MIN_VERY_LONG_STRING) New macro.
1591         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
1592
1593         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
1594         MAX_LONG_STRING was used before.
1595
1596         * sys-file-writer.c: Ditto.
1597
1598         * value-labels.c: Change the paradigm here to be that a null
1599         pointer is OK for a struct val_labs * in most cases; it just
1600         represents an empty set of value labels.
1601         (val_labs_copy) A copy of a null set is a null set.
1602         (val_labs_count) A null set has 0 labels.
1603         (val_labs_replace) Change return type to void.  Rewrite for
1604         simplicity.
1605         (val_labs_find) A null set does not contain the value.
1606         (value_to_string) Moved to variable.c, renamed var_get_value_name,
1607         transposed argument order, updated all callers.
1608
1609         * value.c: New file.
1610         (value_dup) Moved here from variable.c.
1611         (compare_values) Ditto.
1612         (hash_value) Ditto.
1613
1614         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
1615         (macro MAX_LONG_STRING) Removed, because it was only interesting
1616         for system files, not for general code.
1617         (macro MAX_VERY_LONG_STRING) Ditto.
1618         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
1619         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
1620
1621         * vardict.h: New file, for an interface between variables and
1622         their dictionaries.
1623
1624         * variable.c: A lot of functions were moved around, for better
1625         organization.
1626         (struct variable) Move definition here, from variable.h.
1627         (var_type_adj) Removed--makes i18n hard.
1628         (var_type_noun) Ditto.
1629         (var_create) New function.
1630         (var_clone) New function.
1631         (var_destroy) New function.
1632         (var_set_name) Assert that variable is not in a dictionary.
1633         (compare_var_names) Rename compare_vars_by_name and fix a couple
1634         of callers who thought the args were strings.
1635         (hash_var_name) Rename hash_var_by_name.
1636         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
1637         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
1638         (var_is_very_long_string) Removed, because it was only interesting
1639         to system file code.
1640         (var_set_missing_values) Allow the argument to be the wrong width,
1641         as long as we can resize it.  Simplify callers who were doing the
1642         resizing themselves.
1643         (var_get_value_labels) New function.
1644         (var_has_value_labels) New function.
1645         (var_set_value_labels) New function.
1646         (alloc_value_labels) New function.
1647         (var_add_value_label) New function.
1648         (var_replace_value_label) New function.
1649         (var_clear_value_labels) New function.
1650         (var_lookup_value_label) New function.
1651         (var_get_value_name) Moved here from variable.c, renamed from
1652         var_get_value_name, transposed argument order, updated all
1653         callers.
1654         (var_to_string) Moved here, from variable-label.c.
1655         (var_set_leave) New function.
1656         (var_get_leave) New function.
1657         (var_must_leave) New function.
1658         (var_set_short_name_suffix) Moved to dictionary.c, renamed
1659         set_var_short_name_suffix.
1660         (var_get_dict_index) New function.
1661         (var_get_case_index) New function.
1662         (var_get_obs_vals) New function.
1663         (var_set_obs_vals) New function.
1664         (var_has_obs_vals) New function.
1665         (var_get_vardict) New function.
1666         (var_set_vardict) New function.
1667         (var_has_vardict) New function.
1668         (var_clear_vardict) New function.
1669         (value_dup) Moved to value.c.
1670         (compare_values) Ditto.
1671         (hash_value) Ditto.
1672
1673         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
1674         (enum ALPHA) Rename VAR_STRING, update all users.
1675
1676         * vector.c: New file.
1677         (struct vector) Moved here, from variable.h.
1678         (check_widths) New function.
1679         (vector_create) New function.
1680         (vector_clone) New function.
1681         (vector_destroy) New function.
1682         (vector_get_name) New function.
1683         (vector_get_var) New function.
1684         (vector_get_var_cnt) New function.
1685         (compare_vector_ptrs_by_name) New function.
1686
1687         * vector.h: New file.
1688
1689 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1690
1691         * casefilter.c (casefilter_variable_missing): Avoided comparision of
1692         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
1693         problem.
1694
1695 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
1696
1697         * value-labels.c (destroy_atoms): New function.
1698         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
1699
1700 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
1701
1702         Thanks to Jason Stover for pointing out this problem.
1703         
1704         * data-out.c (output_number): Use gsl_finite from GSL, which is
1705         portable, instead of isfinite, which is not.
1706         (power256) Ditto.
1707
1708 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
1709
1710         * variable.c variable.h (value_dup): New function.
1711
1712 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
1713
1714         Start converting struct variable to an opaque type.  In this
1715         phase, we add a bunch of setter and getter functions and convert
1716         most of the PSPP code to use them.  The resulting changes are
1717         pervasive but mostly trivial, and only the notable changes are
1718         logged.
1719         
1720         * format.c (fmt_equal): New function.
1721         
1722         * variable.c (var_type_is_valid): New function.
1723         (measure_is_valid) Moved here, from format.c.
1724         (alignment_is_valid) Moved here, from format.c.
1725         (var_get_name) New function.
1726         (var_set_name) New function.
1727         (width_to_type) New function.
1728         (var_get_type) New function.
1729         (var_get_width) New function.
1730         (var_set_width) New function.
1731         (var_is_numeric) New function.
1732         (var_is_alpha) New function.
1733         (var_is_short_string) New function.
1734         (var_is_long_string) New function.
1735         (var_is_very_long_string) New function.
1736         (var_get_missing_values) New function.
1737         (var_set_missing_values) New function.
1738         (var_clear_missing_values) New function.
1739         (var_has_missing_values) New function.
1740         (var_is_value_missing) New function.
1741         (var_is_num_missing) New function.
1742         (var_is_str_missing) New function.
1743         (var_is_value_user_missing) New function.
1744         (var_is_num_user_missing) New function.
1745         (var_is_str_user_missing) New function.
1746         (var_is_value_system_missing) New function.
1747         (var_get_print_format) New function.
1748         (var_set_print_format) New function.
1749         (var_get_write_format) New function.
1750         (var_set_write_format) New function.
1751         (var_set_both_formats) New function.
1752         (var_get_label) New function.
1753         (var_set_label) New function.
1754         (var_clear_label) New function.
1755         (var_has_label) New function.
1756         (var_get_measure) New function.
1757         (var_set_measure) New function.
1758         (var_get_display_width) New function.
1759         (var_set_display_width) New function.
1760         (var_get_alignment) New function.
1761         (var_set_alignment) New function.
1762         (var_get_value_cnt) New function.
1763         (var_get_leave) New function.
1764         (var_get_short_name) New function.
1765
1766         * variable.h: (struct variable) Removed "type" and "nv" members;
1767         they are now computed from "width" where needed.
1768
1769 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
1770
1771         * missing-values.c (mv_resize): Don't write beyond end of the
1772         allocated buffer when resizing a long string.
1773
1774 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
1775
1776         Clean up identifier code: don't require identifier enumerations to
1777         be in a particular order; make better use of string library;
1778         expose less of the internals.
1779                 
1780         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
1781         change interface.  Updated all callers.
1782         (lex_id_match) Change interface to use struct substring, update
1783         all callers.
1784         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
1785         (global array keywords[]) Make static, change form.  Update all
1786         users to use lex_id_name instead.
1787         (lex_is_keyword) New function.
1788         (lex_id_to_token) Change interface to use struct substring, update
1789         all callers.
1790         (lex_id_name) New function.
1791
1792         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
1793         lex_is_keyword instead.
1794         (T_LAST_KEYWORD) Removed.
1795         (T_N_KEYWORDS) Removed.
1796         
1797 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
1798
1799         * format.c: (fmt_date_template) Distinguish characters for which a
1800         space is output and any date delimiter is allowed on input, from
1801         those for which a space is output and only a space is allowed on
1802         input.  The former is represented by X, the latter by a space.
1803         Also, drop distinction between h and H, changing the former to the
1804         latter.
1805
1806         * data-in.c: Completely rewrite internals to conform to SPSS input
1807         formats as closely as possible.
1808         (data_in) Changed external interface by replacing the structure
1809         that was used as a single argument by a set of arguments.  Updated
1810         all callers.
1811         (data_in_finite_line) Removed.  Converted all callers to use plain
1812         data_in.
1813         (data_in_get_integer_format) New function.
1814         (data_in_set_integer_format) New function.
1815         (data_in_get_float_format) New function.
1816         (data_in_set_float_format) New function.
1817
1818         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
1819         (struct data_in) Removed.
1820
1821         * data-out.c: (output_date) Drop each component from the input as
1822         it is output, to allow us to drop the distinction between h (a
1823         count of hours) and H (the hour of day) template characters.
1824         Also, handle new X template character.
1825         (output_scientific) Follow more rational rule on when to drop
1826         fraction introduced between SPSS 13 and 15.  Updated test case to
1827         match new behavior.
1828
1829 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
1830
1831         Fix buffer overflow reported by John Darrington.
1832
1833         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
1834         realize that DIGITS is a count of nibbles, not of bytes.
1835
1836 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
1837
1838         * calendar.c (calendar_offset_to_gregorian) Also return the
1839         year-of-day.  Change callers to new interface.
1840
1841         * data-out.c: Completely rewrite internals to conform to SPSS
1842         output formats as completely as possible.
1843         (data_out) Change interface to put input parameters before output
1844         parameters, for consistency with the style I now prefer.  Update
1845         all callers.
1846         (data_out_get_integer_format) New public function.
1847         (data_out_set_integer_format) New public function.
1848         (data_out_get_float_format) New public function.
1849         (data_out_set_float_format) New public function.
1850
1851         * data-out.h: New file.  Move prototype for data_out here, from
1852         format.h.
1853
1854         * format.c: (fmt_step_width) Use equality comparison instead of
1855         bitwise and, for clarity.
1856         (fmt_is_string) Ditto.
1857         (fmt_input_to_output) Fix categories that are translated to F
1858         format.
1859
1860 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
1861
1862         * casefilter.c casefilter.h (new files), casefile.c casefile.h 
1863         casefile-private.h: Added casefilter to assist commands with missing 
1864         values.
1865
1866 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
1867
1868         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
1869         
1870         * settings.c: (route_errors_to_terminal) New variable.
1871         (route_errors_to_listing) New variable. 
1872         (get_error_routing_to_terminal) New function.
1873         (set_error_routing_to_terminal) New function.
1874         (get_error_routing_to_listing) New function.
1875         (set_error_routing_to_listing) New function.
1876
1877         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
1878
1879 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
1880
1881         * format.c: Completely rewrite, to achieve better abstraction.
1882         Rewrite all references to formats in other files.
1883         
1884         * format.def: Rewrite and reorganize.
1885
1886         * settings.c: Move everything related to custom currency formats
1887         into format.[ch], changing them in form, so as to group related
1888         code and definitions better.  Changed all references to use the
1889         new functions.
1890         (static var decimal) Removed.
1891         (static var grouping) Removed.
1892         (static var cc) Removed.
1893         (get_decimal) Removed.
1894         (set_decimal) Removed.
1895         (get_grouping) Removed.
1896         (set_grouping) Removed.
1897         (get_cc) Removed.
1898         (set_cc) Removed.
1899
1900         * settings.h: (macro CC_CNT) Removed.
1901         (macro CC_WIDTH) Removed.
1902         (struct custom_currency) Removed.
1903
1904 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
1905
1906         * data-in.c (data_in): Use switch statement instead of table, to
1907         avoid dependence on the order of the FMT_* enums.
1908
1909 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
1910
1911         * data-out.c: (num_to_string) Removed, because it was dead code.
1912
1913 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
1914
1915         * data-in.c (parse_trailer): Fix error message.
1916
1917 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1918
1919         * format.c (fmt_is_binary): New function.
1920
1921 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1922
1923         * procedure.c procedure.h: Encapsulated the static data into a single
1924         struct.  
1925
1926 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1927
1928         * casefile.c (casereader_read_xfer): Always initialize the case,
1929         even on an error condition.
1930
1931 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1932
1933         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the 
1934         entire function useless.
1935
1936 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1937
1938         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1939         casereader method casereader_clone.   
1940         
1941         * procedure.c pransformations.h: Introduced new type casenum_t
1942
1943 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1944
1945         * variable.c: (width_to_bytes) Rephrase code for clarify.
1946
1947 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1948
1949         * format.c: (fmt_type_from_string) New function.
1950         (fmt_to_string) Include decimals in output if the format has
1951         decimals, even if the format type does not.  This way, we can
1952         accurately reproduce incorrect formats in user output.
1953         (check_common_specifier) Make the check for a bad format type an
1954         assertion, so we get bug reports if they show up.  Fix message.
1955         Check for decimal places with a format type that doesn't allow
1956         them.
1957         (check_input_specifier) Remove check for FMT_X, which has been
1958         deleted.
1959         (check_output_specifier) Ditto. 
1960
1961         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1962
1963         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1964         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1965         (enum fmt_parse_flags) Removed.
1966
1967 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1968
1969         * casefile.c casefile.h: Converted to  an abstract base class.
1970         * casefile-private.h fastfile.c fastfile.h: New files.
1971         * automake.mk procedure.c scratch-writer.c storage-stream.c
1972
1973 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1974
1975         * procedure.c (internal_procedure): Create sink_case with only as
1976         many values as the compacted dictionary.
1977
1978 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1979
1980         Remove "debugging" code that caused plenty of false positives and
1981         no true positives.
1982         
1983         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1984
1985         * case.c: Remove all references to `this' member.
1986
1987 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1988
1989         Fix link error noted by Jason Stover.
1990         
1991         * storage-stream.c: Include <assert.h>.
1992
1993 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1994
1995         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1996         ALL) and additional underlying system file issues.
1997
1998         Thanks to John Darrington for review.
1999
2000         First problem: var_hash points to variables not owned by the
2001         sys-file-reader, which the caller may free or modify.  Use an
2002         array of sfm_vars instead, as done earlier (e.g. CVS version
2003         1.12).
2004         
2005         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
2006         members and remove all code that references it.  Add vars, var_cnt
2007         members.  Remove fix_specials member, which was unused.
2008         (struct sfm_var) Remove name member, which was unused.
2009         (sfm_close_reader) Free vars member instead of var_hash.
2010         (compare_var_shortnames) Removed.
2011         (hash_var_shortname) Removed.
2012         (sfm_open_reader) Fill out vars array.
2013         (compare_var_index) Removed.
2014         (sfm_read_case) Use vars instead of var_hash.
2015         
2016         Second problem: we're confused about when we actually have very
2017         long strings, causing us to choose incorrectly between slow path
2018         and fast path in sfm_read_case.
2019
2020         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
2021         have very long strings, not when we have long variable names,
2022         which is an unrelated feature.
2023
2024 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
2025
2026         * variable.h: Move var_set and variable parsing declarations to
2027         new header, src/language/lexer/variable-parser.h.  Modified lots
2028         of files to include the new header.
2029
2030 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
2031
2032         * value-labels.c (value_to_string): When there's no value label,
2033         format the variable according to its print format, instead of
2034         always effectively using A or F format.
2035
2036 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
2037
2038         * casefile.c (casefile_get_random_reader): Nasty hack to get around 
2039         the mode assertion.
2040
2041         * format.c: Removed tortological assertion.
2042
2043 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
2044
2045         Reform string library.
2046         
2047         * file-name.c (fn_interp_vars): Change interface to take a
2048         substring as input.  Updated all users.
2049         
2050 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
2051
2052         * format.c (measure_is_valid): Really return false when m >=
2053         n_MEASURES.
2054
2055 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
2056
2057         Implement random access to casefiles, for use in GUI.
2058         
2059         * casefile.c: (struct casereader) Add `random', `file_ofs',
2060         `buffer_ofs' members.
2061         (casefile_get_random_reader) New function.
2062         (read_open_file) Break part into new function
2063         seek_and_fill_buffer().
2064         (fill_buffer) Update buffer_ofs, file_ofs.
2065         (casereader_seek) New function.
2066
2067 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
2068
2069         * settings.c: Added call to i18n{done, init}.
2070
2071 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
2072
2073         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
2074         prototypes.
2075
2076 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
2077
2078         * casefile.c: Convert many uses of `int' to `bool'.
2079
2080 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
2081
2082         * transformations.c (trns_chain_destroy): Destroy chain's trns
2083         member, to fix memory leak.
2084
2085 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
2086
2087         * storage-stream.c (storage_source_decapsulate): Destroy case
2088         source to fix memory leak.
2089
2090 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
2091
2092         * scratch-reader.c (scratch_reader_read_case): Copy into existing
2093         case passed as argument instead of initializing the argument as a
2094         case.  Fixes memory leak that showed up in
2095         tests/command/aggregate.sh with scratch files.
2096
2097 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
2098
2099         * procedure.c (proc_done): Destroy default_dict, to fix memory
2100         leak.
2101
2102 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
2103
2104         Simplify procedure_with_splits().
2105         
2106         * procedure.c (struct split_aux_data): Removed case_count member.
2107         (procedure_with_splits) Don't initialize case_count.
2108         (split_procedure_case_func) Check whether prev_case is null
2109         instead of case_count.
2110         (split_procedure_end_func) Ditto.
2111
2112 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
2113
2114         * case.c (case_move): Do nothing if dst and src are the same
2115         object.
2116         (case_try_create) Merge two similar cases.
2117         (case_copy) Unshare only if data must be actually copied.
2118
2119 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
2120
2121         * data-in.c data-out.c dictionary.c sys-file-reader.c
2122         sys-file-writer.c variable.c variable.h:  Reworked very long string
2123         support for better encapsulation.
2124
2125 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
2126
2127         * value-labels.c (val_labs_can_set_width): New function.
2128         (val_labs_set_width) Clear labels if increasing width to long
2129         string.
2130         (val_labs_destroy) Remove unneeded test for null.
2131         
2132 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
2133
2134         * value-labels.h: Remove unneeded dependency on variable.h.
2135
2136 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
2137
2138         Get rid of `char *c' member in union value, for cleanliness.
2139         
2140         * value.h: (union value) Remove `c' member.
2141
2142 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
2143
2144         Make dictionary compacting functions a little more general.
2145         
2146         * sys-file-writer.c (sfm_open_writer): Use
2147         dict_compacting_would_change().
2148         (does_dict_need_translation) Removed.
2149
2150 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
2151
2152         Make dictionary compacting functions a little more general.
2153         
2154         * dictionary.c (dict_needs_compaction): Rename
2155         dict_compacting_would_shrink().  Update all callers.
2156         (dict_compacting_would_change) New function.
2157         
2158 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
2159
2160         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
2161         inverted return value (!).
2162
2163 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
2164
2165         Continue reforming procedure execution.  
2166
2167         * procedure.c: Search and replace "vfm" by "proc".  Notably:
2168         (static var vfm_source) Rename proc_source.  Update all
2169         references.
2170         (static var vfm_sink) Rename proc_sink.  Update all references.
2171         
2172 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
2173
2174         Continue reforming procedure execution.  In this phase, remove
2175         PROCESS IF, which was deprecated anyway and can be easily
2176         simulated with TEMPORARY followed by SELECT IF.
2177
2178         * procedure.c: (open_active_file) Don't call
2179         add_process_if_trns().
2180         (discard_variables) Get rid of redundant call to
2181         proc_cancel_all_transformations().
2182         (add_process_if_trns) Removed.
2183         (process_if_trns_proc) Removed.
2184         (process_if_trns_free) Removed.
2185
2186 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
2187
2188         Continue reforming procedure execution.  In this phase, add
2189         `const' to the case passed to procedure()'s callback.
2190
2191         Updated all users of procedure() as well.
2192         
2193         * procedure.c: (struct write_case_data) Add "const" to ccase
2194         parameter for case_func member.
2195         (procedure) Add "const" to ccase parameter for proc_func
2196         parameter.
2197         (multipass_case_func) Make ccase parameter const.
2198         (internal_procedure) Add "const" to ccase parameter for case_func
2199         parameter.
2200         (split_procedure_case_func) Make ccase parameter const.
2201         (multipass_split_case_func) Make ccase parameter const.
2202         
2203 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
2204
2205         Continue reforming procedure execution.  In this phase, get rid of
2206         the output code for SPLIT FILE groups in procedure.c, which really
2207         shouldn't be doing any output.  Move it into the individual
2208         procedures instead.  This also adds some flexibility.
2209
2210         Updated many users of procedure_with_splits() and
2211         multipass_procedure_with_splits() to call
2212         output_split_file_values() and to deal with increased use of
2213         const.
2214
2215         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
2216         parameter to begin_func member.
2217         (procedure_with_splits) Add "const struct ccase *" parameter to
2218         begin_func parameter.  Make ccase parameter const in proc_func
2219         parameter.
2220         (split_procedure_case_func) Don't dump split file group.  Pass
2221         case to begin_func.
2222         (dump_splits) Moved to language/dictionary/split-file.c as
2223         output_split_file_values().
2224         (struct multipass_split_aux_data) Add "const struct ccase *"
2225         parameter to split_func member.
2226         (multipass_procedure_with_splits) Add "const struct ccase *"
2227         parameter to split_func parameter.
2228         (multipass_split_case_func) Save new SPLIT FILE case before
2229         outputting case.
2230         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
2231         
2232 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
2233
2234         Continue reforming procedure execution.  Change
2235         internal_procedure() so that it calls open_active_file() and
2236         close_active_file(), which isolates most of the actual procedure
2237         functionality.
2238
2239         * procedure.c: (struct write_case_data) Rename `proc_func' member
2240         to `case_func' and update all references.
2241         (procedure) Rewrite as one-line wrapper around
2242         internal_procedure().
2243         (struct multipass_aux_data) New.
2244         (multipass_callback) Renamed multipass_case_func().  Use struct
2245         multipass_aux_data as auxiliary data.
2246         (multipass_end_func) New function.
2247         (multipass_procedure) Rewrite as wrapper for internal_procedure()
2248         that uses multipass_case_func, multipass_end_func.
2249         (internal_procedure) Add `end_func' argument.  Move optimization
2250         of trivial case in here.  Move call to open_active_file() and
2251         close_active_file() in here.  Now assert that vfm_source is
2252         non-null.
2253         (procedure_with_splits_callback) Rename
2254         split_procedure_case_func().
2255         (split_procedure_end_func) New function.
2256         (multipass_split_callback) Rename multipass_split_case_func.
2257         (multipass_split_end_func) New function.
2258         (discard_variables) No need to test for nonnull vfm_source.
2259
2260 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
2261
2262         Continue reforming procedure execution.  Get rid of unused member.
2263
2264         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
2265         member.
2266         (write_case) Don't increment cases_analyzed.
2267
2268 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
2269
2270         Continue reforming procedure execution.  In this phase, move
2271         procedure.c and procedure.h from src to src/data.  Update
2272         makefiles and #includes accordingly.
2273
2274         * procedure.c: Moved here from src/.
2275
2276         * procedure.h: Moved here from src/.
2277
2278 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
2279
2280         Continue reforming procedure execution.  In this phase, get rid of
2281         many global variables, consolidating procedure execution in
2282         procedure.c.  Encapsulate transformations in new "struct
2283         trns_chain".  Also, change implementation of N OF CASES, FILTER,
2284         and PROCESS IF from special cases to transformations.
2285          
2286         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
2287         transformations.h.
2288
2289         * dictionary.c: (global variable default_dict) Move to
2290         src/procedure.c.
2291
2292         * variable.h: (TRNS_*) Move to transformations.h.
2293         (struct transformation) Move to transformations.c.
2294
2295 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
2296
2297         * sys-file-reader.c: Fixed invalid read problems.
2298
2299 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
2300
2301         * storage-stream.c: Add missing function comments.
2302
2303 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
2304
2305         Continue reforming procedure execution.  In this phase, add some
2306         new, needed functionality to storage-stream.
2307
2308         * storage-stream.c: (storage_source_decapsulate) New function.
2309
2310 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
2311
2312         * variable.c (width_to_bytes): Declarations must precede
2313         statements for C90 compliance.
2314
2315 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
2316
2317         * data-out.c, data-in.c, variable.c, variable.h: New functions 
2318         copy_mangle and copy_demangle for reading/writing cases; emulates the 
2319         way SPSS deals with strings > 255 bytes.
2320
2321         * sys-file-reader.c sys-file-writer.c: Added support for Record 7, 
2322         subtype 14 needed for strings longer than 255 bytes.
2323
2324         * dictionary.c, format.def, value.c : Updated to use MAX_STRING 
2325         instead of literal values. Also fixed some constness issues.
2326
2327         * format.h: Constness
2328
2329         * sfm-private.h: Renamed the case_size identifier, since I discovered 
2330         that SPSS's respect for this variable is very nominal.
2331
2332 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
2333
2334         Change case limit type from int to size_t.
2335
2336         * dictionary.c: (struct dictionary) Change type of case_limit
2337         member.
2338         (dict_get_case_limit) Change return type.
2339         (dict_set_case_limit) Change parameter type.
2340
2341 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
2342
2343         * variable.h: (struct variable) Rename `reinit' member as `leave'
2344         and invert sense.  Fix up all references.
2345
2346 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
2347
2348         Continue reforming procedure execution.  In this phase, break
2349         procedure.c into multiple files.
2350         
2351         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
2352
2353         * case-sink.c: New file.
2354
2355         * case-sink.h: New file.
2356         
2357         * case-source.c: New file.
2358
2359         * case-source.h: New file.
2360         
2361         * storage-stream.c: New file.
2362
2363         * storage-stream.h: New file.
2364
2365 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
2366
2367         * variable.h: (struct variable) Remove `init' member and all
2368         references to it from other files.  It was initialized in several
2369         places, but nothing really ever used it for anything worthwhile.
2370         Thanks to Jason Stover for pointing out how confusing this
2371         member is.
2372
2373 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
2374
2375         Continue reforming error message support.  In this phase, get rid
2376         of message "titles" and put the message text in `struct error'.
2377         Now `struct error' encapsulates a message more properly.
2378         
2379         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
2380         Format message ourselves.
2381
2382         * data-in.c: (vdls_error) Ditto.
2383
2384         * por-file-reader.c: (error) Ditto.
2385
2386         * sys-file-reader.c: (corrupt_msg) Ditto.
2387
2388 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
2389
2390         GNU standards require "file name" instead of "filename" in
2391         documentation.  It's nice for our code to follow the convention
2392         too.
2393         
2394         * casefile.c: (struct casefile) Rename `filename' member to
2395         `file_name'.  Updated all references.
2396
2397         * file-name.c: [!unix] (struct file_identity) Rename
2398         normalized_filename member to normalized_file_name.  Updated all
2399         references.
2400
2401 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
2402
2403         We don't really support anything but Unix-like environments well,
2404         so we might as well de-obfuscate by writing directory and path
2405         separators explicitly.
2406
2407         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
2408         to just '/'.
2409         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
2410         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
2411         "/".
2412         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
2413         ":"
2414
2415 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
2416
2417         GNU standards require "file name" instead of "filename" in
2418         documentation.  It's nice for our code to follow the convention
2419         too.
2420         
2421         * filename.c: Rename to file-name.c.
2422
2423         * filename.h: Rename to file-name.h.  Update all inclusions.
2424         Update header guards.
2425
2426         * automake.mk: Update file names.
2427
2428 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
2429
2430         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
2431         updated.
2432         (fn_basename) Removed (dead code).
2433         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
2434         (fn_special_p) Renamed fn_is_special(), all references updated.
2435         (fn_exists_p) Renamed fn_exists(), all references updated.
2436
2437 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
2438
2439         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.  
2440         Also, now it only tilde-expands file names, not paths.
2441         (fn_search_path) Tilde-expand one directory at a time.
2442
2443 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
2444
2445         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
2446         get rid of non-Unixlike version of the code, which has probably
2447         never been tested.
2448         (fn_prepend_dir) Removed (dead code).
2449
2450         * filename.h: (macro DIR_SEPARATOR_STRING) New.
2451         (macro PATH_SEPARATOR_STRING) New.
2452 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
2453
2454         Continue reforming error message support.  In this phase, we get
2455         rid of VM() and the other msg() support for "verbosity", replacing
2456         it by a new function verbose_msg().
2457
2458         * filename.c: (fn_search_path) Use verbose_msg() instead of
2459         msg(VM(), ...).  
2460
2461 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
2462
2463         * sfm-private.h: Get rid of #defines after #error, which makes no
2464         sense.
2465
2466 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
2467
2468         Get rid of our own int32 type in favor of the standard int32_t
2469         type.
2470         
2471         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
2472         include <stdint.h>.
2473
2474         * sys-file-reader.c: Use int32_t instead of int32 throughout.
2475         
2476         * sys-file-writer.c: Use int32_t instead of int32 throughout.
2477
2478 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
2479
2480         Remove ill-considered file routines that are no longer used.
2481         
2482         * filename.c: (fn_open_ext) Removed.
2483         (fn_close_ext) Removed.
2484
2485         * filename.h: (struct file_ext) Removed.
2486
2487 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
2488
2489         * variable.c (var_is_valid_name): Move declarations before code
2490         for C90 compliance.
2491
2492 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
2493
2494         * filename.ch (fn_interp_vars): Fixed small buglet.
2495
2496 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
2497         
2498         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
2499         so as to modify the string inline.   Thus makeing it easier to
2500         destroy the results when no longer needed.
2501         
2502 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
2503
2504         * category.c (cat_stored_values_destroy): Fixed memory leak.
2505
2506 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
2507
2508         Add some missing frees.  Thanks to John Darrington for reporting
2509         these.
2510
2511         * any-writer.c (any_writer_close): Free writer.
2512
2513         * any-reader.c (any_reader_close): Free reader.
2514
2515 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
2516
2517         * por-file-reader.c: (error) Mark as NO_RETURN.
2518
2519 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
2520
2521         * settings.c: Changed default value of scompress to true.
2522
2523 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
2524
2525         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
2526
2527         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
2528         really applies.
2529
2530         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
2531         here from pref.h.orig.
2532
2533 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
2534
2535         * sys-file-reader.c: Fixed bug reading compressed files.
2536
2537 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
2538
2539         * Numerous renames.  See src/ChangeLog for details.
2540         
2541         * Moved files from src directory