(dict_clone): Copy case indexes from cloned dictionary. Fixes bug
[pspp-builds.git] / src / data / ChangeLog
1 2007-09-14  Ben Pfaff  <blp@gnu.org>
2
3         * dictionary.c (dict_clone): Copy case indexes from cloned
4         dictionary.  Fixes bug #21061.  Reviewed by John Darrington.
5
6 2007-09-13  John Darrington <john@darrington.wattle.id.au>
7
8         * value.c value.h (create_value): New function.
9
10 2007-09-12  Ben Pfaff  <blp@gnu.org>
11
12         Make it clear that translator casereader and casewriter translate
13         functions are supposed to destroy their input case.
14         
15         * casereader-translator.c (struct casereader_translator): Change
16         input case parameter of translate member function from const
17         struct ccase * to struct ccase *.
18         (casereader_create_translator): Ditto, for translate parameter.
19
20         * casewriter-translator.c (struct casewriter_translator): Ditto.
21         (casewriter_create_translator): Ditto.
22
23 2007-08-27  John Darrington <john@darrington.wattle.id.au>
24         
25         * sys-file-reader.c (read_display_parameters): Force display width 
26         to 8, if the sys file says 0 (like SPSS does).
27
28 2007-08-12  Ben Pfaff  <blp@gnu.org>
29
30         * dictionary.c (dict_dump): New function.
31
32 2007-08-12  Ben Pfaff  <blp@gnu.org>
33
34         Drop dict_compactor in favor of using the new struct case_map.
35
36         * dictionary.c (struct copy_map): Removed.
37         (struct dict_compactor): Removed.
38         (dict_make_compactor): Removed.
39         (dict_compactor_compact): Removed.
40         (dict_compactor_destroy): Removed.
41
42         * procedure.c (struct data_set): Change `compactor' member to be a
43         struct case_map *.
44         (proc_open): Use case_map_to_compact_dict instead of
45         dict_make_compactor.
46         (proc_casereader_read): Use case_map_execute instead of
47         dict_compactor_compact.
48         (proc_commit): Use case_map_destroy instead of
49         dict_compactor_destroy.
50
51         * scratch-writer.c (struct scratch_writer): Change `compactor'
52         member to be a struct case_map *.
53         (scratch_writer_open): Use case_map_to_compact_dict instead of
54         dict_make_compactor.
55         (scratch_writer_casewriter_write): Use case_map_execute instead of
56         dict_compactor_compact.
57
58 2007-08-12  Ben Pfaff  <blp@gnu.org>
59
60         * automake.mk: Add case-map.c, case-map.h.
61
62         * case-map.c: New file.
63
64         * case-map.h: New file.
65
66 2007-08-12  Ben Pfaff  <blp@gnu.org>
67
68         * dictionary.c (dict_compact_values): Don't delete scratch
69         variables as well as compacting case indexes.  Update all callers.
70         (dict_get_compacted_value_cnt): Rename dict_count_values and
71         change interface.  Update all callers.
72         (dict_get_compacted_value_cnt): Remove.
73         (dict_compacting_would_shrink): Remove.
74         (dict_compacting_would_change): Remove.
75         (dict_make_compactor): Add new parameter.  Update all callers.
76         
77         * procedure.c (proc_casereader_read): Use casewriter_get_value_cnt
78         instead of dict_count_values, changing an O(N) operation into
79         O(1).
80
81 2007-08-12  Ben Pfaff  <blp@gnu.org>
82
83         * casereader.c (casereader_read): Don't require cases read by a
84         casereader to be exactly the expected size: as long as they're big
85         enough, it's OK.
86
87 2007-08-12  Ben Pfaff  <blp@gnu.org>
88
89         Make casewriters keep track of the number of `union value's in
90         each case.  This is useful for two reasons: casewriter_write can
91         then check that the case being written is large enough, and later
92         recipients of the casewriter can determine the size of the case.
93         
94         * casewriter-translator.c (casewriter_create_translator): Add
95         value_cnt parameter.
96         
97         * casewriter.c (struct casewriter): Add value_cnt member.
98         (casewriter_write): Check that the case passed in is big enough.
99         (casewriter_get_value_cnt): New function.
100         (casewriter_create): Add value_cnt parameter.
101
102 2007-08-09  Ben Pfaff  <blp@gnu.org>
103
104         Fix bug reported by Jason Stover.
105         * settings.c: Move get_termcap_viewport and in particular the
106         #include for <curses.h> to the end of the file.  curses.h
107         redefines bool on some systems (e.g. OpenBSD), which causes
108         disagreement between uses of bool before its inclusion and
109         afterward.
110         Tested by Jason Stover.
111
112 2007-07-29  Ben Pfaff  <blp@gnu.org>
113
114         Provisional fix for bug #18692 and bug #20161.  Reviewed by John
115         Darrington.
116
117         * file-name.c (fn_open): Only pass "r" or "w" to popen as mode
118         argument (never "rb" or "wb") because SUSv3 says that only those
119         modes are defined, and glibc in fact rejects other modes.
120
121         Open portable files with fn_open so that they can be read from
122         pipes.  Fix missing fh_close call to go along with fh_open.
123         Report an error if the file close reports an error.
124         * por-file-reader.c (close_reader): New function.
125         (por_file_casereader_destroy): Use close_reader.
126         (pfm_open_reader): Open file with fn_open.
127
128 2007-07-28  Ben Pfaff  <blp@gnu.org>
129
130         Make PSPP able to read all the portable files I could find on the
131         web.  Thanks to John Darrington for review.  Bug #17620.
132         * por-file-reader.c (struct pfm_reader): New member `line_length'.
133         (error): Print file offset in hexadecimal.
134         (warning): New function.
135         (advance): Treat lines less than 80 bytes long as padded to 80
136         bytes with spaces.
137         (pfm_open_reader): Call read_documents if we find an "E" record.
138         (convert_format): Convert invalid formats to the default format
139         instead of aborting reading the file.
140         (read_variables): Rename duplicate variable names instead of
141         aborting reading the file.
142         (read_value_label): Allow string variables of different widths to
143         be assigned value labels in the same record.  Replace duplicate
144         value labels instead of aborting.
145         (read_documents): New function.
146
147         * por-file-writer.c (pfm_open_writer): Call write_documents if the
148         dictionary has documents.
149         (write_documents): New function.
150
151 2007-07-25  Ben Pfaff  <blp@gnu.org>
152
153         Fix bugs related to bug #17213.
154
155         * settings.c: Use HAVE_LIBNCURSES instead of HAVE_LIBTERMCAP,
156         since the former is what config.h has.  Include the needed ncurses
157         headers.
158         (static var echo) Rename to `do_echo' because the original name is
159         the same as an ncurses identifier.
160         (get_termcap_viewport) Use error instead of msg.
161
162         * file-name.c (fn_interp_vars): Fix interpolation of $VARS.
163         (fn_close): Don't close stdin, stdout, stderr.
164
165 2007-07-26 John Darrington <john@darrington.wattle.id.au>
166
167         * procedure.c procedure.h: Added callbacks which get invoked whenever 
168         a dataset's transformation chain changes.
169
170 2007-07-24  Ben Pfaff  <blp@gnu.org>
171
172         Fix bug #6113.
173         * sys-file-writer.c (write_variable_display_parameters): Use new
174         var_default_display_width function to choose display width of
175         segments after the first one in a given variable.
176         * variable.c (var_create): Use var_default_display_width to pick
177         new variable's display width.
178         (var_default_display_width): New function.
179         Reviewed by John Darrington.
180
181 2007-07-24  Ben Pfaff  <blp@gnu.org>
182
183         Fix bug #20427.
184         * por-file-writer.c (write_variables): Write weight variable.
185         Reviewed by John Darrington.
186
187 2007-07-23  Ben Pfaff  <blp@gnu.org>
188
189         Improvements to system file reader and writer.
190         
191         First, move all detailed knowledge of very long strings into
192         sys-file-private.[ch], so that this nasty stuff can be isolated.
193
194         * sys-file-private.c (REAL_VLS_CHUNK): New macro.
195         (EFFECTIVE_VLS_CHUNK): New macro.
196         (min_int): New function.
197         (max_int): New function.
198         (sfm_width_to_bytes): Rewrite.
199         (sfm_width_to_octs): New function.
200         (sfm_segment_alloc_width): New function.
201         (sfm_segment_alloc_bytes): New function.
202         (sfm_segment_used_bytes): New function.
203         (sfm_segment_offset): New function.
204         (sfm_segment_effective_offset): New function.
205         (sfm_dictionary_to_sfm_vars): New function.
206
207         * sys-file-private.h (MIN_VERY_LONG_STRING): Removed.
208         (EFFECTIVE_LONG_STRING_LENGTH): Removed.
209         (struct sfm_var): New structure.
210
211         Next, improvements to the system file reader.
212
213         * sys-file-reader.h (struct sfm_read_info): Changed `case_cnt' to
214         type casenumber.  Added `version_major', `version_minor',
215         `version_revision'.
216
217         * sys-file-reader.c (struct sfm_reader): Replaced `flt64_cnt' by
218         `oct_cnt'.  Rename `vars', `var_cnt' to `sfm_vars', `sfm_var_cnt'.
219         Change `case_cnt' to type casenumber.  Removed `has_vls'.
220         (struct sfm_var): Removed.
221         (sfm_open_reader): Don't warn on wrong case size if the file was
222         written by SPSS 13, which tends to get it wrong.  Use
223         sfm_dictionary_to_sfm_vars.
224         (read_header): Always output system file info.
225         (read_variable_record): Simplify code for reading missing values.
226         (read_machine_int32_info): Save version numbers from system file
227         into info struct passed as new argument.
228         (read_long_string_map): Restructured to use new sys-file-private
229         functions.
230         (read_value_labels): Use size_overflow_p.
231         (sys_file_casereader_read): Get rid of distinction between fast
232         and slow paths.  Use information provided by sys-file-primate's
233         struct sfm_var to simplify code.
234         (skip_whole_strings): New function.
235         (read_int32): Renamed read_int.  Changed return value to int.
236         Updated all callers.
237         (read_flt64): Renamed read_float.  Changed return value to
238         double.  Updated all callers.
239         (int32_to_native): Removed.  Changed callers to use
240         integer_convert.
241         (flt64_to_double): Removed.  Changed callers to use float_convert.
242         
243         Finally, get rid of int32, flt64 terminology and types in system
244         file writer.  The former wasn't very useful since a POSIX "int"
245         can hold the whole range of int32 and we generally didn't have a
246         need for it to be exactly-32-bits, just at-least-32-bits.  The
247         latter was inconvenient because we had to assume that it could be
248         different from double and thereby convert special values SYSMIS,
249         HIGHEST, LOWEST to and from it in multiple places.  Instead, now
250         we just use "int" and "double" in most places, and do conversions,
251         if necessary, very close to where we do I/O.  This change meant
252         that the writer code couldn't represent records in the file as C
253         structs any longer, but that's no great loss.  The code actually
254         seems to be more readable without them.
255
256         Simplify the compression buffering code: only buffer as much as
257         necessary, which is no more than eight 8-byte units at any given
258         time.
259
260         * sys-file-writer.c (typedef flt64): Removed.
261         (macro second_lowest_flt64): Removed.
262         (struct sysfile_header): Removed.
263         (struct sysfile_variable): Removed.
264         (struct sfm_writer): Removed `needs_translation', `has_vls',
265         `flt64_cnt'.  Changed `compress' to type bool and `case_cnt' to
266         type casenumber.  Renamed `vars' to `sfm_vars', `var_cnt' to
267         `sfm_var_cnt'.  Replaced `buf', `end', `ptr', `x', `y' for
268         compression buffering by `opcodes', `opcode_cnt', `data',
269         `data_cnt'.  Renamed `var_cnt_vls' as `segment_cnt'.
270         (sfm_open_writer): Use sfm_dictionary_to_sfm_vars.  Use simple
271         data writer functions instead of structures.
272         (calc_oct_idx): New function.
273         (write_header): Use simple data writer functions instead of
274         structures.
275         (write_format_spec): Renamed write_format.  New argument.
276         (write_variable_continuation_records): New function.
277         (write_variable): Use simple data writer functions instead of
278         structures.  Use write_variable_continuation_records.  Write
279         entire very long string instead of requiring caller to understand
280         them.
281         (write_value_labels): Use simple data writer functions instead of
282         structures.
283         (write_documents): Ditto.
284         (write_variable_display_parameters): Use sys-file-private
285         functions to simplify.  Use simple data writer functions instead
286         of structures.
287         (write_vls_length_table): Use simple data writer functions instead
288         of structures.
289         (write_longvar_table): Ditto.
290         (write_rec_7_34): Break into new functions
291         write_integer_info_record, write_float_info_record.  Use simple
292         data writer functions instead of structures.
293         (buf_write): Removed.
294         (append_string_max): Removed.
295         (ensure_buf_space): Removed.
296         (sys_file_casewriter_write): Get rid of the distinction between
297         fast and slow paths, which didn't seem to be too useful.  Use new
298         functions write_case_uncompressed, write_case_compressed.
299         (put_instruction): Removed.
300         (put_element): Removed.
301         (write_compressed_data): Removed.
302         (close_writer): Use flush_compressed.  Only write case count to
303         system file if it will fit in the field.
304         (write_case_compressed): New function.
305         (write_case_uncompressed): New function.
306         (flush_compressed): New function.
307         (put_cmp_opcode): New function.
308         (put_cmp_number): New function.
309         (write_int): New function.
310         (convert_double_to_output_format): New function.
311         (write_float): New function.
312         (write_value): New function.
313         (write_string): New function.
314         (write_bytes): New function.
315         (write_zeros): New function.
316         (write_spaces): New function.
317
318         Reviewed by John Darrington.
319
320 2007-07-22  Ben Pfaff  <blp@gnu.org>
321
322         Don't try to write very long strings to portable files.  The
323         format does not support it.
324
325         * por-file-writer.c (MAX_POR_WIDTH): New macro.
326         (pfm_open_writer): Limit output width to MAX_POR_WIDTH.
327         (write_format): Add arg to take width to resize format to.
328         (write_value): Limit width of value written to MAX_POR_WIDTH.
329         (write_variables): Limit width of variable and its output formats
330         to MAX_POR_WIDTH.
331         Reviewed by John Darrington.
332
333 2007-07-22  Ben Pfaff  <blp@gnu.org>
334
335         * sys-file-reader.c (read_variable_to_value_map): Use max_warnings
336         local variable instead of literal 5.
337         Reviewed by John Darrington.
338         
339 2007-07-22  Ben Pfaff  <blp@gnu.org>
340
341         Fix problems with uniqueness of short names in system files with
342         very long string variables.  Now a variable may have multiple
343         short names.
344         
345         * automake.mk (src_data_libdata_a_SOURCES): Add new files
346         short-names.c, short-names.h.
347
348         * dictionary.c (dict_clone): Clone all the short names.
349         (compare_strings): Move into short-names.c.
350         (hash_strings): Ditto.
351         (set_var_short_name_suffix): Ditto.
352         (dict_assign_short_names): Ditto, rename short_names_assign,
353         change to assign all short names.
354         
355         * por-file-writer.c (write_variables): Use short_names_assign
356         instead of dict_assign_short_names.
357
358         * short-names.c: New file.
359
360         * short-names.h: New file.
361
362         * sys-file-private.c (sfm_width_to_segments): New function.
363
364         * sys-file-reader.c (read_long_var_name_map): Save and restore all
365         the short names, not just the first one.
366         
367         * sys-file-writer.c (cont_var_name): Removed.
368         (sfm_open_writer): Use short_names_assign instead of
369         dict_assign_short_names.  Use unique short names assigned by
370         short_names_assign instead of those generated by cont_var_name.
371
372         * variable.c (struct variable): Remove `short_name' member,
373         replace by `short_names' and `short_name_cnt'.
374         (var_create) Initialize new members.
375         (var_get_short_name_cnt): New function.
376         (var_get_short_name): Now takes an index argument.  Changed most
377         callers to pass 0.
378         (var_set_short_name): Ditto.
379         (var_clear_short_name): Renamed var_clear_short_names, changed to
380         clear all short names.
381         
382         Reviewed by John Darrington.
383
384 2007-07-22  Ben Pfaff  <blp@gnu.org>
385
386         * variable.c (var_set_width): Use new var_set_width function.
387
388         * missing-values.c (mv_n_values): Drop assertion, which was not
389         needed.
390
391         * format.c (fmt_default_for_width): New function.
392         (fmt_resize): New function.
393
394         Reviewed by John Darrington.
395
396 2007-07-18 John Darrington <john@darrington.wattle.id.au>
397
398         * datasheet.c (datasheet_delete_columns): Added assertion to check
399         we're not deleting outside the range of the sheet.  
400
401         
402         * dictionary.c dictionary.h variable.c: Added the ability for string
403         variables to be resized.
404         
405         * vardict.h: Added some prototypes (moved from dictionary.h) as
406         these should only be called by variable.c
407
408
409 2007-07-14 John Darrington <john@darrington.wattle.id.au>
410
411         * sfm-reader.c: Respect case_cnt field in file header.
412
413 2007-07-01 John Darrington <john@darrington.wattle.id.au>
414
415         * transformation.c transformation.h (trns_chain_execute): Changed the 
416         signature (Patch #6057)
417
418 2007-06-10  Ben Pfaff  <blp@gnu.org>
419
420         * casereader-filter.c (casereader_filter_destroy): Make sure to
421         write all the remaining excluded cases to the casewriter, if any.
422
423         * caseinit.c (init_list_destroy): Rewrite.
424         (init_list_clear): Ditto.
425
426         * casegrouper.c (casegrouper_get_next_group): Always set *reader
427         to null when returning false.
428
429 2007-06-06  Ben Pfaff  <blp@gnu.org>
430
431         Actually implement the new procedure code and adapt all of its
432         clients to match.  Also adapt all of the other case sources and
433         sinks in the tree and their clients to use the
434         casereader/casewriter infrastructure.
435
436         * automake.mk: Add and remove files.
437
438         * any-reader.c: Change into a casereader.
439         * por-file-reader.c: Ditto.
440         * scratch-reader.c: Ditto.
441         * sys-file-reader.c: Ditto.
442
443         * any-writer.c: Change into a casewriter.
444         * por-file-writer.c: Ditto.
445         * scratch-writer.c: Ditto.
446         * sys-file-writer.c: Ditto.
447
448         * procedure.c: Change to use casereader, casewriter, caseinit, and
449         other new infrastructure.
450
451         * scratch-handle.c: Adapt to new infrastructure.
452
453         * case-sink.c: Removed, now dead code.
454         * case-sink.h: Ditto.
455         * case-source.c: Ditto.
456         * case-source.h: Ditto.
457         * casefile-factory.c: Ditto.
458         * casefile-private.h: Ditto.
459         * casefile.c: Ditto.
460         * casefile.h: Ditto.
461         * casefilter.c: Ditto.
462         * casefilter.h: Ditto.
463         * fastfile.c: Ditto.
464         * fastfile.h: Ditto.
465         * fastfile-factory.c: Ditto.
466         * fastfile-factory.h: Ditto.
467         * storage-stream.c: Ditto.
468         * storage-stream.h: Ditto.
469
470 2007-06-06  Ben Pfaff  <blp@gnu.org>
471
472         Add datasheet code.
473
474         * automake.mk: Add new files.
475
476         * datasheet.c: New file.
477
478         * datasheet.h: New file.
479
480 2007-06-06  Ben Pfaff  <blp@gnu.org>
481
482         Until now, the procedure code has provided a case to the
483         case_source, which has filled in the data values that come from
484         the active file.  "Left" data values that don't come from the
485         active file naturally stay the same from case to case, because the
486         procedure code keeps using that same case.
487
488         One of the compromises that comes with the new procedure code is
489         that the active file allocates and provides its own case, which
490         the procedure code then has to resize to provide room for any
491         other variables that should go in the case and then fill in the
492         values of "left" variables.  Then, when we're done with that case,
493         we have to save the values of "left" variables to copy into the
494         next case read from the active file.
495
496         The caseinit code helps with this.
497
498         * automake.mk: Add new files.
499
500         * caseinit.c: New file. 
501
502         * caseinit.h: New file. 
503
504 2007-06-06  Ben Pfaff  <blp@gnu.org>
505
506         * value.h (value_cnt_from_width): New function.
507
508         * variable.c (var_get_value_cnt): Use new function.
509
510 2007-06-06  Ben Pfaff  <blp@gnu.org>
511
512         Add casegrouper, to allow cases read from a given casereader to be
513         broken into groups, each of which has its own casereader.
514         Generally cases are grouped based on having equal values for some
515         set of variables.
516
517         * automake.mk: Add new files.
518
519         * casegrouper.c: New file.
520
521         * casegrouper.h: New file.
522
523 2007-06-06  Ben Pfaff  <blp@gnu.org>
524
525         Add interface to lexicographical ordering of cases.
526
527         * automake.mk: Add new files.
528
529         * case-ordering.c: New file.
530
531         * case-ordering.h: New file.
532
533 2007-06-06  Ben Pfaff  <blp@gnu.org>
534
535         Add casereaders and casewriters, the basis of the new data processing
536         implementation.  A casereader is a uniform interface to reading cases
537         from a data source; a casewriter is a uniform interface to writing
538         cases to a data sink.
539
540         * automake.mk: Add new files.
541         
542         * casereader-filter.c: New file.
543         
544         * casereader-provider.h: New file.
545
546         * casereader-translator.c: New file.
547         
548         * casereader.c: New file.
549         
550         * casereader.h: New file.
551         
552         * casewriter-provider.h: New file.
553         
554         * casewriter-translator.c: New file.
555         
556         * casewriter.c: New file.
557         
558         * casewriter.h: New file.
559
560 2007-06-06  Ben Pfaff  <blp@gnu.org>
561
562         "casewindow" data structure that extends the deque (from libpspp)
563         of cases with the ability to dump cases to disk if we get too many
564         of them in memory.
565
566         * automake.mk: Add new files.
567
568         * casewindow.c: New file.
569
570         * casewindow.h: New file.
571
572 2007-06-06  Ben Pfaff  <blp@gnu.org>
573
574         sparse_cases data structure that augments a sparse_array of cases
575         with the ability to dump cases to disk if we get too many cases in
576         memory.
577
578         * automake.mk: Add new files.
579
580         * sparse-cases.c: New file.
581
582         * sparse-cases.h: New file.
583
584 2007-06-06  Ben Pfaff  <blp@gnu.org>
585
586         Adds a low-level on-disk case array data structure.
587         
588         * automake.mk: Add new files.
589
590         * case-tmpfile.c: New file.
591
592         * case-tmpfile.h: New file.
593
594 2007-06-06  Ben Pfaff  <blp@gnu.org>
595
596         In a couple of places we calculate the maximum number of cases to
597         keep in memory based on the user-defined workspace.  Enable
598         centralizing the calculation through a new function.
599         
600         * settings.c (get_workspace_cases): New function.
601
602 2007-06-06  Ben Pfaff  <blp@gnu.org>
603
604         The casenumber type is defined in transformations.h, but case.h is
605         a more sensible place.  Move it.
606
607         * case.h (CASENUMBER_MAX): New macro.
608         (typedef casenumber): Move here, from transformations.h.
609
610 2007-06-03  Ben Pfaff  <blp@gnu.org>
611
612         Slightly generalize case_to_values and case_from_values functions.
613
614         * case.c (case_to_values): Rename case_copy_out, change interface.
615         (case_from_values): Rename case_copy_in, change interface.
616
617         * fastfile.c (fastfilereader_get_next_case): Update caller.
618         (write_case_to_disk): Ditto.
619
620 2007-06-02  Ben Pfaff  <blp@gnu.org>
621
622         Clean up after a forgotten part of patch #5829.
623         
624         * casedeque.h: Remove unused file.
625
626         * automake.mk: Remove casedeque.h from sources.
627
628 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
629
630         * category.c: Removed redundant #include
631
632 2007-05-06  Ben Pfaff  <blp@gnu.org>
633
634         Abstract the documents within a dictionary a little better.
635         Thanks to John Darrington for suggestion, initial version, and
636         review.  Patch #5917.
637
638         * dictionary.c (struct dictionary): Change `documents' member from
639         char * to struct string.
640         (dict_clear): Destroy struct string.
641         (dict_get_documents): Convert struct string to char *.
642         (dict_set_documents): Set struct string.  Pad to 80-character
643         multiple.
644         (dict_clear_documents): New function.
645         (dict_add_document_line): New function.
646         (dict_get_document_line_cnt): New function.
647         (dict_get_document_line): New function.
648
649         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
650
651         * sys-file-reader.c (read_documents): Use new document functions.
652
653 2007-04-19 John Darrington <john@darrington.wattle.id.au>
654
655         * sys-file-reader.c: When reading a system file which has no 
656         long name table, automatically create one where the long names 
657         are the lower case versions of the short names.
658         
659 2007-04-22  Ben Pfaff  <blp@gnu.org>
660
661         * dictionary.c (dict_set_split_vars): dict_destroy expects that
662         dict_clear will free most data related to the dictionary.
663         dict_clear does a decent job, except that dict_set_split_vars on
664         some systems won't actually free the dict's "split" member.
665         Instead, it'll allocate a 1-byte region.  Fix this.
666
667         * value.c (value_copy): New function.
668         (value_set_missing): Ditto.
669
670 2007-04-22 John Darrington <john@darrington.wattle.id.au>
671
672         * Deleted existing category.h and moved cat-routines.h into 
673         category.h  Encapsulated struct cat_vals better.
674
675 2007-04-19 John Darrington <john@darrington.wattle.id.au>
676
677         * sys-file-reader.c: When reading a system file which has no 
678         long name table, automatically create one where the long names 
679         are the lower case versions of the short names.
680         
681 2007-04-16 John Darrington <john@darrington.wattle.id.au>
682
683         * sys-file-reader.c: Some versions of Other Software seem to 
684         produce system files with string  variables' measure set to 
685         zero.  We'll assume these are supposed to be nominal variables.
686
687 2007-03-30  Ben Pfaff  <blp@gnu.org>
688
689         * procedure.c: Adapt to new deque data structure.
690
691 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
692                           Ben Pfaff <blp@gnu.org>
693
694         * file-name.c: Mingw compatibility fixes.
695         (fn_search_path): Use ISSLASH instead of comparing against '/'
696         directly.
697         (fn_dir_name): Use dir_name from gnulib.
698         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
699         (fn_get_identity): Use GetFullPathName instead of canonicalize
700         from gnulib, because the latter does not fully support
701         Windows-style path names.  Use this implementation based on the
702         detected presence of Windows instead of the absence of Unix, since
703         the new implementation is Windows-specific.
704         (fn_compare_file_identities): In Windows implementation, compare
705         names case-insensitively.
706
707 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
708
709         * make-file.c: Don't include mkstemp.h, because gnulib now causes
710         <stdlib.h> to have the same effect.
711
712 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
713
714         * por-file-reader.c: Add missing _() around messages.
715
716 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
717
718         * make-file.c: Include "mkstemp.h", without which linking on
719         mingw32 fails.
720
721 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
722  
723         Reduce platform dependence.
724  
725         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
726         Everywhere we using this, we really should have just depended on
727         the shell to expand tildes.
728         (fn_search_path): Simplify, given that we don't do tilde expansion
729         any longer.
730         (fn_normalize): Removed.  Caller changed to use the canonicalize
731         module from gnulib.
732         (fn_get_cwd): Removed.  Only user was fn_normalize.
733         (fn_is_absolute): Really only test for absolute names.
734         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
735         unix.
736         (fn_readlink): Removed, as it was only used fn_normalize.
737         (fn_exists): Assume the stat function is available; gnulib does.
738         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
739  
740 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
741
742         * dictionary.c (dict_create_vector_assert): New function.
743
744 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
745
746         * file-name.c (fn_normalize): Correct name of function
747         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
748         for pointing this out.
749
750 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
751
752         We are using a single member in struct file_handle, the "name"
753         field, for more than one purpose.  When it begins with '"', it's a
754         file name; otherwise, it's a token that can be used to identify
755         it.  When that assertion fires, it's because we searched for the
756         name case-sensitively as a file name (so that there was no match),
757         and then we try to insert it case-insensitively as a token, which
758         fails because duplicates aren't allowed.
759
760         Solution: break the two purposes into two separate fields.  This
761         fixes the problem and likely makes the code easier to read too.
762
763         Fixes bug #18922.  Thanks to John Darrington for bug report and
764         review.
765
766         * file-handle-def.c (struct file_handle): New `id' member.
767         (fh_from_name): Rename fh_from_id.  Update all callers.
768         (create_handle): New `id' parameter.  Update all callers.
769         (fh_create_file): Ditto.
770         (fh_get_id): New function.
771
772 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
773
774         * case.c (case_is_null): Change return type to bool.
775
776 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
777
778         Add debugging code.
779         
780         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
781         reference counting to share data.  This makes it easy for
782         valgrind, etc. to find accesses to cases that have been destroyed
783         but have been kept around by another user's ref-count.  This often
784         happens when the data set is small enough to find in memory; if a
785         bigger data set that would overflow to disk were used, then data
786         corruption would occur.
787
788 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
789
790         Simplify code.
791
792         * case.c (case_unshare): Make it check internally whether the
793         ref_cnt is greater than 1, so that the callers don't have to.
794         Update callers not to check.
795
796 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
797
798         Before, I was thinking that I might want to get rid of reference
799         counting at some point.  Now, I'm pretty sure that it's here to
800         stay.  Thus, because we have to store the value_cnt anyway for
801         reference-counted cases, we might as well expose it to users.
802
803         * case.c (case_get_value_cnt): New function.
804         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
805         resize case if its size actually changed.
806
807         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
808         instead of peeking inside struct case directly.
809         (casefile_append): Ditto.
810
811 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
812
813         Get rid of the inlines for the case functions, which made the
814         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
815         the inlines didn't speed up "make check" at all, which is not a
816         perfect benchmark but seems indicative.)
817         
818         * case.c: Remove #ifdef DEBUGGING...#endif around many function
819         definitions.  Remove some assertions on nonnull pointers that were
820         redundant with a pointer dereference soon after in the function.
821         Also:
822         (struct case_data): Move definition here from case.h.
823         (case_data): Ditto.
824         (case_num): Ditto.
825         (case_str): Ditto.
826         (case_data_wr): Ditto.
827         
828 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
829
830         * automake.mk: Add casedeque.h to sources.
831         
832         * casedeque.h: New file.
833
834         * procedure.c: (struct dataset) Change lag_count, lag_head,
835         lag_queue member into single struct casedeque member.  Update all
836         users to use the casedeque instead.
837         (lag_case) Removed.
838
839 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
840
841         * procedure.c: Simplify lagged cases interface.  Updated all
842         clients--well, the only client--to use the simplified interface.
843         (dataset_n_lag) Removed.
844         (dataset_set_n_lag) Removed.
845         (dataset_need_lag) New function.
846
847 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
848
849         * dictionary.c procedure.c: More changes to ensure that callbacks occur
850         whenever appropriate, but only when the dataset/dictionary is in a 
851         consistent state.
852
853 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
854
855         * dictionary.c dictionary.h : Added callbacks for change of filter and 
856         split variables.  Refactored some code to ensure that callbacks get
857         invoked when appropriate.
858
859         * procedure.c (proc_cancel_temporary_transformations): Make sure that 
860         replace_dict callback occurs when permanent_dict replaces the current
861         dictionary.
862
863 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
864
865         * dictionary.c dictionary.h : Added callback for when the weight 
866         variable of a dictionary changes.
867
868 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
869
870         * dictionary.c dictionary.h : Added replace_source and replace_dict
871         callbacks, and functions to deal with them.
872
873 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
874
875         Simplify missing value handling.
876
877         * missing-values.h (enum mv_class): New type.
878         (enum mv_type): Moved definition into missing-values.c and renamed
879         each MV_* to MVT_*, to distinguish them from the exposed mv_class
880         enums.  Updated all uses.
881         (struct missing_values): Changed type of `type' from `enum
882         mv_type' to `int' because the definition is no longer exposed.
883         
884         * missing-values.c (mv_is_value_missing): Add new enum mv_class
885         parameter.  Update all callers.
886         (mv_is_num_missing): Ditto.
887         (mv_is_str_missing): Ditto.
888         (mv_is_value_user_missing): Removed.  Changed callers to use
889         mv_is_value_missing.
890         (mv_is_num_user_missing): Removed.  Changed callers to use
891         mv_is_num_missing.
892         (mv_is_str_user_missing): Removed.  Changed callers to use
893         mv_is_str_missing.
894         (mv_is_value_system_missing): Removed.  Changed callers to use
895         mv_is_value_missing.
896         (mv_set_type): Removed.  Changed callers to use mv_clear.
897         (mv_clear): New function.
898         
899         * variable.c (var_is_value_missing): Add new enum mv_class
900         parameter.  Update all callers.
901         (var_is_num_missing): Ditto.
902         (var_is_str_missing): Ditto.
903         (var_is_value_user_missing): Removed.  Changed callers to use
904         var_is_value_missing.
905         (var_is_num_user_missing): Removed.  Changed callers to use
906         var_is_num_missing.
907         (var_is_str_user_missing): Removed.  Changed callers to use
908         var_is_str_missing.
909         (var_is_value_system_missing): Removed.  Changed callers to use
910         var_is_value_missing.
911         
912         * casefilter.c (struct casefilter): Use enum mv_class in place of
913         bool.
914         (casefilter_variable_missing): Adapt to new member.
915         (casefilter_create): Change signature to take enum mv_class,
916         update callers.
917
918 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
919
920         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
921
922         * case-sink.c case-sink.h procedure.c procedure.h 
923           storage-stream.c: Now uses the factory.
924         
925 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
926
927         Make it possible to pull cases from the active file with a
928         function call, instead of requiring indirection through a callback
929         function.
930
931         * case-source.h (struct case_source_class): Change ->read function
932         to return a single case, instead of calling a callback function
933         for each case.  Change ->destroy function to return an error
934         status.
935
936         * case-source.c (free_case_source): Pass along the value returned
937         by the case_source ->destroy function.
938
939         * procedure.c (struct write_case_data): Removed.
940         (struct dataset): Added some members to track procedure state.
941         (procedure): Optimize the trivial case at this level.
942         (internal_procedure): Re-implement in terms of proc_open,
943         proc_read, proc_close.
944         (proc_open) New function.
945         (proc_read) New function.
946         (proc_close) New function.
947         (write_case) Moved into proc_read.
948         (close_active_file) Moved closing of data source into proc_close.
949
950         * storage-source.c: Rewrote to conform with modified
951         case_source_class interface.
952
953         * transformations.c (trns_chain_execute): Added argument to allow
954         starting execution from an arbitrary transformation.  Updated
955         callers.
956
957         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
958
959 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
960
961         * sys-file-reader.c (read_display_parameters): Don't assume that
962         MEASURE_* and ALIGN_* have the same values found in system files.
963
964         * sys-file-writer.c (write_variable_display_parameters): Ditto.
965
966         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
967         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
968         the value of n_MEASURES, which was off by 1 (at least from my
969         point of view).
970
971 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
972
973         * dictionary.c dictionary.h vardict.h variable.c: Added optional
974                 callbacks which are invoked when the dictionary or its 
975                 variables are changed.  
976         
977         * missing-values.c missing-values.h value-labels.c: Tidied up
978                 consistency checks, and made some of them return false 
979                 instead of assert-failing. 
980
981 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
982
983         * calendar.c (calendar_days_in_month): New function.
984
985 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
986
987         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
988         the value label's width.
989
990 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
991
992         * sfm-private.h: Move contents into sys-file-writer.c, which is
993         the only remaining user.  Removed Borland C++-specific directives.
994         
995         * sys-file-reader.c: Clean up and rewrite entire file.  The
996         rewritten version is simpler and better abstracted, and should be
997         easier to maintain and extend.  It avoids using structures to read
998         file data, which is prone to padding variations among compilers.
999         It should also handle non-IEEE 754 system files, although I
1000         haven't been able to find any.  It has been tested against many
1001         .sav files obtained from the Web and found to produce the same
1002         results as the earlier version of the code, or in some cases
1003         improved results.  It is more tolerant of format variations found
1004         in the wild.
1005
1006         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
1007         member, putting an enum integer_format in its place.  New member
1008         `float_format'.  Changed `compressed' member to type bool.
1009
1010 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
1011
1012         * dictionary.c (dict_delete_consecutive_vars): New function.
1013
1014 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
1015
1016         * file-name.c (fn_search_path): Remove prefix arg that was unused
1017         by any caller.  Updated all callers.
1018
1019 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
1020
1021         * format.c (fmt_dollar_template): Use user's decimal point
1022         character.  Add assertion.
1023
1024 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
1025
1026         * format.c (fmt_dollar_template): New function, based on
1027         dollar_format_template from var-type-dialog.c.
1028
1029 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
1030
1031         * data-out.c (output_scientific): Fix bad assumption that "buf" is
1032         null-terminated.
1033         
1034 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
1035
1036         Finish converting struct variable to an opaque type.  In this
1037         phase, we add remaining setter and getter functions, convert the
1038         remaining PSPP code to use them, and do a bunch of cleanup.  The
1039         resulting changes are pervasive but mostly trivial, and only the
1040         notable changes are logged.
1041         
1042         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
1043         files.
1044         
1045         * case.c (case_data): Renamed case_data_idx.
1046         (case_num): Renamed case_num_idx.
1047         (case_str): Renamed case_str_idx.
1048         (case_data_rw): Renamed case_data_rw_idx.
1049
1050         * case.h (case_data): New function with old name and an interface
1051         that takes a variable instead of an index, which is easier to
1052         use.  Updated all callers to use the new interface, or to use the
1053         new *_idx function (see above).
1054         (case_num): Ditto.
1055         (case_str): Ditto.
1056         (case_data_rw): Ditto.
1057         
1058         * category.c (cat_stored_values_destroy): Changed interface to
1059         take a struct cat_vals * instead of a struct variable *.
1060
1061         * dictionary.c (dict_clone): Use new vector_clone function.     
1062         (dict_clear) Use new var_destroy function.
1063         (add_var) New function.
1064         (dict_create_var) Rewrite in terms of dict_create_var_assert.
1065         (dict_create_var_assert) Rewrite in terms of add_var.
1066         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
1067         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
1068         (dict_lookup_var) Use new var_create, var_destroy functions.
1069         (dict_contains_var) Rewrite in terms of new vardict functionality.
1070         (set_var_dict_index) New function.
1071         (set_var_case_index) New function.
1072         (reindex_vars) New function.
1073         (dict_delete_var) Rewrite in terms of new vardict functionality.
1074         (dict_reorder_var) Ditto.
1075         (dict_reorder_vars) Ditto.
1076         (rename_var) New function.
1077         (dict_rename_var) Use rename_var.
1078         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
1079         (dict_get_compacted_idx_to_fv) Rename
1080         dict_get_compacted_dict_index_to_case_index, update callers.
1081         (dict_create_vector) Use new vector_create function.
1082         (dict_clear_vectors) Use new vector_destroy function.
1083         (set_var_short_name_suffix) Move here from variable.c, renamed
1084         from var_set_short_name_suffix, make static, update caller.
1085
1086         * sys-file-private.c: New file.  
1087         (sfm_width_to_bytes) Moved here from variable.c, renamed from
1088         width_to_bytes, update callers.
1089
1090         * sys-file-private.h: New file.  Later it will supplant
1091         sfm-private.h; for now it supplements it.
1092         (macro MIN_VERY_LONG_STRING) New macro.
1093         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
1094
1095         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
1096         MAX_LONG_STRING was used before.
1097
1098         * sys-file-writer.c: Ditto.
1099
1100         * value-labels.c: Change the paradigm here to be that a null
1101         pointer is OK for a struct val_labs * in most cases; it just
1102         represents an empty set of value labels.
1103         (val_labs_copy) A copy of a null set is a null set.
1104         (val_labs_count) A null set has 0 labels.
1105         (val_labs_replace) Change return type to void.  Rewrite for
1106         simplicity.
1107         (val_labs_find) A null set does not contain the value.
1108         (value_to_string) Moved to variable.c, renamed var_get_value_name,
1109         transposed argument order, updated all callers.
1110
1111         * value.c: New file.
1112         (value_dup) Moved here from variable.c.
1113         (compare_values) Ditto.
1114         (hash_value) Ditto.
1115
1116         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
1117         (macro MAX_LONG_STRING) Removed, because it was only interesting
1118         for system files, not for general code.
1119         (macro MAX_VERY_LONG_STRING) Ditto.
1120         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
1121         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
1122
1123         * vardict.h: New file, for an interface between variables and
1124         their dictionaries.
1125
1126         * variable.c: A lot of functions were moved around, for better
1127         organization.
1128         (struct variable) Move definition here, from variable.h.
1129         (var_type_adj) Removed--makes i18n hard.
1130         (var_type_noun) Ditto.
1131         (var_create) New function.
1132         (var_clone) New function.
1133         (var_destroy) New function.
1134         (var_set_name) Assert that variable is not in a dictionary.
1135         (compare_var_names) Rename compare_vars_by_name and fix a couple
1136         of callers who thought the args were strings.
1137         (hash_var_name) Rename hash_var_by_name.
1138         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
1139         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
1140         (var_is_very_long_string) Removed, because it was only interesting
1141         to system file code.
1142         (var_set_missing_values) Allow the argument to be the wrong width,
1143         as long as we can resize it.  Simplify callers who were doing the
1144         resizing themselves.
1145         (var_get_value_labels) New function.
1146         (var_has_value_labels) New function.
1147         (var_set_value_labels) New function.
1148         (alloc_value_labels) New function.
1149         (var_add_value_label) New function.
1150         (var_replace_value_label) New function.
1151         (var_clear_value_labels) New function.
1152         (var_lookup_value_label) New function.
1153         (var_get_value_name) Moved here from variable.c, renamed from
1154         var_get_value_name, transposed argument order, updated all
1155         callers.
1156         (var_to_string) Moved here, from variable-label.c.
1157         (var_set_leave) New function.
1158         (var_get_leave) New function.
1159         (var_must_leave) New function.
1160         (var_set_short_name_suffix) Moved to dictionary.c, renamed
1161         set_var_short_name_suffix.
1162         (var_get_dict_index) New function.
1163         (var_get_case_index) New function.
1164         (var_get_obs_vals) New function.
1165         (var_set_obs_vals) New function.
1166         (var_has_obs_vals) New function.
1167         (var_get_vardict) New function.
1168         (var_set_vardict) New function.
1169         (var_has_vardict) New function.
1170         (var_clear_vardict) New function.
1171         (value_dup) Moved to value.c.
1172         (compare_values) Ditto.
1173         (hash_value) Ditto.
1174
1175         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
1176         (enum ALPHA) Rename VAR_STRING, update all users.
1177
1178         * vector.c: New file.
1179         (struct vector) Moved here, from variable.h.
1180         (check_widths) New function.
1181         (vector_create) New function.
1182         (vector_clone) New function.
1183         (vector_destroy) New function.
1184         (vector_get_name) New function.
1185         (vector_get_var) New function.
1186         (vector_get_var_cnt) New function.
1187         (compare_vector_ptrs_by_name) New function.
1188
1189         * vector.h: New file.
1190
1191 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1192
1193         * casefilter.c (casefilter_variable_missing): Avoided comparision of
1194         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
1195         problem.
1196
1197 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
1198
1199         * value-labels.c (destroy_atoms): New function.
1200         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
1201
1202 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
1203
1204         Thanks to Jason Stover for pointing out this problem.
1205         
1206         * data-out.c (output_number): Use gsl_finite from GSL, which is
1207         portable, instead of isfinite, which is not.
1208         (power256) Ditto.
1209
1210 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
1211
1212         * variable.c variable.h (value_dup): New function.
1213
1214 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
1215
1216         Start converting struct variable to an opaque type.  In this
1217         phase, we add a bunch of setter and getter functions and convert
1218         most of the PSPP code to use them.  The resulting changes are
1219         pervasive but mostly trivial, and only the notable changes are
1220         logged.
1221         
1222         * format.c (fmt_equal): New function.
1223         
1224         * variable.c (var_type_is_valid): New function.
1225         (measure_is_valid) Moved here, from format.c.
1226         (alignment_is_valid) Moved here, from format.c.
1227         (var_get_name) New function.
1228         (var_set_name) New function.
1229         (width_to_type) New function.
1230         (var_get_type) New function.
1231         (var_get_width) New function.
1232         (var_set_width) New function.
1233         (var_is_numeric) New function.
1234         (var_is_alpha) New function.
1235         (var_is_short_string) New function.
1236         (var_is_long_string) New function.
1237         (var_is_very_long_string) New function.
1238         (var_get_missing_values) New function.
1239         (var_set_missing_values) New function.
1240         (var_clear_missing_values) New function.
1241         (var_has_missing_values) New function.
1242         (var_is_value_missing) New function.
1243         (var_is_num_missing) New function.
1244         (var_is_str_missing) New function.
1245         (var_is_value_user_missing) New function.
1246         (var_is_num_user_missing) New function.
1247         (var_is_str_user_missing) New function.
1248         (var_is_value_system_missing) New function.
1249         (var_get_print_format) New function.
1250         (var_set_print_format) New function.
1251         (var_get_write_format) New function.
1252         (var_set_write_format) New function.
1253         (var_set_both_formats) New function.
1254         (var_get_label) New function.
1255         (var_set_label) New function.
1256         (var_clear_label) New function.
1257         (var_has_label) New function.
1258         (var_get_measure) New function.
1259         (var_set_measure) New function.
1260         (var_get_display_width) New function.
1261         (var_set_display_width) New function.
1262         (var_get_alignment) New function.
1263         (var_set_alignment) New function.
1264         (var_get_value_cnt) New function.
1265         (var_get_leave) New function.
1266         (var_get_short_name) New function.
1267
1268         * variable.h: (struct variable) Removed "type" and "nv" members;
1269         they are now computed from "width" where needed.
1270
1271 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
1272
1273         * missing-values.c (mv_resize): Don't write beyond end of the
1274         allocated buffer when resizing a long string.
1275
1276 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
1277
1278         Clean up identifier code: don't require identifier enumerations to
1279         be in a particular order; make better use of string library;
1280         expose less of the internals.
1281                 
1282         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
1283         change interface.  Updated all callers.
1284         (lex_id_match) Change interface to use struct substring, update
1285         all callers.
1286         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
1287         (global array keywords[]) Make static, change form.  Update all
1288         users to use lex_id_name instead.
1289         (lex_is_keyword) New function.
1290         (lex_id_to_token) Change interface to use struct substring, update
1291         all callers.
1292         (lex_id_name) New function.
1293
1294         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
1295         lex_is_keyword instead.
1296         (T_LAST_KEYWORD) Removed.
1297         (T_N_KEYWORDS) Removed.
1298         
1299 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
1300
1301         * format.c: (fmt_date_template) Distinguish characters for which a
1302         space is output and any date delimiter is allowed on input, from
1303         those for which a space is output and only a space is allowed on
1304         input.  The former is represented by X, the latter by a space.
1305         Also, drop distinction between h and H, changing the former to the
1306         latter.
1307
1308         * data-in.c: Completely rewrite internals to conform to SPSS input
1309         formats as closely as possible.
1310         (data_in) Changed external interface by replacing the structure
1311         that was used as a single argument by a set of arguments.  Updated
1312         all callers.
1313         (data_in_finite_line) Removed.  Converted all callers to use plain
1314         data_in.
1315         (data_in_get_integer_format) New function.
1316         (data_in_set_integer_format) New function.
1317         (data_in_get_float_format) New function.
1318         (data_in_set_float_format) New function.
1319
1320         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
1321         (struct data_in) Removed.
1322
1323         * data-out.c: (output_date) Drop each component from the input as
1324         it is output, to allow us to drop the distinction between h (a
1325         count of hours) and H (the hour of day) template characters.
1326         Also, handle new X template character.
1327         (output_scientific) Follow more rational rule on when to drop
1328         fraction introduced between SPSS 13 and 15.  Updated test case to
1329         match new behavior.
1330
1331 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
1332
1333         Fix buffer overflow reported by John Darrington.
1334
1335         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
1336         realize that DIGITS is a count of nibbles, not of bytes.
1337
1338 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
1339
1340         * calendar.c (calendar_offset_to_gregorian) Also return the
1341         year-of-day.  Change callers to new interface.
1342
1343         * data-out.c: Completely rewrite internals to conform to SPSS
1344         output formats as completely as possible.
1345         (data_out) Change interface to put input parameters before output
1346         parameters, for consistency with the style I now prefer.  Update
1347         all callers.
1348         (data_out_get_integer_format) New public function.
1349         (data_out_set_integer_format) New public function.
1350         (data_out_get_float_format) New public function.
1351         (data_out_set_float_format) New public function.
1352
1353         * data-out.h: New file.  Move prototype for data_out here, from
1354         format.h.
1355
1356         * format.c: (fmt_step_width) Use equality comparison instead of
1357         bitwise and, for clarity.
1358         (fmt_is_string) Ditto.
1359         (fmt_input_to_output) Fix categories that are translated to F
1360         format.
1361
1362 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
1363
1364         * casefilter.c casefilter.h (new files), casefile.c casefile.h 
1365         casefile-private.h: Added casefilter to assist commands with missing 
1366         values.
1367
1368 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
1369
1370         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
1371         
1372         * settings.c: (route_errors_to_terminal) New variable.
1373         (route_errors_to_listing) New variable. 
1374         (get_error_routing_to_terminal) New function.
1375         (set_error_routing_to_terminal) New function.
1376         (get_error_routing_to_listing) New function.
1377         (set_error_routing_to_listing) New function.
1378
1379         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
1380
1381 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
1382
1383         * format.c: Completely rewrite, to achieve better abstraction.
1384         Rewrite all references to formats in other files.
1385         
1386         * format.def: Rewrite and reorganize.
1387
1388         * settings.c: Move everything related to custom currency formats
1389         into format.[ch], changing them in form, so as to group related
1390         code and definitions better.  Changed all references to use the
1391         new functions.
1392         (static var decimal) Removed.
1393         (static var grouping) Removed.
1394         (static var cc) Removed.
1395         (get_decimal) Removed.
1396         (set_decimal) Removed.
1397         (get_grouping) Removed.
1398         (set_grouping) Removed.
1399         (get_cc) Removed.
1400         (set_cc) Removed.
1401
1402         * settings.h: (macro CC_CNT) Removed.
1403         (macro CC_WIDTH) Removed.
1404         (struct custom_currency) Removed.
1405
1406 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
1407
1408         * data-in.c (data_in): Use switch statement instead of table, to
1409         avoid dependence on the order of the FMT_* enums.
1410
1411 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
1412
1413         * data-out.c: (num_to_string) Removed, because it was dead code.
1414
1415 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
1416
1417         * data-in.c (parse_trailer): Fix error message.
1418
1419 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1420
1421         * format.c (fmt_is_binary): New function.
1422
1423 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1424
1425         * procedure.c procedure.h: Encapsulated the static data into a single
1426         struct.  
1427
1428 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1429
1430         * casefile.c (casereader_read_xfer): Always initialize the case,
1431         even on an error condition.
1432
1433 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1434
1435         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the 
1436         entire function useless.
1437
1438 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1439
1440         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1441         casereader method casereader_clone.   
1442         
1443         * procedure.c pransformations.h: Introduced new type casenum_t
1444
1445 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1446
1447         * variable.c: (width_to_bytes) Rephrase code for clarify.
1448
1449 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1450
1451         * format.c: (fmt_type_from_string) New function.
1452         (fmt_to_string) Include decimals in output if the format has
1453         decimals, even if the format type does not.  This way, we can
1454         accurately reproduce incorrect formats in user output.
1455         (check_common_specifier) Make the check for a bad format type an
1456         assertion, so we get bug reports if they show up.  Fix message.
1457         Check for decimal places with a format type that doesn't allow
1458         them.
1459         (check_input_specifier) Remove check for FMT_X, which has been
1460         deleted.
1461         (check_output_specifier) Ditto. 
1462
1463         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1464
1465         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1466         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1467         (enum fmt_parse_flags) Removed.
1468
1469 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1470
1471         * casefile.c casefile.h: Converted to  an abstract base class.
1472         * casefile-private.h fastfile.c fastfile.h: New files.
1473         * automake.mk procedure.c scratch-writer.c storage-stream.c
1474
1475 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1476
1477         * procedure.c (internal_procedure): Create sink_case with only as
1478         many values as the compacted dictionary.
1479
1480 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1481
1482         Remove "debugging" code that caused plenty of false positives and
1483         no true positives.
1484         
1485         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1486
1487         * case.c: Remove all references to `this' member.
1488
1489 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1490
1491         Fix link error noted by Jason Stover.
1492         
1493         * storage-stream.c: Include <assert.h>.
1494
1495 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1496
1497         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1498         ALL) and additional underlying system file issues.
1499
1500         Thanks to John Darrington for review.
1501
1502         First problem: var_hash points to variables not owned by the
1503         sys-file-reader, which the caller may free or modify.  Use an
1504         array of sfm_vars instead, as done earlier (e.g. CVS version
1505         1.12).
1506         
1507         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
1508         members and remove all code that references it.  Add vars, var_cnt
1509         members.  Remove fix_specials member, which was unused.
1510         (struct sfm_var) Remove name member, which was unused.
1511         (sfm_close_reader) Free vars member instead of var_hash.
1512         (compare_var_shortnames) Removed.
1513         (hash_var_shortname) Removed.
1514         (sfm_open_reader) Fill out vars array.
1515         (compare_var_index) Removed.
1516         (sfm_read_case) Use vars instead of var_hash.
1517         
1518         Second problem: we're confused about when we actually have very
1519         long strings, causing us to choose incorrectly between slow path
1520         and fast path in sfm_read_case.
1521
1522         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
1523         have very long strings, not when we have long variable names,
1524         which is an unrelated feature.
1525
1526 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
1527
1528         * variable.h: Move var_set and variable parsing declarations to
1529         new header, src/language/lexer/variable-parser.h.  Modified lots
1530         of files to include the new header.
1531
1532 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1533
1534         * value-labels.c (value_to_string): When there's no value label,
1535         format the variable according to its print format, instead of
1536         always effectively using A or F format.
1537
1538 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1539
1540         * casefile.c (casefile_get_random_reader): Nasty hack to get around 
1541         the mode assertion.
1542
1543         * format.c: Removed tortological assertion.
1544
1545 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1546
1547         Reform string library.
1548         
1549         * file-name.c (fn_interp_vars): Change interface to take a
1550         substring as input.  Updated all users.
1551         
1552 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1553
1554         * format.c (measure_is_valid): Really return false when m >=
1555         n_MEASURES.
1556
1557 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1558
1559         Implement random access to casefiles, for use in GUI.
1560         
1561         * casefile.c: (struct casereader) Add `random', `file_ofs',
1562         `buffer_ofs' members.
1563         (casefile_get_random_reader) New function.
1564         (read_open_file) Break part into new function
1565         seek_and_fill_buffer().
1566         (fill_buffer) Update buffer_ofs, file_ofs.
1567         (casereader_seek) New function.
1568
1569 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1570
1571         * settings.c: Added call to i18n{done, init}.
1572
1573 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1574
1575         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1576         prototypes.
1577
1578 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1579
1580         * casefile.c: Convert many uses of `int' to `bool'.
1581
1582 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1583
1584         * transformations.c (trns_chain_destroy): Destroy chain's trns
1585         member, to fix memory leak.
1586
1587 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1588
1589         * storage-stream.c (storage_source_decapsulate): Destroy case
1590         source to fix memory leak.
1591
1592 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1593
1594         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1595         case passed as argument instead of initializing the argument as a
1596         case.  Fixes memory leak that showed up in
1597         tests/command/aggregate.sh with scratch files.
1598
1599 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1600
1601         * procedure.c (proc_done): Destroy default_dict, to fix memory
1602         leak.
1603
1604 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1605
1606         Simplify procedure_with_splits().
1607         
1608         * procedure.c (struct split_aux_data): Removed case_count member.
1609         (procedure_with_splits) Don't initialize case_count.
1610         (split_procedure_case_func) Check whether prev_case is null
1611         instead of case_count.
1612         (split_procedure_end_func) Ditto.
1613
1614 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1615
1616         * case.c (case_move): Do nothing if dst and src are the same
1617         object.
1618         (case_try_create) Merge two similar cases.
1619         (case_copy) Unshare only if data must be actually copied.
1620
1621 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1622
1623         * data-in.c data-out.c dictionary.c sys-file-reader.c
1624         sys-file-writer.c variable.c variable.h:  Reworked very long string
1625         support for better encapsulation.
1626
1627 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1628
1629         * value-labels.c (val_labs_can_set_width): New function.
1630         (val_labs_set_width) Clear labels if increasing width to long
1631         string.
1632         (val_labs_destroy) Remove unneeded test for null.
1633         
1634 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1635
1636         * value-labels.h: Remove unneeded dependency on variable.h.
1637
1638 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1639
1640         Get rid of `char *c' member in union value, for cleanliness.
1641         
1642         * value.h: (union value) Remove `c' member.
1643
1644 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1645
1646         Make dictionary compacting functions a little more general.
1647         
1648         * sys-file-writer.c (sfm_open_writer): Use
1649         dict_compacting_would_change().
1650         (does_dict_need_translation) Removed.
1651
1652 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1653
1654         Make dictionary compacting functions a little more general.
1655         
1656         * dictionary.c (dict_needs_compaction): Rename
1657         dict_compacting_would_shrink().  Update all callers.
1658         (dict_compacting_would_change) New function.
1659         
1660 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1661
1662         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1663         inverted return value (!).
1664
1665 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1666
1667         Continue reforming procedure execution.  
1668
1669         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1670         (static var vfm_source) Rename proc_source.  Update all
1671         references.
1672         (static var vfm_sink) Rename proc_sink.  Update all references.
1673         
1674 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1675
1676         Continue reforming procedure execution.  In this phase, remove
1677         PROCESS IF, which was deprecated anyway and can be easily
1678         simulated with TEMPORARY followed by SELECT IF.
1679
1680         * procedure.c: (open_active_file) Don't call
1681         add_process_if_trns().
1682         (discard_variables) Get rid of redundant call to
1683         proc_cancel_all_transformations().
1684         (add_process_if_trns) Removed.
1685         (process_if_trns_proc) Removed.
1686         (process_if_trns_free) Removed.
1687
1688 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1689
1690         Continue reforming procedure execution.  In this phase, add
1691         `const' to the case passed to procedure()'s callback.
1692
1693         Updated all users of procedure() as well.
1694         
1695         * procedure.c: (struct write_case_data) Add "const" to ccase
1696         parameter for case_func member.
1697         (procedure) Add "const" to ccase parameter for proc_func
1698         parameter.
1699         (multipass_case_func) Make ccase parameter const.
1700         (internal_procedure) Add "const" to ccase parameter for case_func
1701         parameter.
1702         (split_procedure_case_func) Make ccase parameter const.
1703         (multipass_split_case_func) Make ccase parameter const.
1704         
1705 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1706
1707         Continue reforming procedure execution.  In this phase, get rid of
1708         the output code for SPLIT FILE groups in procedure.c, which really
1709         shouldn't be doing any output.  Move it into the individual
1710         procedures instead.  This also adds some flexibility.
1711
1712         Updated many users of procedure_with_splits() and
1713         multipass_procedure_with_splits() to call
1714         output_split_file_values() and to deal with increased use of
1715         const.
1716
1717         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1718         parameter to begin_func member.
1719         (procedure_with_splits) Add "const struct ccase *" parameter to
1720         begin_func parameter.  Make ccase parameter const in proc_func
1721         parameter.
1722         (split_procedure_case_func) Don't dump split file group.  Pass
1723         case to begin_func.
1724         (dump_splits) Moved to language/dictionary/split-file.c as
1725         output_split_file_values().
1726         (struct multipass_split_aux_data) Add "const struct ccase *"
1727         parameter to split_func member.
1728         (multipass_procedure_with_splits) Add "const struct ccase *"
1729         parameter to split_func parameter.
1730         (multipass_split_case_func) Save new SPLIT FILE case before
1731         outputting case.
1732         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1733         
1734 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1735
1736         Continue reforming procedure execution.  Change
1737         internal_procedure() so that it calls open_active_file() and
1738         close_active_file(), which isolates most of the actual procedure
1739         functionality.
1740
1741         * procedure.c: (struct write_case_data) Rename `proc_func' member
1742         to `case_func' and update all references.
1743         (procedure) Rewrite as one-line wrapper around
1744         internal_procedure().
1745         (struct multipass_aux_data) New.
1746         (multipass_callback) Renamed multipass_case_func().  Use struct
1747         multipass_aux_data as auxiliary data.
1748         (multipass_end_func) New function.
1749         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1750         that uses multipass_case_func, multipass_end_func.
1751         (internal_procedure) Add `end_func' argument.  Move optimization
1752         of trivial case in here.  Move call to open_active_file() and
1753         close_active_file() in here.  Now assert that vfm_source is
1754         non-null.
1755         (procedure_with_splits_callback) Rename
1756         split_procedure_case_func().
1757         (split_procedure_end_func) New function.
1758         (multipass_split_callback) Rename multipass_split_case_func.
1759         (multipass_split_end_func) New function.
1760         (discard_variables) No need to test for nonnull vfm_source.
1761
1762 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1763
1764         Continue reforming procedure execution.  Get rid of unused member.
1765
1766         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1767         member.
1768         (write_case) Don't increment cases_analyzed.
1769
1770 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1771
1772         Continue reforming procedure execution.  In this phase, move
1773         procedure.c and procedure.h from src to src/data.  Update
1774         makefiles and #includes accordingly.
1775
1776         * procedure.c: Moved here from src/.
1777
1778         * procedure.h: Moved here from src/.
1779
1780 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1781
1782         Continue reforming procedure execution.  In this phase, get rid of
1783         many global variables, consolidating procedure execution in
1784         procedure.c.  Encapsulate transformations in new "struct
1785         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1786         and PROCESS IF from special cases to transformations.
1787          
1788         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1789         transformations.h.
1790
1791         * dictionary.c: (global variable default_dict) Move to
1792         src/procedure.c.
1793
1794         * variable.h: (TRNS_*) Move to transformations.h.
1795         (struct transformation) Move to transformations.c.
1796
1797 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1798
1799         * sys-file-reader.c: Fixed invalid read problems.
1800
1801 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1802
1803         * storage-stream.c: Add missing function comments.
1804
1805 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1806
1807         Continue reforming procedure execution.  In this phase, add some
1808         new, needed functionality to storage-stream.
1809
1810         * storage-stream.c: (storage_source_decapsulate) New function.
1811
1812 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1813
1814         * variable.c (width_to_bytes): Declarations must precede
1815         statements for C90 compliance.
1816
1817 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1818
1819         * data-out.c, data-in.c, variable.c, variable.h: New functions 
1820         copy_mangle and copy_demangle for reading/writing cases; emulates the 
1821         way SPSS deals with strings > 255 bytes.
1822
1823         * sys-file-reader.c sys-file-writer.c: Added support for Record 7, 
1824         subtype 14 needed for strings longer than 255 bytes.
1825
1826         * dictionary.c, format.def, value.c : Updated to use MAX_STRING 
1827         instead of literal values. Also fixed some constness issues.
1828
1829         * format.h: Constness
1830
1831         * sfm-private.h: Renamed the case_size identifier, since I discovered 
1832         that SPSS's respect for this variable is very nominal.
1833
1834 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1835
1836         Change case limit type from int to size_t.
1837
1838         * dictionary.c: (struct dictionary) Change type of case_limit
1839         member.
1840         (dict_get_case_limit) Change return type.
1841         (dict_set_case_limit) Change parameter type.
1842
1843 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1844
1845         * variable.h: (struct variable) Rename `reinit' member as `leave'
1846         and invert sense.  Fix up all references.
1847
1848 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1849
1850         Continue reforming procedure execution.  In this phase, break
1851         procedure.c into multiple files.
1852         
1853         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1854
1855         * case-sink.c: New file.
1856
1857         * case-sink.h: New file.
1858         
1859         * case-source.c: New file.
1860
1861         * case-source.h: New file.
1862         
1863         * storage-stream.c: New file.
1864
1865         * storage-stream.h: New file.
1866
1867 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1868
1869         * variable.h: (struct variable) Remove `init' member and all
1870         references to it from other files.  It was initialized in several
1871         places, but nothing really ever used it for anything worthwhile.
1872         Thanks to Jason Stover for pointing out how confusing this
1873         member is.
1874
1875 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1876
1877         Continue reforming error message support.  In this phase, get rid
1878         of message "titles" and put the message text in `struct error'.
1879         Now `struct error' encapsulates a message more properly.
1880         
1881         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1882         Format message ourselves.
1883
1884         * data-in.c: (vdls_error) Ditto.
1885
1886         * por-file-reader.c: (error) Ditto.
1887
1888         * sys-file-reader.c: (corrupt_msg) Ditto.
1889
1890 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1891
1892         GNU standards require "file name" instead of "filename" in
1893         documentation.  It's nice for our code to follow the convention
1894         too.
1895         
1896         * casefile.c: (struct casefile) Rename `filename' member to
1897         `file_name'.  Updated all references.
1898
1899         * file-name.c: [!unix] (struct file_identity) Rename
1900         normalized_filename member to normalized_file_name.  Updated all
1901         references.
1902
1903 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1904
1905         We don't really support anything but Unix-like environments well,
1906         so we might as well de-obfuscate by writing directory and path
1907         separators explicitly.
1908
1909         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1910         to just '/'.
1911         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1912         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1913         "/".
1914         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1915         ":"
1916
1917 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1918
1919         GNU standards require "file name" instead of "filename" in
1920         documentation.  It's nice for our code to follow the convention
1921         too.
1922         
1923         * filename.c: Rename to file-name.c.
1924
1925         * filename.h: Rename to file-name.h.  Update all inclusions.
1926         Update header guards.
1927
1928         * automake.mk: Update file names.
1929
1930 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1931
1932         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1933         updated.
1934         (fn_basename) Removed (dead code).
1935         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1936         (fn_special_p) Renamed fn_is_special(), all references updated.
1937         (fn_exists_p) Renamed fn_exists(), all references updated.
1938
1939 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1940
1941         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.  
1942         Also, now it only tilde-expands file names, not paths.
1943         (fn_search_path) Tilde-expand one directory at a time.
1944
1945 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1946
1947         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1948         get rid of non-Unixlike version of the code, which has probably
1949         never been tested.
1950         (fn_prepend_dir) Removed (dead code).
1951
1952         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1953         (macro PATH_SEPARATOR_STRING) New.
1954 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1955
1956         Continue reforming error message support.  In this phase, we get
1957         rid of VM() and the other msg() support for "verbosity", replacing
1958         it by a new function verbose_msg().
1959
1960         * filename.c: (fn_search_path) Use verbose_msg() instead of
1961         msg(VM(), ...).  
1962
1963 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1964
1965         * sfm-private.h: Get rid of #defines after #error, which makes no
1966         sense.
1967
1968 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1969
1970         Get rid of our own int32 type in favor of the standard int32_t
1971         type.
1972         
1973         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1974         include <stdint.h>.
1975
1976         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1977         
1978         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1979
1980 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1981
1982         Remove ill-considered file routines that are no longer used.
1983         
1984         * filename.c: (fn_open_ext) Removed.
1985         (fn_close_ext) Removed.
1986
1987         * filename.h: (struct file_ext) Removed.
1988
1989 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1990
1991         * variable.c (var_is_valid_name): Move declarations before code
1992         for C90 compliance.
1993
1994 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1995
1996         * filename.ch (fn_interp_vars): Fixed small buglet.
1997
1998 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1999         
2000         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
2001         so as to modify the string inline.   Thus makeing it easier to
2002         destroy the results when no longer needed.
2003         
2004 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
2005
2006         * category.c (cat_stored_values_destroy): Fixed memory leak.
2007
2008 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
2009
2010         Add some missing frees.  Thanks to John Darrington for reporting
2011         these.
2012
2013         * any-writer.c (any_writer_close): Free writer.
2014
2015         * any-reader.c (any_reader_close): Free reader.
2016
2017 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
2018
2019         * por-file-reader.c: (error) Mark as NO_RETURN.
2020
2021 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
2022
2023         * settings.c: Changed default value of scompress to true.
2024
2025 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
2026
2027         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
2028
2029         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
2030         really applies.
2031
2032         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
2033         here from pref.h.orig.
2034
2035 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
2036
2037         * sys-file-reader.c: Fixed bug reading compressed files.
2038
2039 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
2040
2041         * Numerous renames.  See src/ChangeLog for details.
2042         
2043         * Moved files from src directory