John's original code for patch #6210.
[pspp-builds.git] / src / data / ChangeLog
1 2007-09-19  John Darrington <john@darrington.wattle.id.au>
2         
3         * settings.c settings.h: Changed viewport's length and width to be 
4         owned by the user interface which uses the data library.  This allows
5         better abstraction, and makes dynamically adjustable dimensions easier.
6         
7 2007-09-18  Ben Pfaff  <blp@gnu.org>
8
9         * procedure.c (proc_extract_active_file_data): New function.
10
11         * lazy-casereader.h: New file.
12
13         * lazy-casereader.c: New file.
14
15         * casereader.c (casereader_dynamic_cast): New function.
16
17 2007-09-14  Ben Pfaff  <blp@gnu.org>
18
19         * dictionary.c (dict_clone): Copy case indexes from cloned
20         dictionary.  Fixes bug #21061.  Reviewed by John Darrington.
21
22 2007-09-13  John Darrington <john@darrington.wattle.id.au>
23
24         * value.c value.h (create_value): New function.
25
26 2007-09-12  Ben Pfaff  <blp@gnu.org>
27
28         Make it clear that translator casereader and casewriter translate
29         functions are supposed to destroy their input case.
30         
31         * casereader-translator.c (struct casereader_translator): Change
32         input case parameter of translate member function from const
33         struct ccase * to struct ccase *.
34         (casereader_create_translator): Ditto, for translate parameter.
35
36         * casewriter-translator.c (struct casewriter_translator): Ditto.
37         (casewriter_create_translator): Ditto.
38
39 2007-08-27  John Darrington <john@darrington.wattle.id.au>
40         
41         * sys-file-reader.c (read_display_parameters): Force display width 
42         to 8, if the sys file says 0 (like SPSS does).
43
44 2007-08-12  Ben Pfaff  <blp@gnu.org>
45
46         * dictionary.c (dict_dump): New function.
47
48 2007-08-12  Ben Pfaff  <blp@gnu.org>
49
50         Drop dict_compactor in favor of using the new struct case_map.
51
52         * dictionary.c (struct copy_map): Removed.
53         (struct dict_compactor): Removed.
54         (dict_make_compactor): Removed.
55         (dict_compactor_compact): Removed.
56         (dict_compactor_destroy): Removed.
57
58         * procedure.c (struct data_set): Change `compactor' member to be a
59         struct case_map *.
60         (proc_open): Use case_map_to_compact_dict instead of
61         dict_make_compactor.
62         (proc_casereader_read): Use case_map_execute instead of
63         dict_compactor_compact.
64         (proc_commit): Use case_map_destroy instead of
65         dict_compactor_destroy.
66
67         * scratch-writer.c (struct scratch_writer): Change `compactor'
68         member to be a struct case_map *.
69         (scratch_writer_open): Use case_map_to_compact_dict instead of
70         dict_make_compactor.
71         (scratch_writer_casewriter_write): Use case_map_execute instead of
72         dict_compactor_compact.
73
74 2007-08-12  Ben Pfaff  <blp@gnu.org>
75
76         * automake.mk: Add case-map.c, case-map.h.
77
78         * case-map.c: New file.
79
80         * case-map.h: New file.
81
82 2007-08-12  Ben Pfaff  <blp@gnu.org>
83
84         * dictionary.c (dict_compact_values): Don't delete scratch
85         variables as well as compacting case indexes.  Update all callers.
86         (dict_get_compacted_value_cnt): Rename dict_count_values and
87         change interface.  Update all callers.
88         (dict_get_compacted_value_cnt): Remove.
89         (dict_compacting_would_shrink): Remove.
90         (dict_compacting_would_change): Remove.
91         (dict_make_compactor): Add new parameter.  Update all callers.
92         
93         * procedure.c (proc_casereader_read): Use casewriter_get_value_cnt
94         instead of dict_count_values, changing an O(N) operation into
95         O(1).
96
97 2007-08-12  Ben Pfaff  <blp@gnu.org>
98
99         * casereader.c (casereader_read): Don't require cases read by a
100         casereader to be exactly the expected size: as long as they're big
101         enough, it's OK.
102
103 2007-08-12  Ben Pfaff  <blp@gnu.org>
104
105         Make casewriters keep track of the number of `union value's in
106         each case.  This is useful for two reasons: casewriter_write can
107         then check that the case being written is large enough, and later
108         recipients of the casewriter can determine the size of the case.
109         
110         * casewriter-translator.c (casewriter_create_translator): Add
111         value_cnt parameter.
112         
113         * casewriter.c (struct casewriter): Add value_cnt member.
114         (casewriter_write): Check that the case passed in is big enough.
115         (casewriter_get_value_cnt): New function.
116         (casewriter_create): Add value_cnt parameter.
117
118 2007-08-09  Ben Pfaff  <blp@gnu.org>
119
120         Fix bug reported by Jason Stover.
121         * settings.c: Move get_termcap_viewport and in particular the
122         #include for <curses.h> to the end of the file.  curses.h
123         redefines bool on some systems (e.g. OpenBSD), which causes
124         disagreement between uses of bool before its inclusion and
125         afterward.
126         Tested by Jason Stover.
127
128 2007-07-29  Ben Pfaff  <blp@gnu.org>
129
130         Provisional fix for bug #18692 and bug #20161.  Reviewed by John
131         Darrington.
132
133         * file-name.c (fn_open): Only pass "r" or "w" to popen as mode
134         argument (never "rb" or "wb") because SUSv3 says that only those
135         modes are defined, and glibc in fact rejects other modes.
136
137         Open portable files with fn_open so that they can be read from
138         pipes.  Fix missing fh_close call to go along with fh_open.
139         Report an error if the file close reports an error.
140         * por-file-reader.c (close_reader): New function.
141         (por_file_casereader_destroy): Use close_reader.
142         (pfm_open_reader): Open file with fn_open.
143
144 2007-07-28  Ben Pfaff  <blp@gnu.org>
145
146         Make PSPP able to read all the portable files I could find on the
147         web.  Thanks to John Darrington for review.  Bug #17620.
148         * por-file-reader.c (struct pfm_reader): New member `line_length'.
149         (error): Print file offset in hexadecimal.
150         (warning): New function.
151         (advance): Treat lines less than 80 bytes long as padded to 80
152         bytes with spaces.
153         (pfm_open_reader): Call read_documents if we find an "E" record.
154         (convert_format): Convert invalid formats to the default format
155         instead of aborting reading the file.
156         (read_variables): Rename duplicate variable names instead of
157         aborting reading the file.
158         (read_value_label): Allow string variables of different widths to
159         be assigned value labels in the same record.  Replace duplicate
160         value labels instead of aborting.
161         (read_documents): New function.
162
163         * por-file-writer.c (pfm_open_writer): Call write_documents if the
164         dictionary has documents.
165         (write_documents): New function.
166
167 2007-07-25  Ben Pfaff  <blp@gnu.org>
168
169         Fix bugs related to bug #17213.
170
171         * settings.c: Use HAVE_LIBNCURSES instead of HAVE_LIBTERMCAP,
172         since the former is what config.h has.  Include the needed ncurses
173         headers.
174         (static var echo) Rename to `do_echo' because the original name is
175         the same as an ncurses identifier.
176         (get_termcap_viewport) Use error instead of msg.
177
178         * file-name.c (fn_interp_vars): Fix interpolation of $VARS.
179         (fn_close): Don't close stdin, stdout, stderr.
180
181 2007-07-26 John Darrington <john@darrington.wattle.id.au>
182
183         * procedure.c procedure.h: Added callbacks which get invoked whenever 
184         a dataset's transformation chain changes.
185
186 2007-07-24  Ben Pfaff  <blp@gnu.org>
187
188         Fix bug #6113.
189         * sys-file-writer.c (write_variable_display_parameters): Use new
190         var_default_display_width function to choose display width of
191         segments after the first one in a given variable.
192         * variable.c (var_create): Use var_default_display_width to pick
193         new variable's display width.
194         (var_default_display_width): New function.
195         Reviewed by John Darrington.
196
197 2007-07-24  Ben Pfaff  <blp@gnu.org>
198
199         Fix bug #20427.
200         * por-file-writer.c (write_variables): Write weight variable.
201         Reviewed by John Darrington.
202
203 2007-07-23  Ben Pfaff  <blp@gnu.org>
204
205         Improvements to system file reader and writer.
206         
207         First, move all detailed knowledge of very long strings into
208         sys-file-private.[ch], so that this nasty stuff can be isolated.
209
210         * sys-file-private.c (REAL_VLS_CHUNK): New macro.
211         (EFFECTIVE_VLS_CHUNK): New macro.
212         (min_int): New function.
213         (max_int): New function.
214         (sfm_width_to_bytes): Rewrite.
215         (sfm_width_to_octs): New function.
216         (sfm_segment_alloc_width): New function.
217         (sfm_segment_alloc_bytes): New function.
218         (sfm_segment_used_bytes): New function.
219         (sfm_segment_offset): New function.
220         (sfm_segment_effective_offset): New function.
221         (sfm_dictionary_to_sfm_vars): New function.
222
223         * sys-file-private.h (MIN_VERY_LONG_STRING): Removed.
224         (EFFECTIVE_LONG_STRING_LENGTH): Removed.
225         (struct sfm_var): New structure.
226
227         Next, improvements to the system file reader.
228
229         * sys-file-reader.h (struct sfm_read_info): Changed `case_cnt' to
230         type casenumber.  Added `version_major', `version_minor',
231         `version_revision'.
232
233         * sys-file-reader.c (struct sfm_reader): Replaced `flt64_cnt' by
234         `oct_cnt'.  Rename `vars', `var_cnt' to `sfm_vars', `sfm_var_cnt'.
235         Change `case_cnt' to type casenumber.  Removed `has_vls'.
236         (struct sfm_var): Removed.
237         (sfm_open_reader): Don't warn on wrong case size if the file was
238         written by SPSS 13, which tends to get it wrong.  Use
239         sfm_dictionary_to_sfm_vars.
240         (read_header): Always output system file info.
241         (read_variable_record): Simplify code for reading missing values.
242         (read_machine_int32_info): Save version numbers from system file
243         into info struct passed as new argument.
244         (read_long_string_map): Restructured to use new sys-file-private
245         functions.
246         (read_value_labels): Use size_overflow_p.
247         (sys_file_casereader_read): Get rid of distinction between fast
248         and slow paths.  Use information provided by sys-file-primate's
249         struct sfm_var to simplify code.
250         (skip_whole_strings): New function.
251         (read_int32): Renamed read_int.  Changed return value to int.
252         Updated all callers.
253         (read_flt64): Renamed read_float.  Changed return value to
254         double.  Updated all callers.
255         (int32_to_native): Removed.  Changed callers to use
256         integer_convert.
257         (flt64_to_double): Removed.  Changed callers to use float_convert.
258         
259         Finally, get rid of int32, flt64 terminology and types in system
260         file writer.  The former wasn't very useful since a POSIX "int"
261         can hold the whole range of int32 and we generally didn't have a
262         need for it to be exactly-32-bits, just at-least-32-bits.  The
263         latter was inconvenient because we had to assume that it could be
264         different from double and thereby convert special values SYSMIS,
265         HIGHEST, LOWEST to and from it in multiple places.  Instead, now
266         we just use "int" and "double" in most places, and do conversions,
267         if necessary, very close to where we do I/O.  This change meant
268         that the writer code couldn't represent records in the file as C
269         structs any longer, but that's no great loss.  The code actually
270         seems to be more readable without them.
271
272         Simplify the compression buffering code: only buffer as much as
273         necessary, which is no more than eight 8-byte units at any given
274         time.
275
276         * sys-file-writer.c (typedef flt64): Removed.
277         (macro second_lowest_flt64): Removed.
278         (struct sysfile_header): Removed.
279         (struct sysfile_variable): Removed.
280         (struct sfm_writer): Removed `needs_translation', `has_vls',
281         `flt64_cnt'.  Changed `compress' to type bool and `case_cnt' to
282         type casenumber.  Renamed `vars' to `sfm_vars', `var_cnt' to
283         `sfm_var_cnt'.  Replaced `buf', `end', `ptr', `x', `y' for
284         compression buffering by `opcodes', `opcode_cnt', `data',
285         `data_cnt'.  Renamed `var_cnt_vls' as `segment_cnt'.
286         (sfm_open_writer): Use sfm_dictionary_to_sfm_vars.  Use simple
287         data writer functions instead of structures.
288         (calc_oct_idx): New function.
289         (write_header): Use simple data writer functions instead of
290         structures.
291         (write_format_spec): Renamed write_format.  New argument.
292         (write_variable_continuation_records): New function.
293         (write_variable): Use simple data writer functions instead of
294         structures.  Use write_variable_continuation_records.  Write
295         entire very long string instead of requiring caller to understand
296         them.
297         (write_value_labels): Use simple data writer functions instead of
298         structures.
299         (write_documents): Ditto.
300         (write_variable_display_parameters): Use sys-file-private
301         functions to simplify.  Use simple data writer functions instead
302         of structures.
303         (write_vls_length_table): Use simple data writer functions instead
304         of structures.
305         (write_longvar_table): Ditto.
306         (write_rec_7_34): Break into new functions
307         write_integer_info_record, write_float_info_record.  Use simple
308         data writer functions instead of structures.
309         (buf_write): Removed.
310         (append_string_max): Removed.
311         (ensure_buf_space): Removed.
312         (sys_file_casewriter_write): Get rid of the distinction between
313         fast and slow paths, which didn't seem to be too useful.  Use new
314         functions write_case_uncompressed, write_case_compressed.
315         (put_instruction): Removed.
316         (put_element): Removed.
317         (write_compressed_data): Removed.
318         (close_writer): Use flush_compressed.  Only write case count to
319         system file if it will fit in the field.
320         (write_case_compressed): New function.
321         (write_case_uncompressed): New function.
322         (flush_compressed): New function.
323         (put_cmp_opcode): New function.
324         (put_cmp_number): New function.
325         (write_int): New function.
326         (convert_double_to_output_format): New function.
327         (write_float): New function.
328         (write_value): New function.
329         (write_string): New function.
330         (write_bytes): New function.
331         (write_zeros): New function.
332         (write_spaces): New function.
333
334         Reviewed by John Darrington.
335
336 2007-07-22  Ben Pfaff  <blp@gnu.org>
337
338         Don't try to write very long strings to portable files.  The
339         format does not support it.
340
341         * por-file-writer.c (MAX_POR_WIDTH): New macro.
342         (pfm_open_writer): Limit output width to MAX_POR_WIDTH.
343         (write_format): Add arg to take width to resize format to.
344         (write_value): Limit width of value written to MAX_POR_WIDTH.
345         (write_variables): Limit width of variable and its output formats
346         to MAX_POR_WIDTH.
347         Reviewed by John Darrington.
348
349 2007-07-22  Ben Pfaff  <blp@gnu.org>
350
351         * sys-file-reader.c (read_variable_to_value_map): Use max_warnings
352         local variable instead of literal 5.
353         Reviewed by John Darrington.
354         
355 2007-07-22  Ben Pfaff  <blp@gnu.org>
356
357         Fix problems with uniqueness of short names in system files with
358         very long string variables.  Now a variable may have multiple
359         short names.
360         
361         * automake.mk (src_data_libdata_a_SOURCES): Add new files
362         short-names.c, short-names.h.
363
364         * dictionary.c (dict_clone): Clone all the short names.
365         (compare_strings): Move into short-names.c.
366         (hash_strings): Ditto.
367         (set_var_short_name_suffix): Ditto.
368         (dict_assign_short_names): Ditto, rename short_names_assign,
369         change to assign all short names.
370         
371         * por-file-writer.c (write_variables): Use short_names_assign
372         instead of dict_assign_short_names.
373
374         * short-names.c: New file.
375
376         * short-names.h: New file.
377
378         * sys-file-private.c (sfm_width_to_segments): New function.
379
380         * sys-file-reader.c (read_long_var_name_map): Save and restore all
381         the short names, not just the first one.
382         
383         * sys-file-writer.c (cont_var_name): Removed.
384         (sfm_open_writer): Use short_names_assign instead of
385         dict_assign_short_names.  Use unique short names assigned by
386         short_names_assign instead of those generated by cont_var_name.
387
388         * variable.c (struct variable): Remove `short_name' member,
389         replace by `short_names' and `short_name_cnt'.
390         (var_create) Initialize new members.
391         (var_get_short_name_cnt): New function.
392         (var_get_short_name): Now takes an index argument.  Changed most
393         callers to pass 0.
394         (var_set_short_name): Ditto.
395         (var_clear_short_name): Renamed var_clear_short_names, changed to
396         clear all short names.
397         
398         Reviewed by John Darrington.
399
400 2007-07-22  Ben Pfaff  <blp@gnu.org>
401
402         * variable.c (var_set_width): Use new var_set_width function.
403
404         * missing-values.c (mv_n_values): Drop assertion, which was not
405         needed.
406
407         * format.c (fmt_default_for_width): New function.
408         (fmt_resize): New function.
409
410         Reviewed by John Darrington.
411
412 2007-07-18 John Darrington <john@darrington.wattle.id.au>
413
414         * datasheet.c (datasheet_delete_columns): Added assertion to check
415         we're not deleting outside the range of the sheet.  
416
417         
418         * dictionary.c dictionary.h variable.c: Added the ability for string
419         variables to be resized.
420         
421         * vardict.h: Added some prototypes (moved from dictionary.h) as
422         these should only be called by variable.c
423
424
425 2007-07-14 John Darrington <john@darrington.wattle.id.au>
426
427         * sfm-reader.c: Respect case_cnt field in file header.
428
429 2007-07-01 John Darrington <john@darrington.wattle.id.au>
430
431         * transformation.c transformation.h (trns_chain_execute): Changed the 
432         signature (Patch #6057)
433
434 2007-06-10  Ben Pfaff  <blp@gnu.org>
435
436         * casereader-filter.c (casereader_filter_destroy): Make sure to
437         write all the remaining excluded cases to the casewriter, if any.
438
439         * caseinit.c (init_list_destroy): Rewrite.
440         (init_list_clear): Ditto.
441
442         * casegrouper.c (casegrouper_get_next_group): Always set *reader
443         to null when returning false.
444
445 2007-06-06  Ben Pfaff  <blp@gnu.org>
446
447         Actually implement the new procedure code and adapt all of its
448         clients to match.  Also adapt all of the other case sources and
449         sinks in the tree and their clients to use the
450         casereader/casewriter infrastructure.
451
452         * automake.mk: Add and remove files.
453
454         * any-reader.c: Change into a casereader.
455         * por-file-reader.c: Ditto.
456         * scratch-reader.c: Ditto.
457         * sys-file-reader.c: Ditto.
458
459         * any-writer.c: Change into a casewriter.
460         * por-file-writer.c: Ditto.
461         * scratch-writer.c: Ditto.
462         * sys-file-writer.c: Ditto.
463
464         * procedure.c: Change to use casereader, casewriter, caseinit, and
465         other new infrastructure.
466
467         * scratch-handle.c: Adapt to new infrastructure.
468
469         * case-sink.c: Removed, now dead code.
470         * case-sink.h: Ditto.
471         * case-source.c: Ditto.
472         * case-source.h: Ditto.
473         * casefile-factory.c: Ditto.
474         * casefile-private.h: Ditto.
475         * casefile.c: Ditto.
476         * casefile.h: Ditto.
477         * casefilter.c: Ditto.
478         * casefilter.h: Ditto.
479         * fastfile.c: Ditto.
480         * fastfile.h: Ditto.
481         * fastfile-factory.c: Ditto.
482         * fastfile-factory.h: Ditto.
483         * storage-stream.c: Ditto.
484         * storage-stream.h: Ditto.
485
486 2007-06-06  Ben Pfaff  <blp@gnu.org>
487
488         Add datasheet code.
489
490         * automake.mk: Add new files.
491
492         * datasheet.c: New file.
493
494         * datasheet.h: New file.
495
496 2007-06-06  Ben Pfaff  <blp@gnu.org>
497
498         Until now, the procedure code has provided a case to the
499         case_source, which has filled in the data values that come from
500         the active file.  "Left" data values that don't come from the
501         active file naturally stay the same from case to case, because the
502         procedure code keeps using that same case.
503
504         One of the compromises that comes with the new procedure code is
505         that the active file allocates and provides its own case, which
506         the procedure code then has to resize to provide room for any
507         other variables that should go in the case and then fill in the
508         values of "left" variables.  Then, when we're done with that case,
509         we have to save the values of "left" variables to copy into the
510         next case read from the active file.
511
512         The caseinit code helps with this.
513
514         * automake.mk: Add new files.
515
516         * caseinit.c: New file. 
517
518         * caseinit.h: New file. 
519
520 2007-06-06  Ben Pfaff  <blp@gnu.org>
521
522         * value.h (value_cnt_from_width): New function.
523
524         * variable.c (var_get_value_cnt): Use new function.
525
526 2007-06-06  Ben Pfaff  <blp@gnu.org>
527
528         Add casegrouper, to allow cases read from a given casereader to be
529         broken into groups, each of which has its own casereader.
530         Generally cases are grouped based on having equal values for some
531         set of variables.
532
533         * automake.mk: Add new files.
534
535         * casegrouper.c: New file.
536
537         * casegrouper.h: New file.
538
539 2007-06-06  Ben Pfaff  <blp@gnu.org>
540
541         Add interface to lexicographical ordering of cases.
542
543         * automake.mk: Add new files.
544
545         * case-ordering.c: New file.
546
547         * case-ordering.h: New file.
548
549 2007-06-06  Ben Pfaff  <blp@gnu.org>
550
551         Add casereaders and casewriters, the basis of the new data processing
552         implementation.  A casereader is a uniform interface to reading cases
553         from a data source; a casewriter is a uniform interface to writing
554         cases to a data sink.
555
556         * automake.mk: Add new files.
557         
558         * casereader-filter.c: New file.
559         
560         * casereader-provider.h: New file.
561
562         * casereader-translator.c: New file.
563         
564         * casereader.c: New file.
565         
566         * casereader.h: New file.
567         
568         * casewriter-provider.h: New file.
569         
570         * casewriter-translator.c: New file.
571         
572         * casewriter.c: New file.
573         
574         * casewriter.h: New file.
575
576 2007-06-06  Ben Pfaff  <blp@gnu.org>
577
578         "casewindow" data structure that extends the deque (from libpspp)
579         of cases with the ability to dump cases to disk if we get too many
580         of them in memory.
581
582         * automake.mk: Add new files.
583
584         * casewindow.c: New file.
585
586         * casewindow.h: New file.
587
588 2007-06-06  Ben Pfaff  <blp@gnu.org>
589
590         sparse_cases data structure that augments a sparse_array of cases
591         with the ability to dump cases to disk if we get too many cases in
592         memory.
593
594         * automake.mk: Add new files.
595
596         * sparse-cases.c: New file.
597
598         * sparse-cases.h: New file.
599
600 2007-06-06  Ben Pfaff  <blp@gnu.org>
601
602         Adds a low-level on-disk case array data structure.
603         
604         * automake.mk: Add new files.
605
606         * case-tmpfile.c: New file.
607
608         * case-tmpfile.h: New file.
609
610 2007-06-06  Ben Pfaff  <blp@gnu.org>
611
612         In a couple of places we calculate the maximum number of cases to
613         keep in memory based on the user-defined workspace.  Enable
614         centralizing the calculation through a new function.
615         
616         * settings.c (get_workspace_cases): New function.
617
618 2007-06-06  Ben Pfaff  <blp@gnu.org>
619
620         The casenumber type is defined in transformations.h, but case.h is
621         a more sensible place.  Move it.
622
623         * case.h (CASENUMBER_MAX): New macro.
624         (typedef casenumber): Move here, from transformations.h.
625
626 2007-06-03  Ben Pfaff  <blp@gnu.org>
627
628         Slightly generalize case_to_values and case_from_values functions.
629
630         * case.c (case_to_values): Rename case_copy_out, change interface.
631         (case_from_values): Rename case_copy_in, change interface.
632
633         * fastfile.c (fastfilereader_get_next_case): Update caller.
634         (write_case_to_disk): Ditto.
635
636 2007-06-02  Ben Pfaff  <blp@gnu.org>
637
638         Clean up after a forgotten part of patch #5829.
639         
640         * casedeque.h: Remove unused file.
641
642         * automake.mk: Remove casedeque.h from sources.
643
644 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
645
646         * category.c: Removed redundant #include
647
648 2007-05-06  Ben Pfaff  <blp@gnu.org>
649
650         Abstract the documents within a dictionary a little better.
651         Thanks to John Darrington for suggestion, initial version, and
652         review.  Patch #5917.
653
654         * dictionary.c (struct dictionary): Change `documents' member from
655         char * to struct string.
656         (dict_clear): Destroy struct string.
657         (dict_get_documents): Convert struct string to char *.
658         (dict_set_documents): Set struct string.  Pad to 80-character
659         multiple.
660         (dict_clear_documents): New function.
661         (dict_add_document_line): New function.
662         (dict_get_document_line_cnt): New function.
663         (dict_get_document_line): New function.
664
665         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
666
667         * sys-file-reader.c (read_documents): Use new document functions.
668
669 2007-04-19 John Darrington <john@darrington.wattle.id.au>
670
671         * sys-file-reader.c: When reading a system file which has no 
672         long name table, automatically create one where the long names 
673         are the lower case versions of the short names.
674         
675 2007-04-22  Ben Pfaff  <blp@gnu.org>
676
677         * dictionary.c (dict_set_split_vars): dict_destroy expects that
678         dict_clear will free most data related to the dictionary.
679         dict_clear does a decent job, except that dict_set_split_vars on
680         some systems won't actually free the dict's "split" member.
681         Instead, it'll allocate a 1-byte region.  Fix this.
682
683         * value.c (value_copy): New function.
684         (value_set_missing): Ditto.
685
686 2007-04-22 John Darrington <john@darrington.wattle.id.au>
687
688         * Deleted existing category.h and moved cat-routines.h into 
689         category.h  Encapsulated struct cat_vals better.
690
691 2007-04-19 John Darrington <john@darrington.wattle.id.au>
692
693         * sys-file-reader.c: When reading a system file which has no 
694         long name table, automatically create one where the long names 
695         are the lower case versions of the short names.
696         
697 2007-04-16 John Darrington <john@darrington.wattle.id.au>
698
699         * sys-file-reader.c: Some versions of Other Software seem to 
700         produce system files with string  variables' measure set to 
701         zero.  We'll assume these are supposed to be nominal variables.
702
703 2007-03-30  Ben Pfaff  <blp@gnu.org>
704
705         * procedure.c: Adapt to new deque data structure.
706
707 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
708                           Ben Pfaff <blp@gnu.org>
709
710         * file-name.c: Mingw compatibility fixes.
711         (fn_search_path): Use ISSLASH instead of comparing against '/'
712         directly.
713         (fn_dir_name): Use dir_name from gnulib.
714         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
715         (fn_get_identity): Use GetFullPathName instead of canonicalize
716         from gnulib, because the latter does not fully support
717         Windows-style path names.  Use this implementation based on the
718         detected presence of Windows instead of the absence of Unix, since
719         the new implementation is Windows-specific.
720         (fn_compare_file_identities): In Windows implementation, compare
721         names case-insensitively.
722
723 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
724
725         * make-file.c: Don't include mkstemp.h, because gnulib now causes
726         <stdlib.h> to have the same effect.
727
728 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
729
730         * por-file-reader.c: Add missing _() around messages.
731
732 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
733
734         * make-file.c: Include "mkstemp.h", without which linking on
735         mingw32 fails.
736
737 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
738  
739         Reduce platform dependence.
740  
741         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
742         Everywhere we using this, we really should have just depended on
743         the shell to expand tildes.
744         (fn_search_path): Simplify, given that we don't do tilde expansion
745         any longer.
746         (fn_normalize): Removed.  Caller changed to use the canonicalize
747         module from gnulib.
748         (fn_get_cwd): Removed.  Only user was fn_normalize.
749         (fn_is_absolute): Really only test for absolute names.
750         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
751         unix.
752         (fn_readlink): Removed, as it was only used fn_normalize.
753         (fn_exists): Assume the stat function is available; gnulib does.
754         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
755  
756 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
757
758         * dictionary.c (dict_create_vector_assert): New function.
759
760 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
761
762         * file-name.c (fn_normalize): Correct name of function
763         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
764         for pointing this out.
765
766 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
767
768         We are using a single member in struct file_handle, the "name"
769         field, for more than one purpose.  When it begins with '"', it's a
770         file name; otherwise, it's a token that can be used to identify
771         it.  When that assertion fires, it's because we searched for the
772         name case-sensitively as a file name (so that there was no match),
773         and then we try to insert it case-insensitively as a token, which
774         fails because duplicates aren't allowed.
775
776         Solution: break the two purposes into two separate fields.  This
777         fixes the problem and likely makes the code easier to read too.
778
779         Fixes bug #18922.  Thanks to John Darrington for bug report and
780         review.
781
782         * file-handle-def.c (struct file_handle): New `id' member.
783         (fh_from_name): Rename fh_from_id.  Update all callers.
784         (create_handle): New `id' parameter.  Update all callers.
785         (fh_create_file): Ditto.
786         (fh_get_id): New function.
787
788 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
789
790         * case.c (case_is_null): Change return type to bool.
791
792 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
793
794         Add debugging code.
795         
796         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
797         reference counting to share data.  This makes it easy for
798         valgrind, etc. to find accesses to cases that have been destroyed
799         but have been kept around by another user's ref-count.  This often
800         happens when the data set is small enough to find in memory; if a
801         bigger data set that would overflow to disk were used, then data
802         corruption would occur.
803
804 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
805
806         Simplify code.
807
808         * case.c (case_unshare): Make it check internally whether the
809         ref_cnt is greater than 1, so that the callers don't have to.
810         Update callers not to check.
811
812 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
813
814         Before, I was thinking that I might want to get rid of reference
815         counting at some point.  Now, I'm pretty sure that it's here to
816         stay.  Thus, because we have to store the value_cnt anyway for
817         reference-counted cases, we might as well expose it to users.
818
819         * case.c (case_get_value_cnt): New function.
820         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
821         resize case if its size actually changed.
822
823         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
824         instead of peeking inside struct case directly.
825         (casefile_append): Ditto.
826
827 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
828
829         Get rid of the inlines for the case functions, which made the
830         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
831         the inlines didn't speed up "make check" at all, which is not a
832         perfect benchmark but seems indicative.)
833         
834         * case.c: Remove #ifdef DEBUGGING...#endif around many function
835         definitions.  Remove some assertions on nonnull pointers that were
836         redundant with a pointer dereference soon after in the function.
837         Also:
838         (struct case_data): Move definition here from case.h.
839         (case_data): Ditto.
840         (case_num): Ditto.
841         (case_str): Ditto.
842         (case_data_wr): Ditto.
843         
844 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
845
846         * automake.mk: Add casedeque.h to sources.
847         
848         * casedeque.h: New file.
849
850         * procedure.c: (struct dataset) Change lag_count, lag_head,
851         lag_queue member into single struct casedeque member.  Update all
852         users to use the casedeque instead.
853         (lag_case) Removed.
854
855 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
856
857         * procedure.c: Simplify lagged cases interface.  Updated all
858         clients--well, the only client--to use the simplified interface.
859         (dataset_n_lag) Removed.
860         (dataset_set_n_lag) Removed.
861         (dataset_need_lag) New function.
862
863 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
864
865         * dictionary.c procedure.c: More changes to ensure that callbacks occur
866         whenever appropriate, but only when the dataset/dictionary is in a 
867         consistent state.
868
869 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
870
871         * dictionary.c dictionary.h : Added callbacks for change of filter and 
872         split variables.  Refactored some code to ensure that callbacks get
873         invoked when appropriate.
874
875         * procedure.c (proc_cancel_temporary_transformations): Make sure that 
876         replace_dict callback occurs when permanent_dict replaces the current
877         dictionary.
878
879 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
880
881         * dictionary.c dictionary.h : Added callback for when the weight 
882         variable of a dictionary changes.
883
884 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
885
886         * dictionary.c dictionary.h : Added replace_source and replace_dict
887         callbacks, and functions to deal with them.
888
889 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
890
891         Simplify missing value handling.
892
893         * missing-values.h (enum mv_class): New type.
894         (enum mv_type): Moved definition into missing-values.c and renamed
895         each MV_* to MVT_*, to distinguish them from the exposed mv_class
896         enums.  Updated all uses.
897         (struct missing_values): Changed type of `type' from `enum
898         mv_type' to `int' because the definition is no longer exposed.
899         
900         * missing-values.c (mv_is_value_missing): Add new enum mv_class
901         parameter.  Update all callers.
902         (mv_is_num_missing): Ditto.
903         (mv_is_str_missing): Ditto.
904         (mv_is_value_user_missing): Removed.  Changed callers to use
905         mv_is_value_missing.
906         (mv_is_num_user_missing): Removed.  Changed callers to use
907         mv_is_num_missing.
908         (mv_is_str_user_missing): Removed.  Changed callers to use
909         mv_is_str_missing.
910         (mv_is_value_system_missing): Removed.  Changed callers to use
911         mv_is_value_missing.
912         (mv_set_type): Removed.  Changed callers to use mv_clear.
913         (mv_clear): New function.
914         
915         * variable.c (var_is_value_missing): Add new enum mv_class
916         parameter.  Update all callers.
917         (var_is_num_missing): Ditto.
918         (var_is_str_missing): Ditto.
919         (var_is_value_user_missing): Removed.  Changed callers to use
920         var_is_value_missing.
921         (var_is_num_user_missing): Removed.  Changed callers to use
922         var_is_num_missing.
923         (var_is_str_user_missing): Removed.  Changed callers to use
924         var_is_str_missing.
925         (var_is_value_system_missing): Removed.  Changed callers to use
926         var_is_value_missing.
927         
928         * casefilter.c (struct casefilter): Use enum mv_class in place of
929         bool.
930         (casefilter_variable_missing): Adapt to new member.
931         (casefilter_create): Change signature to take enum mv_class,
932         update callers.
933
934 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
935
936         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
937
938         * case-sink.c case-sink.h procedure.c procedure.h 
939           storage-stream.c: Now uses the factory.
940         
941 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
942
943         Make it possible to pull cases from the active file with a
944         function call, instead of requiring indirection through a callback
945         function.
946
947         * case-source.h (struct case_source_class): Change ->read function
948         to return a single case, instead of calling a callback function
949         for each case.  Change ->destroy function to return an error
950         status.
951
952         * case-source.c (free_case_source): Pass along the value returned
953         by the case_source ->destroy function.
954
955         * procedure.c (struct write_case_data): Removed.
956         (struct dataset): Added some members to track procedure state.
957         (procedure): Optimize the trivial case at this level.
958         (internal_procedure): Re-implement in terms of proc_open,
959         proc_read, proc_close.
960         (proc_open) New function.
961         (proc_read) New function.
962         (proc_close) New function.
963         (write_case) Moved into proc_read.
964         (close_active_file) Moved closing of data source into proc_close.
965
966         * storage-source.c: Rewrote to conform with modified
967         case_source_class interface.
968
969         * transformations.c (trns_chain_execute): Added argument to allow
970         starting execution from an arbitrary transformation.  Updated
971         callers.
972
973         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
974
975 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
976
977         * sys-file-reader.c (read_display_parameters): Don't assume that
978         MEASURE_* and ALIGN_* have the same values found in system files.
979
980         * sys-file-writer.c (write_variable_display_parameters): Ditto.
981
982         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
983         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
984         the value of n_MEASURES, which was off by 1 (at least from my
985         point of view).
986
987 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
988
989         * dictionary.c dictionary.h vardict.h variable.c: Added optional
990                 callbacks which are invoked when the dictionary or its 
991                 variables are changed.  
992         
993         * missing-values.c missing-values.h value-labels.c: Tidied up
994                 consistency checks, and made some of them return false 
995                 instead of assert-failing. 
996
997 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
998
999         * calendar.c (calendar_days_in_month): New function.
1000
1001 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
1002
1003         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
1004         the value label's width.
1005
1006 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
1007
1008         * sfm-private.h: Move contents into sys-file-writer.c, which is
1009         the only remaining user.  Removed Borland C++-specific directives.
1010         
1011         * sys-file-reader.c: Clean up and rewrite entire file.  The
1012         rewritten version is simpler and better abstracted, and should be
1013         easier to maintain and extend.  It avoids using structures to read
1014         file data, which is prone to padding variations among compilers.
1015         It should also handle non-IEEE 754 system files, although I
1016         haven't been able to find any.  It has been tested against many
1017         .sav files obtained from the Web and found to produce the same
1018         results as the earlier version of the code, or in some cases
1019         improved results.  It is more tolerant of format variations found
1020         in the wild.
1021
1022         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
1023         member, putting an enum integer_format in its place.  New member
1024         `float_format'.  Changed `compressed' member to type bool.
1025
1026 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
1027
1028         * dictionary.c (dict_delete_consecutive_vars): New function.
1029
1030 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
1031
1032         * file-name.c (fn_search_path): Remove prefix arg that was unused
1033         by any caller.  Updated all callers.
1034
1035 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
1036
1037         * format.c (fmt_dollar_template): Use user's decimal point
1038         character.  Add assertion.
1039
1040 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
1041
1042         * format.c (fmt_dollar_template): New function, based on
1043         dollar_format_template from var-type-dialog.c.
1044
1045 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
1046
1047         * data-out.c (output_scientific): Fix bad assumption that "buf" is
1048         null-terminated.
1049         
1050 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
1051
1052         Finish converting struct variable to an opaque type.  In this
1053         phase, we add remaining setter and getter functions, convert the
1054         remaining PSPP code to use them, and do a bunch of cleanup.  The
1055         resulting changes are pervasive but mostly trivial, and only the
1056         notable changes are logged.
1057         
1058         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
1059         files.
1060         
1061         * case.c (case_data): Renamed case_data_idx.
1062         (case_num): Renamed case_num_idx.
1063         (case_str): Renamed case_str_idx.
1064         (case_data_rw): Renamed case_data_rw_idx.
1065
1066         * case.h (case_data): New function with old name and an interface
1067         that takes a variable instead of an index, which is easier to
1068         use.  Updated all callers to use the new interface, or to use the
1069         new *_idx function (see above).
1070         (case_num): Ditto.
1071         (case_str): Ditto.
1072         (case_data_rw): Ditto.
1073         
1074         * category.c (cat_stored_values_destroy): Changed interface to
1075         take a struct cat_vals * instead of a struct variable *.
1076
1077         * dictionary.c (dict_clone): Use new vector_clone function.     
1078         (dict_clear) Use new var_destroy function.
1079         (add_var) New function.
1080         (dict_create_var) Rewrite in terms of dict_create_var_assert.
1081         (dict_create_var_assert) Rewrite in terms of add_var.
1082         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
1083         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
1084         (dict_lookup_var) Use new var_create, var_destroy functions.
1085         (dict_contains_var) Rewrite in terms of new vardict functionality.
1086         (set_var_dict_index) New function.
1087         (set_var_case_index) New function.
1088         (reindex_vars) New function.
1089         (dict_delete_var) Rewrite in terms of new vardict functionality.
1090         (dict_reorder_var) Ditto.
1091         (dict_reorder_vars) Ditto.
1092         (rename_var) New function.
1093         (dict_rename_var) Use rename_var.
1094         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
1095         (dict_get_compacted_idx_to_fv) Rename
1096         dict_get_compacted_dict_index_to_case_index, update callers.
1097         (dict_create_vector) Use new vector_create function.
1098         (dict_clear_vectors) Use new vector_destroy function.
1099         (set_var_short_name_suffix) Move here from variable.c, renamed
1100         from var_set_short_name_suffix, make static, update caller.
1101
1102         * sys-file-private.c: New file.  
1103         (sfm_width_to_bytes) Moved here from variable.c, renamed from
1104         width_to_bytes, update callers.
1105
1106         * sys-file-private.h: New file.  Later it will supplant
1107         sfm-private.h; for now it supplements it.
1108         (macro MIN_VERY_LONG_STRING) New macro.
1109         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
1110
1111         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
1112         MAX_LONG_STRING was used before.
1113
1114         * sys-file-writer.c: Ditto.
1115
1116         * value-labels.c: Change the paradigm here to be that a null
1117         pointer is OK for a struct val_labs * in most cases; it just
1118         represents an empty set of value labels.
1119         (val_labs_copy) A copy of a null set is a null set.
1120         (val_labs_count) A null set has 0 labels.
1121         (val_labs_replace) Change return type to void.  Rewrite for
1122         simplicity.
1123         (val_labs_find) A null set does not contain the value.
1124         (value_to_string) Moved to variable.c, renamed var_get_value_name,
1125         transposed argument order, updated all callers.
1126
1127         * value.c: New file.
1128         (value_dup) Moved here from variable.c.
1129         (compare_values) Ditto.
1130         (hash_value) Ditto.
1131
1132         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
1133         (macro MAX_LONG_STRING) Removed, because it was only interesting
1134         for system files, not for general code.
1135         (macro MAX_VERY_LONG_STRING) Ditto.
1136         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
1137         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
1138
1139         * vardict.h: New file, for an interface between variables and
1140         their dictionaries.
1141
1142         * variable.c: A lot of functions were moved around, for better
1143         organization.
1144         (struct variable) Move definition here, from variable.h.
1145         (var_type_adj) Removed--makes i18n hard.
1146         (var_type_noun) Ditto.
1147         (var_create) New function.
1148         (var_clone) New function.
1149         (var_destroy) New function.
1150         (var_set_name) Assert that variable is not in a dictionary.
1151         (compare_var_names) Rename compare_vars_by_name and fix a couple
1152         of callers who thought the args were strings.
1153         (hash_var_name) Rename hash_var_by_name.
1154         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
1155         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
1156         (var_is_very_long_string) Removed, because it was only interesting
1157         to system file code.
1158         (var_set_missing_values) Allow the argument to be the wrong width,
1159         as long as we can resize it.  Simplify callers who were doing the
1160         resizing themselves.
1161         (var_get_value_labels) New function.
1162         (var_has_value_labels) New function.
1163         (var_set_value_labels) New function.
1164         (alloc_value_labels) New function.
1165         (var_add_value_label) New function.
1166         (var_replace_value_label) New function.
1167         (var_clear_value_labels) New function.
1168         (var_lookup_value_label) New function.
1169         (var_get_value_name) Moved here from variable.c, renamed from
1170         var_get_value_name, transposed argument order, updated all
1171         callers.
1172         (var_to_string) Moved here, from variable-label.c.
1173         (var_set_leave) New function.
1174         (var_get_leave) New function.
1175         (var_must_leave) New function.
1176         (var_set_short_name_suffix) Moved to dictionary.c, renamed
1177         set_var_short_name_suffix.
1178         (var_get_dict_index) New function.
1179         (var_get_case_index) New function.
1180         (var_get_obs_vals) New function.
1181         (var_set_obs_vals) New function.
1182         (var_has_obs_vals) New function.
1183         (var_get_vardict) New function.
1184         (var_set_vardict) New function.
1185         (var_has_vardict) New function.
1186         (var_clear_vardict) New function.
1187         (value_dup) Moved to value.c.
1188         (compare_values) Ditto.
1189         (hash_value) Ditto.
1190
1191         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
1192         (enum ALPHA) Rename VAR_STRING, update all users.
1193
1194         * vector.c: New file.
1195         (struct vector) Moved here, from variable.h.
1196         (check_widths) New function.
1197         (vector_create) New function.
1198         (vector_clone) New function.
1199         (vector_destroy) New function.
1200         (vector_get_name) New function.
1201         (vector_get_var) New function.
1202         (vector_get_var_cnt) New function.
1203         (compare_vector_ptrs_by_name) New function.
1204
1205         * vector.h: New file.
1206
1207 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1208
1209         * casefilter.c (casefilter_variable_missing): Avoided comparision of
1210         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
1211         problem.
1212
1213 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
1214
1215         * value-labels.c (destroy_atoms): New function.
1216         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
1217
1218 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
1219
1220         Thanks to Jason Stover for pointing out this problem.
1221         
1222         * data-out.c (output_number): Use gsl_finite from GSL, which is
1223         portable, instead of isfinite, which is not.
1224         (power256) Ditto.
1225
1226 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
1227
1228         * variable.c variable.h (value_dup): New function.
1229
1230 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
1231
1232         Start converting struct variable to an opaque type.  In this
1233         phase, we add a bunch of setter and getter functions and convert
1234         most of the PSPP code to use them.  The resulting changes are
1235         pervasive but mostly trivial, and only the notable changes are
1236         logged.
1237         
1238         * format.c (fmt_equal): New function.
1239         
1240         * variable.c (var_type_is_valid): New function.
1241         (measure_is_valid) Moved here, from format.c.
1242         (alignment_is_valid) Moved here, from format.c.
1243         (var_get_name) New function.
1244         (var_set_name) New function.
1245         (width_to_type) New function.
1246         (var_get_type) New function.
1247         (var_get_width) New function.
1248         (var_set_width) New function.
1249         (var_is_numeric) New function.
1250         (var_is_alpha) New function.
1251         (var_is_short_string) New function.
1252         (var_is_long_string) New function.
1253         (var_is_very_long_string) New function.
1254         (var_get_missing_values) New function.
1255         (var_set_missing_values) New function.
1256         (var_clear_missing_values) New function.
1257         (var_has_missing_values) New function.
1258         (var_is_value_missing) New function.
1259         (var_is_num_missing) New function.
1260         (var_is_str_missing) New function.
1261         (var_is_value_user_missing) New function.
1262         (var_is_num_user_missing) New function.
1263         (var_is_str_user_missing) New function.
1264         (var_is_value_system_missing) New function.
1265         (var_get_print_format) New function.
1266         (var_set_print_format) New function.
1267         (var_get_write_format) New function.
1268         (var_set_write_format) New function.
1269         (var_set_both_formats) New function.
1270         (var_get_label) New function.
1271         (var_set_label) New function.
1272         (var_clear_label) New function.
1273         (var_has_label) New function.
1274         (var_get_measure) New function.
1275         (var_set_measure) New function.
1276         (var_get_display_width) New function.
1277         (var_set_display_width) New function.
1278         (var_get_alignment) New function.
1279         (var_set_alignment) New function.
1280         (var_get_value_cnt) New function.
1281         (var_get_leave) New function.
1282         (var_get_short_name) New function.
1283
1284         * variable.h: (struct variable) Removed "type" and "nv" members;
1285         they are now computed from "width" where needed.
1286
1287 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
1288
1289         * missing-values.c (mv_resize): Don't write beyond end of the
1290         allocated buffer when resizing a long string.
1291
1292 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
1293
1294         Clean up identifier code: don't require identifier enumerations to
1295         be in a particular order; make better use of string library;
1296         expose less of the internals.
1297                 
1298         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
1299         change interface.  Updated all callers.
1300         (lex_id_match) Change interface to use struct substring, update
1301         all callers.
1302         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
1303         (global array keywords[]) Make static, change form.  Update all
1304         users to use lex_id_name instead.
1305         (lex_is_keyword) New function.
1306         (lex_id_to_token) Change interface to use struct substring, update
1307         all callers.
1308         (lex_id_name) New function.
1309
1310         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
1311         lex_is_keyword instead.
1312         (T_LAST_KEYWORD) Removed.
1313         (T_N_KEYWORDS) Removed.
1314         
1315 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
1316
1317         * format.c: (fmt_date_template) Distinguish characters for which a
1318         space is output and any date delimiter is allowed on input, from
1319         those for which a space is output and only a space is allowed on
1320         input.  The former is represented by X, the latter by a space.
1321         Also, drop distinction between h and H, changing the former to the
1322         latter.
1323
1324         * data-in.c: Completely rewrite internals to conform to SPSS input
1325         formats as closely as possible.
1326         (data_in) Changed external interface by replacing the structure
1327         that was used as a single argument by a set of arguments.  Updated
1328         all callers.
1329         (data_in_finite_line) Removed.  Converted all callers to use plain
1330         data_in.
1331         (data_in_get_integer_format) New function.
1332         (data_in_set_integer_format) New function.
1333         (data_in_get_float_format) New function.
1334         (data_in_set_float_format) New function.
1335
1336         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
1337         (struct data_in) Removed.
1338
1339         * data-out.c: (output_date) Drop each component from the input as
1340         it is output, to allow us to drop the distinction between h (a
1341         count of hours) and H (the hour of day) template characters.
1342         Also, handle new X template character.
1343         (output_scientific) Follow more rational rule on when to drop
1344         fraction introduced between SPSS 13 and 15.  Updated test case to
1345         match new behavior.
1346
1347 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
1348
1349         Fix buffer overflow reported by John Darrington.
1350
1351         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
1352         realize that DIGITS is a count of nibbles, not of bytes.
1353
1354 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
1355
1356         * calendar.c (calendar_offset_to_gregorian) Also return the
1357         year-of-day.  Change callers to new interface.
1358
1359         * data-out.c: Completely rewrite internals to conform to SPSS
1360         output formats as completely as possible.
1361         (data_out) Change interface to put input parameters before output
1362         parameters, for consistency with the style I now prefer.  Update
1363         all callers.
1364         (data_out_get_integer_format) New public function.
1365         (data_out_set_integer_format) New public function.
1366         (data_out_get_float_format) New public function.
1367         (data_out_set_float_format) New public function.
1368
1369         * data-out.h: New file.  Move prototype for data_out here, from
1370         format.h.
1371
1372         * format.c: (fmt_step_width) Use equality comparison instead of
1373         bitwise and, for clarity.
1374         (fmt_is_string) Ditto.
1375         (fmt_input_to_output) Fix categories that are translated to F
1376         format.
1377
1378 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
1379
1380         * casefilter.c casefilter.h (new files), casefile.c casefile.h 
1381         casefile-private.h: Added casefilter to assist commands with missing 
1382         values.
1383
1384 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
1385
1386         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
1387         
1388         * settings.c: (route_errors_to_terminal) New variable.
1389         (route_errors_to_listing) New variable. 
1390         (get_error_routing_to_terminal) New function.
1391         (set_error_routing_to_terminal) New function.
1392         (get_error_routing_to_listing) New function.
1393         (set_error_routing_to_listing) New function.
1394
1395         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
1396
1397 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
1398
1399         * format.c: Completely rewrite, to achieve better abstraction.
1400         Rewrite all references to formats in other files.
1401         
1402         * format.def: Rewrite and reorganize.
1403
1404         * settings.c: Move everything related to custom currency formats
1405         into format.[ch], changing them in form, so as to group related
1406         code and definitions better.  Changed all references to use the
1407         new functions.
1408         (static var decimal) Removed.
1409         (static var grouping) Removed.
1410         (static var cc) Removed.
1411         (get_decimal) Removed.
1412         (set_decimal) Removed.
1413         (get_grouping) Removed.
1414         (set_grouping) Removed.
1415         (get_cc) Removed.
1416         (set_cc) Removed.
1417
1418         * settings.h: (macro CC_CNT) Removed.
1419         (macro CC_WIDTH) Removed.
1420         (struct custom_currency) Removed.
1421
1422 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
1423
1424         * data-in.c (data_in): Use switch statement instead of table, to
1425         avoid dependence on the order of the FMT_* enums.
1426
1427 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
1428
1429         * data-out.c: (num_to_string) Removed, because it was dead code.
1430
1431 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
1432
1433         * data-in.c (parse_trailer): Fix error message.
1434
1435 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1436
1437         * format.c (fmt_is_binary): New function.
1438
1439 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1440
1441         * procedure.c procedure.h: Encapsulated the static data into a single
1442         struct.  
1443
1444 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1445
1446         * casefile.c (casereader_read_xfer): Always initialize the case,
1447         even on an error condition.
1448
1449 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1450
1451         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the 
1452         entire function useless.
1453
1454 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1455
1456         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1457         casereader method casereader_clone.   
1458         
1459         * procedure.c pransformations.h: Introduced new type casenum_t
1460
1461 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1462
1463         * variable.c: (width_to_bytes) Rephrase code for clarify.
1464
1465 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1466
1467         * format.c: (fmt_type_from_string) New function.
1468         (fmt_to_string) Include decimals in output if the format has
1469         decimals, even if the format type does not.  This way, we can
1470         accurately reproduce incorrect formats in user output.
1471         (check_common_specifier) Make the check for a bad format type an
1472         assertion, so we get bug reports if they show up.  Fix message.
1473         Check for decimal places with a format type that doesn't allow
1474         them.
1475         (check_input_specifier) Remove check for FMT_X, which has been
1476         deleted.
1477         (check_output_specifier) Ditto. 
1478
1479         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1480
1481         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1482         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1483         (enum fmt_parse_flags) Removed.
1484
1485 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1486
1487         * casefile.c casefile.h: Converted to  an abstract base class.
1488         * casefile-private.h fastfile.c fastfile.h: New files.
1489         * automake.mk procedure.c scratch-writer.c storage-stream.c
1490
1491 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1492
1493         * procedure.c (internal_procedure): Create sink_case with only as
1494         many values as the compacted dictionary.
1495
1496 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1497
1498         Remove "debugging" code that caused plenty of false positives and
1499         no true positives.
1500         
1501         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1502
1503         * case.c: Remove all references to `this' member.
1504
1505 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1506
1507         Fix link error noted by Jason Stover.
1508         
1509         * storage-stream.c: Include <assert.h>.
1510
1511 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1512
1513         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1514         ALL) and additional underlying system file issues.
1515
1516         Thanks to John Darrington for review.
1517
1518         First problem: var_hash points to variables not owned by the
1519         sys-file-reader, which the caller may free or modify.  Use an
1520         array of sfm_vars instead, as done earlier (e.g. CVS version
1521         1.12).
1522         
1523         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
1524         members and remove all code that references it.  Add vars, var_cnt
1525         members.  Remove fix_specials member, which was unused.
1526         (struct sfm_var) Remove name member, which was unused.
1527         (sfm_close_reader) Free vars member instead of var_hash.
1528         (compare_var_shortnames) Removed.
1529         (hash_var_shortname) Removed.
1530         (sfm_open_reader) Fill out vars array.
1531         (compare_var_index) Removed.
1532         (sfm_read_case) Use vars instead of var_hash.
1533         
1534         Second problem: we're confused about when we actually have very
1535         long strings, causing us to choose incorrectly between slow path
1536         and fast path in sfm_read_case.
1537
1538         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
1539         have very long strings, not when we have long variable names,
1540         which is an unrelated feature.
1541
1542 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
1543
1544         * variable.h: Move var_set and variable parsing declarations to
1545         new header, src/language/lexer/variable-parser.h.  Modified lots
1546         of files to include the new header.
1547
1548 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1549
1550         * value-labels.c (value_to_string): When there's no value label,
1551         format the variable according to its print format, instead of
1552         always effectively using A or F format.
1553
1554 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1555
1556         * casefile.c (casefile_get_random_reader): Nasty hack to get around 
1557         the mode assertion.
1558
1559         * format.c: Removed tortological assertion.
1560
1561 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1562
1563         Reform string library.
1564         
1565         * file-name.c (fn_interp_vars): Change interface to take a
1566         substring as input.  Updated all users.
1567         
1568 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1569
1570         * format.c (measure_is_valid): Really return false when m >=
1571         n_MEASURES.
1572
1573 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1574
1575         Implement random access to casefiles, for use in GUI.
1576         
1577         * casefile.c: (struct casereader) Add `random', `file_ofs',
1578         `buffer_ofs' members.
1579         (casefile_get_random_reader) New function.
1580         (read_open_file) Break part into new function
1581         seek_and_fill_buffer().
1582         (fill_buffer) Update buffer_ofs, file_ofs.
1583         (casereader_seek) New function.
1584
1585 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1586
1587         * settings.c: Added call to i18n{done, init}.
1588
1589 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1590
1591         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1592         prototypes.
1593
1594 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1595
1596         * casefile.c: Convert many uses of `int' to `bool'.
1597
1598 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1599
1600         * transformations.c (trns_chain_destroy): Destroy chain's trns
1601         member, to fix memory leak.
1602
1603 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1604
1605         * storage-stream.c (storage_source_decapsulate): Destroy case
1606         source to fix memory leak.
1607
1608 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1609
1610         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1611         case passed as argument instead of initializing the argument as a
1612         case.  Fixes memory leak that showed up in
1613         tests/command/aggregate.sh with scratch files.
1614
1615 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1616
1617         * procedure.c (proc_done): Destroy default_dict, to fix memory
1618         leak.
1619
1620 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1621
1622         Simplify procedure_with_splits().
1623         
1624         * procedure.c (struct split_aux_data): Removed case_count member.
1625         (procedure_with_splits) Don't initialize case_count.
1626         (split_procedure_case_func) Check whether prev_case is null
1627         instead of case_count.
1628         (split_procedure_end_func) Ditto.
1629
1630 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1631
1632         * case.c (case_move): Do nothing if dst and src are the same
1633         object.
1634         (case_try_create) Merge two similar cases.
1635         (case_copy) Unshare only if data must be actually copied.
1636
1637 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1638
1639         * data-in.c data-out.c dictionary.c sys-file-reader.c
1640         sys-file-writer.c variable.c variable.h:  Reworked very long string
1641         support for better encapsulation.
1642
1643 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1644
1645         * value-labels.c (val_labs_can_set_width): New function.
1646         (val_labs_set_width) Clear labels if increasing width to long
1647         string.
1648         (val_labs_destroy) Remove unneeded test for null.
1649         
1650 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1651
1652         * value-labels.h: Remove unneeded dependency on variable.h.
1653
1654 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1655
1656         Get rid of `char *c' member in union value, for cleanliness.
1657         
1658         * value.h: (union value) Remove `c' member.
1659
1660 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1661
1662         Make dictionary compacting functions a little more general.
1663         
1664         * sys-file-writer.c (sfm_open_writer): Use
1665         dict_compacting_would_change().
1666         (does_dict_need_translation) Removed.
1667
1668 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1669
1670         Make dictionary compacting functions a little more general.
1671         
1672         * dictionary.c (dict_needs_compaction): Rename
1673         dict_compacting_would_shrink().  Update all callers.
1674         (dict_compacting_would_change) New function.
1675         
1676 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1677
1678         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1679         inverted return value (!).
1680
1681 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1682
1683         Continue reforming procedure execution.  
1684
1685         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1686         (static var vfm_source) Rename proc_source.  Update all
1687         references.
1688         (static var vfm_sink) Rename proc_sink.  Update all references.
1689         
1690 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1691
1692         Continue reforming procedure execution.  In this phase, remove
1693         PROCESS IF, which was deprecated anyway and can be easily
1694         simulated with TEMPORARY followed by SELECT IF.
1695
1696         * procedure.c: (open_active_file) Don't call
1697         add_process_if_trns().
1698         (discard_variables) Get rid of redundant call to
1699         proc_cancel_all_transformations().
1700         (add_process_if_trns) Removed.
1701         (process_if_trns_proc) Removed.
1702         (process_if_trns_free) Removed.
1703
1704 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1705
1706         Continue reforming procedure execution.  In this phase, add
1707         `const' to the case passed to procedure()'s callback.
1708
1709         Updated all users of procedure() as well.
1710         
1711         * procedure.c: (struct write_case_data) Add "const" to ccase
1712         parameter for case_func member.
1713         (procedure) Add "const" to ccase parameter for proc_func
1714         parameter.
1715         (multipass_case_func) Make ccase parameter const.
1716         (internal_procedure) Add "const" to ccase parameter for case_func
1717         parameter.
1718         (split_procedure_case_func) Make ccase parameter const.
1719         (multipass_split_case_func) Make ccase parameter const.
1720         
1721 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1722
1723         Continue reforming procedure execution.  In this phase, get rid of
1724         the output code for SPLIT FILE groups in procedure.c, which really
1725         shouldn't be doing any output.  Move it into the individual
1726         procedures instead.  This also adds some flexibility.
1727
1728         Updated many users of procedure_with_splits() and
1729         multipass_procedure_with_splits() to call
1730         output_split_file_values() and to deal with increased use of
1731         const.
1732
1733         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1734         parameter to begin_func member.
1735         (procedure_with_splits) Add "const struct ccase *" parameter to
1736         begin_func parameter.  Make ccase parameter const in proc_func
1737         parameter.
1738         (split_procedure_case_func) Don't dump split file group.  Pass
1739         case to begin_func.
1740         (dump_splits) Moved to language/dictionary/split-file.c as
1741         output_split_file_values().
1742         (struct multipass_split_aux_data) Add "const struct ccase *"
1743         parameter to split_func member.
1744         (multipass_procedure_with_splits) Add "const struct ccase *"
1745         parameter to split_func parameter.
1746         (multipass_split_case_func) Save new SPLIT FILE case before
1747         outputting case.
1748         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1749         
1750 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1751
1752         Continue reforming procedure execution.  Change
1753         internal_procedure() so that it calls open_active_file() and
1754         close_active_file(), which isolates most of the actual procedure
1755         functionality.
1756
1757         * procedure.c: (struct write_case_data) Rename `proc_func' member
1758         to `case_func' and update all references.
1759         (procedure) Rewrite as one-line wrapper around
1760         internal_procedure().
1761         (struct multipass_aux_data) New.
1762         (multipass_callback) Renamed multipass_case_func().  Use struct
1763         multipass_aux_data as auxiliary data.
1764         (multipass_end_func) New function.
1765         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1766         that uses multipass_case_func, multipass_end_func.
1767         (internal_procedure) Add `end_func' argument.  Move optimization
1768         of trivial case in here.  Move call to open_active_file() and
1769         close_active_file() in here.  Now assert that vfm_source is
1770         non-null.
1771         (procedure_with_splits_callback) Rename
1772         split_procedure_case_func().
1773         (split_procedure_end_func) New function.
1774         (multipass_split_callback) Rename multipass_split_case_func.
1775         (multipass_split_end_func) New function.
1776         (discard_variables) No need to test for nonnull vfm_source.
1777
1778 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1779
1780         Continue reforming procedure execution.  Get rid of unused member.
1781
1782         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1783         member.
1784         (write_case) Don't increment cases_analyzed.
1785
1786 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1787
1788         Continue reforming procedure execution.  In this phase, move
1789         procedure.c and procedure.h from src to src/data.  Update
1790         makefiles and #includes accordingly.
1791
1792         * procedure.c: Moved here from src/.
1793
1794         * procedure.h: Moved here from src/.
1795
1796 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1797
1798         Continue reforming procedure execution.  In this phase, get rid of
1799         many global variables, consolidating procedure execution in
1800         procedure.c.  Encapsulate transformations in new "struct
1801         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1802         and PROCESS IF from special cases to transformations.
1803          
1804         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1805         transformations.h.
1806
1807         * dictionary.c: (global variable default_dict) Move to
1808         src/procedure.c.
1809
1810         * variable.h: (TRNS_*) Move to transformations.h.
1811         (struct transformation) Move to transformations.c.
1812
1813 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1814
1815         * sys-file-reader.c: Fixed invalid read problems.
1816
1817 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1818
1819         * storage-stream.c: Add missing function comments.
1820
1821 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1822
1823         Continue reforming procedure execution.  In this phase, add some
1824         new, needed functionality to storage-stream.
1825
1826         * storage-stream.c: (storage_source_decapsulate) New function.
1827
1828 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1829
1830         * variable.c (width_to_bytes): Declarations must precede
1831         statements for C90 compliance.
1832
1833 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1834
1835         * data-out.c, data-in.c, variable.c, variable.h: New functions 
1836         copy_mangle and copy_demangle for reading/writing cases; emulates the 
1837         way SPSS deals with strings > 255 bytes.
1838
1839         * sys-file-reader.c sys-file-writer.c: Added support for Record 7, 
1840         subtype 14 needed for strings longer than 255 bytes.
1841
1842         * dictionary.c, format.def, value.c : Updated to use MAX_STRING 
1843         instead of literal values. Also fixed some constness issues.
1844
1845         * format.h: Constness
1846
1847         * sfm-private.h: Renamed the case_size identifier, since I discovered 
1848         that SPSS's respect for this variable is very nominal.
1849
1850 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1851
1852         Change case limit type from int to size_t.
1853
1854         * dictionary.c: (struct dictionary) Change type of case_limit
1855         member.
1856         (dict_get_case_limit) Change return type.
1857         (dict_set_case_limit) Change parameter type.
1858
1859 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1860
1861         * variable.h: (struct variable) Rename `reinit' member as `leave'
1862         and invert sense.  Fix up all references.
1863
1864 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1865
1866         Continue reforming procedure execution.  In this phase, break
1867         procedure.c into multiple files.
1868         
1869         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1870
1871         * case-sink.c: New file.
1872
1873         * case-sink.h: New file.
1874         
1875         * case-source.c: New file.
1876
1877         * case-source.h: New file.
1878         
1879         * storage-stream.c: New file.
1880
1881         * storage-stream.h: New file.
1882
1883 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1884
1885         * variable.h: (struct variable) Remove `init' member and all
1886         references to it from other files.  It was initialized in several
1887         places, but nothing really ever used it for anything worthwhile.
1888         Thanks to Jason Stover for pointing out how confusing this
1889         member is.
1890
1891 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1892
1893         Continue reforming error message support.  In this phase, get rid
1894         of message "titles" and put the message text in `struct error'.
1895         Now `struct error' encapsulates a message more properly.
1896         
1897         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1898         Format message ourselves.
1899
1900         * data-in.c: (vdls_error) Ditto.
1901
1902         * por-file-reader.c: (error) Ditto.
1903
1904         * sys-file-reader.c: (corrupt_msg) Ditto.
1905
1906 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1907
1908         GNU standards require "file name" instead of "filename" in
1909         documentation.  It's nice for our code to follow the convention
1910         too.
1911         
1912         * casefile.c: (struct casefile) Rename `filename' member to
1913         `file_name'.  Updated all references.
1914
1915         * file-name.c: [!unix] (struct file_identity) Rename
1916         normalized_filename member to normalized_file_name.  Updated all
1917         references.
1918
1919 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1920
1921         We don't really support anything but Unix-like environments well,
1922         so we might as well de-obfuscate by writing directory and path
1923         separators explicitly.
1924
1925         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1926         to just '/'.
1927         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1928         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1929         "/".
1930         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1931         ":"
1932
1933 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1934
1935         GNU standards require "file name" instead of "filename" in
1936         documentation.  It's nice for our code to follow the convention
1937         too.
1938         
1939         * filename.c: Rename to file-name.c.
1940
1941         * filename.h: Rename to file-name.h.  Update all inclusions.
1942         Update header guards.
1943
1944         * automake.mk: Update file names.
1945
1946 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1947
1948         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1949         updated.
1950         (fn_basename) Removed (dead code).
1951         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1952         (fn_special_p) Renamed fn_is_special(), all references updated.
1953         (fn_exists_p) Renamed fn_exists(), all references updated.
1954
1955 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1956
1957         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.  
1958         Also, now it only tilde-expands file names, not paths.
1959         (fn_search_path) Tilde-expand one directory at a time.
1960
1961 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1962
1963         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1964         get rid of non-Unixlike version of the code, which has probably
1965         never been tested.
1966         (fn_prepend_dir) Removed (dead code).
1967
1968         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1969         (macro PATH_SEPARATOR_STRING) New.
1970 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1971
1972         Continue reforming error message support.  In this phase, we get
1973         rid of VM() and the other msg() support for "verbosity", replacing
1974         it by a new function verbose_msg().
1975
1976         * filename.c: (fn_search_path) Use verbose_msg() instead of
1977         msg(VM(), ...).  
1978
1979 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1980
1981         * sfm-private.h: Get rid of #defines after #error, which makes no
1982         sense.
1983
1984 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1985
1986         Get rid of our own int32 type in favor of the standard int32_t
1987         type.
1988         
1989         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1990         include <stdint.h>.
1991
1992         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1993         
1994         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1995
1996 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1997
1998         Remove ill-considered file routines that are no longer used.
1999         
2000         * filename.c: (fn_open_ext) Removed.
2001         (fn_close_ext) Removed.
2002
2003         * filename.h: (struct file_ext) Removed.
2004
2005 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
2006
2007         * variable.c (var_is_valid_name): Move declarations before code
2008         for C90 compliance.
2009
2010 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
2011
2012         * filename.ch (fn_interp_vars): Fixed small buglet.
2013
2014 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
2015         
2016         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
2017         so as to modify the string inline.   Thus makeing it easier to
2018         destroy the results when no longer needed.
2019         
2020 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
2021
2022         * category.c (cat_stored_values_destroy): Fixed memory leak.
2023
2024 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
2025
2026         Add some missing frees.  Thanks to John Darrington for reporting
2027         these.
2028
2029         * any-writer.c (any_writer_close): Free writer.
2030
2031         * any-reader.c (any_reader_close): Free reader.
2032
2033 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
2034
2035         * por-file-reader.c: (error) Mark as NO_RETURN.
2036
2037 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
2038
2039         * settings.c: Changed default value of scompress to true.
2040
2041 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
2042
2043         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
2044
2045         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
2046         really applies.
2047
2048         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
2049         here from pref.h.orig.
2050
2051 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
2052
2053         * sys-file-reader.c: Fixed bug reading compressed files.
2054
2055 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
2056
2057         * Numerous renames.  See src/ChangeLog for details.
2058         
2059         * Moved files from src directory