Implemented the find dialog.
[pspp] / src / data / ChangeLog
1 2007-09-13  John Darrinton <john@darrington.wattle.id.au>
2
3         * value.c value.h (create_value): New function.
4
5 2007-09-12  Ben Pfaff  <blp@gnu.org>
6
7         Make it clear that translator casereader and casewriter translate
8         functions are supposed to destroy their input case.
9         
10         * casereader-translator.c (struct casereader_translator): Change
11         input case parameter of translate member function from const
12         struct ccase * to struct ccase *.
13         (casereader_create_translator): Ditto, for translate parameter.
14
15         * casewriter-translator.c (struct casewriter_translator): Ditto.
16         (casewriter_create_translator): Ditto.
17
18 2007-08-27  John Darrinton <john@darrington.wattle.id.au>
19         
20         * sys-file-reader.c (read_display_parameters): Force display width 
21         to 8, if the sys file says 0 (like SPSS does).
22
23 2007-08-12  Ben Pfaff  <blp@gnu.org>
24
25         * dictionary.c (dict_dump): New function.
26
27 2007-08-12  Ben Pfaff  <blp@gnu.org>
28
29         Drop dict_compactor in favor of using the new struct case_map.
30
31         * dictionary.c (struct copy_map): Removed.
32         (struct dict_compactor): Removed.
33         (dict_make_compactor): Removed.
34         (dict_compactor_compact): Removed.
35         (dict_compactor_destroy): Removed.
36
37         * procedure.c (struct data_set): Change `compactor' member to be a
38         struct case_map *.
39         (proc_open): Use case_map_to_compact_dict instead of
40         dict_make_compactor.
41         (proc_casereader_read): Use case_map_execute instead of
42         dict_compactor_compact.
43         (proc_commit): Use case_map_destroy instead of
44         dict_compactor_destroy.
45
46         * scratch-writer.c (struct scratch_writer): Change `compactor'
47         member to be a struct case_map *.
48         (scratch_writer_open): Use case_map_to_compact_dict instead of
49         dict_make_compactor.
50         (scratch_writer_casewriter_write): Use case_map_execute instead of
51         dict_compactor_compact.
52
53 2007-08-12  Ben Pfaff  <blp@gnu.org>
54
55         * automake.mk: Add case-map.c, case-map.h.
56
57         * case-map.c: New file.
58
59         * case-map.h: New file.
60
61 2007-08-12  Ben Pfaff  <blp@gnu.org>
62
63         * dictionary.c (dict_compact_values): Don't delete scratch
64         variables as well as compacting case indexes.  Update all callers.
65         (dict_get_compacted_value_cnt): Rename dict_count_values and
66         change interface.  Update all callers.
67         (dict_get_compacted_value_cnt): Remove.
68         (dict_compacting_would_shrink): Remove.
69         (dict_compacting_would_change): Remove.
70         (dict_make_compactor): Add new parameter.  Update all callers.
71         
72         * procedure.c (proc_casereader_read): Use casewriter_get_value_cnt
73         instead of dict_count_values, changing an O(N) operation into
74         O(1).
75
76 2007-08-12  Ben Pfaff  <blp@gnu.org>
77
78         * casereader.c (casereader_read): Don't require cases read by a
79         casereader to be exactly the expected size: as long as they're big
80         enough, it's OK.
81
82 2007-08-12  Ben Pfaff  <blp@gnu.org>
83
84         Make casewriters keep track of the number of `union value's in
85         each case.  This is useful for two reasons: casewriter_write can
86         then check that the case being written is large enough, and later
87         recipients of the casewriter can determine the size of the case.
88         
89         * casewriter-translator.c (casewriter_create_translator): Add
90         value_cnt parameter.
91         
92         * casewriter.c (struct casewriter): Add value_cnt member.
93         (casewriter_write): Check that the case passed in is big enough.
94         (casewriter_get_value_cnt): New function.
95         (casewriter_create): Add value_cnt parameter.
96
97 2007-08-09  Ben Pfaff  <blp@gnu.org>
98
99         Fix bug reported by Jason Stover.
100         * settings.c: Move get_termcap_viewport and in particular the
101         #include for <curses.h> to the end of the file.  curses.h
102         redefines bool on some systems (e.g. OpenBSD), which causes
103         disagreement between uses of bool before its inclusion and
104         afterward.
105         Tested by Jason Stover.
106
107 2007-07-29  Ben Pfaff  <blp@gnu.org>
108
109         Provisional fix for bug #18692 and bug #20161.  Reviewed by John
110         Darrington.
111
112         * file-name.c (fn_open): Only pass "r" or "w" to popen as mode
113         argument (never "rb" or "wb") because SUSv3 says that only those
114         modes are defined, and glibc in fact rejects other modes.
115
116         Open portable files with fn_open so that they can be read from
117         pipes.  Fix missing fh_close call to go along with fh_open.
118         Report an error if the file close reports an error.
119         * por-file-reader.c (close_reader): New function.
120         (por_file_casereader_destroy): Use close_reader.
121         (pfm_open_reader): Open file with fn_open.
122
123 2007-07-28  Ben Pfaff  <blp@gnu.org>
124
125         Make PSPP able to read all the portable files I could find on the
126         web.  Thanks to John Darrington for review.  Bug #17620.
127         * por-file-reader.c (struct pfm_reader): New member `line_length'.
128         (error): Print file offset in hexadecimal.
129         (warning): New function.
130         (advance): Treat lines less than 80 bytes long as padded to 80
131         bytes with spaces.
132         (pfm_open_reader): Call read_documents if we find an "E" record.
133         (convert_format): Convert invalid formats to the default format
134         instead of aborting reading the file.
135         (read_variables): Rename duplicate variable names instead of
136         aborting reading the file.
137         (read_value_label): Allow string variables of different widths to
138         be assigned value labels in the same record.  Replace duplicate
139         value labels instead of aborting.
140         (read_documents): New function.
141
142         * por-file-writer.c (pfm_open_writer): Call write_documents if the
143         dictionary has documents.
144         (write_documents): New function.
145
146 2007-07-25  Ben Pfaff  <blp@gnu.org>
147
148         Fix bugs related to bug #17213.
149
150         * settings.c: Use HAVE_LIBNCURSES instead of HAVE_LIBTERMCAP,
151         since the former is what config.h has.  Include the needed ncurses
152         headers.
153         (static var echo) Rename to `do_echo' because the original name is
154         the same as an ncurses identifier.
155         (get_termcap_viewport) Use error instead of msg.
156
157         * file-name.c (fn_interp_vars): Fix interpolation of $VARS.
158         (fn_close): Don't close stdin, stdout, stderr.
159
160 2007-07-26 John Darrington <john@darrington.wattle.id.au>
161
162         * procedure.c procedure.h: Added callbacks which get invoked whenever 
163         a dataset's transformation chain changes.
164
165 2007-07-24  Ben Pfaff  <blp@gnu.org>
166
167         Fix bug #6113.
168         * sys-file-writer.c (write_variable_display_parameters): Use new
169         var_default_display_width function to choose display width of
170         segments after the first one in a given variable.
171         * variable.c (var_create): Use var_default_display_width to pick
172         new variable's display width.
173         (var_default_display_width): New function.
174         Reviewed by John Darrington.
175
176 2007-07-24  Ben Pfaff  <blp@gnu.org>
177
178         Fix bug #20427.
179         * por-file-writer.c (write_variables): Write weight variable.
180         Reviewed by John Darrington.
181
182 2007-07-23  Ben Pfaff  <blp@gnu.org>
183
184         Improvements to system file reader and writer.
185         
186         First, move all detailed knowledge of very long strings into
187         sys-file-private.[ch], so that this nasty stuff can be isolated.
188
189         * sys-file-private.c (REAL_VLS_CHUNK): New macro.
190         (EFFECTIVE_VLS_CHUNK): New macro.
191         (min_int): New function.
192         (max_int): New function.
193         (sfm_width_to_bytes): Rewrite.
194         (sfm_width_to_octs): New function.
195         (sfm_segment_alloc_width): New function.
196         (sfm_segment_alloc_bytes): New function.
197         (sfm_segment_used_bytes): New function.
198         (sfm_segment_offset): New function.
199         (sfm_segment_effective_offset): New function.
200         (sfm_dictionary_to_sfm_vars): New function.
201
202         * sys-file-private.h (MIN_VERY_LONG_STRING): Removed.
203         (EFFECTIVE_LONG_STRING_LENGTH): Removed.
204         (struct sfm_var): New structure.
205
206         Next, improvements to the system file reader.
207
208         * sys-file-reader.h (struct sfm_read_info): Changed `case_cnt' to
209         type casenumber.  Added `version_major', `version_minor',
210         `version_revision'.
211
212         * sys-file-reader.c (struct sfm_reader): Replaced `flt64_cnt' by
213         `oct_cnt'.  Rename `vars', `var_cnt' to `sfm_vars', `sfm_var_cnt'.
214         Change `case_cnt' to type casenumber.  Removed `has_vls'.
215         (struct sfm_var): Removed.
216         (sfm_open_reader): Don't warn on wrong case size if the file was
217         written by SPSS 13, which tends to get it wrong.  Use
218         sfm_dictionary_to_sfm_vars.
219         (read_header): Always output system file info.
220         (read_variable_record): Simplify code for reading missing values.
221         (read_machine_int32_info): Save version numbers from system file
222         into info struct passed as new argument.
223         (read_long_string_map): Restructured to use new sys-file-private
224         functions.
225         (read_value_labels): Use size_overflow_p.
226         (sys_file_casereader_read): Get rid of distinction between fast
227         and slow paths.  Use information provided by sys-file-primate's
228         struct sfm_var to simplify code.
229         (skip_whole_strings): New function.
230         (read_int32): Renamed read_int.  Changed return value to int.
231         Updated all callers.
232         (read_flt64): Renamed read_float.  Changed return value to
233         double.  Updated all callers.
234         (int32_to_native): Removed.  Changed callers to use
235         integer_convert.
236         (flt64_to_double): Removed.  Changed callers to use float_convert.
237         
238         Finally, get rid of int32, flt64 terminology and types in system
239         file writer.  The former wasn't very useful since a POSIX "int"
240         can hold the whole range of int32 and we generally didn't have a
241         need for it to be exactly-32-bits, just at-least-32-bits.  The
242         latter was inconvenient because we had to assume that it could be
243         different from double and thereby convert special values SYSMIS,
244         HIGHEST, LOWEST to and from it in multiple places.  Instead, now
245         we just use "int" and "double" in most places, and do conversions,
246         if necessary, very close to where we do I/O.  This change meant
247         that the writer code couldn't represent records in the file as C
248         structs any longer, but that's no great loss.  The code actually
249         seems to be more readable without them.
250
251         Simplify the compression buffering code: only buffer as much as
252         necessary, which is no more than eight 8-byte units at any given
253         time.
254
255         * sys-file-writer.c (typedef flt64): Removed.
256         (macro second_lowest_flt64): Removed.
257         (struct sysfile_header): Removed.
258         (struct sysfile_variable): Removed.
259         (struct sfm_writer): Removed `needs_translation', `has_vls',
260         `flt64_cnt'.  Changed `compress' to type bool and `case_cnt' to
261         type casenumber.  Renamed `vars' to `sfm_vars', `var_cnt' to
262         `sfm_var_cnt'.  Replaced `buf', `end', `ptr', `x', `y' for
263         compression buffering by `opcodes', `opcode_cnt', `data',
264         `data_cnt'.  Renamed `var_cnt_vls' as `segment_cnt'.
265         (sfm_open_writer): Use sfm_dictionary_to_sfm_vars.  Use simple
266         data writer functions instead of structures.
267         (calc_oct_idx): New function.
268         (write_header): Use simple data writer functions instead of
269         structures.
270         (write_format_spec): Renamed write_format.  New argument.
271         (write_variable_continuation_records): New function.
272         (write_variable): Use simple data writer functions instead of
273         structures.  Use write_variable_continuation_records.  Write
274         entire very long string instead of requiring caller to understand
275         them.
276         (write_value_labels): Use simple data writer functions instead of
277         structures.
278         (write_documents): Ditto.
279         (write_variable_display_parameters): Use sys-file-private
280         functions to simplify.  Use simple data writer functions instead
281         of structures.
282         (write_vls_length_table): Use simple data writer functions instead
283         of structures.
284         (write_longvar_table): Ditto.
285         (write_rec_7_34): Break into new functions
286         write_integer_info_record, write_float_info_record.  Use simple
287         data writer functions instead of structures.
288         (buf_write): Removed.
289         (append_string_max): Removed.
290         (ensure_buf_space): Removed.
291         (sys_file_casewriter_write): Get rid of the distinction between
292         fast and slow paths, which didn't seem to be too useful.  Use new
293         functions write_case_uncompressed, write_case_compressed.
294         (put_instruction): Removed.
295         (put_element): Removed.
296         (write_compressed_data): Removed.
297         (close_writer): Use flush_compressed.  Only write case count to
298         system file if it will fit in the field.
299         (write_case_compressed): New function.
300         (write_case_uncompressed): New function.
301         (flush_compressed): New function.
302         (put_cmp_opcode): New function.
303         (put_cmp_number): New function.
304         (write_int): New function.
305         (convert_double_to_output_format): New function.
306         (write_float): New function.
307         (write_value): New function.
308         (write_string): New function.
309         (write_bytes): New function.
310         (write_zeros): New function.
311         (write_spaces): New function.
312
313         Reviewed by John Darrington.
314
315 2007-07-22  Ben Pfaff  <blp@gnu.org>
316
317         Don't try to write very long strings to portable files.  The
318         format does not support it.
319
320         * por-file-writer.c (MAX_POR_WIDTH): New macro.
321         (pfm_open_writer): Limit output width to MAX_POR_WIDTH.
322         (write_format): Add arg to take width to resize format to.
323         (write_value): Limit width of value written to MAX_POR_WIDTH.
324         (write_variables): Limit width of variable and its output formats
325         to MAX_POR_WIDTH.
326         Reviewed by John Darrington.
327
328 2007-07-22  Ben Pfaff  <blp@gnu.org>
329
330         * sys-file-reader.c (read_variable_to_value_map): Use max_warnings
331         local variable instead of literal 5.
332         Reviewed by John Darrington.
333         
334 2007-07-22  Ben Pfaff  <blp@gnu.org>
335
336         Fix problems with uniqueness of short names in system files with
337         very long string variables.  Now a variable may have multiple
338         short names.
339         
340         * automake.mk (src_data_libdata_a_SOURCES): Add new files
341         short-names.c, short-names.h.
342
343         * dictionary.c (dict_clone): Clone all the short names.
344         (compare_strings): Move into short-names.c.
345         (hash_strings): Ditto.
346         (set_var_short_name_suffix): Ditto.
347         (dict_assign_short_names): Ditto, rename short_names_assign,
348         change to assign all short names.
349         
350         * por-file-writer.c (write_variables): Use short_names_assign
351         instead of dict_assign_short_names.
352
353         * short-names.c: New file.
354
355         * short-names.h: New file.
356
357         * sys-file-private.c (sfm_width_to_segments): New function.
358
359         * sys-file-reader.c (read_long_var_name_map): Save and restore all
360         the short names, not just the first one.
361         
362         * sys-file-writer.c (cont_var_name): Removed.
363         (sfm_open_writer): Use short_names_assign instead of
364         dict_assign_short_names.  Use unique short names assigned by
365         short_names_assign instead of those generated by cont_var_name.
366
367         * variable.c (struct variable): Remove `short_name' member,
368         replace by `short_names' and `short_name_cnt'.
369         (var_create) Initialize new members.
370         (var_get_short_name_cnt): New function.
371         (var_get_short_name): Now takes an index argument.  Changed most
372         callers to pass 0.
373         (var_set_short_name): Ditto.
374         (var_clear_short_name): Renamed var_clear_short_names, changed to
375         clear all short names.
376         
377         Reviewed by John Darrington.
378
379 2007-07-22  Ben Pfaff  <blp@gnu.org>
380
381         * variable.c (var_set_width): Use new var_set_width function.
382
383         * missing-values.c (mv_n_values): Drop assertion, which was not
384         needed.
385
386         * format.c (fmt_default_for_width): New function.
387         (fmt_resize): New function.
388
389         Reviewed by John Darrington.
390
391 2007-07-18 John Darrington <john@darrington.wattle.id.au>
392
393         * datasheet.c (datasheet_delete_columns): Added assertion to check
394         we're not deleting outside the range of the sheet.  
395
396         
397         * dictionary.c dictionary.h variable.c: Added the ability for string
398         variables to be resized.
399         
400         * vardict.h: Added some prototypes (moved from dictionary.h) as
401         these should only be called by variable.c
402
403
404 2007-07-14 John Darrington <john@darrington.wattle.id.au>
405
406         * sfm-reader.c: Respect case_cnt field in file header.
407
408 2007-07-01 John Darrington <john@darrington.wattle.id.au>
409
410         * transformation.c transformation.h (trns_chain_execute): Changed the 
411         signature (Patch #6057)
412
413 2007-06-10  Ben Pfaff  <blp@gnu.org>
414
415         * casereader-filter.c (casereader_filter_destroy): Make sure to
416         write all the remaining excluded cases to the casewriter, if any.
417
418         * caseinit.c (init_list_destroy): Rewrite.
419         (init_list_clear): Ditto.
420
421         * casegrouper.c (casegrouper_get_next_group): Always set *reader
422         to null when returning false.
423
424 2007-06-06  Ben Pfaff  <blp@gnu.org>
425
426         Actually implement the new procedure code and adapt all of its
427         clients to match.  Also adapt all of the other case sources and
428         sinks in the tree and their clients to use the
429         casereader/casewriter infrastructure.
430
431         * automake.mk: Add and remove files.
432
433         * any-reader.c: Change into a casereader.
434         * por-file-reader.c: Ditto.
435         * scratch-reader.c: Ditto.
436         * sys-file-reader.c: Ditto.
437
438         * any-writer.c: Change into a casewriter.
439         * por-file-writer.c: Ditto.
440         * scratch-writer.c: Ditto.
441         * sys-file-writer.c: Ditto.
442
443         * procedure.c: Change to use casereader, casewriter, caseinit, and
444         other new infrastructure.
445
446         * scratch-handle.c: Adapt to new infrastructure.
447
448         * case-sink.c: Removed, now dead code.
449         * case-sink.h: Ditto.
450         * case-source.c: Ditto.
451         * case-source.h: Ditto.
452         * casefile-factory.c: Ditto.
453         * casefile-private.h: Ditto.
454         * casefile.c: Ditto.
455         * casefile.h: Ditto.
456         * casefilter.c: Ditto.
457         * casefilter.h: Ditto.
458         * fastfile.c: Ditto.
459         * fastfile.h: Ditto.
460         * fastfile-factory.c: Ditto.
461         * fastfile-factory.h: Ditto.
462         * storage-stream.c: Ditto.
463         * storage-stream.h: Ditto.
464
465 2007-06-06  Ben Pfaff  <blp@gnu.org>
466
467         Add datasheet code.
468
469         * automake.mk: Add new files.
470
471         * datasheet.c: New file.
472
473         * datasheet.h: New file.
474
475 2007-06-06  Ben Pfaff  <blp@gnu.org>
476
477         Until now, the procedure code has provided a case to the
478         case_source, which has filled in the data values that come from
479         the active file.  "Left" data values that don't come from the
480         active file naturally stay the same from case to case, because the
481         procedure code keeps using that same case.
482
483         One of the compromises that comes with the new procedure code is
484         that the active file allocates and provides its own case, which
485         the procedure code then has to resize to provide room for any
486         other variables that should go in the case and then fill in the
487         values of "left" variables.  Then, when we're done with that case,
488         we have to save the values of "left" variables to copy into the
489         next case read from the active file.
490
491         The caseinit code helps with this.
492
493         * automake.mk: Add new files.
494
495         * caseinit.c: New file. 
496
497         * caseinit.h: New file. 
498
499 2007-06-06  Ben Pfaff  <blp@gnu.org>
500
501         * value.h (value_cnt_from_width): New function.
502
503         * variable.c (var_get_value_cnt): Use new function.
504
505 2007-06-06  Ben Pfaff  <blp@gnu.org>
506
507         Add casegrouper, to allow cases read from a given casereader to be
508         broken into groups, each of which has its own casereader.
509         Generally cases are grouped based on having equal values for some
510         set of variables.
511
512         * automake.mk: Add new files.
513
514         * casegrouper.c: New file.
515
516         * casegrouper.h: New file.
517
518 2007-06-06  Ben Pfaff  <blp@gnu.org>
519
520         Add interface to lexicographical ordering of cases.
521
522         * automake.mk: Add new files.
523
524         * case-ordering.c: New file.
525
526         * case-ordering.h: New file.
527
528 2007-06-06  Ben Pfaff  <blp@gnu.org>
529
530         Add casereaders and casewriters, the basis of the new data processing
531         implementation.  A casereader is a uniform interface to reading cases
532         from a data source; a casewriter is a uniform interface to writing
533         cases to a data sink.
534
535         * automake.mk: Add new files.
536         
537         * casereader-filter.c: New file.
538         
539         * casereader-provider.h: New file.
540
541         * casereader-translator.c: New file.
542         
543         * casereader.c: New file.
544         
545         * casereader.h: New file.
546         
547         * casewriter-provider.h: New file.
548         
549         * casewriter-translator.c: New file.
550         
551         * casewriter.c: New file.
552         
553         * casewriter.h: New file.
554
555 2007-06-06  Ben Pfaff  <blp@gnu.org>
556
557         "casewindow" data structure that extends the deque (from libpspp)
558         of cases with the ability to dump cases to disk if we get too many
559         of them in memory.
560
561         * automake.mk: Add new files.
562
563         * casewindow.c: New file.
564
565         * casewindow.h: New file.
566
567 2007-06-06  Ben Pfaff  <blp@gnu.org>
568
569         sparse_cases data structure that augments a sparse_array of cases
570         with the ability to dump cases to disk if we get too many cases in
571         memory.
572
573         * automake.mk: Add new files.
574
575         * sparse-cases.c: New file.
576
577         * sparse-cases.h: New file.
578
579 2007-06-06  Ben Pfaff  <blp@gnu.org>
580
581         Adds a low-level on-disk case array data structure.
582         
583         * automake.mk: Add new files.
584
585         * case-tmpfile.c: New file.
586
587         * case-tmpfile.h: New file.
588
589 2007-06-06  Ben Pfaff  <blp@gnu.org>
590
591         In a couple of places we calculate the maximum number of cases to
592         keep in memory based on the user-defined workspace.  Enable
593         centralizing the calculation through a new function.
594         
595         * settings.c (get_workspace_cases): New function.
596
597 2007-06-06  Ben Pfaff  <blp@gnu.org>
598
599         The casenumber type is defined in transformations.h, but case.h is
600         a more sensible place.  Move it.
601
602         * case.h (CASENUMBER_MAX): New macro.
603         (typedef casenumber): Move here, from transformations.h.
604
605 2007-06-03  Ben Pfaff  <blp@gnu.org>
606
607         Slightly generalize case_to_values and case_from_values functions.
608
609         * case.c (case_to_values): Rename case_copy_out, change interface.
610         (case_from_values): Rename case_copy_in, change interface.
611
612         * fastfile.c (fastfilereader_get_next_case): Update caller.
613         (write_case_to_disk): Ditto.
614
615 2007-06-02  Ben Pfaff  <blp@gnu.org>
616
617         Clean up after a forgotten part of patch #5829.
618         
619         * casedeque.h: Remove unused file.
620
621         * automake.mk: Remove casedeque.h from sources.
622
623 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
624
625         * category.c: Removed redundant #include
626
627 2007-05-06  Ben Pfaff  <blp@gnu.org>
628
629         Abstract the documents within a dictionary a little better.
630         Thanks to John Darrington for suggestion, initial version, and
631         review.  Patch #5917.
632
633         * dictionary.c (struct dictionary): Change `documents' member from
634         char * to struct string.
635         (dict_clear): Destroy struct string.
636         (dict_get_documents): Convert struct string to char *.
637         (dict_set_documents): Set struct string.  Pad to 80-character
638         multiple.
639         (dict_clear_documents): New function.
640         (dict_add_document_line): New function.
641         (dict_get_document_line_cnt): New function.
642         (dict_get_document_line): New function.
643
644         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
645
646         * sys-file-reader.c (read_documents): Use new document functions.
647
648 2007-04-19 John Darrington <john@darrington.wattle.id.au>
649
650         * sys-file-reader.c: When reading a system file which has no 
651         long name table, automatically create one where the long names 
652         are the lower case versions of the short names.
653         
654 2007-04-22  Ben Pfaff  <blp@gnu.org>
655
656         * dictionary.c (dict_set_split_vars): dict_destroy expects that
657         dict_clear will free most data related to the dictionary.
658         dict_clear does a decent job, except that dict_set_split_vars on
659         some systems won't actually free the dict's "split" member.
660         Instead, it'll allocate a 1-byte region.  Fix this.
661
662         * value.c (value_copy): New function.
663         (value_set_missing): Ditto.
664
665 2007-04-22 John Darrington <john@darrington.wattle.id.au>
666
667         * Deleted existing category.h and moved cat-routines.h into 
668         category.h  Encapsulated struct cat_vals better.
669
670 2007-04-19 John Darrington <john@darrington.wattle.id.au>
671
672         * sys-file-reader.c: When reading a system file which has no 
673         long name table, automatically create one where the long names 
674         are the lower case versions of the short names.
675         
676 2007-04-16 John Darrington <john@darrington.wattle.id.au>
677
678         * sys-file-reader.c: Some versions of Other Software seem to 
679         produce system files with string  variables' measure set to 
680         zero.  We'll assume these are supposed to be nominal variables.
681
682 2007-03-30  Ben Pfaff  <blp@gnu.org>
683
684         * procedure.c: Adapt to new deque data structure.
685
686 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
687                           Ben Pfaff <blp@gnu.org>
688
689         * file-name.c: Mingw compatibility fixes.
690         (fn_search_path): Use ISSLASH instead of comparing against '/'
691         directly.
692         (fn_dir_name): Use dir_name from gnulib.
693         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
694         (fn_get_identity): Use GetFullPathName instead of canonicalize
695         from gnulib, because the latter does not fully support
696         Windows-style path names.  Use this implementation based on the
697         detected presence of Windows instead of the absence of Unix, since
698         the new implementation is Windows-specific.
699         (fn_compare_file_identities): In Windows implementation, compare
700         names case-insensitively.
701
702 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
703
704         * make-file.c: Don't include mkstemp.h, because gnulib now causes
705         <stdlib.h> to have the same effect.
706
707 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
708
709         * por-file-reader.c: Add missing _() around messages.
710
711 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
712
713         * make-file.c: Include "mkstemp.h", without which linking on
714         mingw32 fails.
715
716 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
717  
718         Reduce platform dependence.
719  
720         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
721         Everywhere we using this, we really should have just depended on
722         the shell to expand tildes.
723         (fn_search_path): Simplify, given that we don't do tilde expansion
724         any longer.
725         (fn_normalize): Removed.  Caller changed to use the canonicalize
726         module from gnulib.
727         (fn_get_cwd): Removed.  Only user was fn_normalize.
728         (fn_is_absolute): Really only test for absolute names.
729         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
730         unix.
731         (fn_readlink): Removed, as it was only used fn_normalize.
732         (fn_exists): Assume the stat function is available; gnulib does.
733         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
734  
735 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
736
737         * dictionary.c (dict_create_vector_assert): New function.
738
739 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
740
741         * file-name.c (fn_normalize): Correct name of function
742         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
743         for pointing this out.
744
745 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
746
747         We are using a single member in struct file_handle, the "name"
748         field, for more than one purpose.  When it begins with '"', it's a
749         file name; otherwise, it's a token that can be used to identify
750         it.  When that assertion fires, it's because we searched for the
751         name case-sensitively as a file name (so that there was no match),
752         and then we try to insert it case-insensitively as a token, which
753         fails because duplicates aren't allowed.
754
755         Solution: break the two purposes into two separate fields.  This
756         fixes the problem and likely makes the code easier to read too.
757
758         Fixes bug #18922.  Thanks to John Darrington for bug report and
759         review.
760
761         * file-handle-def.c (struct file_handle): New `id' member.
762         (fh_from_name): Rename fh_from_id.  Update all callers.
763         (create_handle): New `id' parameter.  Update all callers.
764         (fh_create_file): Ditto.
765         (fh_get_id): New function.
766
767 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
768
769         * case.c (case_is_null): Change return type to bool.
770
771 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
772
773         Add debugging code.
774         
775         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
776         reference counting to share data.  This makes it easy for
777         valgrind, etc. to find accesses to cases that have been destroyed
778         but have been kept around by another user's ref-count.  This often
779         happens when the data set is small enough to find in memory; if a
780         bigger data set that would overflow to disk were used, then data
781         corruption would occur.
782
783 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
784
785         Simplify code.
786
787         * case.c (case_unshare): Make it check internally whether the
788         ref_cnt is greater than 1, so that the callers don't have to.
789         Update callers not to check.
790
791 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
792
793         Before, I was thinking that I might want to get rid of reference
794         counting at some point.  Now, I'm pretty sure that it's here to
795         stay.  Thus, because we have to store the value_cnt anyway for
796         reference-counted cases, we might as well expose it to users.
797
798         * case.c (case_get_value_cnt): New function.
799         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
800         resize case if its size actually changed.
801
802         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
803         instead of peeking inside struct case directly.
804         (casefile_append): Ditto.
805
806 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
807
808         Get rid of the inlines for the case functions, which made the
809         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
810         the inlines didn't speed up "make check" at all, which is not a
811         perfect benchmark but seems indicative.)
812         
813         * case.c: Remove #ifdef DEBUGGING...#endif around many function
814         definitions.  Remove some assertions on nonnull pointers that were
815         redundant with a pointer dereference soon after in the function.
816         Also:
817         (struct case_data): Move definition here from case.h.
818         (case_data): Ditto.
819         (case_num): Ditto.
820         (case_str): Ditto.
821         (case_data_wr): Ditto.
822         
823 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
824
825         * automake.mk: Add casedeque.h to sources.
826         
827         * casedeque.h: New file.
828
829         * procedure.c: (struct dataset) Change lag_count, lag_head,
830         lag_queue member into single struct casedeque member.  Update all
831         users to use the casedeque instead.
832         (lag_case) Removed.
833
834 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
835
836         * procedure.c: Simplify lagged cases interface.  Updated all
837         clients--well, the only client--to use the simplified interface.
838         (dataset_n_lag) Removed.
839         (dataset_set_n_lag) Removed.
840         (dataset_need_lag) New function.
841
842 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
843
844         * dictionary.c procedure.c: More changes to ensure that callbacks occur
845         whenever appropriate, but only when the dataset/dictionary is in a 
846         consistent state.
847
848 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
849
850         * dictionary.c dictionary.h : Added callbacks for change of filter and 
851         split variables.  Refactored some code to ensure that callbacks get
852         invoked when appropriate.
853
854         * procedure.c (proc_cancel_temporary_transformations): Make sure that 
855         replace_dict callback occurs when permanent_dict replaces the current
856         dictionary.
857
858 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
859
860         * dictionary.c dictionary.h : Added callback for when the weight 
861         variable of a dictionary changes.
862
863 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
864
865         * dictionary.c dictionary.h : Added replace_source and replace_dict
866         callbacks, and functions to deal with them.
867
868 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
869
870         Simplify missing value handling.
871
872         * missing-values.h (enum mv_class): New type.
873         (enum mv_type): Moved definition into missing-values.c and renamed
874         each MV_* to MVT_*, to distinguish them from the exposed mv_class
875         enums.  Updated all uses.
876         (struct missing_values): Changed type of `type' from `enum
877         mv_type' to `int' because the definition is no longer exposed.
878         
879         * missing-values.c (mv_is_value_missing): Add new enum mv_class
880         parameter.  Update all callers.
881         (mv_is_num_missing): Ditto.
882         (mv_is_str_missing): Ditto.
883         (mv_is_value_user_missing): Removed.  Changed callers to use
884         mv_is_value_missing.
885         (mv_is_num_user_missing): Removed.  Changed callers to use
886         mv_is_num_missing.
887         (mv_is_str_user_missing): Removed.  Changed callers to use
888         mv_is_str_missing.
889         (mv_is_value_system_missing): Removed.  Changed callers to use
890         mv_is_value_missing.
891         (mv_set_type): Removed.  Changed callers to use mv_clear.
892         (mv_clear): New function.
893         
894         * variable.c (var_is_value_missing): Add new enum mv_class
895         parameter.  Update all callers.
896         (var_is_num_missing): Ditto.
897         (var_is_str_missing): Ditto.
898         (var_is_value_user_missing): Removed.  Changed callers to use
899         var_is_value_missing.
900         (var_is_num_user_missing): Removed.  Changed callers to use
901         var_is_num_missing.
902         (var_is_str_user_missing): Removed.  Changed callers to use
903         var_is_str_missing.
904         (var_is_value_system_missing): Removed.  Changed callers to use
905         var_is_value_missing.
906         
907         * casefilter.c (struct casefilter): Use enum mv_class in place of
908         bool.
909         (casefilter_variable_missing): Adapt to new member.
910         (casefilter_create): Change signature to take enum mv_class,
911         update callers.
912
913 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
914
915         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
916
917         * case-sink.c case-sink.h procedure.c procedure.h 
918           storage-stream.c: Now uses the factory.
919         
920 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
921
922         Make it possible to pull cases from the active file with a
923         function call, instead of requiring indirection through a callback
924         function.
925
926         * case-source.h (struct case_source_class): Change ->read function
927         to return a single case, instead of calling a callback function
928         for each case.  Change ->destroy function to return an error
929         status.
930
931         * case-source.c (free_case_source): Pass along the value returned
932         by the case_source ->destroy function.
933
934         * procedure.c (struct write_case_data): Removed.
935         (struct dataset): Added some members to track procedure state.
936         (procedure): Optimize the trivial case at this level.
937         (internal_procedure): Re-implement in terms of proc_open,
938         proc_read, proc_close.
939         (proc_open) New function.
940         (proc_read) New function.
941         (proc_close) New function.
942         (write_case) Moved into proc_read.
943         (close_active_file) Moved closing of data source into proc_close.
944
945         * storage-source.c: Rewrote to conform with modified
946         case_source_class interface.
947
948         * transformations.c (trns_chain_execute): Added argument to allow
949         starting execution from an arbitrary transformation.  Updated
950         callers.
951
952         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
953
954 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
955
956         * sys-file-reader.c (read_display_parameters): Don't assume that
957         MEASURE_* and ALIGN_* have the same values found in system files.
958
959         * sys-file-writer.c (write_variable_display_parameters): Ditto.
960
961         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
962         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
963         the value of n_MEASURES, which was off by 1 (at least from my
964         point of view).
965
966 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
967
968         * dictionary.c dictionary.h vardict.h variable.c: Added optional
969                 callbacks which are invoked when the dictionary or its 
970                 variables are changed.  
971         
972         * missing-values.c missing-values.h value-labels.c: Tidied up
973                 consistency checks, and made some of them return false 
974                 instead of assert-failing. 
975
976 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
977
978         * calendar.c (calendar_days_in_month): New function.
979
980 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
981
982         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
983         the value label's width.
984
985 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
986
987         * sfm-private.h: Move contents into sys-file-writer.c, which is
988         the only remaining user.  Removed Borland C++-specific directives.
989         
990         * sys-file-reader.c: Clean up and rewrite entire file.  The
991         rewritten version is simpler and better abstracted, and should be
992         easier to maintain and extend.  It avoids using structures to read
993         file data, which is prone to padding variations among compilers.
994         It should also handle non-IEEE 754 system files, although I
995         haven't been able to find any.  It has been tested against many
996         .sav files obtained from the Web and found to produce the same
997         results as the earlier version of the code, or in some cases
998         improved results.  It is more tolerant of format variations found
999         in the wild.
1000
1001         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
1002         member, putting an enum integer_format in its place.  New member
1003         `float_format'.  Changed `compressed' member to type bool.
1004
1005 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
1006
1007         * dictionary.c (dict_delete_consecutive_vars): New function.
1008
1009 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
1010
1011         * file-name.c (fn_search_path): Remove prefix arg that was unused
1012         by any caller.  Updated all callers.
1013
1014 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
1015
1016         * format.c (fmt_dollar_template): Use user's decimal point
1017         character.  Add assertion.
1018
1019 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
1020
1021         * format.c (fmt_dollar_template): New function, based on
1022         dollar_format_template from var-type-dialog.c.
1023
1024 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
1025
1026         * data-out.c (output_scientific): Fix bad assumption that "buf" is
1027         null-terminated.
1028         
1029 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
1030
1031         Finish converting struct variable to an opaque type.  In this
1032         phase, we add remaining setter and getter functions, convert the
1033         remaining PSPP code to use them, and do a bunch of cleanup.  The
1034         resulting changes are pervasive but mostly trivial, and only the
1035         notable changes are logged.
1036         
1037         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
1038         files.
1039         
1040         * case.c (case_data): Renamed case_data_idx.
1041         (case_num): Renamed case_num_idx.
1042         (case_str): Renamed case_str_idx.
1043         (case_data_rw): Renamed case_data_rw_idx.
1044
1045         * case.h (case_data): New function with old name and an interface
1046         that takes a variable instead of an index, which is easier to
1047         use.  Updated all callers to use the new interface, or to use the
1048         new *_idx function (see above).
1049         (case_num): Ditto.
1050         (case_str): Ditto.
1051         (case_data_rw): Ditto.
1052         
1053         * category.c (cat_stored_values_destroy): Changed interface to
1054         take a struct cat_vals * instead of a struct variable *.
1055
1056         * dictionary.c (dict_clone): Use new vector_clone function.     
1057         (dict_clear) Use new var_destroy function.
1058         (add_var) New function.
1059         (dict_create_var) Rewrite in terms of dict_create_var_assert.
1060         (dict_create_var_assert) Rewrite in terms of add_var.
1061         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
1062         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
1063         (dict_lookup_var) Use new var_create, var_destroy functions.
1064         (dict_contains_var) Rewrite in terms of new vardict functionality.
1065         (set_var_dict_index) New function.
1066         (set_var_case_index) New function.
1067         (reindex_vars) New function.
1068         (dict_delete_var) Rewrite in terms of new vardict functionality.
1069         (dict_reorder_var) Ditto.
1070         (dict_reorder_vars) Ditto.
1071         (rename_var) New function.
1072         (dict_rename_var) Use rename_var.
1073         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
1074         (dict_get_compacted_idx_to_fv) Rename
1075         dict_get_compacted_dict_index_to_case_index, update callers.
1076         (dict_create_vector) Use new vector_create function.
1077         (dict_clear_vectors) Use new vector_destroy function.
1078         (set_var_short_name_suffix) Move here from variable.c, renamed
1079         from var_set_short_name_suffix, make static, update caller.
1080
1081         * sys-file-private.c: New file.  
1082         (sfm_width_to_bytes) Moved here from variable.c, renamed from
1083         width_to_bytes, update callers.
1084
1085         * sys-file-private.h: New file.  Later it will supplant
1086         sfm-private.h; for now it supplements it.
1087         (macro MIN_VERY_LONG_STRING) New macro.
1088         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
1089
1090         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
1091         MAX_LONG_STRING was used before.
1092
1093         * sys-file-writer.c: Ditto.
1094
1095         * value-labels.c: Change the paradigm here to be that a null
1096         pointer is OK for a struct val_labs * in most cases; it just
1097         represents an empty set of value labels.
1098         (val_labs_copy) A copy of a null set is a null set.
1099         (val_labs_count) A null set has 0 labels.
1100         (val_labs_replace) Change return type to void.  Rewrite for
1101         simplicity.
1102         (val_labs_find) A null set does not contain the value.
1103         (value_to_string) Moved to variable.c, renamed var_get_value_name,
1104         transposed argument order, updated all callers.
1105
1106         * value.c: New file.
1107         (value_dup) Moved here from variable.c.
1108         (compare_values) Ditto.
1109         (hash_value) Ditto.
1110
1111         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
1112         (macro MAX_LONG_STRING) Removed, because it was only interesting
1113         for system files, not for general code.
1114         (macro MAX_VERY_LONG_STRING) Ditto.
1115         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
1116         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
1117
1118         * vardict.h: New file, for an interface between variables and
1119         their dictionaries.
1120
1121         * variable.c: A lot of functions were moved around, for better
1122         organization.
1123         (struct variable) Move definition here, from variable.h.
1124         (var_type_adj) Removed--makes i18n hard.
1125         (var_type_noun) Ditto.
1126         (var_create) New function.
1127         (var_clone) New function.
1128         (var_destroy) New function.
1129         (var_set_name) Assert that variable is not in a dictionary.
1130         (compare_var_names) Rename compare_vars_by_name and fix a couple
1131         of callers who thought the args were strings.
1132         (hash_var_name) Rename hash_var_by_name.
1133         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
1134         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
1135         (var_is_very_long_string) Removed, because it was only interesting
1136         to system file code.
1137         (var_set_missing_values) Allow the argument to be the wrong width,
1138         as long as we can resize it.  Simplify callers who were doing the
1139         resizing themselves.
1140         (var_get_value_labels) New function.
1141         (var_has_value_labels) New function.
1142         (var_set_value_labels) New function.
1143         (alloc_value_labels) New function.
1144         (var_add_value_label) New function.
1145         (var_replace_value_label) New function.
1146         (var_clear_value_labels) New function.
1147         (var_lookup_value_label) New function.
1148         (var_get_value_name) Moved here from variable.c, renamed from
1149         var_get_value_name, transposed argument order, updated all
1150         callers.
1151         (var_to_string) Moved here, from variable-label.c.
1152         (var_set_leave) New function.
1153         (var_get_leave) New function.
1154         (var_must_leave) New function.
1155         (var_set_short_name_suffix) Moved to dictionary.c, renamed
1156         set_var_short_name_suffix.
1157         (var_get_dict_index) New function.
1158         (var_get_case_index) New function.
1159         (var_get_obs_vals) New function.
1160         (var_set_obs_vals) New function.
1161         (var_has_obs_vals) New function.
1162         (var_get_vardict) New function.
1163         (var_set_vardict) New function.
1164         (var_has_vardict) New function.
1165         (var_clear_vardict) New function.
1166         (value_dup) Moved to value.c.
1167         (compare_values) Ditto.
1168         (hash_value) Ditto.
1169
1170         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
1171         (enum ALPHA) Rename VAR_STRING, update all users.
1172
1173         * vector.c: New file.
1174         (struct vector) Moved here, from variable.h.
1175         (check_widths) New function.
1176         (vector_create) New function.
1177         (vector_clone) New function.
1178         (vector_destroy) New function.
1179         (vector_get_name) New function.
1180         (vector_get_var) New function.
1181         (vector_get_var_cnt) New function.
1182         (compare_vector_ptrs_by_name) New function.
1183
1184         * vector.h: New file.
1185
1186 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1187
1188         * casefilter.c (casefilter_variable_missing): Avoided comparision of
1189         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
1190         problem.
1191
1192 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
1193
1194         * value-labels.c (destroy_atoms): New function.
1195         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
1196
1197 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
1198
1199         Thanks to Jason Stover for pointing out this problem.
1200         
1201         * data-out.c (output_number): Use gsl_finite from GSL, which is
1202         portable, instead of isfinite, which is not.
1203         (power256) Ditto.
1204
1205 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
1206
1207         * variable.c variable.h (value_dup): New function.
1208
1209 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
1210
1211         Start converting struct variable to an opaque type.  In this
1212         phase, we add a bunch of setter and getter functions and convert
1213         most of the PSPP code to use them.  The resulting changes are
1214         pervasive but mostly trivial, and only the notable changes are
1215         logged.
1216         
1217         * format.c (fmt_equal): New function.
1218         
1219         * variable.c (var_type_is_valid): New function.
1220         (measure_is_valid) Moved here, from format.c.
1221         (alignment_is_valid) Moved here, from format.c.
1222         (var_get_name) New function.
1223         (var_set_name) New function.
1224         (width_to_type) New function.
1225         (var_get_type) New function.
1226         (var_get_width) New function.
1227         (var_set_width) New function.
1228         (var_is_numeric) New function.
1229         (var_is_alpha) New function.
1230         (var_is_short_string) New function.
1231         (var_is_long_string) New function.
1232         (var_is_very_long_string) New function.
1233         (var_get_missing_values) New function.
1234         (var_set_missing_values) New function.
1235         (var_clear_missing_values) New function.
1236         (var_has_missing_values) New function.
1237         (var_is_value_missing) New function.
1238         (var_is_num_missing) New function.
1239         (var_is_str_missing) New function.
1240         (var_is_value_user_missing) New function.
1241         (var_is_num_user_missing) New function.
1242         (var_is_str_user_missing) New function.
1243         (var_is_value_system_missing) New function.
1244         (var_get_print_format) New function.
1245         (var_set_print_format) New function.
1246         (var_get_write_format) New function.
1247         (var_set_write_format) New function.
1248         (var_set_both_formats) New function.
1249         (var_get_label) New function.
1250         (var_set_label) New function.
1251         (var_clear_label) New function.
1252         (var_has_label) New function.
1253         (var_get_measure) New function.
1254         (var_set_measure) New function.
1255         (var_get_display_width) New function.
1256         (var_set_display_width) New function.
1257         (var_get_alignment) New function.
1258         (var_set_alignment) New function.
1259         (var_get_value_cnt) New function.
1260         (var_get_leave) New function.
1261         (var_get_short_name) New function.
1262
1263         * variable.h: (struct variable) Removed "type" and "nv" members;
1264         they are now computed from "width" where needed.
1265
1266 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
1267
1268         * missing-values.c (mv_resize): Don't write beyond end of the
1269         allocated buffer when resizing a long string.
1270
1271 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
1272
1273         Clean up identifier code: don't require identifier enumerations to
1274         be in a particular order; make better use of string library;
1275         expose less of the internals.
1276                 
1277         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
1278         change interface.  Updated all callers.
1279         (lex_id_match) Change interface to use struct substring, update
1280         all callers.
1281         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
1282         (global array keywords[]) Make static, change form.  Update all
1283         users to use lex_id_name instead.
1284         (lex_is_keyword) New function.
1285         (lex_id_to_token) Change interface to use struct substring, update
1286         all callers.
1287         (lex_id_name) New function.
1288
1289         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
1290         lex_is_keyword instead.
1291         (T_LAST_KEYWORD) Removed.
1292         (T_N_KEYWORDS) Removed.
1293         
1294 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
1295
1296         * format.c: (fmt_date_template) Distinguish characters for which a
1297         space is output and any date delimiter is allowed on input, from
1298         those for which a space is output and only a space is allowed on
1299         input.  The former is represented by X, the latter by a space.
1300         Also, drop distinction between h and H, changing the former to the
1301         latter.
1302
1303         * data-in.c: Completely rewrite internals to conform to SPSS input
1304         formats as closely as possible.
1305         (data_in) Changed external interface by replacing the structure
1306         that was used as a single argument by a set of arguments.  Updated
1307         all callers.
1308         (data_in_finite_line) Removed.  Converted all callers to use plain
1309         data_in.
1310         (data_in_get_integer_format) New function.
1311         (data_in_set_integer_format) New function.
1312         (data_in_get_float_format) New function.
1313         (data_in_set_float_format) New function.
1314
1315         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
1316         (struct data_in) Removed.
1317
1318         * data-out.c: (output_date) Drop each component from the input as
1319         it is output, to allow us to drop the distinction between h (a
1320         count of hours) and H (the hour of day) template characters.
1321         Also, handle new X template character.
1322         (output_scientific) Follow more rational rule on when to drop
1323         fraction introduced between SPSS 13 and 15.  Updated test case to
1324         match new behavior.
1325
1326 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
1327
1328         Fix buffer overflow reported by John Darrington.
1329
1330         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
1331         realize that DIGITS is a count of nibbles, not of bytes.
1332
1333 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
1334
1335         * calendar.c (calendar_offset_to_gregorian) Also return the
1336         year-of-day.  Change callers to new interface.
1337
1338         * data-out.c: Completely rewrite internals to conform to SPSS
1339         output formats as completely as possible.
1340         (data_out) Change interface to put input parameters before output
1341         parameters, for consistency with the style I now prefer.  Update
1342         all callers.
1343         (data_out_get_integer_format) New public function.
1344         (data_out_set_integer_format) New public function.
1345         (data_out_get_float_format) New public function.
1346         (data_out_set_float_format) New public function.
1347
1348         * data-out.h: New file.  Move prototype for data_out here, from
1349         format.h.
1350
1351         * format.c: (fmt_step_width) Use equality comparison instead of
1352         bitwise and, for clarity.
1353         (fmt_is_string) Ditto.
1354         (fmt_input_to_output) Fix categories that are translated to F
1355         format.
1356
1357 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
1358
1359         * casefilter.c casefilter.h (new files), casefile.c casefile.h 
1360         casefile-private.h: Added casefilter to assist commands with missing 
1361         values.
1362
1363 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
1364
1365         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
1366         
1367         * settings.c: (route_errors_to_terminal) New variable.
1368         (route_errors_to_listing) New variable. 
1369         (get_error_routing_to_terminal) New function.
1370         (set_error_routing_to_terminal) New function.
1371         (get_error_routing_to_listing) New function.
1372         (set_error_routing_to_listing) New function.
1373
1374         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
1375
1376 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
1377
1378         * format.c: Completely rewrite, to achieve better abstraction.
1379         Rewrite all references to formats in other files.
1380         
1381         * format.def: Rewrite and reorganize.
1382
1383         * settings.c: Move everything related to custom currency formats
1384         into format.[ch], changing them in form, so as to group related
1385         code and definitions better.  Changed all references to use the
1386         new functions.
1387         (static var decimal) Removed.
1388         (static var grouping) Removed.
1389         (static var cc) Removed.
1390         (get_decimal) Removed.
1391         (set_decimal) Removed.
1392         (get_grouping) Removed.
1393         (set_grouping) Removed.
1394         (get_cc) Removed.
1395         (set_cc) Removed.
1396
1397         * settings.h: (macro CC_CNT) Removed.
1398         (macro CC_WIDTH) Removed.
1399         (struct custom_currency) Removed.
1400
1401 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
1402
1403         * data-in.c (data_in): Use switch statement instead of table, to
1404         avoid dependence on the order of the FMT_* enums.
1405
1406 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
1407
1408         * data-out.c: (num_to_string) Removed, because it was dead code.
1409
1410 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
1411
1412         * data-in.c (parse_trailer): Fix error message.
1413
1414 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
1415
1416         * format.c (fmt_is_binary): New function.
1417
1418 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
1419
1420         * procedure.c procedure.h: Encapsulated the static data into a single
1421         struct.  
1422
1423 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
1424
1425         * casefile.c (casereader_read_xfer): Always initialize the case,
1426         even on an error condition.
1427
1428 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
1429
1430         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the 
1431         entire function useless.
1432
1433 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
1434
1435         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
1436         casereader method casereader_clone.   
1437         
1438         * procedure.c pransformations.h: Introduced new type casenum_t
1439
1440 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
1441
1442         * variable.c: (width_to_bytes) Rephrase code for clarify.
1443
1444 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
1445
1446         * format.c: (fmt_type_from_string) New function.
1447         (fmt_to_string) Include decimals in output if the format has
1448         decimals, even if the format type does not.  This way, we can
1449         accurately reproduce incorrect formats in user output.
1450         (check_common_specifier) Make the check for a bad format type an
1451         assertion, so we get bug reports if they show up.  Fix message.
1452         Check for decimal places with a format type that doesn't allow
1453         them.
1454         (check_input_specifier) Remove check for FMT_X, which has been
1455         deleted.
1456         (check_output_specifier) Ditto. 
1457
1458         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
1459
1460         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
1461         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
1462         (enum fmt_parse_flags) Removed.
1463
1464 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
1465
1466         * casefile.c casefile.h: Converted to  an abstract base class.
1467         * casefile-private.h fastfile.c fastfile.h: New files.
1468         * automake.mk procedure.c scratch-writer.c storage-stream.c
1469
1470 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
1471
1472         * procedure.c (internal_procedure): Create sink_case with only as
1473         many values as the compacted dictionary.
1474
1475 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
1476
1477         Remove "debugging" code that caused plenty of false positives and
1478         no true positives.
1479         
1480         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
1481
1482         * case.c: Remove all references to `this' member.
1483
1484 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
1485
1486         Fix link error noted by Jason Stover.
1487         
1488         * storage-stream.c: Include <assert.h>.
1489
1490 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
1491
1492         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
1493         ALL) and additional underlying system file issues.
1494
1495         Thanks to John Darrington for review.
1496
1497         First problem: var_hash points to variables not owned by the
1498         sys-file-reader, which the caller may free or modify.  Use an
1499         array of sfm_vars instead, as done earlier (e.g. CVS version
1500         1.12).
1501         
1502         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
1503         members and remove all code that references it.  Add vars, var_cnt
1504         members.  Remove fix_specials member, which was unused.
1505         (struct sfm_var) Remove name member, which was unused.
1506         (sfm_close_reader) Free vars member instead of var_hash.
1507         (compare_var_shortnames) Removed.
1508         (hash_var_shortname) Removed.
1509         (sfm_open_reader) Fill out vars array.
1510         (compare_var_index) Removed.
1511         (sfm_read_case) Use vars instead of var_hash.
1512         
1513         Second problem: we're confused about when we actually have very
1514         long strings, causing us to choose incorrectly between slow path
1515         and fast path in sfm_read_case.
1516
1517         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
1518         have very long strings, not when we have long variable names,
1519         which is an unrelated feature.
1520
1521 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
1522
1523         * variable.h: Move var_set and variable parsing declarations to
1524         new header, src/language/lexer/variable-parser.h.  Modified lots
1525         of files to include the new header.
1526
1527 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
1528
1529         * value-labels.c (value_to_string): When there's no value label,
1530         format the variable according to its print format, instead of
1531         always effectively using A or F format.
1532
1533 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
1534
1535         * casefile.c (casefile_get_random_reader): Nasty hack to get around 
1536         the mode assertion.
1537
1538         * format.c: Removed tortological assertion.
1539
1540 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
1541
1542         Reform string library.
1543         
1544         * file-name.c (fn_interp_vars): Change interface to take a
1545         substring as input.  Updated all users.
1546         
1547 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
1548
1549         * format.c (measure_is_valid): Really return false when m >=
1550         n_MEASURES.
1551
1552 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
1553
1554         Implement random access to casefiles, for use in GUI.
1555         
1556         * casefile.c: (struct casereader) Add `random', `file_ofs',
1557         `buffer_ofs' members.
1558         (casefile_get_random_reader) New function.
1559         (read_open_file) Break part into new function
1560         seek_and_fill_buffer().
1561         (fill_buffer) Update buffer_ofs, file_ofs.
1562         (casereader_seek) New function.
1563
1564 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1565
1566         * settings.c: Added call to i18n{done, init}.
1567
1568 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1569
1570         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1571         prototypes.
1572
1573 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1574
1575         * casefile.c: Convert many uses of `int' to `bool'.
1576
1577 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1578
1579         * transformations.c (trns_chain_destroy): Destroy chain's trns
1580         member, to fix memory leak.
1581
1582 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1583
1584         * storage-stream.c (storage_source_decapsulate): Destroy case
1585         source to fix memory leak.
1586
1587 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1588
1589         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1590         case passed as argument instead of initializing the argument as a
1591         case.  Fixes memory leak that showed up in
1592         tests/command/aggregate.sh with scratch files.
1593
1594 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1595
1596         * procedure.c (proc_done): Destroy default_dict, to fix memory
1597         leak.
1598
1599 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1600
1601         Simplify procedure_with_splits().
1602         
1603         * procedure.c (struct split_aux_data): Removed case_count member.
1604         (procedure_with_splits) Don't initialize case_count.
1605         (split_procedure_case_func) Check whether prev_case is null
1606         instead of case_count.
1607         (split_procedure_end_func) Ditto.
1608
1609 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1610
1611         * case.c (case_move): Do nothing if dst and src are the same
1612         object.
1613         (case_try_create) Merge two similar cases.
1614         (case_copy) Unshare only if data must be actually copied.
1615
1616 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1617
1618         * data-in.c data-out.c dictionary.c sys-file-reader.c
1619         sys-file-writer.c variable.c variable.h:  Reworked very long string
1620         support for better encapsulation.
1621
1622 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1623
1624         * value-labels.c (val_labs_can_set_width): New function.
1625         (val_labs_set_width) Clear labels if increasing width to long
1626         string.
1627         (val_labs_destroy) Remove unneeded test for null.
1628         
1629 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1630
1631         * value-labels.h: Remove unneeded dependency on variable.h.
1632
1633 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1634
1635         Get rid of `char *c' member in union value, for cleanliness.
1636         
1637         * value.h: (union value) Remove `c' member.
1638
1639 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1640
1641         Make dictionary compacting functions a little more general.
1642         
1643         * sys-file-writer.c (sfm_open_writer): Use
1644         dict_compacting_would_change().
1645         (does_dict_need_translation) Removed.
1646
1647 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1648
1649         Make dictionary compacting functions a little more general.
1650         
1651         * dictionary.c (dict_needs_compaction): Rename
1652         dict_compacting_would_shrink().  Update all callers.
1653         (dict_compacting_would_change) New function.
1654         
1655 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1656
1657         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1658         inverted return value (!).
1659
1660 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1661
1662         Continue reforming procedure execution.  
1663
1664         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1665         (static var vfm_source) Rename proc_source.  Update all
1666         references.
1667         (static var vfm_sink) Rename proc_sink.  Update all references.
1668         
1669 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1670
1671         Continue reforming procedure execution.  In this phase, remove
1672         PROCESS IF, which was deprecated anyway and can be easily
1673         simulated with TEMPORARY followed by SELECT IF.
1674
1675         * procedure.c: (open_active_file) Don't call
1676         add_process_if_trns().
1677         (discard_variables) Get rid of redundant call to
1678         proc_cancel_all_transformations().
1679         (add_process_if_trns) Removed.
1680         (process_if_trns_proc) Removed.
1681         (process_if_trns_free) Removed.
1682
1683 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1684
1685         Continue reforming procedure execution.  In this phase, add
1686         `const' to the case passed to procedure()'s callback.
1687
1688         Updated all users of procedure() as well.
1689         
1690         * procedure.c: (struct write_case_data) Add "const" to ccase
1691         parameter for case_func member.
1692         (procedure) Add "const" to ccase parameter for proc_func
1693         parameter.
1694         (multipass_case_func) Make ccase parameter const.
1695         (internal_procedure) Add "const" to ccase parameter for case_func
1696         parameter.
1697         (split_procedure_case_func) Make ccase parameter const.
1698         (multipass_split_case_func) Make ccase parameter const.
1699         
1700 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1701
1702         Continue reforming procedure execution.  In this phase, get rid of
1703         the output code for SPLIT FILE groups in procedure.c, which really
1704         shouldn't be doing any output.  Move it into the individual
1705         procedures instead.  This also adds some flexibility.
1706
1707         Updated many users of procedure_with_splits() and
1708         multipass_procedure_with_splits() to call
1709         output_split_file_values() and to deal with increased use of
1710         const.
1711
1712         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1713         parameter to begin_func member.
1714         (procedure_with_splits) Add "const struct ccase *" parameter to
1715         begin_func parameter.  Make ccase parameter const in proc_func
1716         parameter.
1717         (split_procedure_case_func) Don't dump split file group.  Pass
1718         case to begin_func.
1719         (dump_splits) Moved to language/dictionary/split-file.c as
1720         output_split_file_values().
1721         (struct multipass_split_aux_data) Add "const struct ccase *"
1722         parameter to split_func member.
1723         (multipass_procedure_with_splits) Add "const struct ccase *"
1724         parameter to split_func parameter.
1725         (multipass_split_case_func) Save new SPLIT FILE case before
1726         outputting case.
1727         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1728         
1729 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1730
1731         Continue reforming procedure execution.  Change
1732         internal_procedure() so that it calls open_active_file() and
1733         close_active_file(), which isolates most of the actual procedure
1734         functionality.
1735
1736         * procedure.c: (struct write_case_data) Rename `proc_func' member
1737         to `case_func' and update all references.
1738         (procedure) Rewrite as one-line wrapper around
1739         internal_procedure().
1740         (struct multipass_aux_data) New.
1741         (multipass_callback) Renamed multipass_case_func().  Use struct
1742         multipass_aux_data as auxiliary data.
1743         (multipass_end_func) New function.
1744         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1745         that uses multipass_case_func, multipass_end_func.
1746         (internal_procedure) Add `end_func' argument.  Move optimization
1747         of trivial case in here.  Move call to open_active_file() and
1748         close_active_file() in here.  Now assert that vfm_source is
1749         non-null.
1750         (procedure_with_splits_callback) Rename
1751         split_procedure_case_func().
1752         (split_procedure_end_func) New function.
1753         (multipass_split_callback) Rename multipass_split_case_func.
1754         (multipass_split_end_func) New function.
1755         (discard_variables) No need to test for nonnull vfm_source.
1756
1757 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1758
1759         Continue reforming procedure execution.  Get rid of unused member.
1760
1761         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1762         member.
1763         (write_case) Don't increment cases_analyzed.
1764
1765 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1766
1767         Continue reforming procedure execution.  In this phase, move
1768         procedure.c and procedure.h from src to src/data.  Update
1769         makefiles and #includes accordingly.
1770
1771         * procedure.c: Moved here from src/.
1772
1773         * procedure.h: Moved here from src/.
1774
1775 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1776
1777         Continue reforming procedure execution.  In this phase, get rid of
1778         many global variables, consolidating procedure execution in
1779         procedure.c.  Encapsulate transformations in new "struct
1780         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1781         and PROCESS IF from special cases to transformations.
1782          
1783         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1784         transformations.h.
1785
1786         * dictionary.c: (global variable default_dict) Move to
1787         src/procedure.c.
1788
1789         * variable.h: (TRNS_*) Move to transformations.h.
1790         (struct transformation) Move to transformations.c.
1791
1792 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1793
1794         * sys-file-reader.c: Fixed invalid read problems.
1795
1796 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1797
1798         * storage-stream.c: Add missing function comments.
1799
1800 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1801
1802         Continue reforming procedure execution.  In this phase, add some
1803         new, needed functionality to storage-stream.
1804
1805         * storage-stream.c: (storage_source_decapsulate) New function.
1806
1807 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1808
1809         * variable.c (width_to_bytes): Declarations must precede
1810         statements for C90 compliance.
1811
1812 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1813
1814         * data-out.c, data-in.c, variable.c, variable.h: New functions 
1815         copy_mangle and copy_demangle for reading/writing cases; emulates the 
1816         way SPSS deals with strings > 255 bytes.
1817
1818         * sys-file-reader.c sys-file-writer.c: Added support for Record 7, 
1819         subtype 14 needed for strings longer than 255 bytes.
1820
1821         * dictionary.c, format.def, value.c : Updated to use MAX_STRING 
1822         instead of literal values. Also fixed some constness issues.
1823
1824         * format.h: Constness
1825
1826         * sfm-private.h: Renamed the case_size identifier, since I discovered 
1827         that SPSS's respect for this variable is very nominal.
1828
1829 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1830
1831         Change case limit type from int to size_t.
1832
1833         * dictionary.c: (struct dictionary) Change type of case_limit
1834         member.
1835         (dict_get_case_limit) Change return type.
1836         (dict_set_case_limit) Change parameter type.
1837
1838 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1839
1840         * variable.h: (struct variable) Rename `reinit' member as `leave'
1841         and invert sense.  Fix up all references.
1842
1843 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1844
1845         Continue reforming procedure execution.  In this phase, break
1846         procedure.c into multiple files.
1847         
1848         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1849
1850         * case-sink.c: New file.
1851
1852         * case-sink.h: New file.
1853         
1854         * case-source.c: New file.
1855
1856         * case-source.h: New file.
1857         
1858         * storage-stream.c: New file.
1859
1860         * storage-stream.h: New file.
1861
1862 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1863
1864         * variable.h: (struct variable) Remove `init' member and all
1865         references to it from other files.  It was initialized in several
1866         places, but nothing really ever used it for anything worthwhile.
1867         Thanks to Jason Stover for pointing out how confusing this
1868         member is.
1869
1870 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1871
1872         Continue reforming error message support.  In this phase, get rid
1873         of message "titles" and put the message text in `struct error'.
1874         Now `struct error' encapsulates a message more properly.
1875         
1876         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1877         Format message ourselves.
1878
1879         * data-in.c: (vdls_error) Ditto.
1880
1881         * por-file-reader.c: (error) Ditto.
1882
1883         * sys-file-reader.c: (corrupt_msg) Ditto.
1884
1885 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1886
1887         GNU standards require "file name" instead of "filename" in
1888         documentation.  It's nice for our code to follow the convention
1889         too.
1890         
1891         * casefile.c: (struct casefile) Rename `filename' member to
1892         `file_name'.  Updated all references.
1893
1894         * file-name.c: [!unix] (struct file_identity) Rename
1895         normalized_filename member to normalized_file_name.  Updated all
1896         references.
1897
1898 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1899
1900         We don't really support anything but Unix-like environments well,
1901         so we might as well de-obfuscate by writing directory and path
1902         separators explicitly.
1903
1904         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1905         to just '/'.
1906         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1907         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1908         "/".
1909         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1910         ":"
1911
1912 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1913
1914         GNU standards require "file name" instead of "filename" in
1915         documentation.  It's nice for our code to follow the convention
1916         too.
1917         
1918         * filename.c: Rename to file-name.c.
1919
1920         * filename.h: Rename to file-name.h.  Update all inclusions.
1921         Update header guards.
1922
1923         * automake.mk: Update file names.
1924
1925 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1926
1927         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1928         updated.
1929         (fn_basename) Removed (dead code).
1930         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1931         (fn_special_p) Renamed fn_is_special(), all references updated.
1932         (fn_exists_p) Renamed fn_exists(), all references updated.
1933
1934 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1935
1936         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.  
1937         Also, now it only tilde-expands file names, not paths.
1938         (fn_search_path) Tilde-expand one directory at a time.
1939
1940 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1941
1942         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1943         get rid of non-Unixlike version of the code, which has probably
1944         never been tested.
1945         (fn_prepend_dir) Removed (dead code).
1946
1947         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1948         (macro PATH_SEPARATOR_STRING) New.
1949 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1950
1951         Continue reforming error message support.  In this phase, we get
1952         rid of VM() and the other msg() support for "verbosity", replacing
1953         it by a new function verbose_msg().
1954
1955         * filename.c: (fn_search_path) Use verbose_msg() instead of
1956         msg(VM(), ...).  
1957
1958 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1959
1960         * sfm-private.h: Get rid of #defines after #error, which makes no
1961         sense.
1962
1963 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1964
1965         Get rid of our own int32 type in favor of the standard int32_t
1966         type.
1967         
1968         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1969         include <stdint.h>.
1970
1971         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1972         
1973         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1974
1975 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1976
1977         Remove ill-considered file routines that are no longer used.
1978         
1979         * filename.c: (fn_open_ext) Removed.
1980         (fn_close_ext) Removed.
1981
1982         * filename.h: (struct file_ext) Removed.
1983
1984 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1985
1986         * variable.c (var_is_valid_name): Move declarations before code
1987         for C90 compliance.
1988
1989 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1990
1991         * filename.ch (fn_interp_vars): Fixed small buglet.
1992
1993 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1994         
1995         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1996         so as to modify the string inline.   Thus makeing it easier to
1997         destroy the results when no longer needed.
1998         
1999 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
2000
2001         * category.c (cat_stored_values_destroy): Fixed memory leak.
2002
2003 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
2004
2005         Add some missing frees.  Thanks to John Darrington for reporting
2006         these.
2007
2008         * any-writer.c (any_writer_close): Free writer.
2009
2010         * any-reader.c (any_reader_close): Free reader.
2011
2012 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
2013
2014         * por-file-reader.c: (error) Mark as NO_RETURN.
2015
2016 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
2017
2018         * settings.c: Changed default value of scompress to true.
2019
2020 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
2021
2022         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
2023
2024         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
2025         really applies.
2026
2027         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
2028         here from pref.h.orig.
2029
2030 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
2031
2032         * sys-file-reader.c: Fixed bug reading compressed files.
2033
2034 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
2035
2036         * Numerous renames.  See src/ChangeLog for details.
2037         
2038         * Moved files from src directory