1e723f113427089fff06f07b24090d8e35666b1f
[pspp-builds.git] / src / data / ChangeLog
1 2007-06-06  Ben Pfaff  <blp@gnu.org>
2
3         "casewindow" data structure that extends the deque (from libpspp)
4         of cases with the ability to dump cases to disk if we get too many
5         of them in memory.
6
7         * automake.mk: Add new files.
8
9         * casewindow.c: New file.
10
11         * casewindow.h: New file.
12
13 2007-06-06  Ben Pfaff  <blp@gnu.org>
14
15         sparse_cases data structure that augments a sparse_array of cases
16         with the ability to dump cases to disk if we get too many cases in
17         memory.
18
19         * automake.mk: Add new files.
20
21         * sparse-cases.c: New file.
22
23         * sparse-cases.h: New file.
24
25 2007-06-06  Ben Pfaff  <blp@gnu.org>
26
27         Adds a low-level on-disk case array data structure.
28         
29         * automake.mk: Add new files.
30
31         * case-tmpfile.c: New file.
32
33         * case-tmpfile.h: New file.
34
35 2007-06-06  Ben Pfaff  <blp@gnu.org>
36
37         In a couple of places we calculate the maximum number of cases to
38         keep in memory based on the user-defined workspace.  Enable
39         centralizing the calculation through a new function.
40         
41         * settings.c (get_workspace_cases): New function.
42
43 2007-06-06  Ben Pfaff  <blp@gnu.org>
44
45         The casenumber type is defined in transformations.h, but case.h is
46         a more sensible place.  Move it.
47
48         * case.h (CASENUMBER_MAX): New macro.
49         (typedef casenumber): Move here, from transformations.h.
50
51 2007-06-03  Ben Pfaff  <blp@gnu.org>
52
53         Slightly generalize case_to_values and case_from_values functions.
54
55         * case.c (case_to_values): Rename case_copy_out, change interface.
56         (case_from_values): Rename case_copy_in, change interface.
57
58         * fastfile.c (fastfilereader_get_next_case): Update caller.
59         (write_case_to_disk): Ditto.
60
61 2007-06-02  Ben Pfaff  <blp@gnu.org>
62
63         Clean up after a forgotten part of patch #5829.
64         
65         * casedeque.h: Remove unused file.
66
67         * automake.mk: Remove casedeque.h from sources.
68
69 2007-05-10  Jason Stover  <jhs@math.gcsu.edu>
70
71         * category.c: Removed redundant #include
72
73 2007-05-06  Ben Pfaff  <blp@gnu.org>
74
75         Abstract the documents within a dictionary a little better.
76         Thanks to John Darrington for suggestion, initial version, and
77         review.  Patch #5917.
78
79         * dictionary.c (struct dictionary): Change `documents' member from
80         char * to struct string.
81         (dict_clear): Destroy struct string.
82         (dict_get_documents): Convert struct string to char *.
83         (dict_set_documents): Set struct string.  Pad to 80-character
84         multiple.
85         (dict_clear_documents): New function.
86         (dict_add_document_line): New function.
87         (dict_get_document_line_cnt): New function.
88         (dict_get_document_line): New function.
89
90         * dictionary.h (macro DOC_LINE_LENGTH): New macro.
91
92         * sys-file-reader.c (read_documents): Use new document functions.
93
94 2007-04-19 John Darrington <john@darrington.wattle.id.au>
95
96         * sys-file-reader.c: When reading a system file which has no 
97         long name table, automatically create one where the long names 
98         are the lower case versions of the short names.
99         
100 2007-04-22  Ben Pfaff  <blp@gnu.org>
101
102         * dictionary.c (dict_set_split_vars): dict_destroy expects that
103         dict_clear will free most data related to the dictionary.
104         dict_clear does a decent job, except that dict_set_split_vars on
105         some systems won't actually free the dict's "split" member.
106         Instead, it'll allocate a 1-byte region.  Fix this.
107
108         * value.c (value_copy): New function.
109         (value_set_missing): Ditto.
110
111 2007-04-22 John Darrington <john@darrington.wattle.id.au>
112
113         * Deleted existing category.h and moved cat-routines.h into 
114         category.h  Encapsulated struct cat_vals better.
115
116 2007-04-19 John Darrington <john@darrington.wattle.id.au>
117
118         * sys-file-reader.c: When reading a system file which has no 
119         long name table, automatically create one where the long names 
120         are the lower case versions of the short names.
121         
122 2007-04-16 John Darrington <john@darrington.wattle.id.au>
123
124         * sys-file-reader.c: Some versions of Other Software seem to 
125         produce system files with string  variables' measure set to 
126         zero.  We'll assume these are supposed to be nominal variables.
127
128 2007-03-30  Ben Pfaff  <blp@gnu.org>
129
130         * procedure.c: Adapt to new deque data structure.
131
132 Mon Feb 19 10:53:21 2007  John McCabe-Dansted <gmatht@gmail.com>
133                           Ben Pfaff <blp@gnu.org>
134
135         * file-name.c: Mingw compatibility fixes.
136         (fn_search_path): Use ISSLASH instead of comparing against '/'
137         directly.
138         (fn_dir_name): Use dir_name from gnulib.
139         (fn_is_absolute): Use IS_ABSOLUTE_FILE_NAME from gnulib.
140         (fn_get_identity): Use GetFullPathName instead of canonicalize
141         from gnulib, because the latter does not fully support
142         Windows-style path names.  Use this implementation based on the
143         detected presence of Windows instead of the absence of Unix, since
144         the new implementation is Windows-specific.
145         (fn_compare_file_identities): In Windows implementation, compare
146         names case-insensitively.
147
148 Sun Feb 18 13:28:02 2007  Ben Pfaff  <blp@gnu.org>
149
150         * make-file.c: Don't include mkstemp.h, because gnulib now causes
151         <stdlib.h> to have the same effect.
152
153 Sun Feb 18 11:20:24 2007  Ben Pfaff  <blp@gnu.org>
154
155         * por-file-reader.c: Add missing _() around messages.
156
157 Sun Feb 11 20:44:13 2007  Ben Pfaff  <blp@gnu.org>
158
159         * make-file.c: Include "mkstemp.h", without which linking on
160         mingw32 fails.
161
162 Thu Feb  8 14:59:05 2007  Ben Pfaff  <blp@gnu.org>
163  
164         Reduce platform dependence.
165  
166         * file-name.c (fn_tilde_expand): Removed, and removed calls to it.
167         Everywhere we using this, we really should have just depended on
168         the shell to expand tildes.
169         (fn_search_path): Simplify, given that we don't do tilde expansion
170         any longer.
171         (fn_normalize): Removed.  Caller changed to use the canonicalize
172         module from gnulib.
173         (fn_get_cwd): Removed.  Only user was fn_normalize.
174         (fn_is_absolute): Really only test for absolute names.
175         (fn_is_special): Use pipe files if HAVE_POPEN, not if we're in
176         unix.
177         (fn_readlink): Removed, as it was only used fn_normalize.
178         (fn_exists): Assume the stat function is available; gnulib does.
179         (fn_open): Use pipe files if HAVE_POPEN, not if we're in unix.
180  
181 Sat Feb  3 21:52:17 2007  Ben Pfaff  <blp@gnu.org>
182
183         * dictionary.c (dict_create_vector_assert): New function.
184
185 Wed Feb  7 21:25:15 2007  Ben Pfaff  <blp@gnu.org>
186
187         * file-name.c (fn_normalize): Correct name of function
188         fn_is_special.  Thanks to John McCabe-Dansted <gmatht@gmail.com>
189         for pointing this out.
190
191 Thu Feb  1 16:53:37 2007  Ben Pfaff  <blp@gnu.org>
192
193         We are using a single member in struct file_handle, the "name"
194         field, for more than one purpose.  When it begins with '"', it's a
195         file name; otherwise, it's a token that can be used to identify
196         it.  When that assertion fires, it's because we searched for the
197         name case-sensitively as a file name (so that there was no match),
198         and then we try to insert it case-insensitively as a token, which
199         fails because duplicates aren't allowed.
200
201         Solution: break the two purposes into two separate fields.  This
202         fixes the problem and likely makes the code easier to read too.
203
204         Fixes bug #18922.  Thanks to John Darrington for bug report and
205         review.
206
207         * file-handle-def.c (struct file_handle): New `id' member.
208         (fh_from_name): Rename fh_from_id.  Update all callers.
209         (create_handle): New `id' parameter.  Update all callers.
210         (fh_create_file): Ditto.
211         (fh_get_id): New function.
212
213 Mon Jan 15 16:18:10 2007  Ben Pfaff  <blp@gnu.org>
214
215         * case.c (case_is_null): Change return type to bool.
216
217 Mon Jan 15 10:57:28 2007  Ben Pfaff  <blp@gnu.org>
218
219         Add debugging code.
220         
221         * case.c (case_clone) [DEBUGGING]: When debugging, don't use
222         reference counting to share data.  This makes it easy for
223         valgrind, etc. to find accesses to cases that have been destroyed
224         but have been kept around by another user's ref-count.  This often
225         happens when the data set is small enough to find in memory; if a
226         bigger data set that would overflow to disk were used, then data
227         corruption would occur.
228
229 Mon Jan 15 10:55:18 2007  Ben Pfaff  <blp@gnu.org>
230
231         Simplify code.
232
233         * case.c (case_unshare): Make it check internally whether the
234         ref_cnt is greater than 1, so that the callers don't have to.
235         Update callers not to check.
236
237 Mon Jan 15 10:53:01 2007  Ben Pfaff  <blp@gnu.org>
238
239         Before, I was thinking that I might want to get rid of reference
240         counting at some point.  Now, I'm pretty sure that it's here to
241         stay.  Thus, because we have to store the value_cnt anyway for
242         reference-counted cases, we might as well expose it to users.
243
244         * case.c (case_get_value_cnt): New function.
245         (case_resize): Drop OLD_CNT argument.  Update all callers.  Only
246         resize case if its size actually changed.
247
248         * casefile.c (casefile_append_xfer): Use case_get_value_cnt
249         instead of peeking inside struct case directly.
250         (casefile_append): Ditto.
251
252 Mon Jan 15 10:50:22 2007  Ben Pfaff  <blp@gnu.org>
253
254         Get rid of the inlines for the case functions, which made the
255         header file hard to read.  (Also, in testing with "-O2 -DNDEBUG",
256         the inlines didn't speed up "make check" at all, which is not a
257         perfect benchmark but seems indicative.)
258         
259         * case.c: Remove #ifdef DEBUGGING...#endif around many function
260         definitions.  Remove some assertions on nonnull pointers that were
261         redundant with a pointer dereference soon after in the function.
262         Also:
263         (struct case_data): Move definition here from case.h.
264         (case_data): Ditto.
265         (case_num): Ditto.
266         (case_str): Ditto.
267         (case_data_wr): Ditto.
268         
269 Sun Jan 14 21:41:12 2007  Ben Pfaff  <blp@gnu.org>
270
271         * automake.mk: Add casedeque.h to sources.
272         
273         * casedeque.h: New file.
274
275         * procedure.c: (struct dataset) Change lag_count, lag_head,
276         lag_queue member into single struct casedeque member.  Update all
277         users to use the casedeque instead.
278         (lag_case) Removed.
279
280 Sun Jan 14 21:43:12 2007  Ben Pfaff  <blp@gnu.org>
281
282         * procedure.c: Simplify lagged cases interface.  Updated all
283         clients--well, the only client--to use the simplified interface.
284         (dataset_n_lag) Removed.
285         (dataset_set_n_lag) Removed.
286         (dataset_need_lag) New function.
287
288 Tue Jan  9 07:20:05 WST 2007 John Darrington <john@darrington.wattle.id.au>
289
290         * dictionary.c procedure.c: More changes to ensure that callbacks occur
291         whenever appropriate, but only when the dataset/dictionary is in a 
292         consistent state.
293
294 Sun Jan  7 08:33:04 WST 2007 John Darrington <john@darrington.wattle.id.au>
295
296         * dictionary.c dictionary.h : Added callbacks for change of filter and 
297         split variables.  Refactored some code to ensure that callbacks get
298         invoked when appropriate.
299
300         * procedure.c (proc_cancel_temporary_transformations): Make sure that 
301         replace_dict callback occurs when permanent_dict replaces the current
302         dictionary.
303
304 Wed Jan  3 11:02:11 WST 2007 John Darrington <john@darrington.wattle.id.au>
305
306         * dictionary.c dictionary.h : Added callback for when the weight 
307         variable of a dictionary changes.
308
309 Mon Jan  1 10:36:26 WST 2007 John Darrington <john@darrington.wattle.id.au>
310
311         * dictionary.c dictionary.h : Added replace_source and replace_dict
312         callbacks, and functions to deal with them.
313
314 Fri Dec 22 13:56:08 2006  Ben Pfaff  <blp@gnu.org>
315
316         Simplify missing value handling.
317
318         * missing-values.h (enum mv_class): New type.
319         (enum mv_type): Moved definition into missing-values.c and renamed
320         each MV_* to MVT_*, to distinguish them from the exposed mv_class
321         enums.  Updated all uses.
322         (struct missing_values): Changed type of `type' from `enum
323         mv_type' to `int' because the definition is no longer exposed.
324         
325         * missing-values.c (mv_is_value_missing): Add new enum mv_class
326         parameter.  Update all callers.
327         (mv_is_num_missing): Ditto.
328         (mv_is_str_missing): Ditto.
329         (mv_is_value_user_missing): Removed.  Changed callers to use
330         mv_is_value_missing.
331         (mv_is_num_user_missing): Removed.  Changed callers to use
332         mv_is_num_missing.
333         (mv_is_str_user_missing): Removed.  Changed callers to use
334         mv_is_str_missing.
335         (mv_is_value_system_missing): Removed.  Changed callers to use
336         mv_is_value_missing.
337         (mv_set_type): Removed.  Changed callers to use mv_clear.
338         (mv_clear): New function.
339         
340         * variable.c (var_is_value_missing): Add new enum mv_class
341         parameter.  Update all callers.
342         (var_is_num_missing): Ditto.
343         (var_is_str_missing): Ditto.
344         (var_is_value_user_missing): Removed.  Changed callers to use
345         var_is_value_missing.
346         (var_is_num_user_missing): Removed.  Changed callers to use
347         var_is_num_missing.
348         (var_is_str_user_missing): Removed.  Changed callers to use
349         var_is_str_missing.
350         (var_is_value_system_missing): Removed.  Changed callers to use
351         var_is_value_missing.
352         
353         * casefilter.c (struct casefilter): Use enum mv_class in place of
354         bool.
355         (casefilter_variable_missing): Adapt to new member.
356         (casefilter_create): Change signature to take enum mv_class,
357         update callers.
358
359 Fri Dec 22 20:08:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
360
361         * casefile-factory.h fastfile-factory.c fastfile-factory.h: New files.
362
363         * case-sink.c case-sink.h procedure.c procedure.h 
364           storage-stream.c: Now uses the factory.
365         
366 Sat Dec 16 22:05:18 2006  Ben Pfaff  <blp@gnu.org>
367
368         Make it possible to pull cases from the active file with a
369         function call, instead of requiring indirection through a callback
370         function.
371
372         * case-source.h (struct case_source_class): Change ->read function
373         to return a single case, instead of calling a callback function
374         for each case.  Change ->destroy function to return an error
375         status.
376
377         * case-source.c (free_case_source): Pass along the value returned
378         by the case_source ->destroy function.
379
380         * procedure.c (struct write_case_data): Removed.
381         (struct dataset): Added some members to track procedure state.
382         (procedure): Optimize the trivial case at this level.
383         (internal_procedure): Re-implement in terms of proc_open,
384         proc_read, proc_close.
385         (proc_open) New function.
386         (proc_read) New function.
387         (proc_close) New function.
388         (write_case) Moved into proc_read.
389         (close_active_file) Moved closing of data source into proc_close.
390
391         * storage-source.c: Rewrote to conform with modified
392         case_source_class interface.
393
394         * transformations.c (trns_chain_execute): Added argument to allow
395         starting execution from an arbitrary transformation.  Updated
396         callers.
397
398         * transformations.h (enum TRNS_NEXT_CASE) Renamed TRNS_END_CASE.
399
400 Sat Dec 16 14:09:25 2006  Ben Pfaff  <blp@gnu.org>
401
402         * sys-file-reader.c (read_display_parameters): Don't assume that
403         MEASURE_* and ALIGN_* have the same values found in system files.
404
405         * sys-file-writer.c (write_variable_display_parameters): Ditto.
406
407         * variable.h: Change MEASURE_NOMINAL, MEASURE_ORDINAL,
408         MEASURE_SCALE to be 0-based instead of 1-based.  This also fixes
409         the value of n_MEASURES, which was off by 1 (at least from my
410         point of view).
411
412 Sat Dec 16 12:17:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
413
414         * dictionary.c dictionary.h vardict.h variable.c: Added optional
415                 callbacks which are invoked when the dictionary or its 
416                 variables are changed.  
417         
418         * missing-values.c missing-values.h value-labels.c: Tidied up
419                 consistency checks, and made some of them return false 
420                 instead of assert-failing. 
421
422 Wed Dec 13 19:30:11 2006  Ben Pfaff  <blp@gnu.org>
423
424         * calendar.c (calendar_days_in_month): New function.
425
426 Mon Dec 11 07:53:39 2006  Ben Pfaff  <blp@gnu.org>
427
428         * value-labels.c (hash_int_val_lab): Only hash as many bytes as
429         the value label's width.
430
431 Sun Dec 10 14:21:29 2006  Ben Pfaff  <blp@gnu.org>
432
433         * sfm-private.h: Move contents into sys-file-writer.c, which is
434         the only remaining user.  Removed Borland C++-specific directives.
435         
436         * sys-file-reader.c: Clean up and rewrite entire file.  The
437         rewritten version is simpler and better abstracted, and should be
438         easier to maintain and extend.  It avoids using structures to read
439         file data, which is prone to padding variations among compilers.
440         It should also handle non-IEEE 754 system files, although I
441         haven't been able to find any.  It has been tested against many
442         .sav files obtained from the Web and found to produce the same
443         results as the earlier version of the code, or in some cases
444         improved results.  It is more tolerant of format variations found
445         in the wild.
446
447         * sys-file-reader.h (struct sfm_read_info): Removed `big_endian'
448         member, putting an enum integer_format in its place.  New member
449         `float_format'.  Changed `compressed' member to type bool.
450
451 Sun Dec 10 13:48:53 2006  Ben Pfaff  <blp@gnu.org>
452
453         * dictionary.c (dict_delete_consecutive_vars): New function.
454
455 Sat Dec  9 20:08:25 2006  Ben Pfaff  <blp@gnu.org>
456
457         * file-name.c (fn_search_path): Remove prefix arg that was unused
458         by any caller.  Updated all callers.
459
460 Sat Dec  9 20:04:22 2006  Ben Pfaff  <blp@gnu.org>
461
462         * format.c (fmt_dollar_template): Use user's decimal point
463         character.  Add assertion.
464
465 Sat Dec  9 20:02:25 2006  Ben Pfaff  <blp@gnu.org>
466
467         * format.c (fmt_dollar_template): New function, based on
468         dollar_format_template from var-type-dialog.c.
469
470 Sat Dec  9 18:05:59 2006  Ben Pfaff  <blp@gnu.org>
471
472         * data-out.c (output_scientific): Fix bad assumption that "buf" is
473         null-terminated.
474         
475 Sat Dec  9 17:23:23 2006  Ben Pfaff  <blp@gnu.org>
476
477         Finish converting struct variable to an opaque type.  In this
478         phase, we add remaining setter and getter functions, convert the
479         remaining PSPP code to use them, and do a bunch of cleanup.  The
480         resulting changes are pervasive but mostly trivial, and only the
481         notable changes are logged.
482         
483         * automake.mk (src_data_libdata_a_SOURCES): Add the new source
484         files.
485         
486         * case.c (case_data): Renamed case_data_idx.
487         (case_num): Renamed case_num_idx.
488         (case_str): Renamed case_str_idx.
489         (case_data_rw): Renamed case_data_rw_idx.
490
491         * case.h (case_data): New function with old name and an interface
492         that takes a variable instead of an index, which is easier to
493         use.  Updated all callers to use the new interface, or to use the
494         new *_idx function (see above).
495         (case_num): Ditto.
496         (case_str): Ditto.
497         (case_data_rw): Ditto.
498         
499         * category.c (cat_stored_values_destroy): Changed interface to
500         take a struct cat_vals * instead of a struct variable *.
501
502         * dictionary.c (dict_clone): Use new vector_clone function.     
503         (dict_clear) Use new var_destroy function.
504         (add_var) New function.
505         (dict_create_var) Rewrite in terms of dict_create_var_assert.
506         (dict_create_var_assert) Rewrite in terms of add_var.
507         (dict_clone_var) Rewrite in terms of dict_clone_var_assert.
508         (dict_clone_var_assert) Rewrite in terms of var_clone, add_var.
509         (dict_lookup_var) Use new var_create, var_destroy functions.
510         (dict_contains_var) Rewrite in terms of new vardict functionality.
511         (set_var_dict_index) New function.
512         (set_var_case_index) New function.
513         (reindex_vars) New function.
514         (dict_delete_var) Rewrite in terms of new vardict functionality.
515         (dict_reorder_var) Ditto.
516         (dict_reorder_vars) Ditto.
517         (rename_var) New function.
518         (dict_rename_var) Use rename_var.
519         (dict_rename_vars) Use pool to simplify code.  Use rename_var.
520         (dict_get_compacted_idx_to_fv) Rename
521         dict_get_compacted_dict_index_to_case_index, update callers.
522         (dict_create_vector) Use new vector_create function.
523         (dict_clear_vectors) Use new vector_destroy function.
524         (set_var_short_name_suffix) Move here from variable.c, renamed
525         from var_set_short_name_suffix, make static, update caller.
526
527         * sys-file-private.c: New file.  
528         (sfm_width_to_bytes) Moved here from variable.c, renamed from
529         width_to_bytes, update callers.
530
531         * sys-file-private.h: New file.  Later it will supplant
532         sfm-private.h; for now it supplements it.
533         (macro MIN_VERY_LONG_STRING) New macro.
534         (macro EFFECTIVE_LONG_STRING_LENGTH) New macro, from value.h.
535
536         * sys-file-reader.c: Use MIN_VERY_LONG_STRING - 1 where
537         MAX_LONG_STRING was used before.
538
539         * sys-file-writer.c: Ditto.
540
541         * value-labels.c: Change the paradigm here to be that a null
542         pointer is OK for a struct val_labs * in most cases; it just
543         represents an empty set of value labels.
544         (val_labs_copy) A copy of a null set is a null set.
545         (val_labs_count) A null set has 0 labels.
546         (val_labs_replace) Change return type to void.  Rewrite for
547         simplicity.
548         (val_labs_find) A null set does not contain the value.
549         (value_to_string) Moved to variable.c, renamed var_get_value_name,
550         transposed argument order, updated all callers.
551
552         * value.c: New file.
553         (value_dup) Moved here from variable.c.
554         (compare_values) Ditto.
555         (hash_value) Ditto.
556
557         * value.h: (macro MAX_SHORT_STRING) Rewrote for simplicity.
558         (macro MAX_LONG_STRING) Removed, because it was only interesting
559         for system files, not for general code.
560         (macro MAX_VERY_LONG_STRING) Ditto.
561         (macro EFFECTIVE_LONG_STRING_LENGTH) Moved to sys-file-private.h.
562         (macro MAX_ELEMS_PER_VALUE) Removed, as it was unused.
563
564         * vardict.h: New file, for an interface between variables and
565         their dictionaries.
566
567         * variable.c: A lot of functions were moved around, for better
568         organization.
569         (struct variable) Move definition here, from variable.h.
570         (var_type_adj) Removed--makes i18n hard.
571         (var_type_noun) Ditto.
572         (var_create) New function.
573         (var_clone) New function.
574         (var_destroy) New function.
575         (var_set_name) Assert that variable is not in a dictionary.
576         (compare_var_names) Rename compare_vars_by_name and fix a couple
577         of callers who thought the args were strings.
578         (hash_var_name) Rename hash_var_by_name.
579         (compare_var_ptr_names) Rename compare_var_ptrs_by_name.
580         (hash_var_ptr_name) Rename hash_var_ptr_by_name.
581         (var_is_very_long_string) Removed, because it was only interesting
582         to system file code.
583         (var_set_missing_values) Allow the argument to be the wrong width,
584         as long as we can resize it.  Simplify callers who were doing the
585         resizing themselves.
586         (var_get_value_labels) New function.
587         (var_has_value_labels) New function.
588         (var_set_value_labels) New function.
589         (alloc_value_labels) New function.
590         (var_add_value_label) New function.
591         (var_replace_value_label) New function.
592         (var_clear_value_labels) New function.
593         (var_lookup_value_label) New function.
594         (var_get_value_name) Moved here from variable.c, renamed from
595         var_get_value_name, transposed argument order, updated all
596         callers.
597         (var_to_string) Moved here, from variable-label.c.
598         (var_set_leave) New function.
599         (var_get_leave) New function.
600         (var_must_leave) New function.
601         (var_set_short_name_suffix) Moved to dictionary.c, renamed
602         set_var_short_name_suffix.
603         (var_get_dict_index) New function.
604         (var_get_case_index) New function.
605         (var_get_obs_vals) New function.
606         (var_set_obs_vals) New function.
607         (var_has_obs_vals) New function.
608         (var_get_vardict) New function.
609         (var_set_vardict) New function.
610         (var_has_vardict) New function.
611         (var_clear_vardict) New function.
612         (value_dup) Moved to value.c.
613         (compare_values) Ditto.
614         (hash_value) Ditto.
615
616         * variable.h: (enum NUMERIC) Rename VAR_NUMERIC, update all users.
617         (enum ALPHA) Rename VAR_STRING, update all users.
618
619         * vector.c: New file.
620         (struct vector) Moved here, from variable.h.
621         (check_widths) New function.
622         (vector_create) New function.
623         (vector_clone) New function.
624         (vector_destroy) New function.
625         (vector_get_name) New function.
626         (vector_get_var) New function.
627         (vector_get_var_cnt) New function.
628         (compare_vector_ptrs_by_name) New function.
629
630         * vector.h: New file.
631
632 Sun Dec 10 11:32:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
633
634         * casefilter.c (casefilter_variable_missing): Avoided comparision of
635         string variables to SYSMIS.  Thanks to Ben Pfaff for reporting this
636         problem.
637
638 Sat Dec  9 07:18:03 WST 2006 John Darrington <john@darrington.wattle.id.au>
639
640         * value-labels.c (destroy_atoms): New function.
641         * value-labels.c (atom_create): Call destroy_atoms in atexit handler.
642
643 Thu Dec  7 17:38:26 2006  Ben Pfaff  <blp@gnu.org>
644
645         Thanks to Jason Stover for pointing out this problem.
646         
647         * data-out.c (output_number): Use gsl_finite from GSL, which is
648         portable, instead of isfinite, which is not.
649         (power256) Ditto.
650
651 Thu Dec  7 15:22:38 WST 2006 John Darrington <john@darrington.wattle.id.au>
652
653         * variable.c variable.h (value_dup): New function.
654
655 Mon Dec  4 22:20:17 2006  Ben Pfaff  <blp@gnu.org>
656
657         Start converting struct variable to an opaque type.  In this
658         phase, we add a bunch of setter and getter functions and convert
659         most of the PSPP code to use them.  The resulting changes are
660         pervasive but mostly trivial, and only the notable changes are
661         logged.
662         
663         * format.c (fmt_equal): New function.
664         
665         * variable.c (var_type_is_valid): New function.
666         (measure_is_valid) Moved here, from format.c.
667         (alignment_is_valid) Moved here, from format.c.
668         (var_get_name) New function.
669         (var_set_name) New function.
670         (width_to_type) New function.
671         (var_get_type) New function.
672         (var_get_width) New function.
673         (var_set_width) New function.
674         (var_is_numeric) New function.
675         (var_is_alpha) New function.
676         (var_is_short_string) New function.
677         (var_is_long_string) New function.
678         (var_is_very_long_string) New function.
679         (var_get_missing_values) New function.
680         (var_set_missing_values) New function.
681         (var_clear_missing_values) New function.
682         (var_has_missing_values) New function.
683         (var_is_value_missing) New function.
684         (var_is_num_missing) New function.
685         (var_is_str_missing) New function.
686         (var_is_value_user_missing) New function.
687         (var_is_num_user_missing) New function.
688         (var_is_str_user_missing) New function.
689         (var_is_value_system_missing) New function.
690         (var_get_print_format) New function.
691         (var_set_print_format) New function.
692         (var_get_write_format) New function.
693         (var_set_write_format) New function.
694         (var_set_both_formats) New function.
695         (var_get_label) New function.
696         (var_set_label) New function.
697         (var_clear_label) New function.
698         (var_has_label) New function.
699         (var_get_measure) New function.
700         (var_set_measure) New function.
701         (var_get_display_width) New function.
702         (var_set_display_width) New function.
703         (var_get_alignment) New function.
704         (var_set_alignment) New function.
705         (var_get_value_cnt) New function.
706         (var_get_leave) New function.
707         (var_get_short_name) New function.
708
709         * variable.h: (struct variable) Removed "type" and "nv" members;
710         they are now computed from "width" where needed.
711
712 Mon Dec  4 21:38:40 2006  Ben Pfaff  <blp@gnu.org>
713
714         * missing-values.c (mv_resize): Don't write beyond end of the
715         allocated buffer when resizing a long string.
716
717 Sat Dec  2 16:28:32 2006  Ben Pfaff  <blp@gnu.org>
718
719         Clean up identifier code: don't require identifier enumerations to
720         be in a particular order; make better use of string library;
721         expose less of the internals.
722                 
723         * identifier.c: (lex_skip_identifier) Rename lex_id_get_length,
724         change interface.  Updated all callers.
725         (lex_id_match) Change interface to use struct substring, update
726         all callers.
727         (lex_id_match_len) Removed.  Update callers to use lex_id_match.
728         (global array keywords[]) Make static, change form.  Update all
729         users to use lex_id_name instead.
730         (lex_is_keyword) New function.
731         (lex_id_to_token) Change interface to use struct substring, update
732         all callers.
733         (lex_id_name) New function.
734
735         * identifier.h: (T_FIRST_KEYWORD) Removed.  Changed users to call
736         lex_is_keyword instead.
737         (T_LAST_KEYWORD) Removed.
738         (T_N_KEYWORDS) Removed.
739         
740 Sat Nov 18 20:46:35 2006  Ben Pfaff  <blp@gnu.org>
741
742         * format.c: (fmt_date_template) Distinguish characters for which a
743         space is output and any date delimiter is allowed on input, from
744         those for which a space is output and only a space is allowed on
745         input.  The former is represented by X, the latter by a space.
746         Also, drop distinction between h and H, changing the former to the
747         latter.
748
749         * data-in.c: Completely rewrite internals to conform to SPSS input
750         formats as closely as possible.
751         (data_in) Changed external interface by replacing the structure
752         that was used as a single argument by a set of arguments.  Updated
753         all callers.
754         (data_in_finite_line) Removed.  Converted all callers to use plain
755         data_in.
756         (data_in_get_integer_format) New function.
757         (data_in_set_integer_format) New function.
758         (data_in_get_float_format) New function.
759         (data_in_set_float_format) New function.
760
761         * data-in.h: (enums DI_IGNORE_ERROR, DI_IMPLIED_DECIMALS) Removed.
762         (struct data_in) Removed.
763
764         * data-out.c: (output_date) Drop each component from the input as
765         it is output, to allow us to drop the distinction between h (a
766         count of hours) and H (the hour of day) template characters.
767         Also, handle new X template character.
768         (output_scientific) Follow more rational rule on when to drop
769         fraction introduced between SPSS 13 and 15.  Updated test case to
770         match new behavior.
771
772 Sat Nov 11 11:41:26 2006  Ben Pfaff  <blp@gnu.org>
773
774         Fix buffer overflow reported by John Darrington.
775
776         * data-out.c (output_bcd_integer): In case of SYSMIS, etc.,
777         realize that DIGITS is a count of nibbles, not of bytes.
778
779 Sat Nov  4 15:59:56 2006  Ben Pfaff  <blp@gnu.org>
780
781         * calendar.c (calendar_offset_to_gregorian) Also return the
782         year-of-day.  Change callers to new interface.
783
784         * data-out.c: Completely rewrite internals to conform to SPSS
785         output formats as completely as possible.
786         (data_out) Change interface to put input parameters before output
787         parameters, for consistency with the style I now prefer.  Update
788         all callers.
789         (data_out_get_integer_format) New public function.
790         (data_out_set_integer_format) New public function.
791         (data_out_get_float_format) New public function.
792         (data_out_set_float_format) New public function.
793
794         * data-out.h: New file.  Move prototype for data_out here, from
795         format.h.
796
797         * format.c: (fmt_step_width) Use equality comparison instead of
798         bitwise and, for clarity.
799         (fmt_is_string) Ditto.
800         (fmt_input_to_output) Fix categories that are translated to F
801         format.
802
803 Sun Nov  5 08:29:34 WST 2006 John Darrington <john@darrington.wattle.id.au>
804
805         * casefilter.c casefilter.h (new files), casefile.c casefile.h 
806         casefile-private.h: Added casefilter to assist commands with missing 
807         values.
808
809 Sat Nov  4 11:47:09 2006  Ben Pfaff  <blp@gnu.org>
810
811         Implement SET ERRORS, SHOW ERRORS.  Fixes bug #17609.
812         
813         * settings.c: (route_errors_to_terminal) New variable.
814         (route_errors_to_listing) New variable. 
815         (get_error_routing_to_terminal) New function.
816         (set_error_routing_to_terminal) New function.
817         (get_error_routing_to_listing) New function.
818         (set_error_routing_to_listing) New function.
819
820         * settings.h: (SET_ROUTE_* enums) Removed, because unused.
821
822 Tue Oct 31 19:58:27 2006  Ben Pfaff  <blp@gnu.org>
823
824         * format.c: Completely rewrite, to achieve better abstraction.
825         Rewrite all references to formats in other files.
826         
827         * format.def: Rewrite and reorganize.
828
829         * settings.c: Move everything related to custom currency formats
830         into format.[ch], changing them in form, so as to group related
831         code and definitions better.  Changed all references to use the
832         new functions.
833         (static var decimal) Removed.
834         (static var grouping) Removed.
835         (static var cc) Removed.
836         (get_decimal) Removed.
837         (set_decimal) Removed.
838         (get_grouping) Removed.
839         (set_grouping) Removed.
840         (get_cc) Removed.
841         (set_cc) Removed.
842
843         * settings.h: (macro CC_CNT) Removed.
844         (macro CC_WIDTH) Removed.
845         (struct custom_currency) Removed.
846
847 Tue Oct 31 19:56:19 2006  Ben Pfaff  <blp@gnu.org>
848
849         * data-in.c (data_in): Use switch statement instead of table, to
850         avoid dependence on the order of the FMT_* enums.
851
852 Tue Oct 31 19:35:36 2006  Ben Pfaff  <blp@gnu.org>
853
854         * data-out.c: (num_to_string) Removed, because it was dead code.
855
856 Tue Oct 31 18:09:24 2006  Ben Pfaff  <blp@gnu.org>
857
858         * data-in.c (parse_trailer): Fix error message.
859
860 Sat Oct 28 11:56:50 2006  Ben Pfaff  <blp@gnu.org>
861
862         * format.c (fmt_is_binary): New function.
863
864 Thu Oct 19 22:59:56 WST 2006 John Darrington <john@darrington.wattle.id.au>
865
866         * procedure.c procedure.h: Encapsulated the static data into a single
867         struct.  
868
869 Sat Oct 14 16:56:44 2006  Ben Pfaff  <blp@gnu.org>
870
871         * casefile.c (casereader_read_xfer): Always initialize the case,
872         even on an error condition.
873
874 Wed Sep 27 09:37:49 WST 2006 John Darrington <john@darrington.wattle.id.au>
875
876         * procedure.c (case_limit_trns_proc): Fixed buglet which rendered the 
877         entire function useless.
878
879 Mon Sep 25 17:11:46 WST 2006 John Darrington <john@darrington.wattle.id.au>
880
881         * casefile-private.h casefile.c casefile.h fastfile.c: Created new
882         casereader method casereader_clone.   
883         
884         * procedure.c pransformations.h: Introduced new type casenum_t
885
886 Thu Sep 21 07:00:30 2006  Ben Pfaff  <blp@gnu.org>
887
888         * variable.c: (width_to_bytes) Rephrase code for clarify.
889
890 Sun Jul 16 19:52:03 2006  Ben Pfaff  <blp@gnu.org>
891
892         * format.c: (fmt_type_from_string) New function.
893         (fmt_to_string) Include decimals in output if the format has
894         decimals, even if the format type does not.  This way, we can
895         accurately reproduce incorrect formats in user output.
896         (check_common_specifier) Make the check for a bad format type an
897         assertion, so we get bug reports if they show up.  Fix message.
898         Check for decimal places with a format type that doesn't allow
899         them.
900         (check_input_specifier) Remove check for FMT_X, which has been
901         deleted.
902         (check_output_specifier) Ditto. 
903
904         * format.def: Remove FMT_T, FMT_X, FMT_DESCEND, FMT_NEWREC.
905
906         * format.h: (macro FMT_TYPE_LEN_MAX) New macro.
907         (struct fmt_desc) Use FMT_TYPE_LEN_MAX in definition.
908         (enum fmt_parse_flags) Removed.
909
910 Mon Jul 17 18:26:21 WST 2006 John Darrington <john@darrington.wattle.id.au>
911
912         * casefile.c casefile.h: Converted to  an abstract base class.
913         * casefile-private.h fastfile.c fastfile.h: New files.
914         * automake.mk procedure.c scratch-writer.c storage-stream.c
915
916 Wed Jul 12 21:02:26 2006  Ben Pfaff  <blp@gnu.org>
917
918         * procedure.c (internal_procedure): Create sink_case with only as
919         many values as the compacted dictionary.
920
921 Wed Jul 12 21:01:00 2006  Ben Pfaff  <blp@gnu.org>
922
923         Remove "debugging" code that caused plenty of false positives and
924         no true positives.
925         
926         * case.h (struct ccase): [DEBUGGING] Remove `this' member.
927
928         * case.c: Remove all references to `this' member.
929
930 Thu Jul  6 19:09:53 2006  Ben Pfaff  <blp@gnu.org>
931
932         Fix link error noted by Jason Stover.
933         
934         * storage-stream.c: Include <assert.h>.
935
936 Tue Jul  4 08:47:35 2006  Ben Pfaff  <blp@gnu.org>
937
938         Fix bug #15766 (/KEEP subcommand on SAVE doesn't fully support
939         ALL) and additional underlying system file issues.
940
941         Thanks to John Darrington for review.
942
943         First problem: var_hash points to variables not owned by the
944         sys-file-reader, which the caller may free or modify.  Use an
945         array of sfm_vars instead, as done earlier (e.g. CVS version
946         1.12).
947         
948         * sys-file-reader.c (struct sfm_reader): Remove var_hash, svars
949         members and remove all code that references it.  Add vars, var_cnt
950         members.  Remove fix_specials member, which was unused.
951         (struct sfm_var) Remove name member, which was unused.
952         (sfm_close_reader) Free vars member instead of var_hash.
953         (compare_var_shortnames) Removed.
954         (hash_var_shortname) Removed.
955         (sfm_open_reader) Fill out vars array.
956         (compare_var_index) Removed.
957         (sfm_read_case) Use vars instead of var_hash.
958         
959         Second problem: we're confused about when we actually have very
960         long strings, causing us to choose incorrectly between slow path
961         and fast path in sfm_read_case.
962
963         * sys-file-reader.c: (sfm_open_reader) Only mark has_vls if we
964         have very long strings, not when we have long variable names,
965         which is an unrelated feature.
966
967 Tue Jun 27 12:06:49 2006  Ben Pfaff  <blp@gnu.org>
968
969         * variable.h: Move var_set and variable parsing declarations to
970         new header, src/language/lexer/variable-parser.h.  Modified lots
971         of files to include the new header.
972
973 Sun Jun 25 22:39:32 2006  Ben Pfaff  <blp@gnu.org>
974
975         * value-labels.c (value_to_string): When there's no value label,
976         format the variable according to its print format, instead of
977         always effectively using A or F format.
978
979 Mon Jun 19 18:05:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
980
981         * casefile.c (casefile_get_random_reader): Nasty hack to get around 
982         the mode assertion.
983
984         * format.c: Removed tortological assertion.
985
986 Fri Jun  9 12:20:09 2006  Ben Pfaff  <blp@gnu.org>
987
988         Reform string library.
989         
990         * file-name.c (fn_interp_vars): Change interface to take a
991         substring as input.  Updated all users.
992         
993 Fri Jun  9 12:11:24 2006  Ben Pfaff  <blp@gnu.org>
994
995         * format.c (measure_is_valid): Really return false when m >=
996         n_MEASURES.
997
998 Tue Jun  6 18:46:26 2006  Ben Pfaff  <blp@gnu.org>
999
1000         Implement random access to casefiles, for use in GUI.
1001         
1002         * casefile.c: (struct casereader) Add `random', `file_ofs',
1003         `buffer_ofs' members.
1004         (casefile_get_random_reader) New function.
1005         (read_open_file) Break part into new function
1006         seek_and_fill_buffer().
1007         (fill_buffer) Update buffer_ofs, file_ofs.
1008         (casereader_seek) New function.
1009
1010 Tue May 30 19:52:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1011
1012         * settings.c: Added call to i18n{done, init}.
1013
1014 Tue May  9 21:09:17 2006  Ben Pfaff  <blp@gnu.org>
1015
1016         * procedure.h: Add WARN_UNUSED_RESULT to procedure function
1017         prototypes.
1018
1019 Tue May  9 21:08:05 2006  Ben Pfaff  <blp@gnu.org>
1020
1021         * casefile.c: Convert many uses of `int' to `bool'.
1022
1023 Sat May  6 22:49:43 2006  Ben Pfaff  <blp@gnu.org>
1024
1025         * transformations.c (trns_chain_destroy): Destroy chain's trns
1026         member, to fix memory leak.
1027
1028 Sat May  6 22:48:30 2006  Ben Pfaff  <blp@gnu.org>
1029
1030         * storage-stream.c (storage_source_decapsulate): Destroy case
1031         source to fix memory leak.
1032
1033 Sat May  6 22:46:47 2006  Ben Pfaff  <blp@gnu.org>
1034
1035         * scratch-reader.c (scratch_reader_read_case): Copy into existing
1036         case passed as argument instead of initializing the argument as a
1037         case.  Fixes memory leak that showed up in
1038         tests/command/aggregate.sh with scratch files.
1039
1040 Sat May  6 22:45:55 2006  Ben Pfaff  <blp@gnu.org>
1041
1042         * procedure.c (proc_done): Destroy default_dict, to fix memory
1043         leak.
1044
1045 Sat May  6 22:44:44 2006  Ben Pfaff  <blp@gnu.org>
1046
1047         Simplify procedure_with_splits().
1048         
1049         * procedure.c (struct split_aux_data): Removed case_count member.
1050         (procedure_with_splits) Don't initialize case_count.
1051         (split_procedure_case_func) Check whether prev_case is null
1052         instead of case_count.
1053         (split_procedure_end_func) Ditto.
1054
1055 Sat May  6 22:42:23 2006  Ben Pfaff  <blp@gnu.org>
1056
1057         * case.c (case_move): Do nothing if dst and src are the same
1058         object.
1059         (case_try_create) Merge two similar cases.
1060         (case_copy) Unshare only if data must be actually copied.
1061
1062 Sun May  7 10:04:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1063
1064         * data-in.c data-out.c dictionary.c sys-file-reader.c
1065         sys-file-writer.c variable.c variable.h:  Reworked very long string
1066         support for better encapsulation.
1067
1068 Sat May  6 19:02:00 2006  Ben Pfaff  <blp@gnu.org>
1069
1070         * value-labels.c (val_labs_can_set_width): New function.
1071         (val_labs_set_width) Clear labels if increasing width to long
1072         string.
1073         (val_labs_destroy) Remove unneeded test for null.
1074         
1075 Sat May  6 16:14:08 2006  Ben Pfaff  <blp@gnu.org>
1076
1077         * value-labels.h: Remove unneeded dependency on variable.h.
1078
1079 Sat May  6 15:58:36 2006  Ben Pfaff  <blp@gnu.org>
1080
1081         Get rid of `char *c' member in union value, for cleanliness.
1082         
1083         * value.h: (union value) Remove `c' member.
1084
1085 Sat May  6 15:36:59 2006  Ben Pfaff  <blp@gnu.org>
1086
1087         Make dictionary compacting functions a little more general.
1088         
1089         * sys-file-writer.c (sfm_open_writer): Use
1090         dict_compacting_would_change().
1091         (does_dict_need_translation) Removed.
1092
1093 Sat May  6 15:35:42 2006  Ben Pfaff  <blp@gnu.org>
1094
1095         Make dictionary compacting functions a little more general.
1096         
1097         * dictionary.c (dict_needs_compaction): Rename
1098         dict_compacting_would_shrink().  Update all callers.
1099         (dict_compacting_would_change) New function.
1100         
1101 Sat May  6 14:25:49 2006  Ben Pfaff  <blp@gnu.org>
1102
1103         * sys-file-writer.c: (does_dict_need_translation) Fix bug:
1104         inverted return value (!).
1105
1106 Sat May  6 13:37:52 2006  Ben Pfaff  <blp@gnu.org>
1107
1108         Continue reforming procedure execution.  
1109
1110         * procedure.c: Search and replace "vfm" by "proc".  Notably:
1111         (static var vfm_source) Rename proc_source.  Update all
1112         references.
1113         (static var vfm_sink) Rename proc_sink.  Update all references.
1114         
1115 Sat May  6 12:38:55 2006  Ben Pfaff  <blp@gnu.org>
1116
1117         Continue reforming procedure execution.  In this phase, remove
1118         PROCESS IF, which was deprecated anyway and can be easily
1119         simulated with TEMPORARY followed by SELECT IF.
1120
1121         * procedure.c: (open_active_file) Don't call
1122         add_process_if_trns().
1123         (discard_variables) Get rid of redundant call to
1124         proc_cancel_all_transformations().
1125         (add_process_if_trns) Removed.
1126         (process_if_trns_proc) Removed.
1127         (process_if_trns_free) Removed.
1128
1129 Sat May  6 10:58:05 2006  Ben Pfaff  <blp@gnu.org>
1130
1131         Continue reforming procedure execution.  In this phase, add
1132         `const' to the case passed to procedure()'s callback.
1133
1134         Updated all users of procedure() as well.
1135         
1136         * procedure.c: (struct write_case_data) Add "const" to ccase
1137         parameter for case_func member.
1138         (procedure) Add "const" to ccase parameter for proc_func
1139         parameter.
1140         (multipass_case_func) Make ccase parameter const.
1141         (internal_procedure) Add "const" to ccase parameter for case_func
1142         parameter.
1143         (split_procedure_case_func) Make ccase parameter const.
1144         (multipass_split_case_func) Make ccase parameter const.
1145         
1146 Sat May  6 10:30:33 2006  Ben Pfaff  <blp@gnu.org>
1147
1148         Continue reforming procedure execution.  In this phase, get rid of
1149         the output code for SPLIT FILE groups in procedure.c, which really
1150         shouldn't be doing any output.  Move it into the individual
1151         procedures instead.  This also adds some flexibility.
1152
1153         Updated many users of procedure_with_splits() and
1154         multipass_procedure_with_splits() to call
1155         output_split_file_values() and to deal with increased use of
1156         const.
1157
1158         * procedure.c: (struct split_aux_data) Add "const struct ccase *"
1159         parameter to begin_func member.
1160         (procedure_with_splits) Add "const struct ccase *" parameter to
1161         begin_func parameter.  Make ccase parameter const in proc_func
1162         parameter.
1163         (split_procedure_case_func) Don't dump split file group.  Pass
1164         case to begin_func.
1165         (dump_splits) Moved to language/dictionary/split-file.c as
1166         output_split_file_values().
1167         (struct multipass_split_aux_data) Add "const struct ccase *"
1168         parameter to split_func member.
1169         (multipass_procedure_with_splits) Add "const struct ccase *"
1170         parameter to split_func parameter.
1171         (multipass_split_case_func) Save new SPLIT FILE case before
1172         outputting case.
1173         (multipass_split_output) Pass saved SPLIT FILE case to split_func.
1174         
1175 Fri May  5 22:48:50 2006  Ben Pfaff  <blp@gnu.org>
1176
1177         Continue reforming procedure execution.  Change
1178         internal_procedure() so that it calls open_active_file() and
1179         close_active_file(), which isolates most of the actual procedure
1180         functionality.
1181
1182         * procedure.c: (struct write_case_data) Rename `proc_func' member
1183         to `case_func' and update all references.
1184         (procedure) Rewrite as one-line wrapper around
1185         internal_procedure().
1186         (struct multipass_aux_data) New.
1187         (multipass_callback) Renamed multipass_case_func().  Use struct
1188         multipass_aux_data as auxiliary data.
1189         (multipass_end_func) New function.
1190         (multipass_procedure) Rewrite as wrapper for internal_procedure()
1191         that uses multipass_case_func, multipass_end_func.
1192         (internal_procedure) Add `end_func' argument.  Move optimization
1193         of trivial case in here.  Move call to open_active_file() and
1194         close_active_file() in here.  Now assert that vfm_source is
1195         non-null.
1196         (procedure_with_splits_callback) Rename
1197         split_procedure_case_func().
1198         (split_procedure_end_func) New function.
1199         (multipass_split_callback) Rename multipass_split_case_func.
1200         (multipass_split_end_func) New function.
1201         (discard_variables) No need to test for nonnull vfm_source.
1202
1203 Fri May  5 21:34:02 2006  Ben Pfaff  <blp@gnu.org>
1204
1205         Continue reforming procedure execution.  Get rid of unused member.
1206
1207         * procedure.c: (struct write_case_data) Remove `cases_analyzed'
1208         member.
1209         (write_case) Don't increment cases_analyzed.
1210
1211 Thu May  4 21:50:11 2006  Ben Pfaff  <blp@gnu.org>
1212
1213         Continue reforming procedure execution.  In this phase, move
1214         procedure.c and procedure.h from src to src/data.  Update
1215         makefiles and #includes accordingly.
1216
1217         * procedure.c: Moved here from src/.
1218
1219         * procedure.h: Moved here from src/.
1220
1221 Wed May  3 22:42:12 2006  Ben Pfaff  <blp@gnu.org>
1222
1223         Continue reforming procedure execution.  In this phase, get rid of
1224         many global variables, consolidating procedure execution in
1225         procedure.c.  Encapsulate transformations in new "struct
1226         trns_chain".  Also, change implementation of N OF CASES, FILTER,
1227         and PROCESS IF from special cases to transformations.
1228          
1229         * automake.mk: (src_data_libdata_a_SOURCES) Add transformations.c,
1230         transformations.h.
1231
1232         * dictionary.c: (global variable default_dict) Move to
1233         src/procedure.c.
1234
1235         * variable.h: (TRNS_*) Move to transformations.h.
1236         (struct transformation) Move to transformations.c.
1237
1238 Thu May  4 13:47:06 WST 2006 John Darrington <john@darrington.wattle.id.au>
1239
1240         * sys-file-reader.c: Fixed invalid read problems.
1241
1242 Tue May  2 15:57:10 2006  Ben Pfaff  <blp@gnu.org>
1243
1244         * storage-stream.c: Add missing function comments.
1245
1246 Tue May  2 15:50:21 2006  Ben Pfaff  <blp@gnu.org>
1247
1248         Continue reforming procedure execution.  In this phase, add some
1249         new, needed functionality to storage-stream.
1250
1251         * storage-stream.c: (storage_source_decapsulate) New function.
1252
1253 Tue May  2 15:43:36 2006  Ben Pfaff  <blp@gnu.org>
1254
1255         * variable.c (width_to_bytes): Declarations must precede
1256         statements for C90 compliance.
1257
1258 Tue May  2 10:42:05 WST 2006 John Darrington <john@darrington.wattle.id.au>
1259
1260         * data-out.c, data-in.c, variable.c, variable.h: New functions 
1261         copy_mangle and copy_demangle for reading/writing cases; emulates the 
1262         way SPSS deals with strings > 255 bytes.
1263
1264         * sys-file-reader.c sys-file-writer.c: Added support for Record 7, 
1265         subtype 14 needed for strings longer than 255 bytes.
1266
1267         * dictionary.c, format.def, value.c : Updated to use MAX_STRING 
1268         instead of literal values. Also fixed some constness issues.
1269
1270         * format.h: Constness
1271
1272         * sfm-private.h: Renamed the case_size identifier, since I discovered 
1273         that SPSS's respect for this variable is very nominal.
1274
1275 Mon May  1 15:45:42 2006  Ben Pfaff  <blp@gnu.org>
1276
1277         Change case limit type from int to size_t.
1278
1279         * dictionary.c: (struct dictionary) Change type of case_limit
1280         member.
1281         (dict_get_case_limit) Change return type.
1282         (dict_set_case_limit) Change parameter type.
1283
1284 Wed Apr 26 20:01:19 2006  Ben Pfaff  <blp@gnu.org>
1285
1286         * variable.h: (struct variable) Rename `reinit' member as `leave'
1287         and invert sense.  Fix up all references.
1288
1289 Wed Apr 26 19:39:28 2006  Ben Pfaff  <blp@gnu.org>
1290
1291         Continue reforming procedure execution.  In this phase, break
1292         procedure.c into multiple files.
1293         
1294         * automake.mk: (src_data_libdata_a_SOURCES) Add all the new files.
1295
1296         * case-sink.c: New file.
1297
1298         * case-sink.h: New file.
1299         
1300         * case-source.c: New file.
1301
1302         * case-source.h: New file.
1303         
1304         * storage-stream.c: New file.
1305
1306         * storage-stream.h: New file.
1307
1308 Wed Apr 26 14:55:19 2006  Ben Pfaff  <blp@gnu.org>
1309
1310         * variable.h: (struct variable) Remove `init' member and all
1311         references to it from other files.  It was initialized in several
1312         places, but nothing really ever used it for anything worthwhile.
1313         Thanks to Jason Stover for pointing out how confusing this
1314         member is.
1315
1316 Sun Apr 23 22:04:45 2006  Ben Pfaff  <blp@gnu.org>
1317
1318         Continue reforming error message support.  In this phase, get rid
1319         of message "titles" and put the message text in `struct error'.
1320         Now `struct error' encapsulates a message more properly.
1321         
1322         * casefile.c: (io_error) Use err_msg() instead of err_vmsg().
1323         Format message ourselves.
1324
1325         * data-in.c: (vdls_error) Ditto.
1326
1327         * por-file-reader.c: (error) Ditto.
1328
1329         * sys-file-reader.c: (corrupt_msg) Ditto.
1330
1331 Sun Apr 16 18:49:51 2006  Ben Pfaff  <blp@gnu.org>
1332
1333         GNU standards require "file name" instead of "filename" in
1334         documentation.  It's nice for our code to follow the convention
1335         too.
1336         
1337         * casefile.c: (struct casefile) Rename `filename' member to
1338         `file_name'.  Updated all references.
1339
1340         * file-name.c: [!unix] (struct file_identity) Rename
1341         normalized_filename member to normalized_file_name.  Updated all
1342         references.
1343
1344 Sun Apr 16 18:35:33 2006  Ben Pfaff  <blp@gnu.org>
1345
1346         We don't really support anything but Unix-like environments well,
1347         so we might as well de-obfuscate by writing directory and path
1348         separators explicitly.
1349
1350         * file-name.h: (macro DIR_SEPARATOR) Removed.  Changed all usages
1351         to just '/'.
1352         (macro PATH_SEPARATOR) Removed.  Changed all usages to just ':'.
1353         (macro DIR_SEPARATOR_STRING) Removed.  Changed all usages to just
1354         "/".
1355         (macro PATH_SEPARATOR_STRING) Removed.  Changed all usages to just
1356         ":"
1357
1358 Sun Apr 16 18:28:35 2006  Ben Pfaff  <blp@gnu.org>
1359
1360         GNU standards require "file name" instead of "filename" in
1361         documentation.  It's nice for our code to follow the convention
1362         too.
1363         
1364         * filename.c: Rename to file-name.c.
1365
1366         * filename.h: Rename to file-name.h.  Update all inclusions.
1367         Update header guards.
1368
1369         * automake.mk: Update file names.
1370
1371 Sun Apr 16 16:42:47 2006  Ben Pfaff  <blp@gnu.org>
1372
1373         * filename.c: (fn_dirname) Renamed fn_dir_name(), all references
1374         updated.
1375         (fn_basename) Removed (dead code).
1376         (fn_absolute_p) Renamed fn_is_absolute(), all references updated.
1377         (fn_special_p) Renamed fn_is_special(), all references updated.
1378         (fn_exists_p) Renamed fn_exists(), all references updated.
1379
1380 Sun Apr 16 16:33:58 2006  Ben Pfaff  <blp@gnu.org>
1381
1382         * filename.c: (fn_tilde_expand) Rewrite for cleaner code.  
1383         Also, now it only tilde-expands file names, not paths.
1384         (fn_search_path) Tilde-expand one directory at a time.
1385
1386 Sun Apr 16 16:28:06 2006  Ben Pfaff  <blp@gnu.org>
1387
1388         * filename.c: (fn_search_path) rewrite for cleaner code.  Also,
1389         get rid of non-Unixlike version of the code, which has probably
1390         never been tested.
1391         (fn_prepend_dir) Removed (dead code).
1392
1393         * filename.h: (macro DIR_SEPARATOR_STRING) New.
1394         (macro PATH_SEPARATOR_STRING) New.
1395 Sun Apr 16 16:05:28 2006  Ben Pfaff  <blp@gnu.org>
1396
1397         Continue reforming error message support.  In this phase, we get
1398         rid of VM() and the other msg() support for "verbosity", replacing
1399         it by a new function verbose_msg().
1400
1401         * filename.c: (fn_search_path) Use verbose_msg() instead of
1402         msg(VM(), ...).  
1403
1404 Sat Apr 15 19:53:19 2006  Ben Pfaff  <blp@gnu.org>
1405
1406         * sfm-private.h: Get rid of #defines after #error, which makes no
1407         sense.
1408
1409 Sat Apr 15 19:48:57 2006  Ben Pfaff  <blp@gnu.org>
1410
1411         Get rid of our own int32 type in favor of the standard int32_t
1412         type.
1413         
1414         * sfm-private.h: (int32 macro) Don't define this anymore.  Do
1415         include <stdint.h>.
1416
1417         * sys-file-reader.c: Use int32_t instead of int32 throughout.
1418         
1419         * sys-file-writer.c: Use int32_t instead of int32 throughout.
1420
1421 Sat Apr 15 19:36:47 2006  Ben Pfaff  <blp@gnu.org>
1422
1423         Remove ill-considered file routines that are no longer used.
1424         
1425         * filename.c: (fn_open_ext) Removed.
1426         (fn_close_ext) Removed.
1427
1428         * filename.h: (struct file_ext) Removed.
1429
1430 Mon Apr  3 13:22:39 2006  Ben Pfaff  <blp@gnu.org>
1431
1432         * variable.c (var_is_valid_name): Move declarations before code
1433         for C90 compliance.
1434
1435 Tue Apr  4 15:28:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
1436
1437         * filename.ch (fn_interp_vars): Fixed small buglet.
1438
1439 Tue Mar 28 13:47:16 WST 2006 John Darrington <john@darrington.wattle.id.au>
1440         
1441         * filename.[ch] (fn_interp_vars): Changed the signature and semantics
1442         so as to modify the string inline.   Thus makeing it easier to
1443         destroy the results when no longer needed.
1444         
1445 2006-03-25  Jason Stover  <jhs@math.gcsu.edu>
1446
1447         * category.c (cat_stored_values_destroy): Fixed memory leak.
1448
1449 Fri Mar 24 18:15:41 2006  Ben Pfaff  <blp@gnu.org>
1450
1451         Add some missing frees.  Thanks to John Darrington for reporting
1452         these.
1453
1454         * any-writer.c (any_writer_close): Free writer.
1455
1456         * any-reader.c (any_reader_close): Free reader.
1457
1458 Mon Mar 20 16:33:53 2006  Ben Pfaff  <blp@gnu.org>
1459
1460         * por-file-reader.c: (error) Mark as NO_RETURN.
1461
1462 Sat Mar 11 15:06:07 WST 2006 John Darrington <john@darrington.wattle.id.au>
1463
1464         * settings.c: Changed default value of scompress to true.
1465
1466 Sat Mar  4 13:22:51 2006  Ben Pfaff  <blp@gnu.org>
1467
1468         * sfm-private.h: Include variable.h, to get SHORT_NAME_LEN.
1469
1470         * value.h: Remove check on MAX_SHORT_STRING, which I don't think
1471         really applies.
1472
1473         * variable.h: Move definition of SHORT_NAME_LEN, LONG_NAME_LEN
1474         here from pref.h.orig.
1475
1476 Sat Mar  4 12:50:48 WST 2006 John Darrington <john@darrington.wattle.id.au>
1477
1478         * sys-file-reader.c: Fixed bug reading compressed files.
1479
1480 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
1481
1482         * Numerous renames.  See src/ChangeLog for details.
1483         
1484         * Moved files from src directory