Reading of system files is now more robust against badly formed / specially
[pspp-builds.git] / src / ChangeLog
1 Wed May 25 10:27:02 WST 2005 John Darrington <john@darrington.wattle.id.au>
2         
3         * alloc.c alloc.h: (xcalloc) changed signature to imitate the
4         POSIX  calloc function.
5         
6         * crosstabs.q get.c vars-prs.c: Updated calls to xcalloc to
7         reflect new signature.
8
9         * sfm-read.c: Now much more robust in the face of badly formed
10         system files.
11
12 Mon May 23 11:57:31 WST 2005 John Darrington <john@darrington.wattle.id.au>
13
14         *sfm-read.c: Fixed some bugs regarding long string continuation
15         records, which the previous fix uncovered.
16
17 Sat May 21 12:48:34 WST 2005 John Darrington <john@darrington.wattle.id.au>
18
19         * sfm-read.c, sfmP.h:  Allow reading of system files when the 
20         case_size value in the header is -1.  Also changed some Errors to 
21         Warnings when reading system files.
22
23 Tue May 17 21:00:57 2005  Ben Pfaff  <blp@gnu.org>
24
25         * data-list.c: (data_list_trns_free) Don't free the argument
26         because cancel_transformations() will do that itself.
27         (data_list_source_destroy) Destroy the argument to
28         data_list_trns_free(), because it no longer does so itself.
29
30 Tue May 17 18:29:35 2005  Ben Pfaff  <blp@gnu.org>
31
32         * data-out.c: (format_and_round) Don't output leading `-' if value
33         rounds to zero.
34
35 Tue May 17 00:06:43 2005  Ben Pfaff  <blp@gnu.org>
36
37         Fix PR 11119.
38
39         * som.c: (output_encodings) If some cell in the table won't fit
40         with the horizontal or vertical headers, cancel those headers.
41
42         * som.h: (struct som_table_class) Add fits_width, fits_length,
43         set_headers members.
44
45         * tab.c: (tabi_fits_width) New function.
46         (tabi_fits_length) New function.
47         (tabi_set_headers) New function.
48         (global var tab_table_class) Add the new functions as appropriate
49         members.
50         
51 Mon May 16 22:34:06 2005  Ben Pfaff  <blp@gnu.org>
52
53         Fix rest of PR 13054.
54
55         * format.def: Fix EDATE, SDATE, ADATE, JDATE, QYR, MOYR, WKYR,
56         DATETIME, TIME system/portable file values.
57
58 Mon May 16 22:31:15 2005  Ben Pfaff  <blp@gnu.org>
59
60         * data-list.c: (parse_free) Use make_input_format().
61         
62         * data-out.c: (num_to_string) Use make_output_format().
63
64         * dictionary.c: (dict_create_var) Ditto.
65
66         * format.c: (global var f8_2) New var.
67         (make_input_format) New function.
68         (make_output_format) New function.
69
70         * get.c: (cmd_match_files) Use make_output_format().
71
72         * list.q: (cmd_list) Ditto.
73
74         * matrix-data.c: Ditto.
75
76         * sfm-read.c: (parse_format_spec) Check output specifier
77         thoroughly.
78
79         * tab.c: (tab_float) Use make_output_format().
80
81 Sun May 15 23:38:10 2005  Ben Pfaff  <blp@gnu.org>
82
83         Fix more of PR 13054.
84         
85         * format.def: FMT_A should allow 255-character output.  FMT_AHEX
86         should allow 510-character input and output.
87
88         * data-out.c: (num_to_string) Get rid of NEW_STYLE option.
89         (convert_E) Handle non-finite values.
90         (try_F) Rewrite.
91         (format_and_round) New function.
92         (convert_infinite) New function used by try_F() and convert_E().
93
94 Sun May 15 23:36:55 2005  Ben Pfaff  <blp@gnu.org>
95
96         Regularize string and buffer function names so that they make some
97         kind of sense.
98
99         * str.c: (mm_reverse) Rename buf_reverse().  Update all
100         references.
101         (mm_find_reverse) Rename buf_find_reverse().  Update all
102         references.
103         (mm_case_compare) Rename buf_compare_case().  Update all
104         references.
105         (st_compare_pad) Rename buf_compare_rpad().  Update all
106         references.
107         (str_compare_rpad) New function.
108         (st_bare_pad_copy) Rename buf_copy_str_rpad().  Update all
109         references.
110         (buf_copy_str_lpad) New function.
111         (st_bare_pad_len_copy) Rename buf_copy_rpad().  Update all
112         references.
113         (st_pad_copy) Rename str_copy_rpad().  Update all references.
114         (st_trim_copy) Rename str_copy_trunc().  Update all references.
115         (st_uppercase) Renamed str_uppercase().  Update all references.
116         
117 Sat May 14 08:22:26 WST 2005 John Darrington <john@darrington.wattle.id.au>
118
119         * dfm-read.c: Fixed polarity of test in dfm-close-reader.  Closes 
120         Bug #13082
121
122 Tue May 10 20:08:18 2005  Ben Pfaff  <blp@gnu.org>
123
124         * data-in.c: (data_in) Add assertion to check input specifier.
125
126         * data-out.c: (data_out) Add assertion to check output specifier.
127
128 Tue May 10 19:56:35 2005  Ben Pfaff  <blp@gnu.org>
129
130         Start to fix PR 13054.
131
132         * format.c: (check_input_specifier) Improve error message.
133         (check_input_specifier) Check F, COMMA, and DOLLAR formats for
134         valid decimal places.
135         (check_output_specifier) Ditto (but different criteria).
136         (convert_fmt_ItoO) Assert valid input and output specifiers.
137         Also, if input specifier has *any* decimal places, make the output
138         specifier 1 place wider.
139
140 Mon May  9 07:14:29 WST 2005 John Darrington <john@darrington.wattle.id.au>
141
142         * sysfile-info.c: Fixed bug [# 13024 ]
143
144 Sun May  8 13:52:12 2005  Ben Pfaff  <blp@gnu.org>
145
146         "Fix" PR 13021 by disabling FILE TYPE.  Eventually, we should
147         actually implement it.
148
149         * command.c: (FILE_TYPE_okay) Always return 1.
150
151         * command.def: Change FILE TYPE, END FILE TYPE into UNIMPL.
152
153         * file-type.c: Add prototypes to get rid of warnings.
154
155 Sun May  8 08:08:07 WST 2005 John Darrington <john@darrington.wattle.id.au>
156
157         * barchart.c box-whisker.c cartesian.c piechart.c plot-hist.c: Fixed 
158         more ISO/IEC 9899:1990 conformance issues.
159
160 Wed May  4 23:54:02 2005  Ben Pfaff  <blp@gnu.org>
161
162         Fix PR 12948.  See also new test in
163         tests/bugs/match-file-scratch.sh.
164         
165         * get.c: (mtf_merge_dictionary) Don't compact dictionary because
166         that deletes scratch variables that someone else might be using,
167         and because we can't reassign our sources' value indexes.
168         Instead, simply don't copy scratch variables into the master
169         dictionary.
170
171         * dictionary.c: (dict_compact_values) Delete variables from the
172         dictionary passed in, not from default_dict (!).
173
174 Tue May  3 22:25:17 2005  Ben Pfaff  <blp@gnu.org>
175
176         Improve hash.c comments, error-checking.
177         
178         * hash.c: (struct hsh_table) [NDEBUG] Add hash_ordered member.
179         (hsh_create) size == 0 should *not* return NULL!  Set
180         hash_ordered.
181         (hsh_clear) Set hash_ordered.
182         (locate_matching_entry) Check hash_ordered.
183         (hsh_rehash) Rename rehash().  Add assertion.  Set hash_ordered.
184         (hsh_data) Set hash_ordered.  Add const-ness to return value and
185         update all callers.
186         (hsh_sort) Ditto.       
187
188 Wed May  4 08:50:11 WST 2005 John Darrington <john@darrington.wattle.id.au>
189
190         * casefile.c: Removed unnecessary #include <valgrind/valgrind.h>
191
192 Tue May  3 19:14:48 WST 2005 John Darrington <john@darrington.wattle.id.au>
193
194         * copyleft.c: Updated copyright date.
195
196         * Makefile.am: Removed erroneous explicit "-lplot"
197
198         * examine.q oneway.q: Made these files conform to ISO/IEC 9899:1990
199
200 Tue May  3 16:20:31 WST 2005 John Darrington <john@darrington.wattle.id.au>
201
202         * command.c command.def: Added description string for unimplemented commands.
203
204         * oneway.q: Sorted the hash tables before shipping out the results. Closes 
205         bug [#12931].
206
207 Mon May  2 23:45:01 2005  Ben Pfaff  <blp@gnu.org>
208
209         Code improvements.
210         
211         * data-list.c:  (parse_fixed) Use lex_end_of_command().
212         (parse_free) Ditto.
213         (cmd_repeating_data) Set cont_end.num in right situations.
214         (parse_repeating_data) Remove redundant test.
215
216 Mon May  2 23:37:19 2005  Ben Pfaff  <blp@gnu.org>
217
218         Partial fix for PR 12859.
219         
220         * data-list.c: (cmd_data_list) Add transformation properly in
221         vfm_source == NULL case.
222
223 Mon May  2 23:27:28 2005  Ben Pfaff  <blp@gnu.org>
224
225         * lexer.c: (lex_error) Improve error messages.
226
227 Mon May  2 22:28:17 2005  Ben Pfaff  <blp@gnu.org>
228
229         * get.c: (cmd_match_files) Check token type before trying to match
230         tokid.  Fixes PR 12923.
231
232 Mon May  2 22:16:51 2005  Ben Pfaff  <blp@gnu.org>
233
234         * flip.c: [HAVE_SYS_TYPES_H] Include <sys/types.h>.  Fixes PR
235         12789.
236
237 Mon May  2 22:02:52 2005  Ben Pfaff  <blp@gnu.org>
238
239         * expressions/generate.pl: (get_token) Make use of /g
240         backward-compatible with Perl 5.6.1.
241
242 Sun May  1 23:00:19 2005  Ben Pfaff  <blp@gnu.org>
243
244         * var-display.c: (cmd_variable_alignment) Fix memory leak.
245         (cmd_variable_level) Ditto.
246
247 Sun May  1 22:49:04 2005  Ben Pfaff  <blp@gnu.org>
248
249         Hash table had buggy deletion function.  The fix required changing
250         other functions to do probing in the required order.
251
252         * hash.c: (locate_matching_entry) Rewrite and change interface.
253         (hsh_rehash) Rewrite to use locate_matching_entry().
254         (hsh_probe) Ditto.
255         (hsh_find) Ditto.
256         (hsh_delete) Ditto.  Also, fix stupid bugs.
257
258 Sun May  1 22:24:58 2005  Ben Pfaff  <blp@gnu.org>
259
260         * dictionary.c: (dict_clone) Properly copy vectors.
261
262 Sun May  1 22:07:58 2005  Ben Pfaff  <blp@gnu.org>
263
264         New implementation of long variable names.  Each variable has a
265         "normal" name, which may be up to 64 bytes long and which is used
266         for all normal operations.  Variables may have a "short" name,
267         which is limited to 8 bytes and used only for system and portable
268         file input and output.
269         
270         Make tokid case-preserving.  Update most uses of tokid to treat it
271         case-insensitively.
272
273         Update many commands to deal with long variable names.
274
275         * autorecode.c: (cmd_autorecode) Use strcasecmp() instead of strcmp().
276
277         * command.c: (cmd_parse) Ditto.
278         (match_strings) Use toupper() before comparing characters.
279         (conflicting_3char_prefixes) Use mm_case_compare() instead of
280         memcmp().
281         (cmd_match_words) Ditto.
282
283         * compute.c: (lvalue_parse) Use st_trim_copy() instead of
284         strncpy().
285
286         * count.c: (struct cnt_var_info) Change n[] to fit long var name.
287         Use st_trim_copy() instead of strcpy().
288
289         * data-in.c: (parse_enum) Use mm_case_compare() instead of
290         memcmp().
291
292         * data-list.c: (struct dls_var_spec) Change name[] to fit long var
293         name.
294         (parse_free) Use st_trim_copy() instead of strcpy().
295
296         * descript.c: (struct dsc_var) Change z_name[] to fit long var
297         name.
298         (try_name) Use strcasecmp() instead of strcmp().
299         (generate_z_varname) Use st_trim_copy() instead of strcpy().
300         (descriptives_compare_dsc_vars) Use strcasecmp() instead of
301         strcmp().
302
303         * dictionary.c: (struct dictionary) Removed `long_name_tab'
304         member.
305         (compare_long_names) Removed.
306         (hash_long_name) Removed.
307         (dict_create) Don't initialize `long_name_tab' member.
308         (dict_clone) Copy short names into new dictionary. 
309         (dict_clear) Don't clear `long_name_tab' member.
310         (dict_get_varname_block) Removed.
311         (dict_add_longvar_entry) Removed.
312         (free_nte) Removed.
313         (dict_destroy) Don't destroy `long_name_tab' member.
314         (dict_create_var_from_short) Removed.
315         (dict_create_var_x) Removed.
316         (dict_create_var) Get rid of longname handling.
317         Clear short name.
318         (dict_clone_var) Get rid of longname parameter and longname
319         handling.
320         (dict_lookup_var) Get rid of longname handling.
321         (dict_reorder_var) New function.
322         (dict_rename_var) Clear short name.
323         (dict_rename_vars) Get rid of longname handling.  Clear short
324         names.
325         (dict_create_vector) Support long vector names.
326         (dict_lookup_vector) Use strcasecmp() instead of strcmp().
327         (quasi_base27) Removed.
328         (make_short_name) Removed.
329         (compare_strings) New function.
330         (hash_string) New function.
331         (dict_assign_short_names) New function.
332
333         * file-handle.q: (get_handle_with_name) Use strcasecmp() instead
334         of strcmp().
335         (get_handle_for_filename) Support long handle names.
336
337         * file-type.c: (struct col_spec) Make `name' fit long var names.
338         (cmd_file_type) Use strcasecmp() instead of strcmp().
339
340         * flip.c: (make_new_var) Rewrite.
341         (flip_sink_write) Use st_trim_copy() instead of strncpy().
342
343         * format.c: (parse_format_specifier_name) Use mm_case_compare()
344         instead of memcmp().
345
346         * get.c: (cmd_save_internal) Rephrase.
347         (rename_variables) Drop test for identical variable name.
348         (struct mtf_proc) Change `first', `last' to fit long var name.
349
350         * hash.c: (hsh_hash_case_string) New function for case-insensitive
351         string hashing.
352
353         * lexer.c: (restore_token) Use st_trim_copy() instead of
354         strncpy().
355         (lex_get) Don't uppercase string when copying into tokid.
356         (lex_put_back_id) Use st_trim_copy() instead of
357         strncpy().
358
359         * list.q: (determine_layout) Consider length of variable names in
360         choosing vertical layout.
361
362         * matrix-data.c: (cmd_matrix_data) Use strcasecmp() instead of
363         strcmp().
364         (string_to_content_type) Ditto.
365
366         * modify-vars.c: (compare_variables_given_ordering) Ditto.
367         (struct var_renaming) Change `new_name' to fit long var name.
368         (compare_var_renaming_by_new_name) Use strcasecmp() instead of
369         strcmp().
370
371         * pfm-read.c: (read_variables) Disallow system variables in system
372         files.
373         (write_variables) Call dict_assign_short_names() and use
374         short_name[] members.
375
376         * repeat.c: (internal_cmd_do_repeat) Use strcasecmp() instead of
377         strcmp().
378
379         * sfm-read.c: (sfm_open_reader) Rewrite code for long variable
380         map.  Reorder variables into same order as long variable map.
381         (read_variables) Set short name.
382
383         * sfm-write.c: (sfm_open_writer) Call dict_assign_short_names().
384         (write_variable) Use st_bare_pad_copy().
385         (write_longvar_table) Rewrite.
386
387         * str.c: (mm_case_compare) New function.
388
389         * sysfile-info.c: (compare_vectors_by_name) Use strcasecmp()
390         instead of strcmp().
391
392         * t-test.q: (tts_custom_groups) Remove redundant test.
393         (tts_custom_pairs) Ditto.
394
395         * var.h: (struct variable) Change `name' to fit long var names.
396         Remove `longname'.  Add `short_name' member.  Reorder some
397         variables.
398         (struct name_table_entry) Removed.
399         (struct vector) Change `name' to fit long vector names.
400
401         * vars-atr.c: (var_is_valid_name) Allow long var names.
402         (compare_var_names) Use strcasecmp() instead of strcmp().
403         (compare_var_ptr_names) Ditto.
404         (hash_var_name) Use hsh_hash_case_string().
405         (hash_var_ptr_name) Ditto.
406         (var_set_short_name) New function.
407         (var_clear_short_name) New function.
408         (var_set_short_name_suffix) New function.
409
410         * vars-prs.c: (parse_DATA_LIST_vars) Support long names.
411         Use strcasecmp() instead of strcmp().
412         (struct array_var_set) Removed `longname_tab'.
413         (array_var_set_lookup_var_idx) Drop longname_tab support.
414         (array_var_set_destroy) Don't destroy `longname_tab'.
415         (var_set_create_from_array) Don't create `longname_tab'.
416
417         * vector.c: (cmd_vector) Use strcasecmp() instead of strcmp().
418         Support long names.
419
420         * expressions/parse.c: (word_matches) Use mm_case_compare()
421         instead of memcmp().
422         (compare_strings) New function.
423         (lookup_function) Use compare_strings() instead of strcmp().
424         
425 Sun May  1 22:07:43 2005  Ben Pfaff  <blp@gnu.org>
426
427         * algorithm.c: (move_element) New function.
428
429 Sun May  1 22:05:35 2005  Ben Pfaff  <blp@gnu.org>
430
431         * aggregate.c: (parse_aggregate_functions) Always initialize
432         destvar.
433
434 Sun May  1 22:03:47 2005  Ben Pfaff  <blp@gnu.org>
435
436         * aggregate.c: (cmd_aggregate) Use dict_clone_var_assert().
437
438         * dictionary.c: (dict_clone) Ditto.
439         (dict_clone_var_assert) New function.
440
441         * get.c: (mtf_merge_dictionary) Use dict_clone_var_assert().
442
443 Sun May  1 15:05:54 WST 2005 John Darrington <john@darrington.wattle.id.au>
444
445         * error.c: Added a string for the compiler version to the
446         request_bug_report_and_abort function.
447
448         * groff_font.c, font.c: Removed manpage(1) style references from 
449         comments, because RMS frowns upon them.
450
451 Thu Apr 28 18:52:06 2005  Ben Pfaff  <blp@gnu.org>
452
453         * expressions/parse.c: Improve previous fix for PR 12858 (LAG).
454
455 Fri Apr 29 09:28:00 WST 2005 John Darrington <john@darrington.wattle.id.au>
456
457         * expressions/parse.c: Added handler for OP_LAG_Vn and OP_LAG_Vs.  
458         Fixed bug [#12858] .
459
460 Wed Apr 27 12:42:34 WST 2005 John Darrington <john@darrington.wattle.id.au>
461
462         * loop.c recode.c repeat.c: Fixed a couple of instances of SHORT_NAME_LEN 
463         which should be LONG_NAME_LEN
464
465 Wed Apr 27 07:43:50 WST 2005 John Darrington <john@darrington.wattle.id.au>
466
467         * command.def echo.c:  Added the ECHO command.
468
469 Mon Apr 25 22:55:59 2005  Ben Pfaff  <blp@gnu.org>
470
471         Finish fixing MATCH FILES (PR 11677).
472
473         * get.c: (trim_dictionary) Rewrite in terms of drop_variables(),
474         keep_variables(), rename_variables().
475         (drop_variables) New function.
476         (keep_variables) New function.
477         (struct mtf_file) Rename `in' to `in_name'.  Add `in_var'.
478         (cmd_match_files) Deal with in_var.  Use drop_variables(),
479         keep_variables().  When IN is specified, require BY.  Set master
480         variables after master dictionary is complete.  Add IN variables
481         after master dictionary is complete.
482         (mtf_free_file) Free `in_name'.
483         (mtf_delete_file_in_place) Set in_var value to 0.
484         (mtf_read_nonactive_records)  Rephrase.
485         (mtf_processing) Support IN.  Rephrase.  Fix bugs.
486         (mtf_merge_dictionary) Don't set master variables; we do that
487         later now.
488         (get_master) Don't insist that there's a master variable.
489         
490 Mon Apr 25 22:55:22 2005  Ben Pfaff  <blp@gnu.org>
491
492         Kluge to make some variable renaming sort of work.
493         Needs real fix.
494
495         * dictionary.c: (dict_rename_var) Call dict_add_longvar_entry().
496
497 Mon Apr 25 22:52:28 2005  Ben Pfaff  <blp@gnu.org>
498
499         Add functions for comparing sets of variables between cases.
500         Use the functions.
501
502         * case.c: (case_compare) New function.
503         (case_compare_2dict) New function.
504         
505         * aggregate.c: (struct agr_proc) Remove `prev_break' member.  Add
506         `break_case'.
507         (cmd_aggregate) Nullify break_case.  Don't call
508         initialize_aggregate_info().
509         (agr_destroy) Destroy break_case.
510         (aggregate_single_case) Rewrite.  Use case_compare().
511         (dump_aggregate_info) Copy from break_case into output.
512         (initialize_aggregate_info) Copy break_case from input.
513
514         * get.c: (mtf_compare_BY_values) Use case_compare_2dict().
515
516         * vfm.c: (equal_splits) Use case_compare().
517
518 Sat Apr 23 17:01:04 WST 2005 John Darrington <john@darrington.wattle.id.au>
519
520         * dictionary.c vars-prs.c sfm-write.c: Fixed some memory leaks
521
522 Sun Apr 17 23:08:15 2005  Ben Pfaff  <blp@gnu.org>
523
524         Start work on fixing MATCH FILES.
525
526         * get.c: (enum operation) Remove OP_MATCH.
527         (trim_dictionary) Change return value to bool.  Don't support
528         OP_MATCH.
529         (struct mtf_file) Remove `first', `last' members.
530         (struct mtf_proc) Add `first', `last' members.  Change mtf_case
531         from `struct ccase *' to `struct ccase'.  Remove `by' member.
532         (cmd_match_files) Essentially rewrite.
533         (mtf_free) Don't free `by' member.  Destroy `mtf_case' member.
534         (mtf_read_nonactive_records) mtf_ parameter is not unused.
535         (mtf_processing) Ditto.  Also rephrase some code.
536         (mtf_merge_dictionary) Rewrite for easy comprehension.  
537
538 Sun Apr 17 23:06:00 2005  Ben Pfaff  <blp@gnu.org>
539
540         * matrix-data.c: (wr_output_data) [DEBUGGING] Fix compilation
541         error.
542
543         * q2c.c: (dump_token) [DEBUGGING] Fix compilation error.
544         
545 Thu Apr 14 2005 John Darrington
546
547         * var-display.c: New file.
548
549         * format.h var.h sfm-read.c sfm-write.c dictionary.c :  Added 
550           display_width, measure and alignment parameters to variables.
551
552         * aggregate.c command.def compute.c count.c data-list.c descript.c
553           dictionary.c dictionary.h expr-prs.c file-type.c flip.c get.c 
554           lexer.c lexer.h loop.c modify-vars.c pfm-read.c recode.c repeat.c 
555           sfm-read.c sfm-write.c sfm-write.h sfmP.h val-labs.c val.h var.h 
556           vars-prs.c vector.c :  
557               - Replaced literal constants representing maximum variable name 
558                 length with macro definitions. 
559               - Added support for long variable names.
560               - Changed lexer such that it no longer makes tokens upper
561                 case, but relies upon case insensitive behaviour of commands.
562
563 Mon Apr  4 22:27:34 2005  Ben Pfaff  <blp@gnu.org>
564
565         * aggregate.c: (parse_aggregate_functions) If dict_create_var()
566         fails, don't dereference the resulting null pointer (PR 12427).
567         Also, fix double free error.
568
569 Sat Mar 19 23:06:02 2005  Ben Pfaff  <blp@gnu.org>
570
571         * aggregate.c: (parse_aggregate_functions) Fix N_NO_VARS format.
572         (accumulate_aggregate_info) Set int1 to 1 for SUM.
573         (dump_aggregate_info) Only make SUM non-missing if there was at
574         least one variate.
575
576 Sat Mar 19 14:48:19 2005  Ben Pfaff  <blp@gnu.org>
577
578         * aggregate.c: (dump_aggregate_info) Properly test whether the
579         destination variable is numeric, when making the result
580         system-missing for columnwise missing values.
581
582 Mon Mar 14 21:52:34 2005  Ben Pfaff  <blp@gnu.org>
583
584         * misc.h: Remove GCC specializations.
585
586 Mon Mar 14 21:07:23 2005  Ben Pfaff  <blp@gnu.org>
587
588         Make sort stable (PR 12313).
589         
590         * sort.c: Don't need to include some headers anymore.
591         (static var min_buffers) New variable.
592         (static var max_buffers) New variable.
593         (static var allow_internal_sort) New variable.
594         (cmd_sort_cases) Add test mode.
595         (sort_execute) Rephrase.
596         (do_internal_sort) Don't try internal sorting if
597         allow_internal_sort is set.
598         (struct external_sort) Renamed `initial_runs' to `runs' and
599         updated all references.
600         (macro MIN_BUFFER_TOTAL_SIZE_RECS) Removed.
601         (macro MIN_BUFFER_SIZE_BYTES) Removed.
602         (macro MIN_BUFFER_SIZE_RECS) Removed.
603         (compare_initial_runs) Removed.
604         (struct record_run) Add member `idx'.
605         (write_initial_runs) Pass increasing values to process_case() as
606         index.
607         (process_case) Add `idx' parameter and use it to initialize new
608         `idx' member.
609         (allocate_cases) Limit allocated buffers to max_buffers.
610         (compare_record_run) Use new `idx' member for last resort
611         comparison, for stability.
612         (end_run) Call casefile_sleep() on irs->casefile, to prevent
613         running out of file descriptors.
614         (struct merge_state) Removed.
615         (merge) Don't need to allocate cases.  Always use MAX_MERGE_ORDER
616         unless we have fewer runs left.  Always merge consecutive runs,
617         for stability.  Return the final run.
618         (mod) Removed.
619         (choose_merge) New function.
620         (merge_once) Rewritten.
621
622 Mon Mar 14 21:05:42 2005  Ben Pfaff  <blp@gnu.org>
623
624         * cmdline.c: (static var testing_mode) Move into
625         parse_command_line().
626         
627 Mon Mar 14 21:05:13 2005  Ben Pfaff  <blp@gnu.org>
628
629         * algorithm.c: (remove_range) New function.
630         (remove_element) New function.
631
632         * dictionary.c: (dict_delete_var) Use remove_element().
633
634         * flip.c: (cmd_flip) Ditto.
635
636 Sun Mar 13 22:52:05 2005  Ben Pfaff  <blp@gnu.org>
637
638         * file-handle.q: (struct file_handle) `open_mode' should not be
639         const.
640         
641 Sun Mar 13 22:40:54 2005  Ben Pfaff  <blp@gnu.org>
642
643         First phase of making SORT CASES stable (PR 12313).
644
645         * sort.c: (struct indexed_case) New structure.
646         (do_internal_sort) Rewrite to make internal sorting stable.
647         (compare_case_dblptrs) Removed.
648         (compare_indexed_cases) New function.
649
650 Sun Mar 13 22:38:40 2005  Ben Pfaff  <blp@gnu.org>
651
652         Clean-ups.
653
654         * casefile.c: (casereader_read_xfer_assert) New function.
655
656         * dictionary.c: (dict_compact_case) New function.
657
658         * flip.c: (struct flip_pgm) New member idx_to_fv.
659         (cmd_flip) Initialize idx_to_fv member.
660         (destroy_flip_pgm) Free idx_to_fv member.
661         (flip_sink_write) Use struct flip_pgm member instead of case_sink
662         member.
663         (flip_sink_write) Ditto.
664
665         * vfm.c: (write_case) Use dict_compact_case() instead of
666         compact_case().
667         (compact_case) Removed.
668         (storage_source_create) Removed `dict' parameter.  All references
669         updated.
670
671         * vfm.h: (struct case_source) Removed `value_cnt' member.  All
672         references removed.
673         (struct case_sink) Removed `dict', `idx_to_fv' members.  All
674         references removed.
675
676 Sun Mar 13 22:35:55 2005  Ben Pfaff  <blp@gnu.org>
677
678         More AGGREGATE fixes.
679
680         * aggregate.c: (accumulate_aggregate_info) Implement NMISS and
681         NUMISS for strings.  Fix FOUT, POUT, FGT, FLT, FIN, FOUT for
682         strings.
683         (initialize_aggregate_info) Fix initialization for MIN, MAX for
684         strings.
685
686 Sat Mar 12 23:26:21 2005  Ben Pfaff  <blp@gnu.org>
687
688         Start work on testing and debugging AGGREGATE.
689
690         * aggregate.c: (cmd_aggregate) Use discrete bool variables instead
691         of a bit-map.  Require proper subcommand ordering.  Make OUTFILE
692         subcommand mandatory.
693         (parse_aggregate_functions) Check that PIN, POUT, FIN, FOUT
694         functions' arguments are in the correct order and swap them if
695         not.
696         (accumulate_aggregate_info) Make SUM include weights.  Add various
697         string functions.
698         (dump_aggregate_info) Add various string functions.
699         (initialize_aggregate_info) Initialize int1 for MIN, MAX.
700
701         * sort.c: (sort_parse_criteria) Add parameter for returning
702         whether any directions were specified.  All callers updated.
703
704 Sun Mar 13 14:54:27 WST 2005 John Darrington <john@darrington.wattle.id.au>
705
706         * t-test.q: Fixed erroneous logic in compare_group_binary.
707
708 Sat Mar 12 13:29:21 2005  Ben Pfaff  <blp@gnu.org>
709
710         * split-file.c: (cmd_split_file) Ignore LAYERED and SEPARATE
711         keywords (PR 11628).
712
713 Sat Mar 12 13:17:12 2005  Ben Pfaff  <blp@gnu.org>
714
715         * vfm.c: (procedure_with_splits) Fix PR 11492: end_func() must be
716         called *before* close_active_file().
717
718 Sat Mar 12 12:20:57 2005  Ben Pfaff  <blp@gnu.org>
719
720         * file-handle.q: (struct file_handle) Change open_mode from
721         character pointer to 3-char array, for safety.  Updated all
722         references.
723
724 Sat Mar 12 12:15:49 2005  Ben Pfaff  <blp@gnu.org>
725
726         Thanks to Ben Kujala <bkujala@oregonchildcare.org> for reporting
727         these bugs.
728         
729         * pfm-read.c: (read_header) Improve error message for many cases
730         in which the input is not actually a portable file.
731
732         * file-handle.q: (fh_open) When we give an error message, actually
733         return NULL.
734
735 Fri Mar 11 11:50:30 2005  Ben Pfaff  <blp@gnu.org>
736
737         * format.c: (check_common_specifier) New function for checks
738         common to check_input_specifier() and check_output_specifier().
739         (check_input_specifier) Use check_common_specifier().
740         (check_output_specifier) Use check_common_specifier().
741         (check_string_specifier) Removed.
742         (check_specifier_type) New function.
743         (check_specifier_width) New function.
744         (get_format_var_width) Fix bug.
745
746         * formats.c: (internal_cmd_formats) Only accept numeric variables.
747
748         * lexer.c: (check_id) Rename lex_id_to_token(), make public,
749         update all references.  Make case-insensitive.
750
751         * pfm-read.c: Essentially rewrite the whole file.  Now much
752         cleaner.
753
754         * print.c: (check_string_width) New function.
755         (fixed_parse_compatible) Use check_string_width(),
756         check_specifier_type().
757         (dump_fmt_list) Ditto.
758
759         * str.c: (st_trim_copy) New function.
760         (st_uppercase) New function.
761
762         * vars-atr.c: (var_is_valid_name) New function.
763         
764         * expressions/parse.c: (type_coercion_core) Use
765         check_specifier_type().
766         
767 Fri Mar 11 11:31:24 2005  Ben Pfaff  <blp@gnu.org>
768
769         * expressions/evaluate.c: (cmd_debug_evaluate) Fix memory leaks.
770
771         * expressions/parse.c: (no_match) Ditto.
772
773 Wed Mar  9 09:54:27 2005  Ben Pfaff  <blp@gnu.org>
774
775         * Makefile.am: (pspp_LDADD) Add libgsl-extras.a.
776
777         * expressions/helpers.c: (struct func_params) Removed.
778         (generalized_idf) Removed.
779         (cdf_beta) Removed.
780         (idf_beta) Removed.
781         (idf_fdist) Use gslextras_cdf_beta_Pinv() instead of idf_beta().
782
783         * expressions/operations.def: Implement IDF.BETA, CDF.BINOM,
784         CDF.GEOM, CDF.HYPER, CDF.NEGBIN, CDF.POISSON using gsl-extras.
785         Implement SIG.F, which I had overlooked previously.
786
787 Tue Mar  8 12:47:53 WST 2005 John Darrington <john@darrington.wattle.id.au>
788
789         * command.c command.def glob.[ch] cmdline.c: Made DEBUG cmds
790         available only in testing mode.
791
792 Sun Mar  6 23:25:40 2005  Ben Pfaff  <blp@gnu.org>
793
794         * data-in.c: Use `bool' throughout, where relevant.
795
796 Sun Mar  6 19:52:22 2005  Ben Pfaff  <blp@gnu.org>
797
798         DATA LIST with free-field formats should not have implied decimal
799         places (PR 12035).  Also clean up data-in.c a bit.
800
801         * data-in.h: (enum) Add DI_IMPLIED_DECIMALS.
802
803         * data-in.c: (apply_implied_decimals) New function.
804         (parse_numeric) Don't adjust exponent if DI_IMPLIED_DECIMALS not
805         set.  Also, get rid of gotos.
806         (parse_Z) Use apply_implied_decimals() if the field doesn't
807         contain a decimal point.
808         (parse_N) Use apply_implied_decimals().
809         (parse_IB) Ditto.
810         (parse_PIB) Ditto.
811         (parse_P) Ditto.
812         (parse_PK) Ditto.
813         (to_roman) Removed.
814         (parse_enum) New function.
815         (macro CHAR_IS_ROMAN) Removed.
816         (macro ROMAN_VALUE) Removed.
817         (parse_month) Use parse_enum().
818         (parse_weekday) Use parse_enum().
819         (parse_DATETIME) Use long for weekday.
820
821         * data-list.c: (read_from_data_list_fixed) Use
822         DI_IMPLIED_DECIMALS.
823
824 Sun Mar  6 17:07:20 2005  Ben Pfaff  <blp@gnu.org>
825
826         When the lexer sees something like `-5' in the input, it has to
827         decide whether it's a negative numeric constant token or a '-'
828         token followed by a positive numeric constant token.  It always
829         decides on the former, and then the parser can call
830         lex_negative_to_dash() if it wants the latter.  However, this
831         doesn't work for the case of `-0', because negative zero is
832         (portably) indistinguishable from positive zero.  So now we divide
833         T_NUM into two tokens, T_POS_NUM and T_NEG_NUM, to make the
834         distinction clear.  This requires a little bit of extra effort,
835         because there were several references to T_NUM in the code base.
836         
837         * lexer.c: (lex_get) Use T_NEG_NUM and T_POS_NUM to distinguish
838         positive and negative numeric constants.
839         (lex_double_p) Renamed lex_is_number().  Changed return type to
840         bool.  Updated all relevant references to T_NUM to instead use
841         this function.
842         (lex_double) Renamed lex_number().  All references updated.
843         (lex_integer_p) Renamed lex_is_integer().  Changed return type to
844         bool.  All references updated.
845         (lex_token_representation) Understand T_NEG_NUM and T_POS_NUM.
846         (lex_negative_to_dash) Ditto.
847         (dump_token) Ditto.
848         
849         * lexer.h: (enum) Add T_POS_NUM, T_NEG_NUM.  Remove T_NUM.
850
851 Sun Mar  6 22:09:20 2005  Ben Pfaff  <blp@gnu.org>
852
853         * expressions/operations.def: (NUMBER) Use DI_IMPLIED_DECIMALS.
854
855 Sun Mar  6 19:33:24 2005  Ben Pfaff  <blp@gnu.org>
856
857         * expressions/operations.def: (VEC_ELEM_NUM) Treat user-missing
858         values as system-missing.
859
860         * expressions/parse.c: (parse_vector_element) Fix order of
861         arguments in call to expr_allocate_binary().
862
863 Sun Mar  6 17:51:05 2005  Ben Pfaff  <blp@gnu.org>
864
865         * expressions/optimize.c: (optimize_tree) Fix optimization bug for
866         x**2.
867
868         * expressions/parse.c: (type_coercion_core) Set *node to NULL on
869         failure, as indicated by function comment.
870         (parse_binary_operators) Always return NULL on type_coercion()
871         failure.  Should have been doing this anyway, but bug in
872         type_coercion_core() filtered through.
873         (parse_add) Fix typo in user message.
874         (parse_primary) Understand T_NEG_NUM and T_POS_NUM.
875
876 Sun Mar  6 10:47:13 2005  Ben Pfaff  <blp@gnu.org>
877
878         * expressions/operations.def: Add VALUE function.
879
880         * expressions/parse.c: (parse_function) Need an unary composite
881         node for variables in A TO B, not a variable node.  Use
882         allocate_unary_variable().
883         (parse_primary) Use allocate_unary_variable().
884         (allocate_unary_variable) New function.
885
886 Thu Mar  3 23:53:32 2005  Ben Pfaff  <blp@gnu.org>
887
888         * expressions/PSPP_expressions.pm: Renamed it back to generate.pl
889         but fixed the real problem that was preventing the build from a
890         separate directory.  I liked it my way better ;-)
891         
892 Thu Mar  3 23:17:51 2005  Ben Pfaff  <blp@gnu.org>
893
894         * expressions/parse.c: (expr_parse) Fix parameter type.  Thanks to
895         John Darrington <john@darrington.wattle.id.au> for reporting this
896         bug.
897
898 Thu Mar  3 22:10:25 WST 2005 John Darrington <john@darrington.wattle.id.au>
899
900         * expressions/Makefile.am expressions/evaluate.h.pl
901           expressions/evaluate.inc.pl expressions/operations.h.pl
902           expressions/optimize.inc.pl expressions/parse.inc.p:
903
904           Renamed generate.pl to PSPP_expressions.pm and adjusted *.pl
905           to suit. 
906
907           Fixed everything so that it can be built from an arbitrary
908           directory.
909         
910 Thu Mar  3 22:08:35 WST 2005 John Darrington <john@darrington.wattle.id.au>
911
912         * Makefile.am : Fixed up CLEANFILES target.
913
914 Mon Feb 28 23:49:56 2005  Ben Pfaff  <blp@gnu.org>
915
916         * str.h: Changed `struct len_string' to `struct fixed_string', a
917         more accurate name.  Updated all references.
918
919 Mon Feb 28 23:35:30 2005  Ben Pfaff  <blp@gnu.org>
920
921         Redo calendar support.  Should now be bug-for-bug compatible.
922         
923         * calendar.c: New file.
924
925         * calendar.h: New file.
926
927         * data-in.c: Use new calendar functions.
928         (parse_sign) Change sense of return value.
929         (calendar_error) New function.
930         (ymd_to_ofs) New function.
931         (ymd_to_date) New function.
932         (parse_DATE) Use new function.
933         (parse_ADATE) Ditto.
934         (parse_EDATE) Ditto.
935         (parse_SDATE) Ditto.
936         (parse_JDATE) Ditto.
937         (parse_QYR) Ditto.
938         (parse_MOYR) Ditto.
939         (parse_WKYR) Ditto.
940         (parse_TIME) Ditto.
941         (parse_DTIME) Ditto.
942         (parse_DATETIME) Ditto.
943
944         * data-out.c: (convert_date) Use new calendar functions.
945
946         * error.c: (err_vmsg) Changed interface to be more sensible.
947         Updated all callers.
948         (dump_message) Don't double new-lines (why did we do this
949         anyway?).
950
951 Mon Feb 28 23:30:25 2005  Ben Pfaff  <blp@gnu.org>
952
953         * sfmP.h: (macro flt64) Moved here from pref.h.orig.
954         (macro FLT64_MAX) Moved here from pref.h.orig.
955
956 Mon Feb 28 23:28:01 2005  Ben Pfaff  <blp@gnu.org>
957
958         * set.q: Support SET EPOCH.
959         (static var set_epoch) New var.
960         (aux_stc_custom_epoch) New function.
961         (stc_custom_epoch) New function.
962         (get_epoch) New function.
963         (stc_custom_pager) [USE_INTERNAL_PAGER] Fix bug.
964
965         * format.c: Make it possible just to check whether a specifier is
966         valid without emitting an error message.
967         (parse_format_specifier_name) Change interface, update all
968         callers.
969         (check_input_specifier) Ditto.
970         (check_output_specifier) Ditto.
971         (parse_format_specifier) Ditto.
972
973 Mon Feb 28 23:24:08 2005  Ben Pfaff  <blp@gnu.org>
974
975         * command.def: Add DEBUG POOL.
976
977         * pool.c: (pool_destroy) Fix bug in deleting this pool from its
978         parent.
979         (pool_clear) Properly account for size of pool gizmo.
980         (pool_realloc) Ditto.
981         (pool_clone) New function.
982
983         * pool.h: Mark our allocation functions MALLOC_LIKE.
984
985 Mon Feb 28 23:21:26 2005  Ben Pfaff  <blp@gnu.org>
986
987         * Makefile.am: Move many definitions into new top-level
988         Make.build.  Add expressions to SUBDIRS.  Add calendar.c,
989         calendar.h.  Remove expr-evl.c, expr-opt.c expr-prs.c, expr.h,
990         exprP.h, expr.def.
991
992         * case.c: (case_resize) New function.
993         (case_swap) New function.
994
995         * casefile.c: Include mkfile.h.
996
997 Fri Feb 25 21:11:35 WST 2005 John Darrington <john@darrington.wattle.id.au>
998
999         * sfm-read.c: Fixed a buglet which caused a crash when trying
1000         to read a non-existent file.
1001
1002 Sun Feb 13 16:11:13 2005  Ben Pfaff  <blp@gnu.org>
1003
1004         Fix PR 11955.
1005
1006         * aggregate.c: (parse_aggregate_functions) Code cleanup.
1007         Important part: get rid of spurious copying of function->format to
1008         destvar->print and destvar->write.
1009
1010 Fri Feb 11 00:08:36 2005  Ben Pfaff  <blp@gnu.org>
1011
1012         Fix PR 11916, which was confusing a variable's `index' member
1013         with the variable's position in a var_set.  Although these are
1014         usually the same, they are not for array `var_set's.
1015         
1016         Took advantage of this bug as an opportunity to clean up and
1017         rewrite parse_var_set_vars().
1018
1019         * vars-prs.c: (parse_vs_variable_idx) New function.
1020         (parse_vs_variable) Reimplement in terms of
1021         parse_vs_variable_idx().
1022         (parse_var_idx_class) New function.
1023         (add_variable) New function.
1024         (add_variables) New function.
1025         (parse_var_set_vars) Rewritten.
1026         (struct var_set) Change `lookup_var' member that returns a
1027         variable into `lookup_var_idx' member that returns an int.
1028         Updated the var set implementations in obvious corresponding ways.
1029         Used compare_var_ptr_names(), hash_var_ptr_name() just added.
1030         
1031 Fri Feb 11 00:06:03 2005  Ben Pfaff  <blp@gnu.org>
1032
1033         Use our global variable compare & hash functions and give them
1034         better names.  Add similar functions for dealing with double
1035         pointers to variables.
1036         
1037         * vars-atr.c: (compare_variables) Renamed compare_var_names().
1038         (hash_variable) Renamed hash_var_name().
1039         (compare_var_ptr_names) New function.
1040         (hash_var_ptr_name) New function.
1041         
1042         * t-test.q: (cmd_t_test) Use global compare_var_names(),
1043         hash_var_name().
1044         (compare_var_name) Removed.
1045         (hash_var_name) Removed.
1046
1047 Fri Feb 11 00:04:39 2005  Ben Pfaff  <blp@gnu.org>
1048
1049         Fix dictionary bug.
1050         
1051         * dictionary.c: (compare_variable_dblptrs) Rename
1052         compare_var_ptrs() and fix it to properly dereference the double
1053         pointers.
1054
1055 Mon Feb  7 09:58:15 WST 2005 John Darrington <john@darrington.wattle.id.au>
1056
1057         crosstabs.q examine.q oneway.q q2c.c:  Added a q2c feature to 
1058         declare subcommands as mandatory.  Closed bug #11843
1059
1060 Sat Feb  5 20:35:10 WST 2005 John Darrington <john@darrington.wattle.id.au>
1061         
1062         * getline.c command.[ch] command.def:  Added (very rudimentary)
1063         support for line  completion when in interactive mode.  Partially 
1064         addresses bug #11693
1065         
1066 Mon Jan 31 09:52:51 WST 2005 John Darrington <john@darrington.wattle.id.au>
1067
1068         * examine.q factor_stats.c oneway.q output.c pfm-read.c: Fixed some
1069         problems revealed by valgrind.
1070
1071
1072 Wed Jan 26 11:44:11 WST 2005 John Darrington <john@darrington.wattle.id.au>
1073
1074         * set.q: Affixed a fix to the previous fix such that we'll be OK now
1075         whether or not PAGER is set.
1076
1077 Wed Jan 26 09:25:54 WST 2005 John Darrington <john@darrington.wattle.id.au>
1078
1079         * set.q: Copied the string produced by getenv("PAGER") thus avoiding
1080         "invalid free" errors.  Hopefully fixes bug #11722
1081
1082         * compute.c expr-prs.c: Check that lvalues are populated before 
1083         attempting to destroy them.  Closes bug #11676
1084
1085 Tue Jan 25 21:01:43 WST 2005 John Darrington <john@darrington.wattle.id.au>
1086
1087         * aggregate.c: Initialised the complete agr_proc structure.
1088         Closes bug #11675
1089
1090
1091 Sun Jan 23 23:02:21 2005  Ben Pfaff  <blp@gnu.org>
1092
1093         * print.c: (print_trns_free) Close the dfm writer if there is one,
1094         fixing a memory leak.
1095
1096 Mon Jan 24 12:24:36 WST 2005 John Darrington <john@darrington.wattle.id.au>
1097
1098         * glob.c oneway.q q2c.c t-test.q vfm.c: Still *more* memory leaks 
1099         fixed.
1100
1101
1102 Fri Jan 21 19:54:14 WST 2005 John Darrington <john@darrington.wattle.id.au>
1103
1104         * linked-list.[ch] Added
1105
1106         * examine.q file-handle.[hq] font.h glob.c groff-font.c postscript.c 
1107           set.q:    Yet more memory leaks
1108
1109 Tue Jan 18 23:12:40 WST 2005 John Darrington <john@darrington.wattle.id.au>
1110
1111         * t-test.q examine.q : More memory leaks fixed.
1112
1113 Tue Jan 18 19:26:59 WST 2005 John Darrington <john@darrington.wattle.id.au>
1114
1115         * examine.q  factor_stats.[ch] get.c pfm-read.c: Plugged numerous
1116         memory leaks.
1117
1118 Mon Jan 10 14:43:45 WST 2005 John Darrington <john@darrington.wattle.id.au>
1119
1120         * ascii.c cartesian.c casefile.c chart.h devind.c 
1121           examine.q frequencies.q
1122           html.c output.h piechart.c plot-chart.c plot-hist.c
1123
1124           Integrated the chart rendering into the output stream
1125           (currently only works for html).
1126           
1127           Removed gratuitous use of ifndef NO_CHARTS, and replaced with
1128           dummy-chart.c for compiling without charts.
1129
1130         * mkfile.[ch] Created.  
1131
1132         * som.[ch] tab.[ch]: Changed name of som_table to som_entity
1133         Added type element so we can tell if it's a chart or a table.
1134
1135         * chart.h examine.q piechart.c plot-chart.c plot-hist.c: changed the 
1136         API of charts to be more like that of tables.
1137
1138 Thu Jan 13 21:00:02 WST 2005 John Darrington <john@darrington.wattle.id.au>
1139
1140         * casefile.c main.c: Moved the SIGINT handler from casefile.c to
1141         main.c. Removed the handler for SIGQUIT.
1142
1143 Mon Jan 10 14:43:45 WST 2005 John Darrington <john@darrington.wattle.id.au>
1144
1145         * casefile.c: Added a signal handler to delete temp files on 
1146         SIGINT and SIGQUIT
1147
1148         * permissions.c Inhibited the PERMISSIONS command when SAFER is on.
1149
1150         * command.def Added a lot more unimplemented commands.
1151
1152         * copyleft.[ch] cmdline.c Moved legal information to copyleft.c
1153
1154 Sat Jan  8 23:58:34 2005  Ben Pfaff  <blp@gnu.org>
1155
1156         * sort.c: (compare_initial_runs) Needed additional level of
1157         dereferencing.
1158         (merge_once) Fix plenty of stupid mistakes.
1159
1160 Sat Jan  8 23:55:27 2005  Ben Pfaff  <blp@gnu.org>
1161
1162         * casefile.c: (casefile_sleep) Need to flush_buffer() after
1163         calling casefile_to_disk() or we will lose the last block in the
1164         file if the casefile started out as disk-based.
1165         (casefile_get_reader) Initialize reader->destructive to 0.
1166         (cmd_debug_casefile) Add new test pattern.
1167         (test_casefile) Define new test pattern to make sure
1168         casefile_sleep() works properly.
1169
1170 Fri Jan  7 08:00:05 WST 2005 John Darrington <john@darrington.wattle.id.au>
1171
1172         * Makefile.am chart.[ch]  histogram.[ch] piechart.c (Modified);
1173           plot-hist.c plot-chart.c (Added) Reorganised these files in an
1174           attempt to seperate the creation and processing of charts from their
1175           actuall renedering.
1176
1177         * examine.q frequencies.q generated charts conditional upon the NO_CHARTS
1178           macro.
1179
1180 Thu Jan  6 18:48:58 WST 2005 John Darrington <john@darrington.wattle.id.au>
1181
1182         * main.c Added a signal handler for SIGFPE
1183
1184         * sort.c Somewhat more robust fix to the previous entry.
1185
1186 Wed Jan  5 21:23:31 2005  Ben Pfaff  <blp@gnu.org>
1187
1188         * sort.c: (merge) Fix assertion for proper Huffman merge pattern:
1189         0 == 1 modulo 1.  See Knuth 5.4.9 (vol. 3, 2nd ed.,
1190         pp. 361).  Thanks to John Darrington <john@cellform.com.au> for
1191         reporting the bug.
1192
1193 Wed Jan  5 22:42:26 WST 2005 John Darrington <john@darrington.wattle.id.au>
1194
1195         * case.h Fixed bug # 11307
1196         
1197 Wed Jan  5 08:30:48 WST 2005 John Darrington <john@darrington.wattle.id.au>
1198
1199         * val-labs.c Fixed bug which caused a crash if VALUE LABELS had
1200         a trailing slash.
1201
1202 Mon Jan  3 17:44:37 2005  Ben Pfaff  <blp@gnu.org>
1203
1204         * pfm-read.c: (read_variables) Remove direct manipulation of
1205         v->aux, which is no longer needed.  Fixes PR 11483.
1206
1207 Sat Jan  1 19:01:16 WST 2005 John Darrington <john@darrington.wattle.id.au>
1208
1209         * data-list.c Fixed a bug in parsing delimiters.
1210
1211         * group.c vars-atr.c Fixed buglet in hash/compare functions for alpha
1212         values.
1213
1214         * percentiles.c Properly handled calculation of Tukey hinges where
1215         the number of data is small.
1216
1217         * oneway.q Used the generic value_to_string function for independent
1218         variable instead of trying to do it ourselves.
1219
1220         * box-whisker.c Fixed a buglet which caused a crash if the number of
1221         data was zero
1222
1223
1224 Fri Dec 31 16:47:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
1225
1226         * examine.q box-whisker.c chart.h Implemented boxplots in EXAMINE
1227
1228         * percentiles.c Fixed some bugs when calculating percentiles when
1229         there's a small number of cases.
1230
1231 Wed Dec 29 08:18:08 WST 2004 John Darrington <john@darrington.wattle.id.au>
1232
1233         * percentiles.[ch] Added. Calculates percentiles and Tukey hinges
1234
1235         * examine.q factor_stats.[ch]  Added calculation of percentiles
1236
1237 Fri Dec 24 15:09:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
1238
1239         * t-test.q Fixed bug #11227 Made t-test work when the independent
1240         variable is alpha
1241
1242 Sat Dec 11 11:43:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
1243
1244         * factor_stats.c Fixed calculation of trimmed mean under various
1245         special conditions.
1246
1247 Sat Dec  4 17:14:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
1248
1249         * histogram.c chart.[ch] factor_stats.c frequencies.q
1250
1251         Added code to calculate sensible histogram ranges and limits.
1252
1253 Thu Dec  2 13:37:43 WST 2004 John Darrington <john@darrington.wattle.id.au>
1254
1255         * chart.h Updated to reflect many API changes.
1256
1257         * cartesian.c chart.c Moved the definitions of chart_write_{xy}scale from 
1258         cartesian.c and into chart.c
1259
1260         * factorstats.[ch] Added the histogram calculations
1261
1262         * casefile.c Removed an unused variable.
1263
1264         * frequencies.q examine.q histogram.c  Reworked the API for 
1265         histograms.
1266
1267         * piechart.c  Revised the API for piecharts.
1268
1269         * var.h  Moved the definitions of freq_tab and freq out of var.h
1270         and into frequencies.q where they belong.
1271         
1272 Tue Nov 30 21:10:20 2004  Ben Pfaff  <blp@gnu.org>
1273
1274         * flip.c: (flip_file) Check for off_t separately from fseeko(),
1275         using AC_TYPE_OFF_T.
1276
1277 Tue Nov 30 08:47:41 2004  Ben Pfaff  <blp@gnu.org>
1278
1279         * flip.c: (flip_file) If fseeko() is not available, use long int
1280         for off_t.  Thanks to "Marshall DeBerry" <mdb@radix.net> for
1281         reporting the problem.
1282
1283 Mon Nov 29 12:20:59 WST 2004 John Darrington <john@darrington.wattle.id.au>
1284
1285         * examine.q factor_stats.[ch] Changed stderr to se_mean to avoid
1286         conflict with stdio.
1287
1288 Sun Nov 21 10:32:41 WST 2004 John Darrington <john@darrington.wattle.id.au>
1289
1290         * var-labs.c (var_to_string) Now returns null if the variable is null
1291
1292         * value-labels.c (value_to_string) Made it return null if either the 
1293         value or the variable is null.
1294
1295         * hash.c (hsh_clear) Fixed a buglet.
1296
1297         * examine.q  factor_stats.[ch] Largely  rewrote, because I'd started 
1298         with  the wrong model.
1299
1300         * casefile.[ch] Added a function to return the casereader.case_idx 
1301         member
1302
1303         * examine.q  Implemented the extreme values results.
1304
1305 John Darrington <john@darrington.wattle.id.au>
1306
1307         * settings.h set.c glob.[ch] frequencies.q q2c.c error.c lexer.[ch] 
1308           output.[ch] getline.c 
1309
1310           Plugged some memory leaks
1311
1312 Mon Nov 15 23:47:40 2004  Ben Pfaff  <blp@gnu.org>
1313
1314         Adopt GSL random number generators, paving the way for providing
1315         the complete suite of random number generators on expressions.
1316         
1317         * Makefile.am: Remove random.c, random.h.
1318
1319         * random.c: Removed.
1320
1321         * random.h: Removed.
1322
1323         * algorithm.c: (algo_default_random) Use GSL functions.
1324
1325         * casefile.c: (test_casefile) Use GSL RNG functions.
1326
1327         * expr-evl.c: (expr_evaluate) Use GSL RNG functions for OP_NORMAL,
1328         OP_UNIFORM.
1329
1330         * sample.c: (cmd_sample) Use GSL RNG functions.
1331         (sample_trns_proc) Ditto.
1332
1333         * set.q: (static var set_seed) Removed.
1334         (static var seed_flag) Removed.
1335         (static var rng) New variable.
1336         (aux_stc_custom_seed) No seed value anymore, don't print anything.
1337         (stc_custom_seed) Use new seed functions.
1338         (seed_is_set) Removed.
1339         (get_rng) New function that composes the entire external
1340         interface.
1341         (set_rng) New function.
1342         (random_seed) New function.
1343
1344 Mon Nov 15 22:08:25 2004  Ben Pfaff  <blp@gnu.org>
1345
1346         * expr-evl.c: (expr_evaluate) Fix XDATE.JDAY formula.  Thanks to
1347         John Darrington <john@darrington.wattle.id.au> for reporting this
1348         bug.
1349
1350 Tue Nov 16 13:19:18 WST 2004 John Darrington <john@darrington.wattle.id.au>
1351
1352         * permissions.c command.def Added the PERMISSIONS command
1353
1354 Mon Nov 15 01:33:32 2004  Ben Pfaff  <blp@gnu.org>
1355
1356         * q2c.c: (dump_header) Don't try to emit #includes at very top of
1357         output file because that will precede #include <config.h>, which
1358         is bad.
1359         (main) Add needed headers to /* (header) */ code.
1360
1361 Mon Nov 15 01:21:36 2004  Ben Pfaff  <blp@gnu.org>
1362
1363         Instead of making system or portable file readers responsible for
1364         dropping and reordering variables, make them read full cases and
1365         let the caller take care of any changes.
1366
1367         * get.c: New "case map" structure to handle this.  Use for GET,
1368         IMPORT, MATCH FILES.  Essentially rewrite the whole file.
1369
1370         * pfm-read.c: (pfm_read_case) Read into provided case.  Signature
1371         changed appropriately.
1372
1373         * sfm-read.c: (sfm_read_case) Ditto.
1374
1375 Mon Nov 15 00:47:45 2004  Ben Pfaff  <blp@gnu.org>
1376
1377         Decided that case_serialize() and case_unserialize() were too
1378         abstract.  Also we need a couple more functions to avoid excessive
1379         copying for data in/out fast paths.
1380
1381         * case.c: (case_serial_size) Removed.
1382         (case_serialize) Rename case_to_values() and make its argument
1383         explicitly an array of union values.
1384         (case_unserialize) Rename case_from_values() and make its argument
1385         explicitly an array of union values.
1386         (case_data_all) New function.
1387         (case_data_all_rw) New function.
1388
1389         * casefile.c: (struct casefile) Change buffer from array of
1390         unsigned char to array of union value for better accuracy.
1391         Redefine buffer_used and buffer_size in terms of values, not
1392         bytes.  Remove case_size because it is now redundant with
1393         value_cnt.  Fix up all references to these members.
1394
1395 Mon Nov 15 00:45:46 2004  Ben Pfaff  <blp@gnu.org>
1396
1397         * barchart.c: (struct subcat) Make `label' member const to silence
1398         GCC warning with -Wwrite-strings.
1399
1400         * cartesian.c: (struct dataset) Ditto.
1401
1402         * case.c: Don't re-define NDEBUG if already defined.
1403         Add lots of comments.
1404
1405         * str.c: Fix includes.
1406
1407         * crosstabs.q: Fix includes.
1408
1409         * examine.q: Fix includes.  Fix GCC warning about unused
1410         variables.
1411         
1412         * frequencies.q: (stat macro) Removed and replaced where used by
1413         its expansion.
1414
1415         * list.q: Fix includes.
1416
1417         * oneway.q: Fix includes.
1418
1419         * piechart.c: Fix includes.  Only define M_PI if not already
1420         defined.
1421
1422         * sfm-read.c: (bswap) New function.
1423         (bswap_int32) Write in terms of bswap.
1424         (bswap_flt64) Ditto.
1425
1426         * str.c: (ds_data) Add external definition here, needed because
1427         str.h has only an `extern inline' version.
1428
1429         * value-labels.c: Fix includes.
1430
1431 Mon Nov 15 00:40:55 2004  Ben Pfaff  <blp@gnu.org>
1432
1433         Instead of providing a system or portable file writer with a raw
1434         case in the format needed for output, provide it with a regular
1435         case.  The writer takes care of any needed translation.
1436
1437         * aggregate.c: Adopt new scheme for AGGREGATE.
1438         (struct agr_proc) sfm_agr_case member removed.
1439         (write_case_to_sfm) Removed because the new interface is easier to
1440         use.
1441
1442         * get.c: Adopt new scheme for SAVE, XSAVE, EXPORT.
1443
1444         * pfm-write.c: Implement new scheme.
1445
1446         * sfm-write.c: Ditto.
1447
1448 Mon Nov 15 00:32:24 2004  Ben Pfaff  <blp@gnu.org>
1449
1450         Instead of treating `struct file_handle' as a class to subclass
1451         into data files, system files, and portable files, instead use it
1452         as a helper that coordinates access.  Now it is opaque, too.
1453
1454         This means that most references to a struct file_handle are now
1455         changed into references to one of struct dfm_reader, struct
1456         dfm_writer, struct sfm_reader, struct sfm_writer, struct
1457         pfm_reader, or struct pfm_writer, according to what's being read
1458         or written.
1459
1460         Most related changes are only worth summarizing briefly.
1461
1462         * dictionary.c: (dict_clear) Destroy aux data in deleted
1463         variables.
1464         (dict_clear_aux) New function.
1465         (dict_create_var) Initialize aux, aux_dtor.
1466         (dict_delete_var) Destroy aux data in deleted variable.
1467
1468         * file-handle.h: (struct fh_ext_class) Removed.
1469         (struct file_handle) Removed.
1470         (fh_init_files) Removed.
1471
1472         * file-handle.q: Changed references to a handle's `private' member
1473         to direct references.
1474         (struct private_file_handle) Renamed file_handle.
1475         Add next, open_cnt, type, open_mode, aux members.
1476         (struct file_handle_list) Removed.
1477         (extern var inline_file) Removed.
1478         (static var file_handles) Changed from file_handle_list * to
1479         file_handle *.
1480         (create_file_handle) Initialize new members.
1481         (fh_close_handle) Removed.
1482         (mode_name) New function.
1483         (fh_open) New function.
1484         (fh_close) New function.
1485         (fh_parse_file_handle) Renamed fh_parse().
1486
1487         * glob.c: (init_glob) Remove fh_init_files() call.
1488         
1489         * aggregate.c: use sfm_writer.
1490         (create_sysfile) Removed because the new interface is simpler.
1491         
1492         * apply-dict.c: Use sfm_reader.
1493
1494         * data-list.c: Use dfm_reader.
1495
1496         * file-type.c: Use dfm_reader.
1497
1498         * get.c: Use sfm_reader, sfm_writer, pfm_reader, pfm_writer.
1499
1500         * inpt-pgm.c: Use dfm_reader.
1501
1502         * print.c: Use dfm_writer.
1503
1504         * sysfile-info: Use sfm_reader.
1505
1506         * dfm-read.c: Adopt new file handle infrastructure.
1507
1508         * dfm-write.c: Ditto.
1509
1510         * pfm-read.c: Ditto.
1511         
1512         * pfm-write.c: Ditto.
1513
1514         * sfm-read.c: Ditto.
1515
1516         * sfm-write.c: Ditto.
1517         
1518 Mon Nov 15 00:31:44 2004  Ben Pfaff  <blp@gnu.org>
1519
1520         Break dictionary functions into separate header file.
1521
1522         * dictionary.h: New file.
1523
1524         * var.h: Moved dict_*() functions to dictionary.h.
1525
1526 Mon Nov 15 00:30:33 2004  Ben Pfaff  <blp@gnu.org>
1527
1528         Get rid of procedure-specific union in struct variable, using
1529         instead a void * pointer and a destructor function.
1530
1531         Most related changes are only worth brief summaries.
1532
1533         * crosstabs.q: Fix includes.  Use new struct var_range in lieu of
1534         old p.crs member in struct variable.
1535         
1536         * frequencies.q: Fix includes.  Use new struct var_freqs in lieu
1537         of old p.frq member in struct variable.
1538
1539         * histogram.c: (draw_histogram) Takes new freq_tab arg because
1540         it's no longer possible to grab this from var->p.frq.
1541
1542         * piechart.c: (draw_piechart) Ditto.
1543
1544         * group.c: (group_proc_get) New function.
1545
1546         * levene.c: Use group_proc_get() in lieu of old p.grp_data member
1547         in struct variable.
1548
1549         * oneway.q: Ditto.
1550
1551         * t-test.q: Ditto.
1552
1553         * main.c: (execute_command) Clear aux data in default_dict after
1554         each command.  (It's debatable whether this should be done.)
1555
1556         * matrix-data.c: Use new struct mxd_var in lieu of old p.mxd
1557         member in struct variable.
1558
1559         * means.q: Get rid of integer mode, which is not included in
1560         recent SPSS and was the only code that wanted per-variable private
1561         data.
1562
1563         * var.h: (struct crosstab_proc) Removed.
1564         (struct frequencies_proc) Removed.
1565         (struct list_proc) Removed.
1566         (struct get_proc) Removed.
1567         (struct means_proc) Removed.
1568         (struct matrix_data_proc) Removed.
1569         (struct match_files_proc) Removed.
1570         (lots of enums) Removed.
1571         (struct variable) Removed members `p', `get'.  Add member
1572         `aux_dtor'.
1573
1574         * vars-atr.c: (var_attach_aux) New function.
1575         (var_detach_aux) New function.
1576         (var_clear_aux) New function.
1577         (var_dtor_free) New function.
1578         (discard_variables) Use NULL instead of inline_file.
1579
1580 Fri Nov 12 10:07:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
1581
1582         * value-labs.c  Fixed the implmentation of value_to_string, so 
1583         that it properly handles alpha values.
1584
1585         * oneway.q  Changed instances where labels were being probed manually, 
1586         to use the canonical {var,value}_to_string functions
1587
1588 Thu Nov 11 21:01:31 WST 2004 John Darrington <john@darrington.wattle.id.au>
1589
1590         * examine.q cartesian.c chart.[ch]   Added normal and detrended normal
1591         plots.  Changed the API of the cartesian plot to be a much lower level
1592         thing.
1593
1594 Sun Nov  7 17:25:04 WST 2004 John Darrington <john@darrington.wattle.id.au>
1595
1596         * examine.q Added some of the parametric calculations
1597
1598         * factor_stats.[ch]  Created
1599         
1600 Sat Nov  6 21:24:31 WST 2004 John Darrington <john@darrington.wattle.id.au>
1601
1602         * examine.q  Changed the definition of factors to be a composite, and
1603         dealt with the consequences.
1604
1605 Sat Nov  6 20:40:38 WST 2004 John Darrington <john@darrington.wattle.id.au>
1606
1607         * examine.q Fixed problem where examine wasn't dealing properly with 
1608         splits
1609
1610 Sat Nov  6 14:49:47 WST 2004 John Darrington <john@darrington.wattle.id.au>
1611
1612         * oneway.q Fixed problem where oneway wasn't dealing properly with 
1613         splits
1614
1615 Thu Nov  4 11:09:01 WST 2004 John Darrington <john@darrington.wattle.id.au>
1616
1617         * q2c.c examine.q  Fixed a bug (feature?) whereby arrays in the
1618         command which had settings didn't get the appropriate code
1619         generated.
1620
1621         * val.h value-labels.[ch] var-labs.c Added v*to_string functions
1622         to convert variables/values to strings.
1623
1624         * examine.q  Added framework for the EXAMINE command.
1625
1626 Mon Nov  1 12:46:17 WST 2004 John Darrington <john@darrington.wattle.id.au>
1627
1628         * q2c.c frequencies.q set.q t-test.q  Fixed the q2c parsing of DBL 
1629         subcommand types.  Changed frequencies.q to use it rather then the 
1630         custom parser.  Dealt with the consequences.  Added a test for NTILES
1631         subcommand of frequencies.
1632
1633 Sat Oct 30 09:16:29 WST 2004 John Darrington <john@darrington.wattle.id.au>
1634
1635         * oneway.q   Fixed up the behaviour when given missing values
1636
1637         * levene.c oneway.q Fixed a buglet with the levene statistic and
1638         incorporated the levene test into the oneway command.
1639
1640         * group.h  t-test.q  Moved the CMP_EQ and CMP_LE symbols out of 
1641         global scope, since they're only relevant to T-TEST
1642
1643 Fri Oct 29 17:39:03 WST 2004 John Darrington <john@darrington.wattle.id.au>
1644
1645         * group.c group.h group_proc.h levene.c oneway.q t-test.q
1646
1647         Made the t-test more consistent
1648         with the way it handles groups.  That is, it now uses a hash instead
1649         of an array of 2.  Also, made the levene.c file independent of the 
1650         implementation of the t-test.  So now levene should be fine for both
1651         t-test and anova.
1652
1653         * Added an oneway.q file for one way anova
1654
1655 Wed Jun  2 22:08:02 2004  Ben Pfaff  <blp@gnu.org>
1656
1657         * descript.c: (cmd_descriptives) Remove harmless but bogus test in
1658         STATISTICS parsing.
1659
1660 Mon May 31 20:45:24 2004  Ben Pfaff  <blp@gnu.org>
1661
1662         Fix memory leaks.
1663
1664         * data-list.c: (cmd_data_list) Free dls->delims on lossage.
1665         (data_list_trns_free) Free dls->delims.
1666
1667         * t-test.q: (tts_custom_pairs) Free vars.
1668         (ssbox_one_sample_init) Fix tab_vline() argument.
1669         (ssbox_independent_samples_init) Ditto.
1670         (trbox_paired_init) Ditto.
1671         (trbox_one_sample_init) Ditto.
1672
1673 Mon May 31 17:19:27 2004  Ben Pfaff  <blp@gnu.org>
1674
1675         Generalize casefiles to the extent that we can use them for
1676         sorting and other kinds of data transformations.  Change cases to
1677         be copy-on-write to improve memory efficiency in common cases.
1678         Every access to a member of a `struct ccase' was changed to be a
1679         call to a case_*() function, especially case_data(), case_num(),
1680         case_str(), or case_data_rw().  Many instances of a local variable
1681         named "case_num" were changed to "case_idx" as a consequence.
1682         Many `struct ccase *' were changed to actual `struct ccase'
1683         because of copying semantics of cases.  In several places there
1684         was a choice between updating debug code to work with the new ADTs
1685         or just deleting it because it was useless; I chose to delete it.
1686  
1687         * Makefile.am: (pspp_SOURCES) Add case.c, case.h.
1688
1689         * case.c: New file.
1690
1691         * case.h: New file.
1692
1693         * aggregate.c: (struct agr_proc) Change type of `sort' to
1694         sort_criteria *.  Add `break_vars', `break_var_cnt' members.
1695         Rename `vars' to `agr_vars', all references updated.  Change
1696         `agr_case' to type `struct ccase'.
1697         (cmd_aggregate) Deal with new members.  Use case_create(),
1698         sort_active_file_in_place(), sort_active_file_to_casefile().
1699         (agr_destroy) Deal with new members.
1700         (aggregate_single_case) Ditto.
1701         (dump_aggregate_info) Ditto.
1702         (initialize_aggregate_info) Ditto.
1703         (agr_to_active_file) Ditto.
1704         (presorted_agr_to_sysfile) Ditto.
1705         (sort_agr_to_sysfile) Removed.
1706
1707         * alloc.c: (out_of_memory) Make non-static.
1708
1709         * alloc.h: Prototype out_of_memory().
1710
1711         * casefile.c: Switched from a linked list in-memory representation
1712         to a two-level array-style representation.  The linked list was
1713         appropriate when we could stick a header onto cases, but that's no
1714         longer the case.  Also, the two-level array will allow for random
1715         in-memory access in case that's ever wanted.  Also added the
1716         concept of a `destructive casereader', one that destroys cases in
1717         the underlying casefile as they are read out.
1718         (macro CASES_PER_BLOCK) New macro.
1719         (struct casefile) New members `value_cnt', `case_list_size',
1720         `case_acct_size', `being_destroyed', `cases'.  Removed `head',
1721         `tail'.
1722         (struct casereader) Removed `cur'.  Added `destructive', `c'.
1723         (global var casefiles) Made static.
1724         (static var case_bytes) New var.
1725         (casefile_create) Takes a value count, not a case size in bytes,
1726         to conform to the case interface.  All callers updated.  Deal with
1727         new and removed members.
1728         (casefile_destroy) Deal with new and removed members.
1729         (casefile_sleep) New function.
1730         (casefile_get_case_size) Removed.
1731         (casefile_get_value_cnt) New function.
1732         (casefile_append) Rewritten to deal with new and removed members.
1733         (casefile_append_xfer) New function.
1734         (write_case_to_disk) Use case_serialize().
1735         (call_posix_fadvise) Removed because posix_fadvise64 segfaults.
1736         Couldn't figure out why.
1737         (casefile_to_disk) Don't call call_posix_fadvise.  Rewritten to
1738         deal with new and removed members.
1739         (merge) Removed.
1740         (merge_sort) Removed.
1741         (casefile_sort) Removed.
1742         (casefile_get_reader) Deal with new and removed members.
1743         (casefile_get_destructive_reader) New function.
1744         (reader_open_file) Make code more readable.  Create case for
1745         reader.
1746         (casereader_get_casefile) New function.
1747         (casereader_read) Deal with new and removed members.  Now returns
1748         a copy of the case, so that the caller is responsible for
1749         destroying the returned case.
1750         (casereader_read_xfer) New function.
1751         (casereader_destroy) Destroy reader's case.
1752         (test_casefile) Second arg is now a value count, all callers
1753         updated.  Now tests destructive readers too.
1754         (get_random_case) Deal with new case ADT.
1755         (write_random_case) Ditto.
1756         (read_and_verify_random_case) Ditto.
1757
1758         * crosstabs.q: Remove debug code.
1759
1760         * descript.q: (calc_descriptives) Deal with new case, casefile
1761         ADTs.
1762
1763         * dfm.c: (cmd_begin_data) There's no storage_source_class anymore.
1764
1765         * do-if.c: Remove unneeded header inclusion.
1766
1767         * expr-prs.c: Remove debug code.
1768
1769         * exprP.h: Remove debug code.
1770
1771         * flip.c: (flip_file) Use fseeko() if available.
1772
1773         * formats.c: Remove debug code.
1774
1775         * get.c: Remove debug code.
1776         (struct mtf_file) Change `input' from `union value *' to `struct
1777         ccase', all references updated.
1778
1779         * levene.c: (levene) Deal with new case, casefile ADTs.
1780
1781         * list.q: Remove debug code.
1782
1783         * loop.c: Remove debug code.
1784         
1785         * matrix-data.c: Remove debug code.
1786
1787         * means.q: Remove debug code.
1788
1789         * mis-val.c: Remove debug code.
1790
1791         * pfm-read.c: Remove debug code.
1792         (pfm_read_code) Change second arg from `union value *' to `struct
1793         ccase *', all references updated.
1794
1795         * recode.c: (string_to_long) Make first arg const.
1796         (convert_to_double) Ditto.
1797
1798         * repeat.c: Remove debug code.
1799
1800         * sample.c: Remove debug code.
1801
1802         * sfm-read.c: Remove debug code.
1803         (sfm_read_case) Change second arg from `union value *' to `struct
1804         ccase *'.
1805
1806         * sort.c: Redone in terms of casefiles.
1807         (enum sort_direction) Moved here from sort.h.
1808         (struct sort_criterion) New structure.
1809         (struct sort_criteria) New structure.
1810         (cmd_sort_cases) Rewritten.
1811         (prepare_to_sort_active_file) New function.
1812         (sort_active_file_in_place) New function.
1813         (sort_active_file_to_casefile) New function.
1814         (parse_sort) Renamed sort_parse_criteria(), rewritten & interface
1815         changed, all callers updated.
1816         (destroy_sort_cases_pgm) Renamed sort_destroy_criteria(),
1817         rewritten & interface changed, all callers updated.
1818         (sort_cases) Renamed sort_execute(), rewritten & interface
1819         changed, all callers updated.
1820         (struct internal_sort) Removed.
1821         (do_internal_sort) Rewritten, interface changed.
1822         (destroy_internal_sort) Removed.
1823         (compare_case_dblptrs) Use sort_criteria instead of sort_case_pgm.
1824         (struct initial_run) Removed; an initial run is now just a
1825         casefile.
1826         (compare_initial_runs) Rewritten.
1827         (struct external_sort) Changed almost completely.
1828         (do_external_sort) Rewritten, interface changed.
1829         (destroy_external_sort) Rewritten.
1830         [HAVE_MKDTEMP] (make_temp_dir) Removed.
1831         [!HAVE_MKDTEMP] (do_mkdir) Removed.
1832         [!HAVE_MKDTEMP] (make_temp_dir) Removed.
1833         (init_external_sort) Removed.
1834         (simulate_error) Removed.
1835         (rmdir_temp_dir) Removed.
1836         (get_temp_file_name) Removed.
1837         (open_temp_file) Removed.
1838         (close_temp_file) Removed.
1839         (remove_temp_file) Removed.
1840         (write_temp_file) Removed.
1841         (read_temp_file) Removed.
1842         (struct record_run) Change `record' from `struct case_lit *' to
1843         `struct ccase'.
1844         (struct initial_run_state) Remove `idx_to_fv', `free_list',
1845         `file_idx', `output_file'.  Add `run', casefile'.  Change
1846         `last_output' from `struct case_list *' to `struct ccase'.
1847         (write_initial_runs) Change interface, rewrite.
1848         (sort_sink_write) Renamed process_case(), changed interfaced,
1849         rewrote.
1850         (destroy_initial_run_state) Rewritten.
1851         (allocate_cases) Rewritten.
1852         (compare_record) Interface changed, rewritten.
1853         (start_run) Rewritten.
1854         (end_run) Rewritten.
1855         (output_record) Rewritten.
1856         (grab_case) Removed.
1857         (release_case) Removed.
1858         (struct merge_case) Change `cases' from double pointer to single
1859         pointer.
1860         (merge) Deal with new case and casefile ADTs.
1861         (struct run) Removed.
1862         (merge_once) Rewritten, interface changed.
1863         (fill_run_buffer) Removed.
1864         (sort_sink_make_source) Removed.
1865         (sort_sink_class) Removed.
1866         (struct sort_source_aux) Removed.
1867         (sort_source_read_helper) Removed.
1868         (sort_source_read) Removed.
1869         (read_sort_output) Removed.
1870         (read_internal_sort_output) Removed.
1871         (read_external_sort_output) Removed.
1872         (sort_source_destroy) Removed.
1873         (sort_source_class) Removed.
1874
1875         * sort.h: (struct sort_cases_pgm) Removed.
1876         (enum sort_direction) Moved to sort.c.
1877
1878         * t-test.q: (calculate) Deal with new case, casefile ADTs.
1879
1880         * tab.c: Remove debug code.
1881
1882         * var-labs.c: Remove debug code.
1883
1884         * var.h: (struct ccase) Removed.
1885         (struct case_list) Removed.
1886
1887         * vars-atr.c: (discard_variables) Use free_case_source().
1888
1889         * vars-prs.c: (parse_vs_variable) Make arg const.
1890         (parse_dict_variable) Ditto.
1891         (parse_variables) Make struct dictionary * arg const.
1892         (parse_var_set_vars) Make struct var_set * arg const.
1893         (struct var_set) Add const to some of the function pointers' args.
1894         (var_set_get_cnt) Make arg const.
1895         (var_set_get_var) Make first arg const.
1896         (var_set_lookup_var) Make first arg const.
1897         (dict_var_set_get_cnt) Make arg const.
1898         (dict_var_set_get_var) Make first arg const.
1899         (dict_var_set_lookup_var) Make first arg const.
1900         (var_set_create_from_dict) Make arg const.  Add cast to aux
1901         assignment.
1902         (struct array_var_set) Add const to var member.
1903         (array_var_set_get_cnt) Make arg const.
1904         (array_var_set_get_var) Make first arg const.
1905         (array_var_set_lookup_var) Make first arg const.
1906         (var_set_create_from_array) Make first arg const.  Insert cast.
1907
1908         * vfm.c: (struct write_case_data) Change trns_case, sink_case
1909         members from `struct ccase *' to `struct ccase'.
1910         (static var lag_queue) Change from double to single pointer.
1911         (procedure) Optimize trivial case.
1912         (internal_procedure) Deal with changed case, case_source ADTs.
1913         (create_trns_case) Changed interface, rewrote.
1914         (open_active_interface) Initialize modified lag queue.
1915         (write_case) Deal with changed case ADT.
1916         (lag_case) Deal with modified lag queue.
1917         (close_active_file) Destroy modified lag queue.
1918         Deal with changed case_source, case_sink ADTs.
1919         (destroy_storage_stream_info) Make null arg into no-op.
1920         (storage_sink_make_source) Set aux in created source.
1921         (storage_source_read) Deal with changed case, casefile ADTs.
1922         (storage_source_create) New function.
1923         (lagged_case) Rewrite.
1924         (free_case_source) New function.
1925         (free_case_sink) Rewrite.
1926         (struct split_aux_data) Changed prev_case from `struct ccase *' to
1927         `struct ccase'.
1928         (procedure_with_splits) Deal with changed prev_case.
1929         (procedure_with_splits_callback) Ditto.
1930         (multipass_split_aux_data) Changed prev_case from `struct ccase *' to
1931         `struct ccase'.
1932         (multipass_procedure_with_splits) Deal with changed prev_case.
1933         (multipass_split_callback) Ditto.
1934         
1935         
1936 Mon May 31 17:19:06 2004  Ben Pfaff  <blp@gnu.org>
1937
1938         The workspace idea didn't work out.
1939
1940         * Makefile.am: (pspp_SOURCES) Remove workspace.c, workspace.h.
1941         
1942         * workspace.c: Removed.
1943
1944         * workspace.h: Removed.
1945
1946 Sun May 30 18:35:19 2004  Ben Pfaff  <blp@gnu.org>
1947
1948         Fully implement arbitrary delimiters on DATA LIST, extending the
1949         half implementation that was already there.
1950
1951         * data-list.c: (struct data_list_pgm) Remove `delim', add
1952         `delims', `delim_cnt'.
1953         (cmd_data_list) Initialize new members.  Parse delimiters and
1954         clean up code a bit.
1955         (cut_field) Extract fields with arbitrary delimiters.  Also, fix
1956         handling of leading commas.
1957         (read_from_data_list_fixed) Expand tabs.  Adapt to new DFM
1958         interfaces.
1959         (read_from_data_list_free) Adapt to new DFM interfaces.
1960         (read_from_data_list_list) Ditto.
1961         (repeating_data_trns_proc) Ditto.
1962
1963         * dfm.c: Split up reader and writer into separate code, because
1964         they do different things.  Use struct string instead of explicit
1965         allocation code, for clarity.
1966         (enum dfm_reader_flags) New enum.
1967         (struct dfm_fhuser_ext) Removed.
1968         (struct dfm_reader_ext) New.
1969         (get_reader) New function, used by just about all the reader
1970         functions.
1971         (dfm_close) Removed.
1972         (close_reader) New function.
1973         (dfm_open_for_reading) Rewrite initialization of dfm_fhuser_ext.
1974         (dfm_open_for_writing) Ditto.
1975         (macro force_line_buffer_expansion) Removed.
1976         (count_tabs) Removed.
1977         (tabs_to_spaces) Removed.
1978         (read_record) Deal with new dfm_reader_ext.  Use struct string
1979         functions.  Don't convert tabs to spaces.
1980         (dfm_eof) New function.
1981         (dfm_get_record) Changed interface, rewrote.
1982         (dfm_expand_tabs) New function.
1983         (dfm_fwd_record) Renamed dfm_forward_record(), updated to new
1984         dfm_reader_ext, rewritten.
1985         (dfm_bkwd_record) Renamed dfm_reread_record(), updated to new
1986         dfm_reader_ext, rewritten.
1987         (dfm_set_record) Removed in favor of dfm_forward_columns().
1988         (dfm_forward_columns) New function.
1989         (dfm_get_cur_col) Renamed dfm_column_start, updated to new
1990         dfm_reader_ext, rewritten.
1991         (static var dfm_r_class) Use close_reader for the destructor.
1992         (struct dfm_writer_ext) New.
1993         (dfm_put_record) Updated to new dfm_writer_ext, rewritten.  Uses
1994         bounce buffer now instead of local allocation.
1995         (close_writer) New function.
1996         (static var dfm_writer_ext) Use close_writer for destructor.
1997         (cmd_begin_data) Adapt to new dfm_reader_ext.
1998
1999         * file-handle.q: Add support for per-file tab width.
2000         (struct private_file_handle) Add tab_width member.
2001         (q2c specifications) Add tabwidth subcommand.
2002         (cmd_file_handle) Put parsed tab width into private_file_handle.
2003         (create_file_handle) Set default tab width.
2004         (handle_get_tab_width) New function.
2005
2006         * file-type.c: (file_type_source_read) Adapt to new DFM interface.
2007
2008         * inpt-pgm.c: (reread_trns_proc) Ditto.
2009
2010         * matrix-data.c: (context) Ditto.
2011         (another_token) Ditto.
2012         (mget_token) Ditto.
2013         (force_eol) Ditto.
2014
2015 Sun May 30 18:33:59 2004  Ben Pfaff  <blp@gnu.org>
2016
2017         * casefile.c: (casefile_destroy) Fix memory leak by freeing
2018         cf->filename.
2019         (casereader_destroy) Don't close file descriptor -1.
2020
2021         * recode.c: (cmd_recode) Fix memory leak.
2022
2023         * set.q: (q2c specifications) Fix typo in user message.
2024
2025         * str.c: (st_bare_pad_len_copy) Change memcpy to memmove to avoid
2026         undefined behavior for overlapping arguments.
2027
2028 Sun May 30 18:31:48 2004  Ben Pfaff  <blp@gnu.org>
2029
2030         * casefile.c: valgrind doesn't implement posix_fadvise() yet, so
2031         don't call it when we're running under valgrind.
2032         (call_posix_fadvise) New function.
2033         (casefile_to_disk) Use call_posix_fadvise().
2034         (reader_open_file) Ditto.
2035         
2036 Sun May 30 18:20:12 2004  Ben Pfaff  <blp@gnu.org>
2037
2038         Update our string ADTs, struct string and struct len_string.  Get
2039         rid of pool support, which was largely unused.  Rename lots of
2040         functions to have more obvious or consistent names.
2041         
2042         * ascii.c: Get rid of ascii_pool.  It was only used for string
2043         allocations.
2044         (ascii_open_global) Don't create ascii_pool.
2045         (ascii_close_driver) Don't destroy ascii_pool.
2046         (ascii_postopen_driver) Don't use pool.
2047         (ascii_close_driver) Destroy strings manually.
2048
2049         * str.c: (ds_create) Remove pool argument, all references updated.
2050         (ds_init) Ditto.
2051         (ds_replace) Remove pool support, make more efficient when we
2052         don't need to reallocate.
2053         (ds_destroy) Remove pool support.
2054         (ds_rpad) New function.
2055         (ds_size) Renamed ds_capacity(), all references updated.
2056         (ds_value) Renamed ds_c_str(), all references updated.
2057         (ds_concat) Renamed ds_puts(), all references updated.
2058         (ds_concat_buffer) Renamed ds_concat(), all references updated.
2059         (ds_putchar) Renamed ds_putc(), all references updated.
2060         (ds_getline) Renamed ds_gets(), all references updated.
2061         (ls_create) Remove pool argument, all references updated.
2062         (ls_create_buffer) Ditto.
2063         (ls_destroy) Removed pool support.
2064         (ls_value) Renamed ls_c_str(), all references updated.
2065
2066         * str.h: (ls_length) [__GNUC__] Add inline version.
2067         (ls_c_str) [__GNUC__] Add inline version.
2068         (ls_end) [__GNUC__] Add inline version.
2069         (struct string) Remove pool member.  Rename `size' to `capacity',
2070         all references updated.
2071
2072         * tab.c: (text_format) Instead of using pool argument to
2073         ls_create_buffer(), call pool_register() on allocated data.
2074
2075 Mon Apr 26 22:40:07 2004  Ben Pfaff  <blp@gnu.org>
2076
2077         We're abusing the current ASCII driver by telling it to allocate a
2078         9999-line, 9999-character page in the tests.  This causes some
2079         systems to curl up and die because it allocates 20 MB of
2080         contiguous RAM.  This change alleviates at least part of the
2081         problem.  It is mostly a stop-gap until the new output system is
2082         ready.
2083         
2084         * ascii.c: (struct line) New structure.
2085         (struct ascii_driver_ext) Remove `page', `page_size', `line_len',
2086         `line_len_size', `n_output' members.  Add `lines', `lines_cap'.
2087         (ascii_preopen_driver) Initialize new members, not old ones.
2088         (ascii_close_driver) Destroy new members, not old ones.
2089         (ascii_open_page) Allocate new members, not old ones.
2090         (expand_line) Allocate room in line.
2091         (draw_line) Use new members.
2092         (ascii_line_horz) Ditto.
2093         (ascii_line_vert) Ditto.
2094         (ascii_line_intersection) Ditto.
2095         (text_draw) Ditto.
2096         (output_lines) Ditto.
2097         (ascii_close_page) Ditto.
2098
2099 Sun Apr 25 23:40:15 2004  Ben Pfaff  <blp@gnu.org>
2100
2101         * matrix.c: Dead code.  Removed.
2102
2103         * matrix.h: Dead code.  Removed.
2104
2105 Fri Apr 16 23:59:51 2004  Ben Pfaff  <blp@gnu.org>
2106
2107         Contrary to what I'd always understood, there is an efficient
2108         algorithm for deletion from a hash table populated via linear
2109         probing.  This change implements it.
2110         
2111         * hash.c: (hsh_rehash) Probe in increasing order.
2112         (hsh_probe) Ditto.
2113         (locate_matching_entry) Ditto.
2114         (hsh_delete) Use Knuth's Algorithm 6.4R for deletion.
2115
2116 Tue Apr 13 19:24:15 2004  Ben Pfaff  <blp@gnu.org>
2117
2118         * moments.c (calc_moments): Adjust calculation of kurtosis to
2119         avoid subtracting huge numbers from huge numbers, on Michael
2120         Kiefte's advice.
2121
2122 Sun Apr 11 14:22:12 2004  Ben Pfaff  <blp@gnu.org>
2123
2124         Rework moments routines for improved numerical stability based on
2125         Michael Kiefte's advice.  Any bugs or remaining numerical problems
2126         are still mine though.
2127
2128         There is now a struct moments1 for use with one-pass moments.  It
2129         uses a provisional means algorithm as an attempt to improve
2130         accuracy of higher moments.  The older struct moments now only
2131         handles two-pass moments.
2132         
2133         * aggregate.c: Use moments1 instead moments.
2134
2135         * descript.c: Revert previous change, which is no longer needed
2136         due to the moments revision.
2137
2138         * moments.c: (calc_moments) New function for calculating variance,
2139         skewness, kurtosis.
2140         (moments_pass_one) Only accumulate weights bigger than zero.
2141         (moments_calculate) Allow calculating the mean on pass one, others
2142         require pass two.  Implement in terms of calc_moments().
2143         (struct moments1) New structure.
2144         (init_moments1) New function.
2145         (moments1_clear) Ditto.
2146         (moments1_create) Ditto.
2147         (moments1_add) Ditto.
2148         (moments1_calculate) Ditto.
2149         (moments1_destroy) Ditto.
2150         (cmd_debug_moments) Deal with `struct moments' or `struct
2151         moments1' as requested by user.
2152
2153 Sun Apr 11 14:21:55 2004  Ben Pfaff  <blp@gnu.org>
2154
2155         * Makefile.am (pspp_SOURCES): Remove debug.c.
2156
2157         * debug.c: Removed.  It was empty anyway.
2158
2159 Fri Apr  9 20:04:49 2004  Ben Pfaff  <blp@gnu.org>
2160
2161         * descript.c (calc_descriptives): Fix assert failure when only
2162         MOMENT_MEAN is needed.
2163
2164 2004-04-09  Michael Kiefte  <mkiefte@dal.ca>
2165
2166         * descript.c: 
2167
2168         fixed problem with parsing in match_statistic() causing
2169         "DESCRIPTIVE STAT=MEAN." to barf.
2170
2171         "MEAN" is now default if "SORT" given without specification.
2172
2173         Fixed infinite loop with "DESCRIPT GIBBERISH=ALL."  Parsing is
2174         generally less forgiving of syntax errors: better to have it do
2175         nothing and type it in again then to not know what it actually did
2176         instead.  
2177
2178         z-score transformation now checks score for user-missing values
2179         and checks std_dev for SYSMIS.
2180
2181 2004-04-06  Michael Kiefte  <mkiefte@dal.ca>
2182
2183         * aggregate.c, crosstabs.q, descript.c, dictionary.c, frequencies.q, levene.c, t-test.q, var.h: 
2184         Changed dict_get_case_weight() to accept an additional int * flag
2185         to complain about system-missing, user-missing, zero, or negative
2186         weights and updated existing functions to pass int * to
2187         dict_get_case_weight().
2188
2189 2004-04-05  jmd  <jmd@gnu.org>
2190
2191         * main.c: Fixed configuration problems with gsl
2192
2193         * t-test.q: Fixed some problems encountered when compiling under Cygwin
2194
2195 2004-04-03  blp  <blp@gnu.org>
2196
2197         * lexer.c, ChangeLog:
2198         Fix infinite loop on comment at end of file, add test.
2199
2200 2004-04-03  jmd  <jmd@gnu.org>
2201
2202         * settings.h, var.h, ChangeLog, Makefile.am, cmdline.c, command.c, command.h, error.h, filename.c, frequencies.q, lexer.h, main.c, q2c.c, set.q:
2203         Fixed the calculation of percentiles and added --syntax and --algorithm options
2204
2205 Sat Apr  3 11:43:37 2004  Ben Pfaff  <blp@gnu.org>
2206
2207         * lexer.c: (lex_skip_comment) Handle end-of-file correctly (I
2208         hope).
2209
2210 Sat Apr  3 15:00:18 WST 2004 John Darrington <john@darrington.wattle.id.au>
2211
2212         * frequencies.q:  Fixed the calculation of percentiles
2213
2214         * Makefile.am:  Added the --ansi flag and dealt with the
2215         consequences.  Added some entries to PSPP_sources so that
2216         make distcheck would pass
2217
2218         * cmdline.c:   Added the --syntax and --algorithm options
2219
2220         * q2c.c:  Added an implicit /ALGORITHM subcommand to everything.
2221
2222 Fri Apr  2 11:25:22 WAST 2004 John Darrington <john@darrington.wattle.id.au>
2223
2224         * t-test.q, levene.c, levene.h  Converted t-test (incl levene) to 
2225         use the new multipass_split_... mechanism.
2226
2227 Wed Mar 31 22:36:22 2004  Ben Pfaff  <blp@gnu.org>
2228
2229         * frequencies.q: (calc_stats) Use moments data structure and
2230         calc_seskew(), calc_sekurt() functions.
2231
2232         * set.q main.c settings.h Added support for --syntax and --algorithm 
2233         options
2234
2235 Tue Mar 30 22:04:19 2004  Ben Pfaff  <blp@gnu.org>
2236
2237         * vfm.c: Had to get last call to multipass_split_output() inside
2238         open_active_file()/close_active_file() pairing, so introduce new
2239         function.
2240         (internal_procedure) Move procedure() code here, except for calls
2241         to open_active_file() and close_active_file().
2242         (procedure) Wrap open_active_file() and close_active_file() around
2243         internal_procedure().
2244         (multipass_procedure_with_splits) Wrap open_active_file() and
2245         close_active_file() around internal_procedure().
2246
2247 Tue Mar 30 22:01:57 2004  Ben Pfaff  <blp@gnu.org>
2248
2249         * descript.c: (cmd_descriptives) Free `vars' to avoid memory leak.
2250
2251 Mon Mar 29 16:26:40 2004  Ben Pfaff  <blp@gnu.org>
2252
2253         * debug.c: Removed.  Moved cmd_debug_evaluate() into expr-evl.c.
2254
2255         * expr-evl.c: (cmd_debug_evaluate) Moved here from debug.c.
2256
2257 Mon Mar 29 16:03:08 2004  Ben Pfaff  <blp@gnu.org>
2258
2259         * algorithm.c: By default turn off some of the more expensive
2260         assertions.
2261         (expensive_assert) New macro which expands to assert if
2262         EXTRA_CHECKS is defined, to nothing otherwise.
2263         (unique) Use expensive_assert().
2264         (binary_search) Ditto.
2265         (push_heap) Ditto.
2266         (pop_heap) Ditto.
2267         (make_heap) Ditto.
2268         (sort_heap) Ditto.
2269
2270         * command.c: (conflicting_3char_prefixes) Words that are the same
2271         don't cause conflicts when they are abbreviated to the first three
2272         letters.
2273
2274         * expr-evl.c: (CONCAT_func) Fix memory leak by incrementing struct
2275         nonterm_node's n earlier.
2276         (generic_str_func) Ditto.
2277         
2278 Mon Mar 29 15:32:17 2004  Ben Pfaff  <blp@gnu.org>
2279
2280         Add support for multipass procedures.  Rewrite DESCRIPTIVES to
2281         test multipass support, take advantage of new moments
2282         calculation, and to not be such crappy code.  Get rid of q2c
2283         processing for DESCRIPTIVES.
2284
2285         * vfm.c: (struct multipass_split_aux_data) New structure.
2286         (multipass_procedure_with_splits) New function.
2287         (multipass_split_callback) New function.
2288         (multipass_split_output) New function.
2289         * descript.q: Removed.
2290
2291         * descript.c: New file.
2292
2293         * var.h: Removed descriptives enums.
2294         (struct descriptives_proc) Removed.
2295         (struct variable) Removed p.dsc.
2296
2297         * Makefile.am: (q_sources_c) Remove descript.c.
2298         (q_sources_q) Removed descript.q.
2299         
2300 Mon Mar 29 15:31:55 2004  Ben Pfaff  <blp@gnu.org>
2301
2302         New manager for keeping track of used workspace.
2303         
2304         * workspace.c: New file.
2305
2306         * workspace.h: New file.
2307
2308         * Makefile.am: (pspp_SOURCES) Add workspace.c, workspace.h.
2309
2310         * sort.c: (do_internal_sort) Use workspace_malloc().
2311         (destroy_internal_sort) Use workspace_free().
2312
2313 Mon Mar 29 15:31:08 2004  Ben Pfaff  <blp@gnu.org>
2314
2315         New `struct casefile' for managing sets of cases.
2316
2317         * casefile.c: New file.
2318
2319         * casefile.h: New file.
2320
2321         * command.def: Add DEBUG CASEFILE command.
2322
2323         * Makefile.am: (pspp_SOURCES) Add casefile.c, casefile.h.
2324
2325         * sort.c: (sort_cases) Move logic for sending storage file to disk
2326         into do_external_sort().
2327         (struct internal_sort) Use an array of ccase pointers instead of a
2328         case_list.
2329         (do_internal_sort) Rewrite to handle casefiles.
2330         (compare_case_list) Removed.
2331         (compare_cases) New function.
2332         (compare_case_dblptrs) New function.
2333         (read_internal_sort_output) Deal with new struct internal_sort.
2334
2335         * vfm.c: (static var workspace_overflow) Removed.
2336         (struct storage_stream_info) Removed all the members.  Added
2337         struct casefile * member.
2338         (storage_sink_open) Use casefile.
2339         (open_storage_file) Removed.
2340         (write_storage_file) Removed.
2341         (storage_to_disk) Removed.
2342         (destroy_storage_stream_info) Use casefile.
2343         (storage_sink_write) Use casefile.
2344         (storage_sink_make_source) Use casefile.
2345         (storage_source_count) Use casefile.
2346         (storage_source_read) Use casefile.
2347         (storage_source_on_disk) Removed.
2348         (storage_source_get_cases) Removed.
2349         (storage_source_set_cases) Removed.
2350         (storage_source_get_casefile) New function.
2351         
2352 Mon Mar 29 15:30:09 2004  Ben Pfaff  <blp@gnu.org>
2353
2354         New `struct moments' for calculating moments.
2355
2356         * stats.c: Removed.
2357
2358         * stats.h: Removed.
2359
2360         * moments.c: New file.
2361
2362         * moments.h: New file.
2363
2364         * command.def: Add DEBUG MOMENTS command.
2365
2366         * Makefile.am: (pspp_SOURCES) Add moments.c, moments.h.  Remove
2367         stats.c, stats.h.
2368
2369         * aggregate.c: Modify AGGREGATE to use the new moments
2370         calculation, even if not in such a great way.
2371         (struct agr_var) Add `moments' member.
2372         (parse_aggregate_functions) Set `moments' member to null.
2373         (agr_destroy) Destroy `moments' member.
2374         (accumulate_aggregate_info) Use `moments' for standard deviation.
2375         (dump_aggregate_info) Ditto.
2376         (initialize_aggregate_info) Create or clear `moments'.
2377
2378         * misc.h: Add pow2(), pow3(), pow4() functions in place of sqr(),
2379         cube(), pow4() that were in stats.h.  All references updated.
2380
2381         * crosstabs.q: stats.h had chi-square significance functions.  Use
2382         GSL instead.
2383         (display_chisq) Use gsl_cdf_chisq_Q() instead of chisq_sig().
2384
2385         * expr-evl.c: (expr_evaluate) Use moments_of_values() for
2386         OP_CFVAR, OP_MEAN, OP_SD, OP_VARIANCE.
2387                 
2388 Fri Mar 26 14:21:23 2004  Ben Pfaff  <blp@gnu.org>
2389
2390         * dictionary.c: (dict_compact_values) Compacted values need to
2391         start off from 0.
2392
2393 Fri Mar 26 00:54:57 2004  Ben Pfaff  <blp@gnu.org>
2394
2395         * var-labs.c: (cmd_variable_labels) For compatibility, don't allow
2396         `/' at start.  Check return value of parse_variables() for error
2397         return.
2398
2399 Fri Mar 26 00:19:27 2004  Ben Pfaff  <blp@gnu.org>
2400
2401         Revamp expressions: make the code a little nicer, and fix bugs
2402         found in testing.
2403         
2404         * expr-evl.c: (expr_evaluate) Make expression argument const.
2405         Support OP_ADD, OP_SUB, OP_MUL, OP_DIV instead of OP_PLUS, OP_MUL.
2406         OP_POW is missing for arg 2 <= 0.  OP_LOG is natural log, not
2407         base-10 log.  Fix OP_ANY, OP_ANY_STRING, OP_RANGE, OP_RANGE_STRING
2408         off-by-ones.  Add OP_MAX_STRING, OP_MIN_STRING.  Fix OP_TIME_HMS,
2409         OP_DATE_WKYR boundary conditions.  Add OP_CTIME_DAYS,
2410         OP_CTIME_HOURS, OP_CTIME_MINUTES, OP_CTIME_DAYS, OP_CTIME_SECONDS.
2411         Support OP_INDEX_2, OP_INDEX_3, OP_RINDEX_2, OP_RINDEX_3 instead
2412         of OP_INDEX, OP_INDEX_OPT, OP_RINDEX, OP_RINDEX_OPT.  Merge
2413         OP_LPAD_OPT into OP_LPAD, OP_RPAD_OPT into OP_RPAD, OP_LTRIM_OPT
2414         into OP_LTRIM, OP_RTRIM_OPT into OP_RTRIM, OP_NUMBER_OPT into
2415         OP_NUMBER.  Fix OP_RTRIM fragility.  Support OP_SUBSTR_2,
2416         OP_SUBSTR_3 instead of OP_SUBSTR, OP_SUBSTR_OPT.  Remove OP_INV.
2417         Simplify OP_SYSMIS.  Remove OP_STR_MIS.
2418
2419         * expr-opt.c: (optimize_expression) Rewrite.
2420         (macro n0) Removed.
2421         (macro n1) Removed.
2422         (macro n2) Removed.
2423         (macro s0) Removed.
2424         (macro s0l) Removed.
2425         (macro s1) Removed.
2426         (macro s1l) Removed.
2427         (macro s2) Removed.
2428         (macro s2l) Removed.
2429         (macro s) Removed.
2430         (macro sl) Removed.
2431         (eq_num_con) New function.
2432         (optimize_tree) New function.
2433         (macro rnc) Removed.
2434         (macro frnc) Removed.
2435         (str_search) Add const to string params.
2436         (str_rsearch) Ditto.
2437         (evaluate_tree_no_missing) Renamed from evaluate_tree.  Add num[],
2438         str[], str_len[] locals to substitute for most of removed macros.
2439         Support OP_ADD, OP_SUB, OP_MUL, OP_DIV instead of OP_PLUS, OP_MUL.
2440         Removed support for missing values because we're never called with
2441         missing values.  Use set_number() or set_number_errno() instead of
2442         rnc or frnc.  Removed any stuff that caused trouble in testing.
2443         We can re-add it later if it really slows anything.  Fix some
2444         random problems.
2445         (evaluate_tree_with_missing) Not yet supported.  To be added later
2446         if it's important.
2447         (repl_num_con) Removed.
2448         (collapse_node) New function.
2449         (force_repl_num_con) Removed.
2450         (set_number) New function.
2451         (set_number_errno) New function.
2452         (repl_str_con) Removed.
2453         (set_string) New function.
2454         (yrmoda) Tighten boundary conditions.  Adopt 2030 cut-off for
2455         2-digit years.
2456         (dump_node) No special case for OP_AND, OP_OR.
2457
2458         * expr-prs.c: (expr_prs) Honor EXPR_NO_OPTIMIZE bit.  Rewrite.
2459         (expr_get_type) New function.
2460         (type_check) Rewrite.
2461         (type_coercion) New function.
2462         (struct operator) New structure.
2463         (match_operator New function.
2464         (parse_binary_operators) New function.
2465         (parse_inverting_unary_operator) New function.
2466         (parse_or) Rewritten.
2467         (parse_and) Rewritten.
2468         (parse_not) Rewritten.
2469         (parse_rel) Rewritten.
2470         (parse_add) Rewritten.
2471         (parse_mul) Rewritten.
2472         (parse_neg) Rewritten.
2473         (parse_exp) Rewritten.
2474         (parse_sysvar) Add $TRUE, $FALSE system variables.
2475         Get $LENGTH, $WIDTH from get_viewlength(), get_viewwidth().
2476         (parse_primary) Use allocate_var_node(), allocate_num_con(),
2477         allocate_str_con().
2478         (struct function) Remove desc, change `func' prototype.
2479         (unary_func) Remove special cases.
2480         (MISSING_func) Reduce to unary_func() that just returns a boolean.
2481         (SYSMIS_func) Handle SYSMIS((x)) like SYSMIS(x).
2482         (VALUE_func) Use allocate_var_node().
2483         (nary_num_func) Allow MIN and MAX for strings.
2484         Use allocate_var_node().  Properly clean up.
2485         Fix return type.
2486         (generic_str_func) Use local table instead of removed `desc'
2487         member.  Mostly rewrite.
2488         (get_num_args) Revise error message.
2489         (parse_function) Return EXPR_ERROR, not 0 on error.
2490         (macro op) Removed.
2491         (macro varies) Removed.
2492         (ops[]) Use expr.def.
2493         (free_node) Do nothing if node is null.
2494         (allocate_num_con) New function.
2495         (allocate_str_con) New function.
2496         (allocate_var_node) New function.
2497         (allocate_binary_nonterminal) New function.
2498         (append_nonterminal_arg) Removed.
2499         (static var func_tab[]) Revised.
2500         (expr_debug_print_postfix) Make parameter const.
2501         Use printf() instead of debug_printf().
2502
2503         * expr.def: New file.
2504         
2505         * expr.h: Change PXP_* to EXPR_*, all references updated.  Also
2506         use named enum instead of unnamed, all references updated.  Add
2507         EXPR_ANY, EXPR_NO_OPTIMIZE.
2508
2509         * exprP.h: Remove EX_*.  Add DEFINE_OPERATOR.  Use expr.def
2510         instead of defining OP_* directly.
2511         (macro IS_TERMINAL) New macro.
2512         (macro IS_NONTERMINAL) New macro.
2513         (enum OP_NO_FLAGS) New.
2514         
2515 Fri Mar 26 00:18:01 2004  Ben Pfaff  <blp@gnu.org>
2516
2517         * error.c: (err_assert_fail) msg variable needs to be non-const.
2518
2519 Fri Mar 26 00:17:24 2004  Ben Pfaff  <blp@gnu.org>
2520
2521         * debug.c: (cmd_debug_evaluate) Rewrite.
2522
2523 Fri Mar 26 00:15:13 2004  Ben Pfaff  <blp@gnu.org>
2524
2525         Fix some CROSSTABS bit rot stupidity.
2526
2527         * crosstabs.q: Reorder the CELLS subcommands for compatibility.
2528         (internal_cmd_crosstabs) Initializes cells[] correctly.
2529         (float_M_suffix) Rename format_cell_entry(), change prototype,
2530         rewrite.
2531         (display_crosstabulation) Fix cell formatting.
2532
2533 Fri Mar 26 00:14:09 2004  Ben Pfaff  <blp@gnu.org>
2534
2535         Make lex_rest_of_line(), lex_entire_end() not discard lines.  Have
2536         to call lex_discard_line() to do that.
2537
2538         * command.c: (run_command) Call lex_discard_line() after
2539         lex_rest_of_line().
2540
2541         * lexer.c: (lex_entire_end) Change behavior.
2542         (lex_rest_of_line) Change behavior.  Return const char *.
2543         (lex_discard_line) Don't clear getl_buf, don't emit message.
2544
2545         * main.c: (handle_error) Emit message here.
2546
2547         * repeat.c: (internal_cmd_do_repeat) Use lex_discard_line()
2548         instead of lex_entire_line().
2549
2550         * str.c: (mm_find_reverse) Make length params size_t.  Rewrite.
2551
2552         * title.c: (get_title) Call lex_discard_line() after
2553         lex_rest_of_line().
2554         (cmd_file_label) Ditto.
2555         (cmd_document) Deal with const char * return value.
2556
2557 Fri Mar 26 00:10:16 2004  Ben Pfaff  <blp@gnu.org>
2558
2559         Removed REMARK command.
2560
2561         * command.c: (extract_prefix) Removed.
2562         (output_line) Removed.
2563         (cmd_remark) Removed.
2564
2565         * command.def: Remove REMARK.
2566
2567 Fri Mar 26 00:08:38 2004  Ben Pfaff  <blp@gnu.org>
2568
2569         Added abort() after lots of assert(0) invocations to avoid some
2570         compiler warnings.  We really need a NOT_REACHED macro.
2571
2572 Tue Mar 23 08:00:42 WAST 2004 John Darrington <john@darrington.wattle.id.au>
2573
2574         * sort.c: Added missing call to temp_file_close.  Changed error 
2575         messages to warnings.
2576
2577         * set.q: Improved setting of set_view{length,width} to be more tolerant
2578         of buggy OSes.
2579
2580 Sun Mar 21 10:11:14 WST 2004 John Darrington <john@darrington.wattle.id.au>
2581
2582         * val-labs.c: Fixed a bug where PSPP would crash, if VALUE LABELS was
2583         used with incorrect syntax.
2584
2585         * error.c, error.h et al:  Overridden definition of assert for a
2586         custom one.
2587
2588         * test-q.c: Fixed a buglet where it would crash if no /VARIABLES
2589         subcommand was given when it ought to have been.
2590
2591 Sat Mar 20 22:19:08 2004  Ben Pfaff  <blp@gnu.org>
2592
2593         * tab.c: (tab_vline) Fix assertions to respect row_ofs and
2594         col_ofs.
2595         (tab_hline) Ditto.
2596         (tab_box) Ditto.
2597         (tab_joint_text) Ditto.
2598
2599 Sat Mar 20 17:57:23 2004  Ben Pfaff  <blp@gnu.org>
2600
2601         * levene.c: Add #include.
2602
2603         * set.q: (set_viewport) Add `int' argument to make its prototype
2604         correct for signal().
2605
2606 Sat Mar 20 15:35:17 2004  Ben Pfaff  <blp@gnu.org>
2607
2608         * expr-evl.c: (expr_evaluate) Assert that `c' is nonzero before
2609         using it.
2610
2611 Sat Mar 20 15:18:16 2004  Ben Pfaff  <blp@gnu.org>
2612
2613         Changed DFM from open-at-first-access to explicit-open.  Before,
2614         calling dfm_get_record() or dfm_put_record() would automatically
2615         open the file.  Now, you have to call dfm_open_for_reading() or
2616         dfm_open_for_writing() explicitly.  This makes it possible to
2617         check permissions, file existence, etc. earlier.
2618
2619         Also made struct file_handle more opaque, and clean up in general.
2620
2621         * data-list.c: (cmd_data_list) Open handle for reading.
2622
2623         * dfm.c: (struct dfm_fhuser_ext) Add `where', `saw_begin_data'
2624         members.
2625         (open_file_r) Renamed dfm_open_for_reading(), rewrote.
2626         (open_file_w) Renamed dfm_open_for_writing(), rewrote.
2627         (open_inline_file) Removed.
2628         (read_record) For inline_file, if we haven't seen BEGIN DATA, read
2629         it.  Deal with line_number in extension record instead of file
2630         handle.
2631         (dfm_get_record) Rewrote.
2632         (dfm_put_record) Rewrote.
2633         (dfm_push) Assert file is open and one of ours.  Deal with
2634         line_number in extension record instead of file handle.
2635         (dfm_pop) Assert file is open and one of ours.  Deal with
2636         line_number in extension record instead of file handle.
2637         (cmd_begin_data) Use dfm_open_for_reading().  Mark that we saw
2638         BEGIN DATA.     
2639
2640         * file-handle.h: (enum constants RH_RF_*) Removed.
2641         (enum constants FH_MD_*) Removed.
2642         (struct file_handle) Removed `name', `norm_fn', `fn', `where',
2643         `recform', `lrecl', `mode' members.  Public references to
2644         `recform' changed to use handle_get_mode(), references to `lrecl'
2645         changed to use handle_get_record_width().  Added `private' member.
2646         (enum file_handle_mode) New.
2647
2648         * file-handle.q: (struct private_file_handle) New structure.
2649         (struct file_handle_list) New structure.
2650         (static var files) New.
2651         (static var file_handles) Removed.
2652         (init_file_handle) Removed.
2653         (create_file_handle) Removed.
2654         (get_handle_with_name) New function.
2655         (get_handle_for_filename) New function.
2656         (cmd_file_handle) Rewritten.
2657         (hash_file_handle) Removed.
2658         (cmp_file_handle) Removed.
2659         (fh_init_files) Rewritten.
2660         (fh_parse_file_handle) Rewritten.  Allows identifiers as
2661         filenames.
2662         (fh_get_handle_by_name) Renamed handle_get_name(), all references
2663         updated.  Rewritten.
2664         (fh_get_handle_by_filename) Renamed handle_get_filename(), all
2665         references updated.  Rewritten.
2666         (fh_record_width) Renamed handle_get_record_width(), all
2667         references updated.  Rewritten.
2668         (handle_get_mode) New function.
2669
2670         * file-type.c: (cmd_file_type) Open handle for reading.
2671
2672         * filename.c: [unix] (struct file_identity) New structure.
2673         [unix] (fn_get_identity) New function.
2674         [unix] (fn_free_identity) New function.
2675         [unix] (fn_compare_file_identities) New function.
2676         [!unix] (struct file_identity) New structure.
2677         [!unix] (fn_get_identity) New function.
2678         [!unix] (fn_free_identity) New function.
2679         [!unix] (fn_compare_file_identities) New function.
2680
2681         * lexer.c: (static var put) Renamed put_token, all references
2682         updated.
2683         (static var put_tokstr) New.
2684         (static var put_tokval) New.
2685         (lex_init) Initialize put_tokstr().
2686         (restore_token) New function.
2687         (save_token) New function.
2688         (lex_get) Use restore_token().
2689         (lex_put_back) Use save_token().
2690         (lex_put_back_id) New function.
2691         (lex_put_forward) Removed.
2692         (lex_preprocess_line) Set put_token instead of using
2693         lex_put_forward().
2694         (lex_negative_to_dash) Use save_token(), set put_token directly.
2695         (dump_token) Use stderr instead of stdout.
2696
2697         * main.c: (main) Remove call to cmd_init().
2698         
2699         * matrix-data.c: (cmd_matrix_data) Open file for reading.
2700
2701         * pfm-read.c: Use handle_get_filename() instead of trying to use
2702         h->fn directly, all over.
2703
2704         * pfm-write.c: Ditto.
2705
2706         * print.c: (internal_cmd_print) Open handle for writing.
2707         (dump_table) Use handle_get_filename().
2708         (print_trns_proc) Use handle_get_mode().
2709         (cmd_print_space) Use fh_parse_file_handle().
2710         Open handle for writing.
2711         [0] (debug_print) Removed.
2712
2713         * sfm-read.c: Use handle_get_filename() instead of trying to use
2714         h->fn directly, all over.
2715
2716         * sfm-write.c: Ditto.
2717
2718 Sat Mar 20 14:35:48 2004  Ben Pfaff  <blp@gnu.org>
2719
2720         Fix memory leaks.
2721         
2722         * autorecode.c: (arc_free) Free arc->src_values.
2723
2724         * error.c: (msg) Free buf.
2725
2726         * val-labs.c: (do_value_labels) Always free vars.
2727
2728         * vfm.c: (close_active_file) If sink has no make_source then call
2729         its destroy function.
2730
2731 Sat Mar 20 14:00:24 2004  Ben Pfaff  <blp@gnu.org>
2732
2733         Fixed cmd_parse() so that it always skips past a full command
2734         name.  A few special commands for which this would be bad get
2735         special treatment.  This lets us drop code for skipping past the
2736         end of a command name in most cmd_*() functions.  It's not worth
2737         listing all the commands affected.
2738
2739         * command.c: (struct command) Remove `cmd' member, replace by
2740         `name' member, all references updated.  Remove `word', `next',
2741         `skip_entire_name' members.
2742         (macro DEFCMD) Deal with revised `struct command'.
2743         (macro UNIMPL) Ditto.
2744         (macro SPCCMD) New macro for commands whose last word shouldn't be
2745         skipped.
2746         (static array cmd_table[]) Make const, rename `commands', remove
2747         sentinel element.
2748         (macro COMMAND_CNT) New macro.
2749         (split_words) Removed.
2750         (cmd_init) Removed.
2751         (FILE_TYPE_okay) Make parameter const.
2752         (cmd_parse) Improve error messages.
2753         (match_strings) New function.
2754         (next_word) New function.
2755         (enum command_match) New enum.
2756         (conflicting_3char_prefixes) New function.
2757         (conflicting_3char_prefix_command) New function.
2758         (cmd_match_words) New function.
2759         (count_matching_commands) New function.
2760         (get_command_name) New function.
2761         (free_words) New function.
2762         (unknown_command_error) New function.
2763         (figure_out_command) Renamed parse_command_name(), rewritten.
2764
2765         * command.def: Removed @ command.  Marked BEGIN DATA, DOCUMENT,
2766         FILE LABEL, REMARK, SUBTITLE, TITLE as special.  Renamed EVALUATE
2767         to DEBUG EVALUATE.  Added N alias for N OF CASES, SORT alias for
2768         SORT CASES.
2769
2770         * command.h: (macro SPCCMD) New.
2771
2772         * include.c: (cmd_include_at) Removed.
2773         (cmd_include) Allow identifier to be used as filename.
2774
2775         * inpt-pgm.c: (cmd_reread) Use fh_parse_file_handle().
2776
2777         * t-test.q: (cmd_t_test) Command name is now parsed for us.
2778         
2779
2780 Sat Mar 20 13:56:00 2004  Ben Pfaff  <blp@gnu.org>
2781
2782         Start work on better test framework.
2783         
2784         * Makefile.am: (pspp_sources) Add debug.c.
2785         
2786         * debug.c: New file.
2787
2788         * compute.c: (cmd_evaluate) Moved to debug.c, renamed
2789         cmd_debug_evaluate().
2790
2791         * expr-prs.c: (expr_parse) Remove PXP_DUMP support.
2792
2793         * expr.h: (enum constant PXP_DUMP) Removed.
2794
2795 Sat Mar 20 00:05:42 WST 2004 John Darrington <john@darrington.wattle.id.au>
2796
2797         * set.q:  Implemented the SHOW command, and synced it to the existing 
2798         SET cmd.
2799
2800         Added a handler for SIGWINCH so that viewlength and viewwidth follow
2801         changes as the window size is changed.
2802
2803         Added fallback to set viewlength and viewwidth from LINES and COLUMS
2804         environment variables if other methods are not available.
2805
2806         glob.c: Removed a lot of global variables from glob.c and encapsulated 
2807         them in set.q
2808
2809         random.c: Tidied up the way the random seed is set.
2810
2811         str.c: Added a ds_vprintf function.
2812
2813         error.c: Extended dump_message so that messages are always broken at
2814         '\n' characters.
2815         
2816 Thu Mar 18 11:07:14 2004  Ben Pfaff  <blp@gnu.org>
2817
2818         * pfm-write.c: (bufwrite) Write out the correct element for string
2819         variables.  From Andreas Streichardt <streichardt@globalpark.de>.
2820
2821 Mon Mar 15 20:48:03 2004  Ben Pfaff  <blp@gnu.org>
2822
2823         Get rid of static and global (!) vars in matrix-data.c.
2824
2825         * matrix-data.c: (static var nr_data) Removed.
2826         (static var nr_factor_values) Removed.
2827         (static var max_cell_index) Removed.
2828         (static var split_values) Removed.
2829         (struct nr_aux_data) New structure.
2830         (read_matrices_without_rowtype) Use a local struct nr_aux_data in
2831         place of static vars, pass to create_case_source() and procedure()
2832         as aux data.
2833         (nr_read_data_lines) Use struct nr_aux_data * parameter instead of
2834         struct matrix_data_pgm *.
2835         (nr_read_splits) Ditto.
2836         (nr_read_factors) Ditto.
2837         (nr_output_data) Ditto.
2838         (static var wr_content) Removed.
2839         (global var wr_data) Removed.
2840         (global var wr_current) Removed.
2841         (struct wr_aux_data) New structure.
2842         (read_matrices_with_rowtype) Use a local struct wr_aux_data in
2843         place of static vars, pass to create_case_source() and procedure()
2844         as aux data.
2845         (matrix_data_read_with_rowtype) Use struct wr_aux_data * parameter
2846         instead of matrix_data_pgm *.
2847         (wr_read_splits) Ditto.
2848         (wr_output_data) Ditto.
2849         (wr_read_rowtype) Ditto.
2850         (wr_read_factors) Ditto.
2851         (wr_read_indeps) Ditto.
2852         
2853 Mon Mar 15 20:07:29 2004  Ben Pfaff  <blp@gnu.org>
2854
2855         Get rid of static vars in autorecode.c.
2856
2857         * autorecode.c: (struct autorecode_trns) Rename `arc' to `specs',
2858         `n_arc' to `spec_cnt'.  All references updated.
2859         (static var v_src) Removed.
2860         (static var v_dest) Removed.
2861         (static var h_trns) Removed.
2862         (static var nv_src) Removed.
2863         (static var descend) Removed.
2864         (static var print) Removed.
2865         (enum direction) New enum.
2866         (struct autorecode_pgm) New structure.
2867         (cmd_autorecode) Use struct autorecode_pgm instead of static vars.
2868         Move n_dest local var into struct autorecode_pgm for ease of
2869         clean-up.  Use arc_free().
2870         (arc_free) New function.
2871         (recode) Modify to take struct autorecode_pgm * parameter instead
2872         of using statics.  Let the caller clean up.
2873         (autorecode_proc_func) Use struct autorecode_pgm * auxiliary data
2874         instead of statics.  Rearrange code a little.
2875
2876 Mon Mar 15 00:25:02 2004  Ben Pfaff  <blp@gnu.org>
2877
2878         Get rid of static, global vars in recode.c.  Remove debug code.
2879
2880         * recode.c: (static var head) Removed.
2881         (global var v) Removed.
2882         (global var nv) Removed.
2883         (cmd_recode) New local variables head, v, nv.  Initialize and free
2884         v.  Don't call debug_print().
2885         [DEBUGGING] (dump_dest) Removed.
2886         [DEBUGGING] (debug_print) Removed.
2887
2888 Mon Mar 15 00:14:49 2004  Ben Pfaff  <blp@gnu.org>
2889
2890         Get rid of static vars in expr-opt.c.
2891
2892         * expr-opt.c: (static var e) Removed.
2893         (static var nop) Removed.
2894         (static var mop) Removed.
2895         (static var ndbl) Removed.
2896         (static var mdbl) Removed.
2897         (static var nstr) Removed.
2898         (static var mstr) Removed.
2899         (static var nvars) Removed.
2900         (static var mvars) Removed.
2901         (struct expr_dump_state) New structure.
2902         (dump_expression) Use new struct expr_dump_state instead of static
2903         vars and pass to functions we call.
2904         (dump_node) Use struct expr_dump_state * parameter.
2905         (emit) Ditto.
2906         (emit_num_con) Ditto.
2907         (emit_str_con) Ditto.
2908         (emit_var) Ditto.
2909         
2910 Mon Mar 15 00:03:51 2004  Ben Pfaff  <blp@gnu.org>
2911
2912         Get rid of static var in COUNT.
2913
2914         * count.c: (static var head) Move into cmd_count().
2915         (cmd_count) [DEBUGGING] Don't call debug_print.
2916         [DEBUGGING] (debug_print) Removed.
2917
2918 Sun Mar 14 23:56:09 2004  Ben Pfaff  <blp@gnu.org>
2919
2920         Get rid of static vars in VALUE LABELS, ADD VALUE LABELS.
2921
2922         * val-labs.c: (static var v) Removed.
2923         (static var nv) Removed.
2924         [DEBUGGING] (debug_print) Removed.
2925         (verify_val_labs) Add struct variable **, int parameters.
2926         (get_label) Ditto.  Improve error messages, streamline.
2927         (erase_labels) New function for erasing value labels, taking over
2928         part of verify_val_labs()'s function.
2929         (init) Removed.
2930         (done) Removed.
2931         (cmd_value_labels) No need to call init() or done() anymore.
2932         (cmd_add_value_labels) Ditto.
2933         (do_value_labels) Add vars, var_cnt local variables.  Clean up
2934         after them internally.  Call erase_labels() if we should.  Don't
2935         call debug_print().
2936
2937 Sun Mar 14 23:33:53 2004  Ben Pfaff  <blp@gnu.org>
2938
2939         Get rid of static vars in MATCH FILES.
2940         
2941         * get.c: (static var mtf_head) Removed.
2942         (static var mtf_tail) Removed.
2943         (static var mtf_by) Removed.
2944         (static var mtf_n_by) Removed.
2945         (static var mtf_master) Removed.
2946         (static var mtf_seq_num) Removed.
2947         (static var mtf_seq_nums) Removed.
2948         (static var mtf_sink) Removed.
2949         (static var mtf_case) Removed.
2950         (struct mtf_proc) New structure.
2951         (cmd_match_files) Use struct mtf_proc instead of static vars.
2952         (mtf_processing_finish) Ditto.
2953         (mtf_free) Ditto.
2954         (mtf_delete_file_in_place) Ditto.
2955         (mtf_read_nonactive_records) Ditto.
2956         (mtf_compare_BY_values) Ditto.
2957         (mtf_processing) Ditto.
2958         (mtf_merge_dictionary) Ditto.
2959
2960 Sun Mar 14 22:48:12 2004  Ben Pfaff  <blp@gnu.org>
2961
2962         * command.def: Add CASESTOVARS, VARSTOCASES unimplemented commands.
2963
2964         * dictionary.c: (dict_rename_var) Add assertion.
2965         (dict_contains_var) Check by index instead of name.
2966
2967 Sun Mar 14 22:01:02 2004  Ben Pfaff  <blp@gnu.org>
2968
2969         Get rid of compaction_necessary, compaction_nval, compaction_case.
2970         Redo VFM interface.  Replace disk_sink and memory_sink by
2971         storage_sink, disk_source and memory_source by storage_source.
2972
2973         * vfm.h: (struct case_sink) Add `dict', `idx_to_fv', `value_cnt'
2974         members.
2975
2976         * vfm.c: 
2977         (struct write_case_data) Remove `begin_func', `end_func',
2978         `func_aux' members.  Add `aux', `trns_case', `sink_case',
2979         `cases_written', `cases_analyzed' members.
2980         (global var compaction_necessary) Make static.
2981         (global var compaction_nval) Removed.
2982         (global var compaction_case) Removed.
2983         (static var case_count) Removed.
2984         (struct procedure_aux_data) Removed.
2985         (struct split_aux_data) Removed.
2986         (procedure) Remove begin_func, end_func parameters.  Rewrite.
2987         (static var not_canceled) Removed.
2988         (process_active_file) Removed.
2989         (process_active_file_write_case) Removed.
2990         (process_active_file_output_case) Removed.
2991         (prepare_for_writing) Moved into open_active_file().
2992         (arrange_compaction) Ditto.
2993         (setup_lag) Ditto.
2994         (open_active_file) Rewrote.
2995         (write_case) New function.
2996         [DEBUGGING] (index_to_varname) Removed.
2997         (execute_transformations) New function.
2998         (exclude_this_case) Renamed filter_case(), changed interface.
2999         (clear_case) Added struct ccase * parameter to interface.
3000         (close_active_file) Added struct write_case_data * parameter,
3001         rewrote.
3002         (disk_sink_create) Removed.
3003         (disk_sink_destroy) Removed.
3004         (disk_sink_make_source) Removed.
3005         (disk_sink_write) Removed.
3006         (disk_source_count) Removed.
3007         (disk_source_destroy) Removed.
3008         (disk_source_read) Removed.
3009         (global var disk_sink_class) Removed.
3010         (global var disk_source_class) Removed.
3011         (global var memory_sink_class) Removed.
3012         (global var memory_source_class) Removed.
3013         (memory_sink_create) Removed.
3014         (memory_sink_destroy) Removed.
3015         (memory_sink_make_source) Removed.
3016         (memory_sink_write) Removed.
3017         (memory_source_count) Removed.
3018         (memory_source_destroy) Removed.
3019         (memory_source_get_cases) Removed.
3020         (memory_source_read) Removed.
3021         (memory_source_set_cases) Removed.
3022         (struct disk_stream_info) Removed.
3023         (struct memory_sink_info) Removed.
3024         (struct memory_source_info) Removed.
3025         (write_active_file_to_disk) Removed.
3026         (destroy_storage_stream_info) New function.
3027         (global var null_sink_class) New var.
3028         (global var storage_sink_class) New var.
3029         (global var storage_source_class) New var.
3030         (open_storage_file) New function.
3031         (storage_sink_destroy) New function.
3032         (storage_sink_make_source) New function.
3033         (storage_sink_open) New function.
3034         (storage_sink_write) New function.
3035         (storage_source_count) New function.
3036         (storage_source_destroy) New function.
3037         (storage_source_get_cases) New function.
3038         (storage_source_on_disk) New function.
3039         (storage_source_read) New function.
3040         (storage_source_set_cases) New function.
3041         (storage_source_to_disk) New function.
3042         (storage_to_disk) New function.
3043         (struct storage_stream_info) New structure.
3044         (write_storage_file) New function.
3045         (procedure_write_case) Removed.
3046         (create_case_source) Add `struct dictionary *' parameter, all
3047         references updated.
3048         (create_case_sink) Ditto.
3049         (free_case_sink) New function.
3050         (struct split_aux_data) New structure.
3051         (procedure_with_splits) New function implementing what procedure()
3052         used to.
3053         (SPLIT_FILE_proc_func) Removed.
3054         (procedure_with_splits_callback) New function.
3055         (equal_splits) New function.
3056         
3057         * aggregate.c: Pass around a struct instead of using statics.
3058         (static var outfile) Remove.
3059         (enum type) Give it tag `missing_treatment'.
3060         (static var missing) Remove.
3061         (static var sort) Remove.
3062         (static var agr_first) Remove.
3063         (static var agr_next) Remove.
3064         (static var case_count) Remove.
3065         (static var prev_case) Remove.
3066         (static var buf64_1xx) Remove.
3067         (static var buf_1xx) Remove.
3068         (struct agr_proc) New structure incorporating the above.
3069         (cmd_aggregate) Use new struct.  Clean up error handling using
3070         agr_destroy().  Completely rewrite actual implementation of
3071         aggregation.
3072         (create_sysfile) Add struct agr_proc * parameter, modify
3073         accordingly.
3074         (parse_aggregate_functions) Ditto.
3075         (free_aggregate_functions) Ditto.  Rename agr_destroy().
3076         (aggregate_single_case) Add struct agr_proc * parameter, modify
3077         accordingly.
3078         (accumulate_aggregate_info) Ditto.
3079         (dump_aggregate_info) Ditto.
3080         (initialize_aggregate_info) Ditto.
3081         (agr_00x_trns_proc) Removed.
3082         (agr_00x_end_func) Removed.
3083         (agr_10x_trns_proc) Removed.
3084         (agr_10x_trns_free) Removed.
3085         (agr_10x_end_func) Removed.
3086         (agr_11x_read) Removed.
3087         (agr_11x_finish) Removed.
3088         [DEBUGGING] (debug_print) Removed.
3089         (write_case_to_sfm) Add struct agr_proc * parameter, modify
3090         accordingly.
3091         (agr_to_active_file) New function.
3092         (presorted_agr_to_sysfile) New function.
3093         (sort_agr_to_sysfile) New function.
3094
3095         * autorecode.c: (cmd_autorecode) Use procedure_with_splits().
3096
3097         * crosstabs.q: (internal_cmd_crosstabs) Ditto.
3098
3099         * descript.q: (cmd_descriptives) Ditto.
3100
3101         * dfm.c: (cmd_begin_data) Check for storage_source_class.  Adapt
3102         to new procedure() interface.
3103
3104         * command.c: (cmd_execute) Adapt to new procedure() interface.
3105
3106         * dictionary.c: (dict_compact_values) Also delete scratch
3107         variables.
3108         (dict_get_compacted_value_cnt) New function.
3109         (dict_get_compacted_idx_to_fv) New function.
3110
3111         * flip.c: (cmd_flip) Warn about and cancel TEMPORARY.
3112         (cmd_flip) Adapt to new procedure() interface.
3113         (flip_sink_write) Use sink->idx_to_fv.
3114
3115         * frequencies.q: (internal_cmd_frequencies) Use
3116         procedure_with_splits().
3117
3118         * get.c: (cmd_save_internal) Adapt to new procedure() interface.
3119         (static var mtf_sink) New static var.
3120         (static var mtf_case) New static var.
3121         (cmd_match_files) Warn about and cancel TEMPORARY.  Redo the way
3122         we actually implement the matching.
3123         (mtf_delete_file_in_place) Use mtf_case.
3124         (mtf_processing) Use mtf_case and mtf_sink.
3125         (cmd_export) Adapt to new procedure() interface.
3126
3127         * levene.c: (levene) Use procedure_with_splits().
3128
3129         * list.q: (cmd_list) Use procedure_with_splits().
3130
3131         * matrix-data.c: (read_matrices_without_rowtype) Adapt to new
3132         procedure() interface.
3133         (read_matrices_with_rowtype) Ditto.
3134
3135         * modify-vars.c; (cmd_modify_vars) Warn about and cancel
3136         TEMPORARY.  Adapt to new procedure() interface.
3137
3138         * rename-vars.c: Warn about and cancel TEMPORARY.
3139
3140         * sort.c: (cmd_sort_cases) Warn about TEMPORARY.
3141         (sort_cases) Use dict_get_compacted_value_cnt() instead of
3142         compaction_nval.  Adapt to new procedure() interface.  Use
3143         storage_source_to_disk().
3144         (do_internal_sort) Don't try to dump the cases to memory.
3145         (compare_case_lists) Pass null idx_to_fv.
3146         (struct initial_run_state) Add `idx_to_fv' member.  Remove
3147         `case_size' member.
3148         (write_initial_runs) Don't initialize irs->case_size.  Adapt to
3149         new procedure() interface.  Reset irs->idx_to_fv after calling
3150         procedure().
3151         (sort_sink_write) Set irs->idx_to_fv.  Use case_size from struct
3152         sort_cases_pgm.  Pass irs, not struct sort_cases_pgm to
3153         push_heap().
3154         (destroy_initial_run_state) Don't dereference irs after freeing
3155         it.
3156         (allocate_cases) Don't calculate case_size locally.
3157         (compare_record) Add idx_to_fv parameter.
3158         (compare_record_run) Change parameter from struct sort_cases_pgm *
3159         to struct initial_run_state *.  Pass irs->idx_to_fv to
3160         compare_record().
3161         (compare_record_run) Third parameter now a struct
3162         initial_run_state *.
3163         (output_record) No need for out_case anymore.  Pass irs, not
3164         struct sort_cases_pgm to pop_heap().  Use case_size from struct
3165         sort_cases_pgm.
3166         (merge) Use case_size from struct sort_cases_pgm.
3167         (merge_once) Use case_size from struct sort_cases_pgm.
3168         Pass null pointer to compare_record() as idx_to_fv.
3169         (global var sort_sink_class) Make static.
3170
3171         * t-test.q: (cmd_t_test) Use procedure_with_splits().
3172
3173         * temporary.c: Remove debugging crap.
3174
3175 Sat Mar 13 14:19:52 WST 2004 John Darrington <john@darrington.wattle.id.au>
3176
3177         * t-test.q, levene.c: Fixed up the handling of MISSING values
3178         int the T-TEST
3179
3180 Fri Mar 12 16:23:35 WST 2004 John Darrington <john@darrington.wattle.id.au>
3181
3182         * t-test.q, levene.c: Added support for T-TEST /GROUP where only 
3183         one value is given.
3184
3185 Wed Mar 10 23:25:13 2004  Ben Pfaff  <blp@gnu.org>
3186
3187         Change explicit variable name checks into use of
3188         dict_class_from_id().
3189
3190         * dictionary.c: (dict_create_var)  Change explicit variable name
3191         check into use of dict_class_from_id().
3192
3193         * get.c: (trim_dictionary) Ditto.
3194
3195         * sel-if.c: (cmd_filter) Ditto.
3196
3197         * sysfile-info.c: (cmd_display) Ditto.
3198
3199         * vars-prs.c: (parse_DATA_LIST_vars) Ditto.
3200
3201         * vfm.c: (arrange_compaction) Ditto.
3202
3203         * weight.c: (cmd_weight) Ditto.
3204
3205 Wed Mar 10 21:16:34 2004  Ben Pfaff  <blp@gnu.org>
3206
3207         * temporary.c: (cmd_temporary) When TEMPORARY was the first
3208         transformation following the input program, if any, for some
3209         reason we special-cased f_trns.  That's just wrong.  It should
3210         always be set to n_trns.
3211
3212 Tue Mar  9 23:44:40 2004  Ben Pfaff  <blp@gnu.org>
3213
3214         * format.c: (parse_format_specifier_name) Fix brown-bag bug
3215         introduced in last check-in.
3216
3217 Tue Mar  9 23:10:41 2004  Ben Pfaff  <blp@gnu.org>
3218
3219         * format.c: (global array translate_fmt[]) Removed.
3220         (translate_fmt) New function as replacement.
3221         (parse_format_specifier_name) Rewrite.
3222
3223         * pfm-read.c: (convert_format) Use translate_fmt() instead of
3224         translate_fmt[].
3225
3226         * sfm-read.c: (parse_format_spec) Ditto.
3227
3228         * postscript.c: (text) Fix handling of fonts with missing
3229         ligatures.
3230
3231         * sort.c: (struct external_sort) Add temp_name member.
3232         (destroy_external_sort) Free temp_dir, temp_name members.
3233         (init_external_sort) Allocate temp_name.
3234         (get_temp_file_name) Change prototype.
3235         (open_temp_file) Deal with change to get_temp_file_name().
3236         (close_temp_file) Ditto.
3237         (remove_temp_file) Ditto.
3238         (write_temp_file) Ditto.
3239         (read_temp_file) Ditto.
3240         (sort_sink_destroy) Removed.
3241         (sort_sink_class) Change destroy member to null.
3242
3243 Tue Mar  9 22:36:34 2004  Ben Pfaff  <blp@gnu.org>
3244
3245         Eliminate temp_case.
3246
3247         * aggregate.c: (cmd_aggregate) No need to save/restore temp_case
3248         anymore.  Use agr_11x_finish().
3249         (aggregate_single_case) Make first param const.
3250         (accumulate_aggregate_info) Ditto.
3251         (agr_00x_end_func) Use compaction_case, not temp_case.
3252         (agr_11x_func) Break into agr_11x_read(), agr_11x_finish().
3253
3254         * data-list.c: (struct data_list_pgm) Add `case_size' member.
3255         (cmd_data_list) Initialize case_size.
3256         (read_from_data_list_fixed) Add struct ccase * param, use instead
3257         of temp_case.
3258         (read_from_data_list_free) Ditto.
3259         (read_from_data_list_list) Ditto.
3260         (read_one_case) Rename data_list_trns_proc(), all references
3261         updated.  Add argument in calling above functions.  Use c
3262         argument instead of temp_case.
3263         (destroy_dls) Rename data_list_trns_free(), all references
3264         updated.
3265
3266         * expr-evl.c: (expr_evaluate) Make second parameter const.
3267
3268         * file-type.c: (struct file_type_pgm) Add `case_size' member.
3269         (cmd_end_file_type) Initialize `case_size'.
3270         (file_type_source_read) Add struct ccase * parameter.  Use instead
3271         of temp_case.
3272
3273         * flip.c: Rewritten.
3274
3275         * get.c: (struct get_pgm) New structure to keep track of
3276         case_size.
3277         (cmd_get) Initialize case_size.
3278         (cmd_import) Ditto.
3279         (get_source) Deal with struct get_pgm.
3280         (get_source_read) Add struct ccase * parameter, use instead of
3281         temp_case.
3282         (import_source_read) Ditto.
3283
3284         * get.c: Use a null pointer instead of temp_case to represent the
3285         "current case" in a struct mtf_file's input member.
3286         (mtf_processing_finish) Pass null to mtf_processing(), not
3287         temp_case.
3288         (mtf_read_nonactive_records) Don't set iter->input to temp_case.
3289         (mtf_compare_BY_values) Add extra arg, use instead of null input
3290         members.
3291         (mtf_processing) Use c parameter instead of temp_case.  Pass
3292         compaction_case to process_active_file_output_case().
3293         
3294         * glob.c: (global variable temp_case) Removed.
3295
3296         * inpt-pgm.c: (struct input_program_pgm) Add `case_size' member.
3297         (cmd_input_program) Initialize case_size.  Set
3298         vfm_source->value_cnt.
3299         (init_case) Add struct ccase * parameter, use instead of
3300         temp_case.
3301         (clear_case) Ditto.
3302         (input_program_source_read) Ditto.
3303
3304         * matrix-data.c: (matrix_data_read_without_rowtype) Ditto.
3305         (dump_cell_content) Ditto.
3306         (nr_output_data) Ditto.
3307         (read_matrices_without_rowtype) Ditto.
3308         (matrix_data_read_with_rowtype) Ditto.
3309         (wr_read_splits) Ditto.
3310         (wr_output_data) Ditto.
3311
3312         * sort.h: (struct sort_cases_pgm) New member `case_size'.
3313         
3314         * sort.c: (sort_cases) Initialize scp->case_size.
3315         (struct external_sort) Remove `case_size' member.
3316         (write_initial_runs) Only call vfm_sink->class_destroy if
3317         non-null.
3318         (struct sort_source_aux) New structure.
3319         (sort_source_read_helper) New function.
3320         (sort_source_read) Use sort_source_read_helper().
3321         (read_sort_output) Change interface to be more reasonable.
3322         (read_internal_sort_output) Ditto.
3323         (read_external_sort_output) Ditto.
3324
3325         * vars-prs.c: (dict_class_to_name) Pass return value through
3326         gettext.
3327
3328         * vfm.c: (struct procedure_aux_data) Add `trns_case' member.
3329         (procedure) Initialize trns_case.
3330         (procedure) Pass trns_case to vfm_source->class->read().
3331         Free trns_case.
3332         (process_active_file) Start using struct procedure_aux_data.
3333         (process_active_file_write_case) Pass trns_case to
3334         transformations, lag_case(), clear_case().
3335         (process_active_file_output_case) Add struct ccase * parameter.
3336         (create_trns_case) New function.
3337         (make_temp_case) Removed.
3338         (vector_initialization) Removed.
3339         (close_active_file) Only call make_source if non-null, otherwise
3340         set vfm_source to null pointer.  Don't free temp_case.
3341         (disk_source_read) Add struct ccase * parameter, use instead of
3342         temp_case.
3343         (memory_source_read) Ditto.
3344         (lag_case) Add const struct ccase * member.
3345         (procedure_write_case) Use trns_case instead of temp_case.
3346         (clear_case) Add struct ccase * member, use instead of temp_case.
3347         (exclude_this_case) Ditto.
3348         (create_case_source) Add struct dictionary * parameter, use to
3349         initialize source->value_cnt.
3350
3351         * vfm.h: (struct case_source) Add `value_cnt' member.
3352         (struct case_source_class) Add struct ccase * parameter to `read'
3353         member function pointer.
3354         (struct case_sink_class) Make struct ccase * parameter const in
3355         `write' member function pointer.
3356         
3357 Wed Mar  3 20:44:37 2004  Ben Pfaff  <blp@gnu.org>
3358
3359         Fix a lot of "possibly uninitialized variable" warnings.  Some of
3360         them are even real bugs.  A few of them make me wonder how the
3361         code ever worked.
3362
3363         * aggregate.c: (parse_aggregate_functions) Initialize `function.
3364
3365         * ascii.c: (output_lines) Add default case to switch.
3366
3367         * crosstabs.q: Remove static variable `expected' and all
3368         references to it.
3369         (display_crosstabulation) Always calculate expected value.
3370         (calc_chisq) Ditto.
3371         (output_pivot_table) Initialize `cmp'.
3372         (display_crosstabulation) New variable `last_row', which is
3373         initialized.
3374
3375         * data-in.c: (parse_numeric) Always initialize sign.  How did this
3376         work at all?!
3377
3378         * data-list.c: (repeating_data_trns_proc) Always initialize code.
3379         Always set info.ofs.  (How did this work?!)
3380
3381         * expr-opt.c: (optimize_tree) Always initialize `m'.
3382         (evaluate_tree) Always initialize `c'.  (How did this work?)
3383
3384         * frequencies.q: (frq_custom_variables) Always initialize min,
3385         max.
3386         (frq_custom_grouped) Always initialize `dl'.
3387
3388         * groff-font.c: (groff_read_font) Always initialize char_set.
3389
3390         * matrix-data.c: (nr_output_data) Initialize `split'.
3391         (wr_read_splits) Remove shadowing split_cnt declaration.
3392         (wr_output_data) Initialize `split'.
3393
3394         * output.c: (tokener) Skip add character on syntax error.
3395
3396         * pool.c: (pool_strndup) Always set `copy'.  (How did this work?!)
3397
3398         * postscript.c: (read_ps_encodings) Use line.string instead of
3399         uninitialized `bp'.
3400         (write_text) Add default case to switch.
3401         (text) Always initialize multiple variables.  Fix bug with
3402         ligatures.
3403
3404         * print.c: (fixed_parse_fortran) Initialize head.
3405         (alloc_line) Add default case to switch.
3406
3407         * recode.c: (parse_dest_spec) Handle case where nothing matches.
3408         (recode_trns_proc) Move variable declaration inward.  Add default
3409         case to switch.
3410
3411         * sfm-read.c: (read_header) Initialize skip_amt.
3412
3413         * sysfile-info.c: (display_variables) Always initialize pc.
3414
3415         * vars-prs.c: Initialized `included'.
3416
3417 Wed Mar  3 09:30:09 2004  Ben Pfaff  <blp@gnu.org>
3418
3419         * main.c: (main) sigaction()'s sa_flags member was uninitialized.
3420         Just use signal() instead.
3421
3422 Wed Mar  3 09:26:30 2004  Ben Pfaff  <blp@gnu.org>
3423
3424         Get rid of vfm_sink_info and vfm_source_info.
3425         
3426         * aggregate.c: (agr_00x_end_func) Don't increment
3427         sfm_sink_info.ncases.
3428
3429         * sort.c: (do_internal_sort) Get case count from
3430         vfm_source->class->count().
3431         (struct external_sort) Add `case_size' member.
3432         (do_external_sort) Initialize case_size.
3433         (struct initial_run_state) Add `case_size' member.
3434         (write_initial_runs) Initialize case_size.
3435         (sort_sink_write) Use case_size.
3436         (read_external_sort_output) Use case_size.  Get case_cnt from
3437         initial_runs.
3438
3439         * vfm.c: (struct write_case_data) Add underscores to existing arg
3440         names, all references updated.  Renamed `aux' as `func_aux', all
3441         references updated.  Added new `aux' member.
3442         (global var vfm_source_info) Removed.
3443         (global var vfm_sink_info) Removed.
3444         (struct procedure_aux_data) New.
3445         (struct split_aux_data) New.
3446         (procedure) Use `aux' fields for procedure_aux_data,
3447         split_aux_data.
3448         (process_active_file_write_case) Pass case_count + 1 to
3449         transformation procedures, exclude_this_case().
3450         (process_active_file_output_case) Don't increment
3451         vfm_sink_info.ncases.
3452         (prepare_for_writing) Don't initialize vfm_sink_info.  Don't try
3453         to send data to disk early.
3454         (make_temp_case) Don't use vfm_sink_info.case_size.
3455         (close_active_file) Don't initialize vfm_source_info.
3456         (struct disk_stream_info) New, to allow for case_cnt and case_size fields.
3457         (disk_sink_create) Initialize and/or update disk_stream_info.
3458         (disk_sink_write) Ditto.
3459         (disk_sink_destroy) Ditto.
3460         (disk_sink_make_source) Ditto.
3461         (disk_source_read) Ditto.
3462         (disk_source_destroy) Ditto.
3463         (global var disk_source_class) Add disk_source_count().
3464         (disk_source_count) New function.
3465         (struct memory_sink_info) Add `case_cnt', `case_size' members.
3466         (struct memory_source_info) Ditto.
3467         (memory_sink_create) Deal with case_cnt, case_size.
3468         (memory_sink_write) Ditto.
3469         (memory_sink_make_source) Ditto.
3470         (memory_source_read) Ditto.
3471         (memory_source_count) New function.
3472         (memory_source_class) Add memory_source_count().
3473         (procedure_write_case) Don't use vfm_sink_info.ncases.  Do use
3474         proc_aux->cases_written, and pass it to transformation procedures
3475         and exclude_this_case ().
3476         (exclude_this_case) Add case_num parameter.  Pass it to
3477         expr_evaluate().
3478         (SPLIT_FILE_procfunc) Use split_aux->prev_case instead of static
3479         variable.
3480
3481         * vfm.h: (struct case_source_class) Add `count' member.
3482
3483         * vfmP.h: (struct stream_info) Removed.
3484         (global variable vfm_source_info) Removed.
3485         (global variable vfm_sink_info) Removed.
3486         
3487 Tue Mar  2 23:38:17 2004  Ben Pfaff  <blp@gnu.org>
3488
3489         * var.h: (typedef trns_proc_func) New typedef.
3490         (trns_free_func) New typedef.
3491         (struct trns_header) Change `proc' to type trns_proc_func, `free'
3492         to type trns_free_func.  This only changes the actual type of
3493         trns_proc_func, adding a `case_num' parameter.  Updated all
3494         implementations to use the typedefs instead.
3495
3496         * compute.c: (compute_num) Pass case_num to expr_evaluate().
3497         (compute_num_vec) Ditto.
3498         (compute_str) Ditto.
3499         (compute_str_vec) Ditto.
3500
3501         * do-if.c: (do_if_trns_proc) Ditto.
3502
3503         * expr-evl.c: (expr_evaluate) Add new case_num parameter, use for
3504         OP_CASENUM.
3505
3506         * inpt-pgm.c: (input_program_source_read) Maintain case count,
3507         pass to transformation functions.
3508         (reread_trns_proc) Pass case_num arg to expr_evaluate().
3509
3510         * loop.c: (loop_1_trns_proc) Ditto.
3511         (loop_2_trns_proc) Ditto.
3512         (loop_3_trns_proc) Ditto.
3513
3514         * print.c: (print_space_trns_proc) Ditto.
3515
3516         * sel-if.c: (select_if_proc) Ditto.
3517
3518 Tue Mar  2 11:36:52 2004  Ben Pfaff  <blp@gnu.org>
3519
3520         * frequencies.q: (cleanup_freq_tab) Avoid memory leak by
3521         destroying hash table.
3522
3523         * glob.c: (read_active_file) Variable not referenced, removed.
3524         (cancel_input_pgm) Ditto.
3525
3526         * levene.c: Add #include <stdlib.h> needed to call free().
3527
3528         * aggregate.c: (parse_aggregate_functions) Make `function'
3529         variable const.
3530
3531 Tue Mar  2 11:30:56 2004  Ben Pfaff  <blp@gnu.org>
3532
3533         Start working to eliminate VFM dependence on static variables.
3534
3535         * command.c: (cmd_parse) Use case_source_is_class().
3536
3537         * data-list.c: Rewrite to eliminate use of static variables.
3538
3539         * dfm.c: (cmd_begin_data) Use case_source_is_class().
3540
3541         * file-handle.q: (fh_handle_name) Make parameter const.
3542
3543         * file-type.c: Rewrite to eliminate use of static variables.
3544
3545         * flip.c: Rewrite to eliminate use of static variables.
3546
3547         * format.c: (get_format_var_width) New function.
3548
3549         * get.c: Eliminate use of static variables.
3550
3551         * inpt-pgm.c: Eliminate use of static variables.
3552
3553         * matrix-data.c: Eliminate use of static variables.
3554
3555         * set.q: (set_max_workspace) New variable.
3556         (cmd_set) Use SET WORKSPACE to modify set_max_workspace.
3557
3558         * var.h: (struct case_list) Move here from vfmP.h.
3559
3560         * vars-atr.c: (discard_variables) Handle new vfm_source type.
3561
3562         * vfm.c: (vfm_source) Change type from struct case_stream to
3563         struct case_source.
3564         (vfm_sink) Change type from struct case_stream to struct
3565         case_sink.
3566         (static var paging) Rename workspace_overflow, all references
3567         updated.
3568         (procedure) Use new class structures.
3569         (process_active_file) Ditto.
3570         (process_active_file_write_case) Ditto.
3571         (prepare_for_writing) Use set_max_workspace.  Use new class
3572         structures.
3573         (close_active_file) Use new class structures.  Free old sink.
3574         (global var disk_source_file) Removed.
3575         (global var disk_sink_file) Removed.
3576         (disk_stream_init) Removed.
3577         (disk_stream_read) Removed.
3578         (disk_stream_write) Removed.
3579         (disk_stream_mode) Removed.
3580         (disk_stream_destroy_source) Removed.
3581         (disk_stream_destroy_sink) Removed.
3582         (global var vfm_disk_stream) Removed.
3583         (disk_sink_create) New function.
3584         (disk_sink_write) New function.
3585         (disk_sink_destroy) New function.
3586         (disk_sink_make_source) New function.
3587         (disk_sink_class) New static var.
3588         (disk_source_read) New function.
3589         (disk_source_destroy) New function.
3590         (global var vfm_source_class) New var.
3591         (global var memory_source_cases) Removed.
3592         (global var memory_sink_cases) Removed.
3593         (global var memory_sink_max_cases) Removed.
3594         (struct memory_sink_info) New struct.
3595         (memory_stream_init) Removed.
3596         (memory_stream_read) Removed.
3597         (memory_stream_write) Removed.
3598         (memory_stream_mode) Removed.
3599         (memory_stream_destroy_source) Removed.
3600         (memory_stream_destroy_sink) Removed.
3601         (global var vfm_memory_stream) Removed.
3602         (page_to_disk) Renamed write_active_file_to_disk().
3603         (memory_sink_create) New function.
3604         (memory_sink_write) New function.
3605         (memory_sink_destroy) New function.
3606         (memory_sink_make_source) New function.
3607         (memory_sink_class) New static var.
3608         (memory_source_read) New function.
3609         (memory_source_destroy) New function.
3610         (memory_source_get_cases) New function.
3611         (memory_source_set_cases) New function.
3612         (global var vfm_source_class) New var.
3613         (procedure_write_case) Use new class structures.
3614         (create_case_source) New function.
3615         (case_source_is_complex) New function.
3616         (case_source_is_class) New function.
3617         (create_case_sink) New function.
3618
3619         * vfm.h: (global variable reinit_sysmis) Not used, removed.
3620         (global variable reinit_blanks) Not used, removed.
3621         (global variable init_zero) Not used, removed.
3622         (global variable init_blanks) Not used, removed.
3623         (struct case_source) New struct.
3624         (struct case_source_class) New struct.
3625         (struct case_sink) New struct.
3626         (struct case_sink_class) New struct.
3627         (struct case_stream) Removed.
3628
3629         * vfmP.h: (struct case_list) Moved to var.h.
3630
3631 Tue Mar  2 11:28:30 2004  Ben Pfaff  <blp@gnu.org>
3632
3633         * algorithm.c: (count_equal) New function.
3634         (count_if) New function.
3635         (unique) Add assertions.
3636         (partition) Add assertions.
3637         (is_partitioned) New function.
3638         (copy_if) Add assertions.
3639         (remove_equal) Add assertions.
3640         (lexicographical_compare) Rename lexicographical_compare_3way.
3641         (sort) Add assertions.  Rephrase some code.
3642         (is_sorted) New function.
3643
3644 Sun Feb 29 23:24:57 2004  Ben Pfaff  <blp@gnu.org>
3645
3646         Rewrite SORT CASES.
3647
3648         * sort.c: Completely rewrite.
3649
3650         * sort.h: Expose interface via struct sort_cases_pgm, not via
3651         global variables.
3652
3653         * aggregate.c: (sort) New static var.
3654         (cmd_aggregate) Use sort.
3655         (create_sysfile) Ditto.
3656         (aggregate_single_case) Ditto.
3657         (dump_aggregate_info) Ditto.
3658         (agr_00x_end_func) Ditto.
3659         (debug_print) Ditto.
3660
3661         * var.h: (enum SRT_ASCEND) Removed.
3662         (enum SRT_DESCEND) Removed.
3663         (struct sort_cases_proc) Removed.
3664         (struct variable) Remove p.srt member.
3665
3666 Sun Feb 29 23:22:45 2004  Ben Pfaff  <blp@gnu.org>
3667
3668         Get rid of the old, crappy heap structure and replace it by a new,
3669         shiny, C++ STL-like heap structure.
3670         
3671         * Makefile.am: (pspp_SOURCES) Remove heap.c, heap.h.
3672
3673         * algorithm.c: (push_heap) New function.
3674         (heapify) Ditto.
3675         (pop_heap) Ditto.
3676         (make_heap) Ditto.
3677         (sort_heap) Ditto.
3678         (is_heap) Ditto.
3679         
3680         * heap.c: Removed.
3681
3682         * heap.h: Removed.
3683
3684 Sun Feb 29 23:21:53 2004  Ben Pfaff  <blp@gnu.org>
3685
3686         Increase warning level.
3687         
3688         * Makefile.am: (AM_CFLAGS) Remove -Wnouninitialized.
3689
3690 Sat Feb 21 17:38:58 WST 2004 John Darrington <john@darrington.wattle.id.au>
3691
3692         * main.c: Added a signal handler for SIGSEGV requesting a bug report.
3693          
3694 Fri Feb 20 23:22:14 2004  Ben Pfaff  <blp@gnu.org>
3695
3696         * dictionary.c: (dict_create_var) Fix root cause of bug worked
3697         around by previous change log entry.
3698         
3699         * compute.c: (lvalue_finalize) Remove workaround from previous
3700         change log entry.
3701
3702 Fri Feb 20 14:37:41 WAST 2004 John Darrington <john@darrington.wattle.id.au>
3703
3704         * compute.c: Fixed a bug where the Format was not getting set for 
3705           computed variables (thus causing a crash when SAVEing).
3706
3707         * Added a test to stop this bug ever coming back
3708
3709 Wed Feb 18 22:21:35 2004  Ben Pfaff  <blp@gnu.org>
3710
3711         Got rid of approx.h.  In general, replaced all references to
3712         approx_eq() by ==, approx_lt() by <, etc.  Other types of changes
3713         noted below.
3714
3715         * Makefile.am: (pspp_SOURCES) Removed approx.h.
3716
3717         * data-out.c: (try_F) Replaced test for approx_eq(number, 0.0) by
3718         test for mag < EPSILON.
3719
3720         * misc.h: Add definition of EPSILON.
3721
3722 Wed Feb 18 21:32:44 2004  Ben Pfaff  <blp@gnu.org>
3723
3724         * vfm.c: (procedure) Add check to prevent recursive call.
3725
3726 Wed Feb 18 21:48:54 WST 2004 John Darrington <john@darrington.wattle.id.au>
3727
3728         * Moved the declarations relating to values to their own header file
3729           (val.h)
3730
3731         * Added levene.c and levene.h
3732
3733         * vars-atr.c: Changed the signature of compare_values to 
3734         take const * arguments.
3735                 
3736         * t-test.q: Changed the structure of struct t_test_proc 
3737        variables now contain their own group statistics information.
3738        Eventually, t_test_proc might get renamed, because it'd be 
3739        applicable to other commands too.
3740
3741 Mon Feb 16 23:15:51 2004  Ben Pfaff  <blp@gnu.org>
3742
3743         * data-out.c: Clean up.  Changed interface of convert_*() to take
3744         either a `double' or a `const char *' instead of a `const union
3745         value *'.  Update all implementations of those interfaces.
3746         (data_out) Use switch statements instead of a table.
3747         (convert_AHEX) Rewrite.
3748
3749         * format.h: Update comment.
3750
3751 Mon Feb 16 22:14:36 2004  Ben Pfaff  <blp@gnu.org>
3752
3753         * q2c.c: (dump_header) Add an Emacs header line to output files
3754         that makes generated .c files read-only by default, to make it
3755         difficult to accidentally change generated files.
3756
3757 Mon Feb 16 22:12:07 2004  Ben Pfaff  <blp@gnu.org>
3758
3759         * frequencies.q: (compare_freq_numeric_a) Compare by frequency,
3760         not bogus a->v.c <=> b->v.c pointer compare.
3761         (compare_freq_alpha_a) Ditto.
3762         (compare_freq_numeric_d) Ditto.
3763         (compare_freq_alpha_d) Ditto.
3764         
3765 Mon Feb 16 22:00:53 2004  Ben Pfaff  <blp@gnu.org>
3766
3767         Changed data_out() to store string data directly into a `union
3768         value''s s member, not indirectly into c.
3769
3770         * crosstabs.q: (output_pivot_table) Use format_short() instead of
3771         data_out().
3772         (table_value_missing) Ditto.
3773         (float_M_suffix) Ditto.
3774         (format_short) New function.
3775
3776         * data-in.h: (data_in_finite_line) Remove inline definition.
3777
3778         * data-list.c: (destroy_dls_var_spec) New function.
3779         (destroy_dls) Rewrite in terms of destroy_dls_var_spec().
3780         (data_list_source_destroy_source) Avoid cast.
3781         (struct repeating_data_trns) New field `id_value'.  Update
3782         comments.
3783         (cmd_repeating_data) Initialize id_value.  Use new
3784         repeating_data_trns_free() for freeing REPEATING DATA
3785         transformations.
3786         (rpd_parse_record) Rewrite support for record ID to be less bogus.
3787         (repeating_data_trns_free) New function.
3788
3789         * data-out.c: (data_out) Change return type to `void' by replacing
3790         error returns by writing a message into the output buffer.
3791         (convert_A) Read from v->s instead of v->c.
3792         (convert_AHEX) Ditto.
3793
3794         * expr-evl.c: Update comment.
3795         (expr_evaluate) Add assertion in OP_STRING case.
3796
3797         * format.h: (macro MAX_FORMATTED_LEN) New macro.
3798
3799         * list.q: (list_cases) Update for new data_out() semantics.
3800
3801         * print.c: (print_trns_proc) Ditto.
3802
3803         * tab.c: (tab_value) Ditto.
3804         (tab_float) Avoid stupid cast.
3805
3806         * var.h: Update comments.
3807         (macro MAX_STRING) New macro.
3808         (macro MAX_ELEMS_PER_VALUE) New macro.
3809
3810         * vars-atr.c: (compare_values) New function.
3811
3812         * vfm.c: (dump_splits) Update for new data_out() semantics.
3813
3814 Mon Feb 16 21:45:47 2004  Ben Pfaff  <blp@gnu.org>
3815
3816         * crosstabs.q: (struct table_entry) Rename v[] to values[].  All
3817         references updated.
3818         (struct crosstab) Rename v[] to vars[].  All references updated.
3819         (hash_table_entry) Replace the hash algorithm and fix a bug at the
3820         same time, which caused the hash value to depend only on a single
3821         value, not all of the variables' values.
3822         
3823 Mon Feb 16 12:49:53 2004  Ben Pfaff  <blp@gnu.org>
3824
3825         Clean up struct dictionary's value_cnt usage.
3826
3827         * dictionary.c: Add a function comment to each function.
3828         (struct dictionary) Rename value_cnt to next_value_idx, which more
3829         accurately reflects its meaning.  All references updated.
3830         (dict_rename_vars) Add assertion.
3831         (dict_get_value_cnt) Rename dict_get_next_value_idx().  All
3832         references updated.
3833         (dict_get_case_size) New function.
3834
3835         * aggregate.c: (create_sysfile) Use dict_get_case_size().
3836
3837         * get.c: (mtf_read_nonactive_records) Ditto.
3838
3839         * sort.c: (allocate_cases) Ditto.
3840         (write_initial_runs) Ditto.
3841         (merge) Ditto.
3842         (merge_once) Ditto.
3843
3844         * vfm.c: (prepare_for_writing) Ditto.
3845         (setup_lag) Ditto.
3846         (lag_case) Ditto.
3847
3848 Mon Feb 16 00:17:55 2004  Ben Pfaff  <blp@gnu.org>
3849
3850         Make vfm.c slightly less grotesque.
3851
3852         * vfm.c: (filter_var) Removed.
3853         (filter_index) Removed.
3854         (FILTERED macro) Removed.
3855         (exclude_this_case) New function.
3856         (process_active_file_write_case) Use exclude_this_case() instead
3857         of FILTERED and inline tests.
3858         (procedure_write_case) Ditto.
3859         (setup_filter) Removed.
3860         (open_active_file) Don't call setup_filter().
3861         (close_active_file) Call dict_get_filter() instead of checking
3862         filter_var.
3863
3864 Mon Feb 16 00:01:53 2004  Ben Pfaff  <blp@gnu.org>
3865
3866         * var.h: (struct variable) Update comments.
3867
3868 Sun Feb 15 23:14:59 2004  Ben Pfaff  <blp@gnu.org>
3869
3870         New functions dict_create_var_assert(), dict_lookup_var_assert().
3871         Converted several dict_*_var()/assert pairs into a single
3872         dict_*_var_assert().
3873
3874         * dictionary.c: (dict_create_var_assert) New function.
3875         (dict_lookup_var_assert) New function.
3876
3877 Sun Feb 15 23:06:08 2004  Ben Pfaff  <blp@gnu.org>
3878
3879         Got rid of "struct long_vec", envector(), devector(), etc.  Added
3880         two members `init', `reinit' to struct variable as a substitute.
3881         
3882         * Makefile.am: (pspp_SOURCES) Removed cases.c, cases.h.
3883         
3884         * cases.c: Removed.
3885
3886         * cases.h: Removed.
3887
3888         * aggregate.c: (parse_aggregate_functions) destvar doesn't need
3889         init.
3890
3891         * autorecode.c: (cmd_autorecode) destvars don't need init.
3892
3893         * compute.c: (lvalue_finalize) Set reinit.
3894
3895         * data-list.c: (fixed_parse_compatible) Don't need init usually.
3896         (dump_fmt_list) Ditto.
3897         (parse_free) Ditto.
3898
3899         * descript.q: (run_z_pass) Don't need init for z-scores.
3900
3901         * dictionary.c: (dict_create_var) Initialize `init', `reinit'
3902         members.
3903         (dict_clone_var) Copy `reinit' member, initialize `init' member.
3904
3905         * glob.c: (init_glob) Remove vec_init() calls.
3906
3907         * inpt-pgm.c: (cmd_end_input_program) Use `reinit', not `left'.
3908         
3909         * loop.c: (internal_cmd_loop) Don't need to call envector().
3910
3911         * numeric.c: (cmd_numeric) Ditto.
3912         (cmd_string) Ditto.
3913         (cmd_leave) Ditto.  Set `init', `reinit' members.
3914
3915         * recode.c: (cmd_recode) Don't need to call envector().
3916
3917         * repeat.c: (internal_cmd_do_repeat) Ditto.
3918
3919         * var.h: (struct variable) Remove `left'.  Add `init', `reinit'.
3920         (force_create_variable) Removed prototype.
3921         (force_dup_variable) Ditto.
3922
3923         * vector.c: (cmd_vector) Don't need to call envector().
3924
3925         * vfm.c: (reinit_sysmis) Removed.
3926         (reinit_blanks) Removed.
3927         (init_zero) Removed.
3928         (init_blanks) Removed.
3929         (process_active_file_write_case) No need to deal with vectors.
3930         Call clear_temp_case().
3931         (vector_initialization) Rewrite to use `init', `reinit'.
3932         (close_active_file) No need to call vec_clear().
3933         (procedure_write_case) Call clear_temp_case().
3934         (clear_temp_case) New function.
3935
3936 Sun Feb 15 20:50:36 2004  Ben Pfaff  <blp@gnu.org>
3937
3938         * pfm-write.c: (bufwrite) Get rid of nasty cast that also invoked
3939         undefined behavior.
3940
3941 Thu Feb 12 23:35:15 2004  Ben Pfaff  <blp@gnu.org>
3942
3943         Add auxiliary argument to procedure() interface.  Associated small
3944         clean-ups of vfm interface.
3945         
3946         * Updated every caller of procedure() and process_active_file() to
3947         reflect modified interface.  Simple, ordinary changes not listed
3948         otherwise below.
3949
3950         * Updated every function that implements struct case_stream's
3951         `read' function to take a write_case_func and a write_case_data.
3952         Also updated every caller of write_case() to instead call them
3953         through these arguments.  In some cases this meant that the extra
3954         args had to be threaded through a couple of extra levels.  This
3955         wasn't difficult or interesting so the details won't be given.
3956
3957         * data-list.c: (struct repeating_data_trns) Add members
3958         `write_case', `wc_data' as kluge.
3959         (read_one_set_of_repetitions) Rename repeating_data_trns_proc and
3960         make non-static.
3961         (repeating_data_set_write_case) New function.
3962
3963         * data-list.h: New file to declare repeating_data_trns_proc() and
3964         repeating_data_set_write_case().
3965
3966         * inpt-pgm.c: (input_program_source_read) Call
3967         repeating_data_set_write_case() for all the REPEATING DATA
3968         transformations, so that they know where to send their cases.
3969         It's a big kluge.  Also kluge in END CASE.
3970         (end_case_trns_proc) Never called anymore, but we still need it,
3971         so just assert(0).
3972
3973         * sort.c: (read_sort_output) Update to match struct case_stream
3974         `read' member.
3975
3976         * vfm.c: (struct write_case_data) New structure.
3977         (proc_func) Removed.
3978         (virt_proc_func) Removed.
3979         (begin_func) Removed.
3980         (virt_begin_func) Removed.
3981         (end_func) Removed.
3982         (write_case) Removed.
3983         (procedure) Added an auxiliary parameter to each function pointer
3984         argument's prototype.  Added an auxiliary data parameter.
3985         Rewrote.
3986         (process_active_file) Ditto.
3987         (process_active_file_write_case) Pass aux data along.
3988         (close_active_file) Ditto.
3989         (procedure_write_case) Ditto.
3990         (SPLIT_FILE_procfunc) Ditto.
3991
3992         * vfm.h: (typedef write_case_data) New.
3993         (typedef write_case_func) New.
3994         (struct case_stream) Add parameters to `read' member prototype.
3995         
3996 Thu Feb 12 19:24:53 WST 2004 John Darrington <john@darrington.wattle.id.au>
3997
3998         * t-test.q:  Added calculations for independent samples. (But no Levene
3999         test yet!)
4000
4001         * Makefile.am: Moved q_sources_c into own variable 
4002
4003 Wed Feb 11 23:56:51 2004  Ben Pfaff  <blp@gnu.org>
4004
4005         Miscellaneous cleanups.
4006         
4007         * Change unused to UNUSED in many source files to reflect modified
4008         pref.h.  Change use of __WIN32__, __MSDOS, __DJGPP__,
4009         __CYGWIN32__, __unix__, and unix not to assume that they're
4010         defined to a nonzero value.  Change use of __attribute__ to use
4011         NO_RETURN or PRINTF_FORMAT instead.
4012         
4013         * alloc.h: Move definitions for local_alloc(), local_free() here
4014         from ../pref.h.orig and simplify.
4015
4016         * expr-evl.c: Instead of working differently based on PAGED_STACK,
4017         use a pool allocator unconditionally.
4018         (CHECK_STRING_SPACE) Removed.
4019         (ALLOC_STRING_SPACE) Removed.
4020         (expr_evaluate) Use e->pool instead of CHECK_STRING_SPACE and
4021         ALLOC_STRING_SPACE.
4022
4023         * expr-opt.c: (dump_expression) Allocate string pool.
4024
4025         * expr-prs.c: (expr_free) Free string pool.
4026
4027         * pool.c: (pool_destroy) This pool must be removed from its
4028         parent's list of gizmos, not from its own.  Use free_all_gizmos().
4029         (pool_clear) New function.
4030         (free_all_gizmos) New function.
4031         (pool_alloc) Use space in empty block after this one if any.
4032         (pool_release) Only empty out blocks, don't actually free() them.
4033
4034         * print.c: Get rid of PAGED_STACK special case by always
4035         dynamically allocating line buffers.
4036         (struct print_trns) Always include the `line' member.
4037         (internal_cmd_print) Always initialize the `line' member.
4038         (alloc_line) Always allocate memory for `line'.
4039         (print_trns_proc) Always initialize buf from `line' member.
4040         (print_trns_free) Always free `line' memory.
4041
4042         * sort.c: (allocate_file_handles) Special-case MS-DOS for mkdir()
4043         call.
4044         
4045 Wed Feb 11 20:33:18 2004  Ben Pfaff  <blp@gnu.org>
4046
4047         * flip.c: Fixed crash from FLIP when a numeric variable is
4048           specified on NEWNAMES and a large value is used, and a couple of
4049           other minor bugs besides.
4050           (struct varname) Make name a 9-character fixed-size array
4051           instead of a 1-character variable size array.
4052           (make_new_var) Allow digits in variable names.
4053           (flip_stream_write) Limit numeric values to 8 characters and
4054           format system missing and very large and small values more
4055           appropriately.
4056
4057 Thu Feb  5 13:19:06 WAST 2004 John Darrington <john@darrington.wattle.id.au>
4058
4059         * command.c: Fixed test on command return status for the correct 
4060           value,  which had been causing a crash under certain invalid input.
4061
4062 Wed Feb  4 15:34:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
4063
4064         * t-test.q: Added calculations for the one sample variant of the T-TEST
4065
4066 Tue Feb  3 20:09:54 2004  Ben Pfaff  <blp@gnu.org>
4067
4068         * tab.c: (render_strip) Fix bug that sometimes caused joined text
4069           in joined cells to be rendered outside box boundaries.
4070
4071 Tue Feb  3 18:56:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
4072
4073         * random.c (rng_create): Fixed seeding so that it gets reseeded after
4074         SET seed=xx has been called.
4075
4076 Mon Jan 19 14:08:09 2004  Ben Pfaff  <blp@gnu.org> 
4077
4078         * random.c (rng_get_double): Fix always-returning-zero bug in my
4079         preferred way, and at the same time make sure rounding doesn't
4080         bite us.
4081
4082 Thu Jan  1 23:16:41 2004  Ben Pfaff  <blp@gnu.org>
4083
4084         * html.c: (change_attributes) Dead code, removed.
4085         (escape_string) Eliminate code to call change_attributes() that
4086         never actually called it.
4087         (output_tab_table) Get rid of dependence on tab_hit
4088         and struct tab_joined_cell's hit member, which are abominations.
4089
4090         * tab.c: (tab_output_text) Don't call
4091         d->class->text_set_font_by_name if it's a null pointer.
4092         (macro UNROLL_LOOP) Eliminate.
4093         (macro UNROLL_3_LOOPS) Eliminate.
4094         (tabi_render) Rewrite not to use the above macros.
4095
4096 Thu Jan  1 23:09:07 2004  Ben Pfaff  <blp@gnu.org>
4097
4098         Start working on a new output driver system, one that doesn't suck
4099         so much, by adding a "device-independent" output driver.  The idea
4100         is to write out only a single output stream, then use separate
4101         processes to translate them into whatever formats we want.  This
4102         is similar to how "groff" works with its various output drivers
4103         (grops, grotty, grodvi, ...).
4104         
4105         * Makefile.am: (pspp_SOURCES) Add devind.c, devind.h.
4106
4107         * list.q: (write_all_headers) Stub out devind class.
4108         (clean_up) Ditto.
4109         (determine_layout) Ditto.
4110         (list_cases) Ditto.
4111
4112         * output.c: (outp_init) Add devind class.
4113
4114         * devind.c: New file.
4115
4116         * devind.h: New file.
4117
4118 Thu Jan  1 23:08:14 2004  Ben Pfaff  <blp@gnu.org>
4119
4120         * frequencies.q: (hash_value_alpha) Fixed up the previous change
4121         to use the proper string length.
4122
4123 Wed Dec 31 16:27:33 WAST 2003 John Darrington <john@darrington.wattle.id.au>
4124
4125         * Fixed bug where FREQ would crash on alpha values
4126
4127 Tue Dec 30 22:42:57 2003  Ben Pfaff  <blp@gnu.org>
4128
4129         * Removed bletcherous alloca() workarounds for AIX from top of
4130         many files.  AIX can use the alternative alloca() implementation
4131         instead.
4132
4133 Tue Dec 30 22:35:16 2003  Ben Pfaff  <blp@gnu.org>
4134
4135         * ascii.c: (ascii_option) Fix implementation of headers option.
4136
4137 Tue Dec 30 22:32:53 2003  Ben Pfaff  <blp@gnu.org>
4138
4139         * ascii.c: Add a "squeeze" option to the ASCII driver to squeeze
4140         multiple blank lines into one.
4141         (struct ascii_driver_ext) Add squeeze_blank_lines option.
4142         (ascii_preopen_driver) Initialize squeeze_blank_lines.
4143         (static var option_tab) Add squeeze entry.
4144         (ascii_option) Set squeeze_blank_lines.
4145         (output_lines) Implement squeezing blank lines.
4146
4147 Wed Dec 31 07:19:46 WST 2003 John Darrington <john@darrington.wattle.id.au>
4148
4149         * Removed redundant code from output.h
4150
4151 Sat Dec 27 22:17:52 2003  Ben Pfaff  <blp@gnu.org>
4152
4153         Dictionary classes: each variable is "ordinary", "system", or
4154         "scratch".
4155
4156         * var.h: (enum dict_class) New enum.
4157
4158         * vars-prs.c: (dict_class_from_id) New function.
4159         (dict_class_to_name) New function.
4160
4161 Sat Dec 27 22:16:06 2003  Ben Pfaff  <blp@gnu.org>
4162
4163         * var.h: (struct freq_tab_set) Removed (not used).
4164
4165 Sat Dec 27 22:15:21 2003  Ben Pfaff  <blp@gnu.org>
4166
4167         * value-labels.c: (val_labs_destroy) vls needs to be freed too.
4168
4169 Sat Dec 27 22:10:49 2003  Ben Pfaff  <blp@gnu.org>
4170
4171         * stats.c: (hypercube) Rename pow4().  All references updated.
4172
4173 Sat Dec 27 22:05:49 2003  Ben Pfaff  <blp@gnu.org>
4174
4175         * rename-vars.c: (cmd_rename_variables) Rewritten.
4176         (compare_name) Removed.
4177
4178 Sat Dec 27 22:03:51 2003  Ben Pfaff  <blp@gnu.org>
4179
4180         var_set feature, and code taking advantage of it.
4181         
4182         * crosstabs.q: (static var var_dict) Removed.
4183         (static var variables) New variable.
4184         (static var variables_cnt) New variable.
4185         (cmd_crosstabs) Free variables instead of var_dict.
4186         (internal_cmd_crosstabs) Initialize and use variables,
4187         variables_cnt instead of var_dict.
4188         (free_var_dict) Removed.
4189         (crs_custom_tables) Use var_set instead of a copied dictionary.
4190         (crs_custom_variables) Set up variables, variables_cnt instead of
4191         var_dict.
4192         [DEBUGGING] (debug_print) Ditto.
4193
4194         * means.q: (mns_custom_tables) Use var_set instead of a copied
4195         dictionary.
4196
4197         * vars-prs.c: (parse_vs_variable) New function.
4198         (parse_dict_variable) Rewritten.
4199         (parse_variable) Rewritten.
4200         (parse_variables) Renamed parse_var_set_vars(), rewritten.
4201         (parse_variables) New function in terms of parse_var_set_vars().
4202         Now requires its first argument to be non-null.  All references
4203         that passed a null pointer updated to pass default_dict instead.
4204         (macro id_dict) Removed.
4205         (parse_DATA_LIST_vars) Add assertions.
4206         (parse_mixed_vars) Ditto.
4207         (struct var_set) New structure.
4208         (var_set_get_cnt) New function.
4209         (var_set_get_var) New function.
4210         (var_set_lookup_var) New function.
4211         (var_set_destroy) New function.
4212         (dict_var_set_get_cnt) New function.
4213         (dict_var_set_get_var) New function.
4214         (dict_var_set_lookup_var) New function.
4215         (dict_var_set_destroy) New function.
4216         (var_set_create_from_dict) New function.
4217         (struct array_var_set) New structure.
4218         (array_var_set_get_cnt) New function.
4219         (array_var_set_get_var) New function.
4220         (array_var_set_lookup_var) New function.
4221         (array_var_set_destroy) New function.
4222         (var_set_create_from_array) New function.
4223
4224         * q2c.c: (dump_parser) Use parse_variables(default_dict, ...)
4225         instead of parse_variables(NULL, ...) in output code.
4226
4227 Sat Dec 27 21:38:53 2003  Ben Pfaff  <blp@gnu.org>
4228
4229         Change inp_init from a 2-bit vector to an ordinary array.
4230         Initialize it all in cmd_end_input_program() instead of in
4231         create_variable().
4232
4233         * inpt-pgm.c: (enum value_init_type) New enum.
4234         (global var inp_init) Change to `enum value_init_type *', make
4235         static.
4236         (inp_init_size) Removed.
4237         (inp_nval) Change to `size_t', make static.
4238         (cmd_input_program) Don't initialize inp_init or inp_init_size.
4239         (cmd_end_input_program) Initialize inp_init, inp_nval.
4240         (init_case) Rewrite.
4241         (clear_case) Rewrite.
4242
4243         * inpt-pgm.h: Removed.
4244
4245 Sat Dec 27 21:36:38 2003  Ben Pfaff  <blp@gnu.org>
4246
4247         * hash.c: (hsh_hash_bytes) Use Fowler-Noll-Vo hash instead of
4248         Colin Plumb hash.  It is simpler and should better resist
4249         collisions.
4250         (hsh_hash_string) Ditto.
4251
4252 Sat Dec 27 21:34:57 2003  Ben Pfaff  <blp@gnu.org>
4253
4254         * get.c: (export_write_case_func) Remove debug printing code.
4255
4256 Sat Dec 27 21:11:09 2003  Ben Pfaff  <blp@gnu.org>
4257
4258         * get.c: (cmd_save_internal) Rename parameter.  Use &t->h instead
4259         of cast.
4260         (save_write_case_func) Use &trns->h instead of cast.
4261         (cmd_export) Use &t->h instead of cast.
4262
4263 Sat Dec 27 20:57:42 2003  Ben Pfaff  <blp@gnu.org>
4264
4265         Moved vectors into the dictionary.
4266
4267         * var.h: (struct vector) Moved here from vector.h.  `index' member
4268         renamed `idx', `v' renamed `var', `nv' renamed `cnt'.  All
4269         references updated.
4270         
4271         * vector.h: Removed.
4272
4273         * vector.c: (global var vec) Removed.
4274         (global var nvec) Removed.
4275         (cmd_vector) Rewritten.
4276         (find_vector) Removed.
4277
4278         * dictionary.c: (dict_create_vector) New function.
4279         (dict_get_vector) New function, replaces reading global vec[]
4280         array.
4281         (dict_get_vector_cnt) New function, replaces reading global nvec
4282         variable.
4283         (dict_lookup_vector) New function, replaces find_vector().
4284         (dict_clear_vectors) New function.
4285
4286 Sat Dec 27 20:54:01 2003  Ben Pfaff  <blp@gnu.org>
4287
4288         Start to move away from `struct variable' p `union' member to void
4289         * aux member.
4290
4291         * var.h: (struct variable) Add `aux' member.
4292
4293 Sat Dec 27 20:36:25 2003  Ben Pfaff  <blp@gnu.org>
4294
4295         Get rid of struct variable `foo' member.
4296
4297         * frequencies.q: (internal_cmd_frequencies) Use p.frq.used instead
4298         of foo.
4299         (frq_custom_variables) Ditto.
4300         (frq_custom_grouped) Ditto.
4301
4302         * get.c: (struct save_trns) Change `var' member from `int *' to
4303         `struct variable **'.
4304         (cmd_save_internal) Use aux instead of foo.
4305         (save_trns_proc) Use revised `var' member.
4306         (static var mtf_seq_no) Renamed mtf_seq_num.
4307         (static var mtf_seq_nums) New static var.
4308         (cmd_match_files) Initialize mtf_seq_nums.
4309         (mtf_free) Free mtf_seq_nums.
4310         (mtf_processing) Use mtf_seq_nums instead of foo.
4311         (mtf_merge_dictionary) No need to initialize mv->foo.
4312         (cmd_export) Use aux instead of foo.  Use revised `var' member.
4313         (mns_custom_tables) Don't use foo to check for duplicates, that's
4314         what PV_NO_DUPLICATE is for.
4315
4316         * var.h: (struct variable) Remove `foo' member.
4317         (struct frequencies_proc) New member.
4318         
4319 Sat Dec 27 19:46:13 2003  Ben Pfaff  <blp@gnu.org>
4320
4321         Clean up COMPUTE and IF.
4322
4323         * compute.c: More or less rewrite the darn thing.
4324         (struct compute_trns) Rename and reorder and add and delete
4325         members.
4326         (cmd_compute) Rewrite.
4327         (compute_num) Make conditional on test expression.  Now used for
4328         both COMPUTE and IF.
4329         (compute_num_vec) Ditto.
4330         (compute_str) Ditto.
4331         (compute_str_vec) Ditto.
4332         (cmd_if) Rewrite.
4333         (if_num) Removed.
4334         (if_num_vec) Removed.
4335         (if_str) Removed.
4336         (if_str_vec) Removed.
4337         (parse_target_expression) Renamed parse_rvalue_expression(),
4338         rewritten.
4339         (new_trns) Renamed compute_trns_create(), rewritten.
4340         (delete_trns) Removed.
4341         (free_trns) Renamed compute_trns_free(), rewritten.
4342         (struct lvalue) New structure.
4343         (parse_var_or_vec) Renamed lvalue_parse(), rewritten.
4344         (lvalue_get_type) New function.
4345         (lvalue_is_vector) New function.
4346         (lvalue_finalize) New function.
4347         (lvalue_destroy) New function.
4348         
4349 Sat Dec 27 19:44:14 2003  Ben Pfaff  <blp@gnu.org>
4350
4351         * command.def: Disallow MODIFY VARS in input mode, so that
4352         variables can't get dropped and confuse cmd_end_input_program()'s
4353         attempt to fill inp_init[].
4354         
4355         * modify-vars.c: (static var forward_positional_ordering) New
4356         variable.
4357         (struct var_modification) Entirely changed.
4358         (rearrange_dict) Interface changed, rewritten.
4359         (cmd_modify_vars) Deal with modified struct var_modification, much
4360         rewritten.
4361         (struct var_renaming) New structure.
4362         (compare_var_renaming_by_new_name) New function.
4363         (validate_var_modification) New function.
4364
4365         * var.h: (struct modify_vars_proc) Removed.
4366         (struct variable) Removed member p.mfv.
4367
4368 Sat Dec 27 19:40:26 2003  Ben Pfaff  <blp@gnu.org>
4369
4370         Make EVALUATE a valid command whether we're debugging or not, so
4371         that `make check' can succeed regardless of whether debugging is
4372         turned on.
4373         
4374         * command.def: [GLOBAL_DEBUGGING] Drop the #if.
4375
4376         * compute.c: [GLOBAL_DEBUGGING] (cmd_evaluate) Drop the #if.
4377
4378 Sat Dec 27 19:34:40 2003  Ben Pfaff  <blp@gnu.org>
4379
4380         * apply-dict.c: (cmd_apply_dictionary) Replace a ghastly switch
4381         statement by a simple if test.
4382
4383         * dfm.c: (dfm_get_record) Add assertion.
4384
4385 Sat Dec 27 17:51:26 2003  Ben Pfaff  <blp@gnu.org>
4386
4387         For each file x.c, move #include "x.h" to the very top of the
4388         include list, to catch x.h failing to include the proper headers.
4389
4390 Sat Dec 27 17:50:19 2003  Ben Pfaff  <blp@gnu.org>
4391
4392         * algorithm.c: (find) New function.
4393         (remove_equal) New function.
4394         (set_difference) New function.
4395         (adjacent_find_equal) New function.
4396         [TEST_UNIQUE] Removed test case.
4397         (copy_if) Find end test.
4398
4399 Sat Dec 27 17:42:45 2003  Ben Pfaff  <blp@gnu.org>
4400
4401         * dictionary.c: (dict_get_case_weight) New convenience function.
4402
4403         * aggregate.c: (accumulate_aggregate_info) Use
4404         dict_get_case_weight().
4405
4406         * frequencies.q: (calc_general) Ditto.
4407         (calc_integer) Ditto.
4408         (calc) Ditto.
4409
4410         * t-test.q: (groups_calc) Ditto.
4411         (z_calc) Ditto.
4412
4413 Sat Dec 27 17:29:45 2003  Ben Pfaff  <blp@gnu.org>
4414
4415         * glob.c: (global var default_dict) Change from `struct
4416         dictionary' to `struct dictionary *'.  All references changed.
4417         (init_glob) Initialize default_dict with dict_create().
4418
4419 Sat Dec 27 17:06:06 2003  Ben Pfaff  <blp@gnu.org>
4420
4421         struct dictionary now made opaque.  All related functions:
4422
4423         * get.c: (rename_variables) Removed.
4424         (dict_delete_run) Removed.
4425         
4426         * temporary.c: (copy_variable) Removed.
4427         (new_dictionary) Removed.
4428         (save_dictionary) Removed.
4429         (restore_dictionary) Removed.
4430         (free_dictionary) Removed.
4431
4432         * vars-atr.c: (clear_default_dict) Removed.
4433         (find_variable) Removed.
4434         (find_dict_variable) Removed.
4435         (create_variable) Removed.
4436         (delete_variable) Removed.
4437         (common_init_stuff) Removed.
4438         (init_variable) Removed.  Updating of inp_init moved into
4439         cmd_end_input_program().
4440         (replace_variable) Removed.
4441         (rename_variable) Removed.
4442         (clear_variable) Removed.
4443         (dup_variable) Removed.
4444
4445         * vars-prs.c: (is_varname) Removed.
4446         (is_dict_varname) Removed.
4447         (fill_all_vars) Removed.
4448
4449         * vector.c: (find_vector) Removed.
4450
4451         * weight.c: (stop_weighting) Removed.
4452
4453         * dictionary.c: New file.
4454         (dict_create) New, replaces new_dictionary().
4455         (dict_clone) New, replaces save_dictionary() and
4456         restore_dictionary().
4457         (dict_clear) New, replaces clear_default_dict().
4458         (dict_destroy) New, replaces free_dictionary().
4459         (dict_get_var_cnt) New function, replaces references to
4460         dict->nvar.
4461         (dict_get_var) New function, replaces references to dict->var[i].
4462         (dict_get_vars) New function, replaces fill_all_vars().
4463         (dict_create_var) New, replaces create_variable().  Interface
4464         drops `type' parameter, using a zero `width' to designate numeric.
4465         (dict_clone_var) New, replaces dup_variable().
4466         (dict_rename_var) New, replaces rename_variable().
4467         (dict_lookup_var) New, replaces find_variable(),
4468         find_dict_variable(), is_varname().
4469         (dict_contains_var) New function.
4470         (compare_variable_dblptrs) New function.
4471         (dict_delete_var) New function, replaces clear_variable().
4472         (dict_delete_vars) New function, replaces dict_delete_run().
4473         (dict_reorder_vars) New function.
4474         (dict_rename_vars) New function, replaces rename_variables().
4475         (dict_get_weight) New function, replaces reading dict->weight_var.
4476         (dict_set_weight) New function, replaces writing dict->weight_var
4477         or calling stop_weight(dict).
4478         (dict_get_filter) New function, replaces reading dict->filter_var.
4479         (dict_set_filter) New function, replaces writing dict->filter_var.
4480         (dict_get_case_limit) New function, replaces reading dict->N.
4481         (dict_set_case_limit) New function, replaces writing dict->N.
4482         (dict_get_value_cnt) New function, replaces reading dict->nval.
4483         (dict_compact_values) New function, replaces a loop that was
4484         replicated in several places.
4485         (dict_get_split_vars) New function, replaces reading dict->splits.
4486         (dict_get_split_cnt) New function, replaces reading
4487         dict->n_splits.
4488         (dict_set_split_vars) New function, replaces writing dict->splits.
4489         (dict_get_label) New function, replaces reading dict->label.
4490         (dict_set_label) New function, replaces writing dict->label.
4491         (dict_get_documents) New function, replaces reading
4492         dict->documents.
4493         (dict_set_documents) New function, replaces writing
4494         dict->documents.
4495         
4496         All references to above functions updated.
4497         
4498         * aggregate.c: (cmd_aggregate) Copy file label and documents from
4499         old dictionary to new by hand, because dict_create() can't do it
4500         itself.  Use dict_set_documents(), dict_set_split_vars().
4501
4502         * temporary.c: (cancel_temporary) Also set temp_dict to NULL after
4503         calling dict_destroy().
4504
4505         * data-list.c: (dls_var_spec) Remove `type' member, replace by
4506         `width'.
4507         (fixed_parse_compatible) Some slightly nontrivial changes for
4508         dict_create_var().
4509         (dump_fmt_list) Ditto.
4510         (parse_free) Ditto.
4511
4512         * file-type.c: (create_col_var) Ditto.
4513
4514         * get.c: (cmd_get) Use dict_compact_values() instead of a loop.
4515         (trim_dictionary) Use dict_delete_vars(), dict_reorder_vars().
4516         (rename_variables) Use dict_rename_vars().
4517         (mtf_merge_dictionary) Use dict_get_documents(),
4518         dict_set_documents(), dict_compact_values().
4519
4520         * pfm-read.c: (read_variables) Deal with changes to weighting.
4521
4522         * q2c.c: (dump_parser) Use dict_lookup_var() instead of
4523         is_varname() in output code.
4524
4525         * sfm-read.c: (read_header) Use dict_create(), dict_set_label(),
4526         other dictionary functions.
4527
4528         * title.c: (add_document_line) Use dict_get_documents(),
4529         dict_set_documents().
4530
4531         * vars-atr.c: (discard_variables) Use dict_clear(default_dict),
4532         reset default_handle by hand.  dict_clear() will clear vectors so
4533         there's no need for that by hand.
4534
4535         * vfm.c: (close_active_file) Move call to finish_compaction()
4536         earlier, so that we can do the compaction as a single step using
4537         dict_compact_values().  Use dict_clear_vectors().
4538         (finish_compaction) Use dict_delete_var(), dict_compact_values().
4539                 
4540         Some functions don't have replacements:
4541
4542         * vars-atr.c: (force_create_variable) Removed.  All references
4543         updated to dict_create_var() followed by an assertion.
4544         (force_dup_variable) Removed.  All references updated to
4545         dict_clone_var() followed by an assertion.
4546         
4547         * weight.c: (update_weighting) Removed.  No longer necessary, so
4548         all references removed.
4549
4550 Sat Dec 27 16:43:01 2003  Ben Pfaff  <blp@gnu.org>
4551
4552         Clean up AGGREGATE.
4553         
4554         * aggregate.c: Eliminate separation of weighted and unweighted
4555         case.  It made the code too obscure and I doubt it was actually
4556         faster.  Instead, all code uses the "weighted" code, because
4557         that's a generalization of the "unweighted" code.
4558         (FWEIGHT) Removed.
4559         (FOPTIONS) Ditto.
4560         (parse_aggregate_functions) No need to set FWEIGHT.
4561         (accumulate_aggregate_info) Get rid of FWEIGHT cases.
4562         (dump_aggregate_info) Ditto.
4563         (initialize_aggregate_info) No need for special plain_function
4564         that gets rid of FWEIGHT option.
4565
4566         * aggregate.c: Get rid of approximations.
4567         (accumulate_aggregate_info) Don't use approx_gt(), approx_lt(),
4568         approx_in_range().
4569         (aggregate_single_case) Don't use approx_ne().
4570
4571 Sat Dec 27 16:19:36 2003  Ben Pfaff  <blp@gnu.org>
4572
4573         * ascii.c (ascii_line_width): Dead code, removed.
4574
4575         * postscript.c (ps_line_width): Ditto.
4576
4577         * q2c.c (xrealloc): Ditto.
4578
4579         * count.c (internal_cmd_count): Ditto.
4580
4581         * means.q (validate_dependent_endpoint): Ditto.
4582
4583         * set.q: (cmd_gset) Ditto.
4584
4585         * weight.c: [0] (weight_trns_proc) Ditto.
4586
4587 Sat Dec 27 16:18:16 2003  Ben Pfaff  <blp@gnu.org>
4588
4589         Make the code -Wmissing-prototypes clean.
4590
4591         * Makefile.am (version.c): Add #include "version.h".
4592         
4593         * ascii.c: (ascii_open_global) Make static.
4594         (ascii_close_page) Ditto.
4595         (ascii_font_sizes) Ditto.
4596         (ascii_postopen_driver) Ditto.
4597         (ascii_close_driver) Ditto.
4598         (ascii_option) Ditto.
4599         (ascii_open_page) Ditto.
4600         (ascii_line_horz) Ditto.
4601         (ascii_line_vert) Ditto.
4602         (ascii_line_intersection) Ditto.
4603         (ascii_box) Ditto.
4604         (ascii_polyline_begin) Ditto.
4605         (ascii_polyline_point) Ditto.
4606         (ascii_polyline_end) Ditto.
4607         (ascii_text_set_font_by_name) Ditto.
4608         (ascii_text_set_font_by_position) Ditto.
4609         (ascii_text_set_font_by_family) Ditto.
4610         (ascii_text_get_font_name) Ditto.
4611         (ascii_text_get_font_family) Ditto.
4612         (ascii_text_set_size) Ditto.
4613         (ascii_text_get_size) Ditto.
4614         (ascii_text_metrics) Ditto.
4615         (ascii_text_draw) Ditto.
4616         (ascii_close_page) Ditto.
4617
4618         * cmdline.h: New header for parse_command_line().  Used where
4619         needed.
4620
4621         * command.c: Move prototypes for cmd_*() functions to command.h.
4622
4623         * command.h: Prototypes for cmd_*() functions moved here from
4624         command.c.
4625
4626         * crosstabs.q: (gamma_int) Ditto.
4627
4628         * file-handle.h: Add fh_init_files() prototype.
4629         
4630         * getline.c: (welcome) Ditto.
4631
4632         * glob.h: New header for init_glob().  Used where appropriate.
4633
4634         * hash.c: (comparison_helper) Ditto.
4635
4636         * html.c: (html_open_global) Ditto.
4637         (html_close_global) Ditto.
4638         (html_preopen_driver) Ditto.
4639         (html_postopen_driver) Ditto.
4640         (html_close_driver) Ditto.
4641         (html_option) Ditto.
4642         (html_open_page) Ditto.
4643         (html_close_page) Ditto.
4644         (html_submit) Ditto.
4645
4646         * inpt-pgm.c: (input_program_source_read) Ditto.
4647
4648         * output.c: (find_defn_value) Ditto.
4649         (destroy_list) Ditto.
4650
4651         * pfm-read.c: (read_int) Ditto.
4652
4653         * postscript.c: (ps_open_global) Ditto.
4654         (ps_close_global) Ditto.
4655         (ps_font_sizes) Ditto.
4656         (ps_preopen_driver) Ditto.
4657         (ps_postopen_driver) Ditto.
4658         (ps_close_driver) Ditto.
4659         (ps_option) Ditto.
4660         (ps_open_page) Ditto.
4661         (ps_close_page) Ditto.
4662         (ps_line_horz) Ditto.
4663         (ps_line_vert) Ditto.
4664         (ps_line_intersection) Ditto.
4665         (ps_box) Ditto.
4666         (ps_polyline_begin) Ditto.
4667         (ps_polyline_point) Ditto.
4668         (ps_polyline_end) Ditto.
4669         (ps_text_set_font_by_name) Ditto.
4670         (ps_text_set_font_by_position) Ditto.
4671         (ps_text_set_font_family) Ditto.
4672         (ps_text_get_font_name) Ditto.
4673         (ps_text_get_font_family) Ditto.
4674         (ps_text_set_size) Ditto.
4675         (ps_text_get_size) Ditto.
4676         (ps_text_metrics) Ditto.
4677         (ps_text_draw) Ditto.
4678
4679         * q2c.c: (finish_up) Ditto.
4680         (xmalloc) Ditto.
4681         (xstrdup) Ditto.
4682         (get_buffer) Ditto.
4683         (st_lower) Ditto.
4684         (st_upper) Ditto.
4685         (skip_ws) Ditto.
4686         (get_line) Ditto.
4687         (add_symbol) Ditto.
4688         (find_symbol) Ditto.
4689         (lex_get) Ditto.
4690         (force_id) Ditto.
4691         (force_string) Ditto.
4692         (match_id) Ditto.
4693         (match_token) Ditto.
4694         (skip_token) Ditto.
4695         (parse) Ditto.
4696         (parse_setting) Ditto.
4697         (parse_specifier) Ditto.
4698         (parse_specifiers) Ditto.
4699         (parse_subcommand) Ditto.
4700         (dump_specifier_vars) Ditto.
4701         (is_keyword) Ditto.
4702         (make_identifier) Ditto.
4703         (dump_declarations) Ditto.
4704         (dump_specifier_init) Ditto.
4705         (dump_vars_init) Ditto.
4706         (make_match) Ditto.
4707         (dump_specifier_parse) Ditto.
4708         (dump_subcommand) Ditto.
4709         (dump_parser) Ditto.
4710         (dump_header) Ditto.
4711         (dump_free) Ditto.
4712         (recognize_directive) Ditto.
4713
4714         * recode.c: (string_to_long) Ditto.
4715
4716         * repeat.c: (find_DO_REPEAT_substitution) Ditto.
4717
4718         * repeat.h: New header for perform_DO_REPEAT_substitutions, used
4719         where appropriate.
4720
4721         * sort.c: (sort_stream_read) Ditto.
4722         (sort_stream_mode) Ditto.
4723         
4724 Fri Dec 19 23:35:04 2003  Ben Pfaff  <blp@gnu.org>
4725
4726         * algorithm.c (binary_search): Fix comparison.
4727
4728 Fri Dec 19 23:27:45 2003  Ben Pfaff  <blp@gnu.org>
4729
4730         * algorithm.c: (binary_search) Fix assertion.
4731
4732 Fri Dec 19 21:31:48 2003  Ben Pfaff  <blp@gnu.org>
4733
4734         * sysfile-info.c: (compare_vectors_by_name) Rewrite.
4735
4736 Fri Dec 19 21:30:24 2003  Ben Pfaff  <blp@gnu.org>
4737
4738         * sort.c: (compare_case_lists) Rewrite.
4739
4740 Fri Dec 19 16:44:22 2003  Ben Pfaff  <blp@gnu.org>
4741
4742         * quicksort.c: Removed (not used).
4743
4744         * quicksort.h: Removed (not used).
4745
4746         * sort.c: Removed blp_quicksort() prototype.
4747
4748 Fri Dec 19 16:42:13 2003  Ben Pfaff  <blp@gnu.org>
4749
4750         * postscript.c: (int_2_compare) Rewrite.
4751         (compare_line) Rewrite.
4752
4753 Fri Dec 19 16:38:35 2003  Ben Pfaff  <blp@gnu.org>
4754
4755         * matrix-data.c (compare_factors) Use lexicographical_compare()
4756         algorithm.
4757         (compare_doubles) New function.
4758         
4759         * algorithm.c: (lexicographical_compare) New algorithm.
4760
4761 Fri Dec 19 16:23:45 2003  Ben Pfaff  <blp@gnu.org>
4762
4763         * matrix-data.c (compare_variables_by_mxd_vartype): Rewrite.
4764
4765 Fri Dec 19 15:54:45 2003  Ben Pfaff  <blp@gnu.org>
4766
4767         * expr-prs.c: (cmp_func) Removed.
4768         (parse_function) Use binary_search() algorithm.
4769         (compare_functions) New function.
4770         (init_func_tab) Use sort() algorithm.
4771
4772         * algorithm.c: (binary_search) New algorithm.
4773
4774 Fri Dec 19 15:50:45 2003  Ben Pfaff  <blp@gnu.org>
4775
4776         * descript.q: (display) Use sort() algorithm instead of qsort().
4777         (compare_func) Removed.
4778         (descriptives_compare_variables) New function.
4779
4780 Fri Dec 19 15:08:38 2003  Ben Pfaff  <blp@gnu.org>
4781
4782         Get rid of AVL trees.  Hashes are more appropriate for everything
4783         PSPP does.
4784
4785         * Makefile.am: (pspp_SOURCES) Remove avl.c, avl.h.
4786         
4787         * avl.c: Removed.
4788
4789         * avl.h: Removed.
4790
4791 Fri Dec 19 14:33:31 2003  Ben Pfaff  <blp@gnu.org>
4792
4793         Much code can be clarified by using C++ STL-like algorithms.  Not
4794         all uses of these algorithms are listed below, only the ones where
4795         the change to an algorithm was the only change of interest.
4796         
4797         * Makefile.am: (pspp_SOURCES) Add algorithm.c, algorithm.h.
4798         
4799         * algorithm.c: New file.
4800
4801         * algorithm.h: New file.
4802
4803         * modify-vars.c: (static var forward) Removed.
4804         (static var positional) Removed.
4805         (compare_variables) Removed.
4806         (struct ordering) New.
4807         (cmd_modify_vars) Use sort() algorithm.
4808         (compare_variables_given_ordering) New function.
4809         (rearrange_dict) Use sort() algorithm.
4810
4811         * sysfile-info.c: (cmd_display) Use sort() algorithm.
4812         (cmp_var_by_name) Removed.
4813
4814 Fri Dec 19 14:26:17 2003  Ben Pfaff  <blp@gnu.org>
4815
4816         Make file handles use a hash table.
4817         
4818         * file-handle.q: (files) Change to hash table, make static.
4819         (cmd_file_handle) Use hash table functions.
4820         (fh_get_handle_by_filename) Ditto.
4821         (fh_get_handle_by_name) Ditto.
4822         (hash_file_handle) New function.
4823         (cmp_file_handle) Rewrite.
4824         (fh_init_files) Use hash table functions.
4825
4826 Fri Dec 19 14:24:38 2003  Ben Pfaff  <blp@gnu.org>
4827
4828         Clean up FREQUENCIES.
4829         
4830         * Makefile.am: (pspp_SOURCES) Remove frequencies.g.
4831
4832         * frequencies.q: Remove a lot of old #if'd out code at the end.
4833         (internal_cmd_frequencies) Use calc() instead of calc_no_weight()
4834         or calc_weight().  Initialize percentile_values.
4835         (calc) New function based on calc_weight() from frequencies.g.
4836         (precalc) Use hash functions.
4837         (static var comparison_func) Removed.
4838         (static var comparison_param) Removed.
4839         (comparison_helper) Removed.
4840         (get_freq_comparator) New function.
4841         (not_missing) New function.
4842         (add_freq) Removed.
4843         (postprocess_freq_tab) Use hash table functions, algorithms,
4844         get_freq_comparator().  Rewrite.
4845         (cleanup_freq_tab) Rephrase.
4846         (add_percentile) Clean up spacing.
4847         (hash_value_numeric) New function.
4848         (hash_value_alpha) New function.
4849         (compare_value_numeric_a) Rewrite.
4850         (compare_value_alpha_a) Rewrite.
4851         (compare_value_numeric_d) Rewrite.
4852         (compare_value_alpha_d) Rewrite.
4853         (compare_freq_numeric_a) Rewrite.
4854         (compare_freq_alpha_a) Rewrite.
4855         (compare_freq_numeric_d) Rewrite.
4856         (compare_freq_alpha_d) Rewrite.
4857         (calc_stats) Clean up mode, percentiles, max.
4858         (dump_statistics) Clean up spacing.
4859         
4860         * frequencies.g: Removed.
4861
4862         * var.h: (struct freq_tab) Change `data' to hash table.
4863
4864 Fri Dec 19 14:15:46 2003  Ben Pfaff  <blp@gnu.org>
4865
4866         * file-handle.h: Remove declaration of global variable `files',
4867         which wasn't used anywhere.
4868
4869         * postscript.c: (add_encoding) Remove superfluous cast.
4870         (line) Ditto.
4871
4872         * sfm-read.c: [linux] (bswap_int32) Drop ntohl() non-portable
4873         version.
4874
4875         * temporary.c: [0] (display_tree) Removed.
4876
4877 Fri Dec 19 14:13:04 2003  Ben Pfaff  <blp@gnu.org>
4878
4879         Implement a new random number generator based on the alleged RC4
4880         algorithm.
4881
4882         * expr-evl.c: (expr_evaluate) Use rng_get_double_normal() instead
4883         of rand_normal().
4884
4885         * random.c: [!HAVE_GOOD_RANDOM] (real_rand) Removed.
4886         [!HAVE_GOOD_RANDOM] (real_srand) Removed.
4887         (macro k) Removed.
4888         (static var V[]) Removed.
4889         (static var Y) Removed.
4890         (static var X2) Removed.
4891         (setup_randomize) Removed.
4892         (shuffle) Removed.
4893         (rand_uniform) Removed.
4894         (rand_normal) Removed.
4895         (struct rng) New structure.
4896         (rng_create) New function.
4897         (rng_destroy) New function.
4898         (swap_byte) New static function.
4899         (rng_seed) New function.
4900         (rng_get_bytes) New function.
4901         (rng_get_int) New function.
4902         (rng_get_unsigned) New function.
4903         (rng_get_double) New function.
4904         (rng_get_double_normal) New function.
4905         (pspp_rng) New function.
4906
4907         * random.h: Sync up to random.c.
4908
4909         * sample.c: (struct sample_trns) Make `frac' unsigned and a
4910         fraction of UINT_MAX, not 65536.
4911         (cmd_sample) Use rng_get_unsigned(), rng_get_double(), UINT_MAX
4912         fraction.
4913
4914         * vfm.c: (open_active_file) No need to call setup_randomize() any
4915         longer.
4916
4917 Fri Dec 19 12:05:56 2003  Ben Pfaff  <blp@gnu.org>
4918
4919         Change dictionary name indexes to use hash tables instead of AVL
4920         trees.
4921
4922         * crosstabs.q: (free_var_dict) Use hash tables.
4923         (crs_custom_tables) Ditto.
4924         (calc_general) Ditto.
4925         (compare_table_entry) Rewrite.
4926         (enum_var_values) Reorder parameters.  All references updated.
4927         Rewrite.
4928
4929         * get.c: (rename_variable) Use hash tables.
4930         (mtf_merge_dictionary) Ditto.
4931
4932         * glob.c: (init_glob) Use hash tables.
4933         (cmp_variable) Removed.
4934
4935         * means.q: (mns_custom_tables) Use hash tables.
4936
4937         * modify-vars.c: (rearrange_dict) Use hash tables.
4938
4939         * rename-vars.c: (cmd_rename_variables) Use hash tables.
4940
4941         * sfm-read.c: (read_header) Use hash tables.
4942         (read_variables) Ditto.
4943
4944         * temporary.c: (new_dictionary) Use hash tables.
4945         (save_dictionary) Ditto.
4946         (restore_dictionary) Ditto.
4947
4948         * var.h: (struct dictionary) Change AVL tree `var_by_name' into
4949         hash table `name_tab'.
4950
4951         * vars-atr.c: [DEBUGGING] (dump_one_var_node) Removed.
4952         [DEBUGGING] (dump_var_tree) Removed.
4953         (find_variable) Use hash tables.
4954         (find_dict_variable) Ditto.
4955         (common_init_stuff) Ditto.
4956         (rename_variable) Ditto.
4957         (clear_variable) Ditto.  Also, remove debug code.
4958         (dup_variable) Use hash tables.
4959
4960         * vars-prs.c: (fill_all_vars) Use hash tables.
4961         (is_dict_varname) Ditto.
4962         (parse_dict_variable) Ditto.
4963         
4964 Fri Dec 19 11:46:23 2003  Ben Pfaff  <blp@gnu.org>
4965
4966         Change value labels to use hash tables instead of AVL trees, and
4967         change value labels into an ADT.
4968
4969         * Makefile.am: (pspp_SOURCES) Add value-labels.c, value-labels.h.
4970         
4971         * value-labels.c: New file.
4972
4973         * value-labels.h: New file.
4974
4975         * apply-dict.c: (cmd_apply_dictionary) Use value label ADT.
4976         Get rid of a stupid use of goto.
4977
4978         * autorecode.c: (compare_alpha_value) Rewrite.
4979         (hash_alpha_value) Ditto.
4980         (compare_numeric_value) Rewrite.
4981         (hash_numeric_value) Ditto.
4982
4983         * frequencies.q: (dump_full) Use value label ADT.
4984
4985         * pfm-read.c: (read_value_label) Use value label ADT.
4986
4987         * pfm-write.c: (write_value_labels) Use value label ADT.
4988
4989         * sfm-read.c: (read_variables) Use value label ADT.
4990         (read_value_labels) Rewrite.
4991
4992         * sfm-write.c: (write_value_labels) Rewrite.
4993
4994         * sysfile-info.c: (cmd_sysfile_info) Use value label ADT.
4995         (display_variables) Ditto.
4996         (describe_variable) Ditto.
4997
4998         * t-test.q: (print_t_groups) Use value label ADT.
4999
5000         * temporary.c: (copy_variable) Use value label ADT.
5001         (free_dictionary) Ditto.
5002
5003         * val-labs.c: (verify_val_labs) Use value label ADT.
5004         (get_label) Ditto.
5005         (debug_print) Ditto.
5006         (val_lab_cmp) Removed.
5007         (inc_ref_count) Removed.
5008         (copy_value_labels) Removed.
5009
5010         * var.h: (struct value_label) Removed.
5011         (struct variable) Change AVL tree `val_lab' into hash table
5012         `val_labs'.
5013
5014         * vars-atr.c: (init_variable) Use value label ADT.
5015         (clear_variable) Ditto.
5016         (free_value_label) Removed.
5017         (free_val_lab) Removed.
5018         (get_val_lab) Removed.
5019         (compare_variables) New function.
5020         (hash_variable) New function.
5021
5022         * vfm.c: (dump_splits) Use value label ADT.
5023
5024 Fri Dec 19 11:18:11 2003  Ben Pfaff  <blp@gnu.org>
5025
5026         Add to the hash table interface.
5027
5028         * hash.c: (hsh_hash_bytes) Add assertion.
5029         (hsh_hash_string) Ditto.
5030         (hsh_clear) Ditto.
5031         (hsh_rehash) Ditto.
5032         (hsh_probe) Ditto.
5033         (hsh_create) Ditto.  Also make minimum `size'.
5034         (hsh_destroy) Rephrase.
5035         (sort_nulls_last) Removed.
5036         (not_null) New function.
5037         (hsh_data) Ditto.
5038         (comparison_helper) Ditto.
5039         (hsh_sort) Rewritten.
5040         (hsh_data_copy) New function.
5041         (hsh_sort_copy) Ditto.
5042         (hsh_insert) Ditto.
5043         (hsh_replace) Ditto.
5044         (hsh_hash_double) Ditto.
5045         (hsh_delete) Fix stupid bug.
5046         
5047 Thu Dec 18 12:27:03 WAST 2003 John Darrington <john@darrington.wattle.id.au>
5048         * added a calculation of the mode to FREQUENCIES
5049
5050 Wed Dec 17 12:53:01 WAST 2003 John Darrington <john@darrington.wattle.id.au>
5051
5052         * moved (un)defs of DEBUGGING to config.h
5053
5054 Mon Dec 15 21:35:59 2003  Ben Pfaff  <blp@gnu.org>
5055
5056         * groff-font.c: (add_kern) Fix indentation.
5057         (add_kern) Use & instead of % to take power-of-2 modulus.
5058         (font_get_kern_adjust) Likewise.
5059
5060 Fri Dec 12 23:54:37 2003  Ben Pfaff  <blp@gnu.org>
5061
5062         * autorecode.c: (recode) Replace stupid use of memcpy() by
5063         memberwise copy.
5064         (hash_alpha_value) Use hsh_hash_bytes().  Get rid of nasty casts.
5065         (hash_numeric_value) Ditto.
5066         (autorecode_proc_func) pool_strdup() was wrong here because the
5067         source string was not null-terminated.  Use new pool_strndup()
5068         instead.
5069
5070         * crosstabs.q: (enum_var_values) Remove superfluous and bizarre
5071         use of hsh_iterator_init().
5072
5073         * data-in.c: (parse_N) Initialize i->v->f.
5074
5075         * flip.c: (cmd_flip) Use memmove(), not memcpy(), to copy
5076         overlapping arrays.
5077
5078         * groff-font.c: Use power-of-2 hash table sizes, not prime.
5079         (groff_read_font) Don't call hsh_next_prime().  Don't call
5080         fclose(NULL).
5081         (static var hash) Remove `size_p', `max_used' members.
5082         (font_char_name_to_index) Don't call hsh_next_prime().  Use
5083         hsh_hash_string() instead of hashpjw(), & instead of %.
5084         (default_font) Don't call hsh_next_prime().
5085
5086         * pool.c: (pool_strndup) New function.
5087         (pool_strdup) Reimplement in terms of pool_strndup.
5088
5089         * postscript.c: (hash_font_entry) Use hsh_hash_string().  Get rid
5090         of nasty casts.
5091         (hash_ps_encoding) Use hsh_hash_string().
5092         (hash_ps_combo) Use hsh_hash_string(), hsh_hash_int().
5093         (hash_filename2font) Use hsh_hash_string().
5094
5095         * som.c: Add #include <stdlib.h>.
5096
5097         * tab.c: (tab_destroy) Don't set t->container after freeing `t'
5098         (by destroying its pool).
5099         
5100 Fri Dec 12 23:18:59 2003  Ben Pfaff  <blp@gnu.org>
5101
5102         Miscellaneous hash table code cleanup:
5103         
5104         * hash.h: (struct hsh_table) Moved into hash.c.
5105         (hsh_count) Ditto, and transformed into function.
5106         (hsh_compare_func) New typedef, used for defining otherwise-long
5107         function types here and in hash.c
5108         (hsh_hash_func) Ditto.
5109         (hsh_free_func) Ditto.
5110         
5111         * hash.c: (struct hsh_table) Renamed `n' to `used', `m' to `size',
5112         `table' to `entries'.  Removed `mp'.  All references updated.
5113         (hsh_clear) Don't shrink entries array; if the hash was this big
5114         once, it probably will be again.
5115         (hsh_rehash) Made static.
5116         (force_hsh_insert) Renamed hsh_force_insert.
5117         (force_hsh_find) Renamed hsh_force_find.
5118
5119         Made hash table sizes powers of 2, because that's fine with any
5120         reasonable hash function and because taking a power-of-2 modulus
5121         is faster than any other:
5122         
5123         (hsh_prime_tab) Removed;
5124         (hsh_next_prime) Ditto.
5125         (next_power_of_2) New function.
5126         (hsh_create) Use next_power_of_2.
5127         (hsh_rehash) Use & instead of %.
5128
5129         Cleaned up hsh_sort:
5130         
5131         (internal_comparison_fn) Removed.
5132         (sort_nulls_last) New function.
5133         (hsh_sort) Removed second parameter, switched to using the new
5134         quicksort() function from quicksort.h to avoid using nasty need
5135         for static variables with qsort().  All references updated.
5136
5137         Changed the hash functions offered, because there are better hash
5138         functions than the ones we had, and cleaned up the names to boot:
5139         
5140         * hash.c: (hashpjw_d) Removed.
5141         (hashpjw) Ditto.
5142         (hsh_hash_bytes) New function.
5143         (hsh_hash_string) New function.
5144         (hsh_hash_int) New function.
5145
5146         Improved the hash table iteration interface:
5147         
5148         * hash.h: (hsh_iterator_init) Removed.
5149         (struct hsh_iterator) Removed `init' member, change `next' to
5150         size_t.
5151
5152         * hash.c: (hsh_foreach) Removed.  All references updated to use
5153         hsh_first/hsh_next instead.
5154         (hsh_first) New function.  Notably, unlike hsh_foreach() it does
5155         not treat a null pointer as an empty hash table.
5156         (hsh_next) New function.
5157
5158         Made deletion possible, though slow:
5159
5160         * hash.c: (locate_matching_entry) New function.
5161         (hsh_find) Use locate_matching_entry().
5162         (hsh_delete) New function also using locate_matching_entry().
5163         (hsh_force_delete) New function.
5164
5165 Fri Dec 12 23:16:10 2003  Ben Pfaff  <blp@gnu.org>
5166
5167         * quicksort.c: New file implementing a sort routine with a
5168         interface better than qsort() because it passes a user-provided
5169         parameter to the sort routine.
5170
5171         * Makefile.am: Add quicksort.c, quicksort.h.
5172
5173 Fri Dec 12 13:31:58 2003  Ben Pfaff  <blp@gnu.org>
5174
5175         * All source files: Get rid of nasty special cases for Checker,
5176         which is pretty obsolete now.
5177
5178 Thu Dec 11 21:38:24 WST 2003 John Darrington <john@darrington.wattle.id.au>
5179
5180         * Fixed a bug apparent when using the FREQUENCIES command with the
5181         html driver.  The html driver was incorrectly trying to display 
5182         empty cells.
5183
5184 Sun Jan  2 21:40:13 2000  Ben Pfaff  <blp@gnu.org>
5185
5186         * Makefile.am: Reorganized.  Put locale dir in version.c instead
5187         of passing it to each compile command.  Only put local gmp libs in
5188         LD_ADD if not installed on system.  Remove `boast' target.
5189
5190         * All source files: struct and union typedefs eliminated.
5191         `sizeof type' replaced by `sizeof object' where practical.  Moved
5192         `unused' qualifiers from start to end of declarations for gcc
5193         2.7.2 compatibility.  Change `while (1)' to `for (;;)'.  Made
5194         assertions on pointers strictly compliant.  Removed _ prefixes on
5195         some function parameter names.
5196
5197         * alloc.c: New source file, containing these external linkage
5198         functions removed from common.c: xmalloc, xcalloc, xrealloc,
5199         xstrdup.
5200
5201         * arena.c: Removed.
5202         
5203         * arena.h: Removed.
5204
5205         * ascii.c: Migrated from arenas to pools.
5206         (struct ascii_driver_ext) ops[], box[], fonts[] changed from
5207         c_string to len_string.  All references changed.
5208         (ascii_option) Signature changed to comply to new output.c
5209         interface.
5210         (count_fancy_chars) Removed.
5211         (delineate) Removed support for rich text.
5212         (ascii_text_metrics) Ditto.
5213         (text_draw) Ditto.
5214         (output_shorts) Change `box', `off', `on' from c_string to
5215         len_string.  Change `remaining' from int to size_t.
5216         (ascii_close_page) Make page numbering less haphazard.
5217
5218         * autorecode.c: Migrate from arenas to pools.
5219
5220         * avl.c: Migrate from arenas to pools.  Synch from libavl 1.4.0.
5221
5222         * bitvector.h: New file containing these macros from misc.h:
5223         SET_BIT, CLEAR_BIT, SET_BIT_TO, TEST_BIT, BIT_INDEX.
5224
5225         * command.c: (struct command) cmd1, cmd2, cmd3 members changed to
5226         word[3].  ncmd removed.
5227         (var empty_string) Removed.
5228         (var cmd_table) Declaration updated.
5229         (var cmdtab) Removed.
5230         (cmp_command) Removed.
5231         (split_words) Rewritten to use strtok_r().
5232         (init_cmd_parser) Renamed cmd_init().  Rewritten.
5233         (find_command) Removed.
5234         (FILE_TYPE_okay) Rewritten.
5235         (cmd_parse) Rewritten.  Semantics of the return value of command
5236         handlers has changed: they must now return one of the new CMD_*
5237         enumerals, rather than a magic value.  This meant that all
5238         commands had to be modified, and they were.
5239         (figure_out_command) New function.
5240
5241         * command.def: Add CORRELATIONS, PEARSON CORRELATIONS.  Add
5242         #defines for INIT, INPU, etc.
5243
5244         * command.h: New CMD_* enum series.
5245         (cur_proc) Make const char *, not char *.
5246         (cmd_init) Prototype.
5247         (cmd_parse) Ditto.
5248
5249         * common.c: Removed.
5250
5251         * common.h: Removed.
5252
5253         * correlations.q: New file.
5254
5255         * crosstabs.q: Migrate from arenas to pools.  Migrate to new-style
5256         q2c.
5257         (custom_tables) Renamed crs_custom_tables().
5258         (custom_variables) Renamed crs_custom_variables().
5259         (calc_integer) Add in some `const' qualifiers.
5260         (table_value_missing) Change from a_string to len_string.
5261         (float_M_suffix) Change from a_string to len_string.
5262
5263         * data-in.c: Rewritten.  All references to
5264         parse_string_as_format() changed to data_in().
5265
5266         * data-in.h: New file.
5267
5268         * data-list.c: Change DLS_* from #define's to enums.  Move from
5269         rpd_msg() to tmsg().
5270         (RPD_ERR) New #define.
5271         (do_reading) Change dfm_push_cust() to dfm_push(), pop_cust() to
5272         dfm_pop().
5273         (read_from_data_list_fixed) Change from old
5274         parse_string_as_format() to new data_in().
5275         (read_from_data_list_free) Ditto.
5276         (read_from_data_list_list) Ditto.
5277         (cmd_repeating_data) Modify approach to checking for end of
5278         command.
5279         (rpd_msg) Removed.
5280         (rpd_parse_record) Change from old parse_string_as_format() to new
5281         data_in().  Change from old convert_format_to_string() to new
5282         data_out().
5283         (read_one_set_of_repetitions) Change dfm_push_cust() to
5284         dfm_push(), pop_cust() to dfm_pop().
5285
5286         * data-out.c: Rewritten.  All references to
5287         convert_format_to_string() changed to data_out().
5288
5289         * descript.q: Migrate to new q2c.
5290         (cmd_descriptives) Removed.
5291         (internal_cmd_descriptives) Renamed cmd_descriptives ().
5292         (custom_variables) Renamed dsc_custom_variables().
5293
5294         * dfm.c: (struct dfm_fhuser_ext) `ln' removed.  All references
5295         removed.
5296         (open_file_r) Initialize h->where.line_number.  Migrate to new
5297         struct string.
5298         (open_file_w) Initialize h->where.line_number.
5299         (read_record) Change from ext->ln to h->where.line_number.
5300         Migrate to struct string.
5301         (dfm_put_record) Rephrased.
5302         (dfm_push_cust) Renamed dfm_push(), rewritten.
5303         (dfm_pop) New function.
5304
5305         * error.c: All references updated.
5306         (glob var error_count) Renamed err_err_count.
5307         (glob var warning_count) Renamed err_warning_count.
5308         (glob var error_already_flagged) Renamed err_already_flagged.
5309         (glob var verbosity) Renamed err_verbosity.
5310         (glob var cust_fn) Removed.
5311         (glob var cust_ln) Removed.
5312         (static var file_loc) New.
5313         (static var nfile_loc) New.
5314         (static var mfile_loc) New.
5315         (tmsg) New function.
5316         (push_cust) Removed.
5317         (pop_cust) Removed.
5318         (msg) Rewritten.
5319         (static var terminating) Removed.
5320         (failure) Renamed err_failure().
5321         (hcf) Renamed err_hcf().
5322         (err_push_file_locator) New function.
5323         (err_pop_file_locator) New function.
5324         (err_location) New function.
5325         (check_error_count) Renamed err_check_count().
5326         (vmsg) Renamed err_vmsg().  Interface changed.
5327         (verbose_msg) Removed.
5328         (err_cond_fail) New function.
5329         (error_break) Renamed err_break().
5330
5331         * error.h: All references updated.
5332         (enum MSG_CLASS_COUNT) Renamed ERR_CLASS_COUNT.
5333         (enum ERR_CLASS_MASK, ERR_VERBOSITY_SHIFT, ERR_VERBOSITY_MASK)
5334         New.
5335         (struct file_locator) New.
5336         (struct error) New.
5337         (macro verbose_msg) Removed.
5338         (macro cond_fail) Removed.
5339
5340         * expr-opt.c: (evaluate_tree) sizeof(char) == 1.
5341
5342         * expr-prs.c: Reorganized.  All references updated.
5343         (exprtypename) Renamed expr_type_name().
5344         (typename) Renamed type_name().
5345         (free_expression) Renamed expr_free().
5346         (parse_expression) Renamed expr_parse().  Uses new type_check()
5347         function.
5348         (init_functab) Renamed init_func_tab().
5349         (type_check) New function.
5350         (parse_or) Rewritten to use new allocate_nonterminal() and
5351         append_nonterminal_arg() functions.
5352         (parse_and) Ditto.
5353         (parse_not) Ditto.
5354         (parse_rel) Ditto.  Also simplified logic.
5355         (parse_add) Ditto.
5356         (parse_mul) Ditto.
5357         (parse_neg) Ditto.
5358         (parse_exp) Ditto.
5359         (SYSMIS_func) Ditto.
5360         (VALUE_func) Rephrased.
5361         (CONCAT_func) Fix memory leak by replacing free by free_node on
5362         lossage.
5363         (generic_str_func) Ditto.
5364         (parse_function) Ditto.  Also rephrasings.  Uses bsearch() to find
5365         function.
5366         (allocate_nonterminal) New function.
5367         (append_nonterminal_arg) New function.
5368         (static func_tab[]) Now at file level.
5369         (cmp_func) Moved.
5370         (init_func_tab) Moved.  Now just uses qsort() to sort func_tab[].
5371
5372         * expr.h: (enum series OP_*) Moved to exprP.h.
5373         (OP_* defines) Ditto.
5374         (struct op_desc) Ditto.
5375         (global ops[]) Ditto.
5376         (struct num_con_node) Ditto.
5377         (struct str_con_node) Ditto.
5378         (struct var_node) Ditto.
5379         (struct lag_node) Ditto.
5380         (struct casenum_node) Ditto.
5381         (struct nonterm_node) Ditto.
5382         (union any_node) Members renamed.
5383         (struct sys_node) Removed.
5384         (struct val_node) Removed.
5385         (operator typedef) Removed.
5386         (typedef exprtype) Removed.
5387         (enum series EX_*) Moved to exprP.h.
5388         (struct expression) Ditto.  Also renamed a lot of the members.
5389         (PXP_* defines) Changed to enums.
5390         (free_node prototype) Moved to exprP.h.
5391
5392         * file-handle.h: (struct file_handle) New member `where'.
5393
5394         * file-handle.q: Migrated to new q2c format.
5395         (prepend_current_directory) Removed (dead code).
5396         (cmd_file_handle) Incorporated all of internal_cmd_file_handle().
5397         (fh_get_handle_by_filename) Removed dead code.
5398         Set new `where' member.
5399
5400         * file-type.c: (file_type_source_read) References to
5401         parse_string_as_format() changed to data_in().
5402         dfm_push_cust()/pop_cust() changed to dfm_push()/dfm_pop().
5403
5404         * filename.c: All references updated.
5405         (init_filename) Renamed fn_init().
5406         (expand_line) Removed.
5407         (macro EXPAND_LINE) Removed.
5408         (interp_vars) Renamed fn_interp_vars().  Now uses st_*() instead
5409         of custom functions.
5410         (gnu_getcwd) Renamed fn_get_cwd(), rewritten.
5411         (tilde_expand) Renamed fn_tilde_expand(), uses ds_*().
5412         (normalize_filename) Renamed fn_normalize().
5413         (search_path) Renamed fn_search_path(), rewritten.
5414         (prepend_dir) Renamed fn_prepend_dir().
5415         (blp_getenv) Renamed fn_getenv().
5416         (blp_dirname) Renamed fn_dirname().
5417         (fn_basename) New function, not used.
5418         (absolute_filename_p) Renamed fn_absolute_p().
5419         (is_special_filename) Renamed fn_special_p().
5420         (file_exists) Renamed fn_exists_p().
5421         (readlink_malloc) Renamed fn_readlink().
5422         (getenv_default) Renamed fn_getenv_default().
5423         (open_file) Renamed fn_open().
5424         (close_file) Renamed fn_close().
5425         (open_file_ext) Renamed fn_open_ext().
5426         (close_file_ext) Renamed fn_close_ext().
5427
5428         * font.h: Migrate from arenas to pools.
5429
5430         * format.c: (parse_format_specifier_name) Deal with ds_* strings.
5431
5432         * frequencies.g: Migrate from arenas to pools.
5433
5434         * frequencies.q: Migrate to new q2c version.  Migrate from arenas
5435         to pools.
5436
5437         * getline.c: All references updated.
5438         (global getl_buf) Changed from char * to struct string.
5439         (static getl_include_path) Ditto.
5440         (global getl_buf_len) Removed.
5441         (global getl_buf_size) Removed.
5442         (getl_include_path) Deal with new getl_buf, getl_include_path.
5443         (getl_uninitialize) New function.
5444         (getl_get_current_directory) Rewritten.
5445         (getl_clear_include_path) Rewritten.
5446         (getl_add_include_dir) Rewritten.
5447         (getl_add_file) Assertion fixed.
5448         (getl_add_virtual_file) Change initial value of `remaining_loops'
5449         from 2 to 1.
5450         (welcome) Rewritten.
5451         (handle_line_buffer) Make static.  Change logic to make
5452         getl_add_virtual_file() change sensible.  Use ds_*() strings.
5453         (getl_read_line) Use ds_*() strings.  Implement SET ECHO.
5454         (getl_close_file) Moved.
5455         (getl_location) New function.
5456
5457         * getline.h: All references updated.
5458         (macro curln) Removed.
5459         (macro curfn) Removed.
5460         (macro am_interactive) Renamed getl_am_interactive.
5461         (macro am_reading_script) Renamed getl_reading_script.
5462
5463         * glob.c: (global fmt_parse_ignore_error) Removed.
5464         (init_glob) Use locale_dir not LOCALEDIR.  Use feholdexcept() on
5465         systems that support it (C99).  Turn off SET ECHO by default.  No
5466         necessary julcal initialization anymore.
5467
5468         * groff-font.c: Migrate from arenas to pools.
5469         (groff_read_font) Use err_push_file_locator().
5470         (groff_read_DESC) Ditto.
5471         (font_msg) Use tmsg().
5472
5473         * hash.c: (hsh_sort) Fix debug code.
5474         [GLOBAL_DEBUGGING] Include stdio.h.
5475
5476         * hash.h: (macro force_hsh_insert) Rephrase.
5477
5478         * heap.c: Rewritten.
5479         
5480         * heap.h: Rewritten.
5481
5482         * html.c: (html_option) Change from outp_value to struct string.
5483         (postopen) Change from curfn to getl_location().
5484         (escape_string) Remove rich-text code.  Signature changed.
5485         (output_tab_table) Switch from a_string to struct len_string.
5486         Remove rich text support.
5487
5488         * lexer.c: All references updated.  Largely rewritten.  Major
5489         changes listed below.  Removed tagged quote support.  Adapted to
5490         struct string tokstr.
5491         (global tokstr) Changed to struct string.
5492         (global tokstr_size) Removed.
5493         (global tokstr_len) Removed.
5494         (global tokid) New.
5495         (global tokint) Removed.
5496         (global toklongstr) Removed.
5497         (C* defines) Removed.
5498         (static tbl[]) Removed.
5499         (static id[]) Removed.
5500         (static une[]) Removed.
5501         (discard_line) Renamed lex_discard_line().
5502         (get_entire_line) Renamed lex_entire_line().
5503         (get_rest_of_line) Renamed lex_rest_of_line().
5504         (get_dotted_rest_of_line) Merged into lex_rest_of_line().
5505         (make_hexit) Removed.
5506         (syntax_error) Renamed lex_error().  Return value removed.
5507         (get_token_representation) Renamed lex_token_representation().
5508         (putback) Renamed lex_put_back().
5509         (putfwd) Renamed lex_put_forward().
5510         (convert_negative_to_dash) Renamed lex_negative_to_dash().
5511         (set_prog) Renamed lex_set_prog().
5512         (init_lex) Renamed lex_init().
5513         (reset_eof) Renamed lex_reset_eof().
5514         (lookahead) Renamed lex_look_ahead().
5515         (check_id) Rewritten.
5516         (yylex) Renamed lex_get(), rewritten.
5517         (lex_end_of_command) New function.  Many commands were rephrased
5518         using this.
5519         (lex_integer_p) New function.  Replaces compare of tokint against
5520         NOT_LONG.
5521         (lex_integer) New function.  Replaces tokint.
5522         (match_tok) Renamed lex_match().
5523         (match_id) Renamed lex_match_id().
5524         (match_int) Renamed lex_match_int().
5525         (force_match_id) Renamed lex_force_match_id(), added return value.
5526         (force_match) Renamed lex_force_match(), added return value.
5527         (force_string) Renamed lex_force_string(), added return value.
5528         (force_int) Renamed lex_force_int(), added return value.
5529         (lex_id_match_len) New function.
5530         (id_match) Renamed lex_id_match(), rewritten.
5531         (get_line) Renamed lex_get_line().
5532         (preprocess_line) Renamed lex_preprocess_line().
5533         (tokname) Renamed lex_token_name().
5534         (bin_value_func) Removed.
5535         (oct_value_func) Removed.
5536         (hex_value_func) Removed.
5537         (unexpected_eof) New function.
5538         (convert_numeric_string_to_char_string) New function.
5539         (parse_string) Rewritten, signature changed.
5540         (add_tokstr_char) Removed.
5541         (add_tokstr_unsigned) Removed.
5542         (add_tokstr_string) Removed.
5543         (parse_tagged_quote) Removed.
5544         (skip_comment) Renamed lex_skip_comment().
5545
5546         * lexer.h: All references updated.
5547         (macro is_id1) Renamed CHAR_IS_ID1.
5548         (macro is_idn) Renamed CHAR_IS_IDN.
5549         (token names ID, NUM, STRING, STOP, ... WITH, EXP) Renamed with
5550         prefix T_: T_ID, T_NUM, T_STRING, T_STOP, ... T_WITH, T_EXP.
5551         (macro get_token) Removed.
5552         (macro id_match) Removed.
5553         (macro force_match_id) Removed.
5554         (macro force_match) Removed.
5555         (macro force_string) Removed.
5556         (macro force_int) Removed.
5557         (macro force_num) Removed.
5558         (macro force_id) Removed.
5559
5560         * lexerP.h: Removed.
5561
5562         * list.q: Migrated to new q2c format.
5563         (write_line) Deal with struct len_string.
5564         (write_varname) Ditto.
5565         (write_fallback_headers) Ditto.
5566
5567         * magic.c: New file, incorporating the following global variables
5568         previously in other files: endian, second_lowest_value.  And both
5569         of those are conditional on #define's.
5570
5571         * magic.h: New file, incorporating the following global variable
5572         declarations: endian, second_lowest_value, and the following macro
5573         declarations: NOT_DOUBLE, NOT_LONG, NOT_INT.
5574
5575         * main.c: Added declarations of pgmname, finished, curdate,
5576         start_interactive.
5577         (main) Call new parse_script() function.
5578         (parse_script) New function.
5579         (execute_command) New function.
5580         (dump_token) Removed.
5581         (handle_error) New function.
5582
5583         * matrix.c: New file.
5584
5585         * matrix.h: New file.
5586
5587         * matrix-data.c: Migrated from arenas to pools.
5588         (mget_token) Change from parse_string_as_format() to data_in().
5589
5590         * means.q: Migrate to new q2c.
5591         (custom_tables) Renamed mns_custom_tables().
5592         (custom_crossbreak) Renamed mns_custom_crossbreak().
5593         (custom_variables) Renamed mns_custom_variables().
5594
5595         * mis-val.c: (static var width) Changed from `int' to `size_t'.
5596         (parse_varnames) Prototype.
5597         (parse_numeric) Rephrasings.
5598         (parse_alpha) Adapt to new struct string tokstr.
5599
5600         * misc.c: (intlog10) Rewritten.
5601         (spacing) Removed.
5602         (ansi_rand) Renamed real_rand(), moved into random.c.
5603         (ansi_srand) Renamed real_srand(), moved into random.c.
5604         (setup_randomize) Moved to random.c.
5605         (rand_uniform) Ditto.
5606         (rand_normal) Ditto.
5607         (rand_simple) Ditto.
5608         (get_config_line) Removed.
5609         (reverse) Removed (dead code).
5610
5611         * misc.h: (macro SET_BIT) Moved to bitvector.h.
5612         (macro CLEAR_BIT) Ditto.
5613         (macro TEST_BIT) Ditto.
5614         (macro SET_BIT_TO) Ditto.
5615         (macro BIT_INDEX) Ditto.
5616
5617         * output.c: (outp_read_devices) Move to err_push_file_locator()
5618         from push_cust().  Use struct string.
5619         (expand_op_tokstr) Removed.
5620         (static var op_tokstr) Changed to struct string.
5621         (static var op_tokstr_size) Removed.
5622         (tokener) Rephrasings.  Use struct string.
5623         (parse_options) Use struct string.
5624         (destroy_driver) Fix assertion.
5625         (outp_get_paper_size) Move to err_push_file_locator().
5626         [0] Removed dead code.
5627         (outp_string_width) Move to len_string.
5628
5629         * output.h: Comment fixes.
5630         (TAG_* enum series) Removed.
5631         (struct outp_value) Removed.
5632         (enum OUTP_T_FANCY) Removed.
5633         (struct outp_text) `s' changed from a_string to len_string.
5634         (struct outp_class) `option' change arg 3 from outp_value to
5635         struct string.
5636
5637         * pfm-read.c: (corrupt_msg) Rewritten.
5638
5639         * pfm-write.c: (bufwrite) Fix assertion.
5640
5641         * pool.c: New file, reference version.
5642
5643         * pool.h: New file, reference version.
5644
5645         * postscript.c: (ps_font_sizes) Fix assertion.
5646         (ps_option) Change arg 3 from outp_value to struct string.
5647         Adapt to struct string.
5648         (macro output_line) Removed.
5649         (macro add_string) Removed.
5650         (output_encodings) Adapted to struct string.  Moved to
5651         err_push_file_locator().
5652         (find_encoding_file) Fix assertion.
5653         (read_ps_encodings) Move to err_push_file_locator().
5654         (postopen) Use getl_location() instead of curfn.
5655         (out_text_plain) Move to len_string.
5656         (text) Ditto.  Remove rich text support.
5657
5658         * print.c: (cmd_print) Remove now-unneeded resource cleanup code.
5659         (cmd_print_eject) Ditto.
5660         (cmd_write) Ditto.
5661         (internal_cmd_print) Now cleans up after itself.  Uses
5662         fh_parse_file_handle() now.
5663         (cmd_print_space) Use PXP_NUMERIC to type-check.
5664
5665         * q2c.c: Overhauled.  Removed _("") i18n support.  All references
5666         updated.  All output functions updated to handle structures rather
5667         than local or static variables.  Adapt to new PSPP lex_*()
5668         functions.
5669         (macro _) Removed.
5670         (macro N_) Removed.
5671         (macro MAX_N_SBC) Removed.
5672         (global bare) Removed.
5673         (enum STRING) Renamed T_STRING.
5674         (enum ID) Renamed T_ID.
5675         (get_buffer) Buffer size increased.
5676         (strlower) Renamed st_lower(), rephrased.
5677         (strupper) Renamed st_upper(), rephrased.
5678         (skip_ws) New function.
5679         (get_line) Don't special-case any types of lines (like those
5680         beginning with ! or $, for instance).
5681         (get_token) Renamed lex_get().  Rephrased.
5682         (static var `prefix') New.
5683         (parse) New function.
5684         (parse_setting) Minor rephrasing.
5685         (dump_specifier_vars) Ditto.
5686         (make_identifier) Put null terminator on identifier, duh.
5687         (dump_vars) Renamed dump_declarations().  Never indent.  Never
5688         static.  Output changed entirely.
5689         (dump_specifier_init) Rephrase.
5690         (dump_vars_init) No index variable needed.  Other modifications.
5691         (dump_parser) Don't parse command name.  Do dump functions instead
5692         of just code fragments.
5693         (dump_free) Dump function instead of code fragment.
5694         (recognize_directive) New function.
5695         (main) Use recognize_directive().  Don't rely on magic $ line
5696         beginning: instead, parse comments.  Update list of headers.
5697
5698         * random.c: New file, containing the following functions:
5699         real_rand(), real_srand(), setup_randomize, shuffle, rand_uniform,
5700         rand_normal, rand_simple.
5701
5702         * random.h: New file.
5703
5704         * recode.c: (cmd_recode) Merge internal_cmd_recode() into this
5705         function.  `max_src_width', `max_dst_width' changed to size_t.
5706         (internal_cmd_recode) Removed.
5707         (parse_dest_spec) Merge similar cases.
5708         (parse_src_spec) Add assertion.
5709
5710         * repeat.c: (recognize_keyword) New function.
5711         (internal_cmd_do_repeat) Parse and handle PRINT keyword on END
5712         REPEAT.  Improve recognition of END REPEAT (use
5713         recognize_keyword()).  Move from curfn to getl_location().  Use
5714         struct string.
5715                 
5716         (perform_DO_REPEAT_substitutions) Adapt to struct string.
5717
5718         * set.q: Adapt to new q2c.
5719         (cmd_set) Range-check some values better.
5720         (custom_blanks) Renamed stc_custom_blanks().
5721         (custom_length) Renamed stc_custom_length().
5722         (custom_results) Renamed stc_custom_results().
5723         (custom_seed) Renamed stc_custom_seed().
5724         (custom_width) Renamed stc_custom_width().
5725         (custom_format) Renamed stc_custom_format().
5726         (custom_journal) Renamed stc_custom_journal().
5727         (custom_color) Renamed stc_custom_color().
5728         (custom_listing) Renamed stc_custom_listing().
5729         (custom_disk) Renamed stc_custom_disk().
5730         (custom_log) Renamed stc_custom_log().
5731         (custom_rcolor) Renamed stc_custom_rcolor().
5732         (custom_viewlength) Renamed stc_custom_viewlength().
5733         (custom_workdev) Renamed stc_custom_workdev().
5734
5735         * settings.h: Not necessary to include format.h any longer.
5736
5737         * sfm-read.h: (macro bswap_int32) Moved here from sfmP.h.
5738         (corrupt_msg) Rewritten.
5739
5740         * sort.c: Adapt to rewritten heap ADT.
5741
5742         * str.c: (aa_strcpy) Removed.
5743         (ab_strcpy) Removed.
5744         (ac_strcpy) Removed.
5745         (ba_strcpy) Removed.
5746         (bb_strcpy) Removed.
5747         (ca_strcpy) Removed.
5748         (aa_strdup) Removed.
5749         (aa_strdupcpy) Removed.
5750         (ba_strdup) Removed.
5751         (sa_strdup) Removed.
5752         (memrev) Renamed mm_reverse().
5753         (memrmem) Renamed mm_find_reverse().
5754         (cmp_str) Renamed st_compare_pad().
5755         (strmaxcpy) Removed.
5756         (strbarepadcpy) Renamed st_bare_pad_copy(), signature changed.
5757         (strbarepadlencpy) Renamed st_bare_pad_len_copy(), signature
5758         changed.
5759         (strpadcpy) Renamed st_pad_copy(), signature changed.
5760         (blpstrset) Removed.
5761         (ds_create) New function.
5762         (ds_init) New function.
5763         (ds_replace) New function.
5764         (ds_destroy) New function.
5765         (ds_clear) New function.
5766         (ds_extend) New function.
5767         (ds_shrink) New function.
5768         (ds_truncate) New function.
5769         (ds_length) New function.
5770         (ds_size) New function.
5771         (ds_value) New function.
5772         (ds_end) New function.
5773         (ds_concat) New function.
5774         (ds_concat_buffer) New function.
5775         (ds_printf) New function.
5776         (ds_putchar) New function.
5777         (ds_getline) New function.
5778         (ds_get_config_line) New function derived from the old
5779         misc.c:get_config_line().
5780         (ls_create) New function.
5781         (ls_create_buffer) New function.
5782         (ls_init) New function.
5783         (ls_shallow_copy) New function.
5784         (ls_destroy) New function.
5785         (ls_null) New function.
5786         (ls_null_p) New function.
5787         (ls_empty_p) New function.
5788         (ls_length) New function.
5789         (ls_value) New function.
5790         (ls_end) New function.
5791
5792         * str.h: Reformatted.
5793         (struct a_string) Removed.
5794         (struct b_string) Removed.
5795         (struct c_string) Removed.
5796         (struct len_string) New.
5797         (struct string) New.
5798         (macro as_streq) Removed.
5799         (macro bs_streq) Removed.
5800         (macro cs_streq) Removed.
5801         (macro sa_streq) Removed.
5802         (macro sb_streq) Removed.
5803         [__GNUC__] (inline function ds_putchar) New function.
5804         [__GNUC__] (inline function ds_length) New function.
5805         [__GNUC__] (inline function ds_value) New function.
5806         [__GNUC__] (inline function ds_end) New function.
5807
5808         * sysfile-info.c: (cmd_sysfile_info) Rephrased.
5809         (display_vectors) Fix missing i18n.
5810
5811         * t-test.q: Migrate to new q2c.
5812
5813         * tab.c: Migrate from arenas to pools.
5814         (tab_create) Use struct len_string.
5815         (tab_realloc) Ditto.
5816         (text_format) Ditto.
5817         (tab_joint_text) Ditto.
5818         (tab_natural_width) Remove rich text support.
5819         (tab_natural_height) Ditto.
5820         (tab_output_text) Handle TAT_FIX.
5821         (tab_raw) Change arg from a_string to len_string.
5822         (tabi_driver) Fix assertion.  Use struct len_string.
5823         (render_strip) Use struct len_string.  Remove rich text support.
5824         Add `const' qualifiers.
5825
5826         * tab.h: (enum TAB_RICH) Remove.
5827         (enums TAB_COL_NONE, TAB_COL_DONE) New.  Where appropriate,
5828         SOM_COL_* updated to read TAB_COL_*.
5829         (struct tab_table) Change arena to pool.  Change a_string to
5830         len_string.
5831
5832         * temporary.c: (restore_dictionary) Rewrite Checker code.
5833
5834         * var.h: (macros MAX_SHORT_STRING, MIN_LONG_STRING, SYSMIS,
5835         LOWEST, HIGHEST) Moved here from common.h.
5836         (typedef any_trns) Removed.  All references changed to `struct
5837         trns_header'.
5838
5839         * vars-atr.c: (force_create_variable) Fix assertion.
5840         (force_dup_variable) Fix assertion.
5841         
5842 Thu Jun  3 18:40:42 1999  Ben Pfaff  <blp@gnu.org>
5843
5844         Using alphanumeric variables in functions under AGGREGATE
5845         segfaulted.  Fixed.  Thanks to Dr. Dirk Melcher
5846         <BZN-mdksh@t-online.de> for reporting this bug.
5847         
5848         * aggregate.c: (parse_aggregate_functions) When setting the
5849         FSTRING bit, also allocate memory for the `string' member of
5850         agr_next.
5851         (free_aggregate_functions) Free iter->string.  Don't use the
5852         non-function bits when indexing the array of functions.
5853         [DEBUGGING] (debug_print) Don't use the non-function bits when
5854         indexing the array of functions.        
5855
5856 Sun May 30 00:00:54 1999  Ben Pfaff  <blp@gnu.org>
5857
5858         Under certain circumstances, the final case would be omitted from
5859         the results of an AGGREGATE operation.  Fixed.  Thanks to Dr. Dirk
5860         Melcher <BZN-mdksh@t-online.de> for reporting this bug.
5861         
5862         * aggregate.c (agr_00x_end_func): Increment number of cases in
5863         sink before writing case.  For streams that keep track of how many
5864         cases there are based on this value, this means that the last case
5865         will be read in on the next stream read.
5866
5867 Sat May 29 22:03:31 1999  Ben Pfaff  <blp@gnu.org>
5868
5869         Undefined behavior was invoked by referencing a freed pointer.
5870         
5871         * vfm.c (memory_stream_write): Free pointer *after* checking for
5872         non-null status.
5873
5874 Sat May 29 22:02:22 1999  Ben Pfaff  <blp@gnu.org>
5875
5876         A wrong record size was displayed when paging the active file to
5877         disk.
5878         
5879         * vfm.c: (memory_stream_write) Fix off-by-one error.
5880
5881 Sat May 29 21:50:26 1999  Ben Pfaff  <blp@gnu.org>
5882
5883         Not having enough temporary space for sorting caused a core dump.
5884         Fixed.
5885         
5886         * sort.c: (allocate_cases) Initialize i.
5887
5888 Sat May 29 21:40:54 1999  Ben Pfaff  <blp@gnu.org>
5889
5890         Syntax errors in function descriptions on AGGREGATE caused core
5891         dumps.  Fixed.
5892         
5893         * aggregate.c (cmd_aggregate): Don't free agr_dict after calling
5894         free_aggregate_functions(), since that function already frees
5895         agr_dict.
5896         
5897 Sat May 29 21:06:10 1999  Ben Pfaff  <blp@gnu.org>
5898
5899         A null pointer was dereferenced, causing a core dump, when
5900         PERCENTILES was specified on FREQUENCIES.  This fixes the problem,
5901         but PSPP still doesn't calculate percentiles.  Thanks to Regnor
5902         Jernsletten <rjernsle@eunet.no> for reporting this problem.
5903         
5904         * arena.c: (arena_malloc) If the arena hasn't been initialized
5905         already, initialize it.
5906
5907 Sat May 29 20:47:29 1999  Ben Pfaff  <blp@gnu.org>
5908
5909         * Makefile.cygwin: New file supplied by Hankin <hankin@dunno.com>
5910         for compilation with Cygnus Windows B20.  Not used by other
5911         systems.
5912
5913 Sat May 29 20:36:04 1999  Ben Pfaff  <blp@gnu.org>
5914
5915         SORT always sorted in ascending order.  Fixed.  Thanks to Dr. Dirk
5916         Melcher <BZN-mdksh@t-online.de> for reporting this bug.
5917
5918         * sort.c: (compare_case_lists) Reverse sense of comparison if
5919         sorting in descending order.
5920         (compare_record) Ditto.
5921
5922 Tue Mar  9 13:18:54 1999  Ben Pfaff  <blp@gnu.org>
5923
5924         SPLIT FILE with a string variable caused a core dump.  Fixed.
5925
5926         * vfm.c: If the variable is a string then make a temporary value
5927         struct pointing to it.  The underlying problem is a lot bigger
5928         than this (see TODO) but this is a stopgap for the simple case at
5929         least.
5930         
5931 Tue Mar  9 13:15:53 1999  Ben Pfaff  <blp@gnu.org>
5932
5933         Nested INCLUDEs didn't work.  Fixed.
5934
5935         * getline.c: (getl_include) Set first_line to NULL in allocated
5936         structure.
5937
5938 Tue Mar  9 13:13:46 1999  Ben Pfaff  <blp@gnu.org>
5939
5940         The MATCH FILES procedure set the values of variables not present
5941         to 0.  It should have been SYSMIS.  This is now fixed.
5942
5943         * get.c: (mtf_delete_file_in_place) Replace 0.0 by SYSMIS.
5944
5945 Tue Mar  9 12:52:23 1999  Ben Pfaff  <blp@gnu.org>
5946
5947         The REMARK command was too aggressive about skipping lines.  It
5948         didn't like being the last command in a file.
5949
5950         * command.c: (cmd_remark) Call get_entire_line() instead of
5951         get_line().
5952
5953 Tue Mar  9 12:48:05 1999  Ben Pfaff  <blp@gnu.org>
5954
5955         Comment parsing wasn't consistent with the rest of the code in its
5956         idea of where one command ends and another starts.  This meant
5957         that sometimes commands would be mysteriously ignored.  Thanks to
5958         Dr. Dirk Melcher <BZN-mdksh@t-online.de> for reporting this bug.
5959          
5960         * command.c: (parse_cmd) Hand off comment parsing to new function
5961         skip_comment() in lexer.c.
5962         * lexer.c: (skip_comment) New function.
5963
5964 Wed Jan 20 20:22:07 1999  Ben Pfaff  <blp@gnu.org>
5965
5966         The TABLE subcommand on MATCH FILES worked only erratically at
5967         best.  This fixes it.  Thanks to Dr. Dirk Melcher
5968         <BZN-mdksh@t-online.de> for reporting this bug.
5969
5970         * get.c: (mtf_compare_BY_values) When comparing string values, a
5971         difference of 1 is still a difference :-)
5972         (mtf_processing) Inverted TABLE reading logic fixed.  Also don't
5973         advance TABLE files automatically when matched.  Comment fixes.
5974
5975 Tue Jan 19 22:32:31 1999  Ben Pfaff  <blp@gnu.org>
5976
5977         VARIABLE LABELS rejected a slash before the first variable
5978         specification, contradicting the documentation.  Thanks to Walter
5979         M. Gray <graywm@northernc.on.ca> for reporting this bug.
5980
5981         * var-labs.c: (cmd_variable_labels) Ignore a leading slash in
5982         command specification.
5983
5984 Tue Jan 19 22:29:54 1999  Ben Pfaff  <blp@gnu.org>
5985
5986         Because of an incorrect optimization in memory allocation,
5987         CROSSTABS sometimes segfaulted when asked to output multiple
5988         tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
5989         reporting this bug.
5990
5991         * crosstabs.q: (postcalc) New variables maxcols, maxcells, which
5992         are passed to output_pivot_table() for its use.
5993         (output_pivot_table) Instead of assuming the number of columns is
5994         constant, keep track with maxcols.  In general mode, use maxcells
5995         to determine whether more matrix cells need to be allocated.    
5996
5997 Tue Jan 19 22:27:46 1999  Ben Pfaff  <blp@gnu.org>
5998
5999         CROSSTABS didn't display value labels for column and row
6000         variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
6001         reporting this bug.
6002
6003         * crosstabs.q: (table_value_missing) If the specified value has a
6004         value label for this variable, then show it instead of the raw
6005         value.
6006         (display_dimensions) Delegate display of value_labels to
6007         table_value_missing.
6008
6009 Mon Jan 18 20:04:06 1999  Ben Pfaff  <blp@gnu.org>
6010
6011         WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
6012         <BZN-mdksh@t-online.de> for reporting this bug.
6013
6014         * print.c: (print_trns_proc) Write (CR/)LF if PRINT is used _or_
6015         if the file isn't declared as binary.
6016
6017 Mon Jan 18 19:56:45 1999  Ben Pfaff  <blp@gnu.org>
6018
6019         MATCH FILES corrupted memory and dumped core on some syntax
6020         errors.  Fixed.
6021
6022         * get.c: (cmd_match_files) Set file->handle to NULL before
6023         jumping to lossage.
6024         (mtf_free_file) Don't free a null dictionary.   
6025
6026 Mon Jan 18 19:27:57 1999  Ben Pfaff  <blp@gnu.org>
6027
6028         MATCH FILES should set numeric values not available to the
6029         system-missing value, not to 0.  Thanks to Dr. Dirk Melcher
6030         <BZN-mdksh@t-online.de> for reporting this bug.
6031
6032         * get.c: (mtf_processing) Set unused records to system-missing,
6033         not 0.
6034
6035 Mon Jan 18 15:06:46 1999  Ben Pfaff  <blp@gnu.org>
6036
6037         KEEP didn't work properly on the SAVE procedure.  Fixed.  Thanks
6038         to Ralf Geschke <ralf@kuerbis.org> for reporting this bug.
6039
6040         * temporary.c: (save_dictionary) Initialize var_by_name AVL tree
6041         in newly created dictionary, and add each copied variable to the
6042         tree.
6043  
6044 Mon Jan 18 15:04:48 1999  Ben Pfaff  <blp@gnu.org>
6045
6046         Memory leak fix.
6047         
6048         * get.c: (trim_dictionary) Free variable list for KEEP after
6049         finishing with it.
6050
6051 Mon Jan 18 12:57:36 1999  Ben Pfaff  <blp@gnu.org>
6052
6053         Some systems didn't like the way open_file was coded.  Thanks to
6054         Hankin <hankin@rogue.consultco.com> for pointing this out.
6055
6056         * filename.c: (open_file) Don't try to store stdin, stdout,
6057         stderr as part of an array, because that doesn't always work.
6058
6059 Mon Jan 18 12:53:27 1999  Ben Pfaff  <blp@gnu.org>
6060
6061         The SAVE procedure didn't save long string variables properly.
6062         Fixed by this patch.  Thanks to Hankin
6063         <hankin@rogue.consultco.com> for this patch.
6064         
6065         * sfm-write.c: (write_variable) Fix off-by-one error in writing
6066         out variable pad records.
6067
6068 Tue Jan  5 14:29:27 1999  Ben Pfaff  <blp@gnu.org>
6069
6070         Previously, if PRINT SPACE were given a negative argument, it
6071         would report an error, then spin in an (almost) infinite loop.
6072         This fixes that behavior.
6073
6074         * print.c: (print_space_trns_proc) After reporting a negative
6075         argument, set number of lines to print to 1.
6076
6077 Tue Jan  5 13:59:55 1999  Ben Pfaff  <blp@gnu.org>
6078
6079         SPSS 8.0 outputs some new record types in its system files, and it
6080         allows longer value labels.  Accept these system files.
6081
6082         * sfm-read.c: (sfm_read_dictionary) Ignore record type 7 subtype
6083         11 emitted by SPSS 8.0.
6084         
6085 Tue Jan  5 13:55:50 1999  Ben Pfaff  <blp@gnu.org>
6086
6087         The LIST procedure was too conservative in allocating space for
6088         buffers, which caused a bug that only showed up with very long
6089         output variables.  Thanks to Hankin <hankin@dunno.com> for this
6090         bug report.
6091
6092         * list.q: (determine_layout) Allocate 1022 bytes instead of 256.
6093
6094 Tue Jan  5 13:34:34 1999  Ben Pfaff  <blp@gnu.org>
6095
6096         Typo meant string format specifiers weren't checked properly.  I
6097         think that Hankin <hankin@dunno.com> sent me this report, but I'm
6098         willing to be corrected on this point.
6099  
6100         * format.c: (check_string_specifier) Fix obvious typo.  
6101
6102 Tue Jan  5 12:50:42 1999  Ben Pfaff  <blp@gnu.org>
6103
6104         Using $CASENUM in an expression didn't work.  Here's a fix.
6105         Thanks to Dirk Melcher <BZN-mdksh@t-online.de> for reporting this
6106         bug.
6107          
6108         * expr-evl.c: (evaluate_expression) Add OP_CASENUM case.
6109
6110         * expr-opt.c: (dump_node) OP_CASENUM is acceptable.
6111
6112 Tue Jan  5 12:47:48 1999  Ben Pfaff  <blp@gnu.org>
6113
6114         The changes in 0.2.1 to fix DATA LIST FREE parsing broke some
6115         other behavior, *sigh*.  This patch hopefully fixes that.  This
6116         time I've actually tested it.
6117
6118         Thanks to Hankin <hankin@dunno.com> for reporting this bug.
6119
6120         * data-list.c: (read_from_data_list_free,
6121         read_from_data_list_list) Call parse_string_as_format() directly
6122         without mucking around with the field width.
6123
6124 Tue Jan  5 12:31:19 1999  Ben Pfaff  <blp@gnu.org>
6125
6126         Occasionally, you may encounter a script that wants to be
6127         interpreted in interactive mode.  Make -i emulate this behavior to
6128         allow such scripts to be executed with PSPP.
6129
6130         Thanks to Hankin <hankin@dunno.com> for reporting this behavior.
6131
6132         * cmdline.c: (pre_syntax_message[]) Update -i description.
6133
6134         * lexer.c: (preprocess_line) When getl_interactive is 2 (i.e.,
6135         when -i is given on the command line) don't treat unindented lines
6136         as starting a new command.
6137
6138 Tue Jan  5 12:30:10 1999  Ben Pfaff  <blp@gnu.org>
6139
6140         In conjunction with egcs 1.1.1, Checker emits some bogus warnings,
6141         mostly caused by local initialized aggregates.  After egcs is
6142         fixed upstream these can be removed, but for now they're not a big
6143         deal.
6144         
6145         * ascii.c: (ascii_postopen_driver) Checker chokes on local
6146         initialized arrays.  Avoid this.
6147
6148         * sfm-write.c: (sfm_write_dictionary) Don't use a local
6149         initialized struct.
6150
6151 Tue Jan  5 12:07:24 1999  Ben Pfaff  <blp@gnu.org>
6152
6153         egcs 1.1.1 has some new warnings relative to gcc 2.8.1, which the
6154         following changes avoid.  Currently I compile sources with egcs
6155         1.1.1 and gcc 2.7.2.3 before sending them out.
6156
6157         * apply-dict.c: (apply_dict) Use new avl_traverser_init() macro.
6158         
6159         * ascii.c: (option_tab[]) Initialize all struct members.
6160
6161         * avl.h: (avl_traverser_init) New macro.
6162         
6163         * command.c: (DEFCMD, UNIMPL macros, cmd_table[]) Initialize all
6164         struct members.
6165
6166         * crosstabs.q: (enum_var_values) Use new hsh_iterator_init()
6167         macro.
6168
6169         * hash.c: Comment fix.
6170
6171         * hash.h: (hsh_iterator_init) New macro.
6172
6173         * html.c: (option_tab[]) Initialize all struct members.
6174
6175         * pfm-write.c: (write_value_labels) Use new avl_traverser_init()
6176         macro.
6177
6178         * postscript.c: (option_tab[]) Initialize all struct members.
6179         (output_encodings, preclose, dump_lines) Use new
6180         hsh_iterator_init() macro.
6181
6182         * sfm-write.c: (write_value_labels) Use new avl_traverser_init()
6183         macro.
6184
6185         * sysfile-info.c: (describe_variable) Use new avl_traverser_init()
6186         macro.
6187
6188 Thu Nov 19 12:32:45 1998  Ben Pfaff  <blp@gnu.org>
6189
6190         * data-in.c: Examined each of the parsing functions to make sure
6191         that they wouldn't dump core if they were passed a string of the
6192         wrong length, since now the DATA LIST FREE/LIST routines don't
6193         check for field width before passing it to the data parser.
6194         (parse_RBHEX, parse_AHEX) Reject odd length input.
6195         (parse_string_as_format) Reject input that's too short or too
6196         long.
6197
6198         * data-list.c: Before, the DATA LIST FREE/LIST routines would pad
6199         a field to its entire declared output width then pass it to the
6200         data-in parsing routines.  This contradicted the documented
6201         behavior.  This is fixed in these changes.  Thanks to Mark H. Wood
6202         <mwood@IUPUI.Edu>.  In addition, this fixes a few more details of
6203         free-format parsing that differed from SPSS.
6204         (cut_field) Commas and spaces are treated identically.  Returns
6205         the proper column instead of a fixed 1 value.
6206         (parse_field) Removed.
6207         (read_from_data_list_free, read_from_data_list_list) Call
6208         parse_string_as_format directly instead of parse_field.
6209
6210         * heap.c: (heap_delete) Stylistic fixes.
6211
6212 Sun Aug  9 11:12:13 1998  Ben Pfaff  <blp@gnu.org>
6213
6214         * loop.c: (loop_2_trns_proc) Formatting fix.
6215
6216         * sel-if.c: (cmd_filter) Set FILTER_before_TEMPORARY.
6217
6218         * var.h: (glob var FILTER_before_TEMPORARY) New global var.
6219
6220         * vfm.c: (macro FILTERED) New.
6221         (static var filter_var) New.
6222         (process_active_file_write_case) Use FILTERED.
6223         (setup_filter) Set filter_var.
6224         (close_active_file) Delete the filter if not
6225         FILTER_before_TEMPORARY.
6226         (procedure_write_case) Use FILTERED.
6227
6228 Sat Aug  8 00:20:14 1998  Ben Pfaff  <blp@gnu.org>
6229
6230         * crosstabs.q: Changed /PIVOT={ON,OFF} to /FORMAT={PIVOT,NOPIVOT}.
6231
6232         * data-in.c: (parse_day_count) Message fix.
6233         (parse_month) Style fix.
6234
6235         * data-list.c: (struct data_list_pgm) New member eof.
6236         (cmd_data_list) Init eof to 0.
6237         (do_reading) Implement the /END subcommand and read-past-eof
6238         checking.
6239
6240         * do-if.c: Include stdio.h when debugging.
6241         (cmd_else_if) Make sure the command is .-terminated.
6242
6243         * glob.c: (init_glob) Capitalize the command prompt.
6244
6245         * inpt-pgm.c: (end_case_trns_proc) Debugging message.
6246         (end_file_trns_proc) Debugging message.
6247
6248         * loop.c: (internal_cmd_loop) Make it work when there's no loop
6249         index!
6250         (loop_2_trns_proc) Enable MXLOOPS (why was this disabled?)
6251
6252         * main.c: (dump_token) Make kwtab[] const.
6253
6254         * set.q: Spelling, comment fixes.
6255
6256         * sysfile-info.c: (cmd_display) DISPLAY VECTORS not DISPLAY
6257         VECTOR.
6258
6259         * vars-prs.c: (fill_all_vars) Style fix.
6260
6261         * vfm.c: (index_to_varname) Return const.
6262
6263 Tue Aug  4 23:49:23 1998  Ben Pfaff  <blp@gnu.org>
6264
6265         * Changes in many source files for partial -ansi -pedantic and
6266         no-debugging compliance: Remove trailing common in enum
6267         declarations; add `unused' attributes; insert some appropriate
6268         casts.
6269
6270         * cmdline.c: (parse_command_line) Add new --testing-mode flag.
6271
6272         * command.c: (shell) Make static.
6273         (run_command) Make static.
6274
6275         * data-list.c: (dump_fixed_table) Remove use of local_strdup().
6276
6277         * dfm.c: (cmd_begin_data) I18n fix.
6278
6279         * error.c: (verbose_msg) Define if __STRICT_ANSI__.
6280
6281         * error.h: (macro verbose_msg) Define if __STRICT_ANSI__.
6282
6283         * expr-opt.c: (evaluate_tree) Don't initialize local arrays if
6284         __STRICT_ANSI__.
6285
6286         * file-handle.q: Don't prepend the source file directory name to
6287         the data file name.  (Ongoing issue.)
6288         (prepend_current_directory) Comment out.
6289         (internal_cmd_file_handle) Don't call prepend_current_directory().
6290         (fh_get_handle_by_filename) Ditto.
6291
6292         * filename.c: Append zero byte to readlink() return value.
6293
6294         * getline.c: (getl_read_line) I18n fix.
6295
6296         * lexer.h: Don't use gcc features if __STRICT_ANSI__.
6297
6298         * misc.h: Don't use gcc features if __STRICT_ANSI__.
6299
6300         * pfm-write.c: (bufwrite) Don't try to increment a void * pointer
6301         directly.
6302
6303         * postscript.c: (output_encodings) Don't use local_strdup().
6304         (postopen) Ditto.
6305
6306         * print.c: Don't use gcc features if __STRICT_ANSI__.
6307
6308         * q2c.c: (dump_vars) Don't put a , at the end of the last enum.
6309
6310         * recode.c: (parse_src_spec) Fully brace nested if's.
6311
6312         * set.q: (global var set_testing_mode) New var.
6313
6314 Wed Jul 29 22:01:44 1998  Ben Pfaff  <blp@gnu.org>
6315
6316         * ascii.c: Add some more `unused' attributes that only come into
6317         play when NDEBUG is defined.
6318         (ascii_close_page) Set s_len when reallocating s.
6319         
6320         * crosstabs.q: (delete_missing) New function.
6321         (output_pivot_table) Call delete_missing() if /MISSING=REPORT.
6322         (make_summary_table) Create summary table reallocable.
6323
6324         * postscript.c: Add more `unused' attributes as above.
6325
6326         * tab.c: (tab_create) [GLOBAL_DEBUGGING] Set reallocable member.
6327         (tab_realloc) [GLOBAL_DEBUGGING] Assert that table is reallocable.
6328          
6329         * tab.h: (struct tab_table) [GLOBAL_DEBUGGING] New `reallocable'
6330         member.
6331
6332         * var.h: (macro force_dup_variable) [!GLOBAL_DEBUGGING] Remove
6333         gratuitous space between parameter definition.
6334
6335         * vars-atr.c: Changed some assert(0)'s to abort()'s to prevent
6336         complaints about running off the end of functions with NDEBUG
6337         enabled.
6338
6339 Sun Jul  5 00:17:25 1998  Ben Pfaff  <blp@gnu.org>
6340
6341         * Several source files: Removed some PORTME notes when reflection
6342         revealed that ANSI forbids that sort of breakage.  Also, added
6343         lots of `unused' qualifiers here and there.
6344
6345         * aggregate.c: (accumulate_aggregate_info) Remove local var
6346         weighting that turned out not to be used.
6347
6348         * avl.c: Update to version 1.1.0.  Add unused specifier.
6349         (avl_destroy) Initialize ab to 0.  Comment fixes.  Cast return
6350         value to void *.
6351         (avl_probe) Replace some instances of 1 with +1 where appropriate.
6352         (avl_find) Cast return value to void *.
6353         (avl_delete) q doesn't need to be initialized at the beginning of
6354         the function.  Replace some instances of 1 with +1.
6355         (force_avl_delete) Renamed avl_force_delete, all references changed.
6356         (compare_ints) `param' marked unused.
6357         (print_int) `param' marked unused.
6358         (recurse_tree) Replace some instances of 1 with +1.
6359
6360         * avl.h: Update to version 1.1.0.  Only declares avl function
6361         types if not already declared.
6362         (AVL_MAX_HEIGHT) Only define if not already defined.
6363         (struct avl_node) New unused member char pad[2].
6364         [GLOBAL_DEBUGGING] Change conditionalization to NDEBUG instead.
6365         (force_avl_insert) Renamed avl_force_insert.
6366         (force_avl_delete) Renamed avl_force_delete.
6367
6368         * crosstabs.q: (struct table_entry) Put `freq' into a union with
6369         new member `data'.
6370         (struct crosstab) Add new member `ofs'.
6371         (glob var int_tab) Removed.
6372         (custom_tables) In integer mode, assign v[i] properly through the
6373         indirect var_dict.
6374         (custom_variables) Now p.crs.max == max + 1.
6375         [DEBUGGING] (debug_print) p.crs.min and p.crs.max are now ints.
6376         (precalc) Implement integer mode.
6377         (calc_integer) Implement integer mode.
6378         (compare_table_entry) Remove unused local variable `comparing'.
6379         (make_summary_table) Implement integer mode.
6380         (macro ns_rows) Implemented as static variable now.
6381         (several variables) Made static, from global.
6382         (output_pivot_table) Use table_value_missing() for column heads.
6383         Remove several unused local variables.  Implement integer mode
6384         table summing.  Count up ns_rows.
6385         (crosstabs_dim) Make columns wider when /MISSING=REPORT requested.
6386         (find_pivot_extent) Moved into find_pivot_extent_general; now just
6387         calls that function or find_pivot_extent_integer.
6388         (find_pivot_extent_integer) New function.
6389         (enum_var_values) Implemented for integer mode.
6390         (table_value_missing) New function.
6391         (display_dimensions) Call table_value_missing() for heads.
6392         (float_M_suffix) New function.
6393         (display_crosstabulation) Call table_value_missing() for row
6394         heads.  Handle missing values in /MISSING=REPORT mode.
6395         (calc_fisher) Remove unused var N.
6396         (calc_r) Remove unused var fact.
6397
6398         * data-list.c: (dump_fixed_table) Fix table dimensioning.
6399         (read_one_set_of_repetitions) Remove unused vars var_spec, column.
6400
6401         * data-out.c: (insert_commas) Remove unused var cp.
6402         (convert_CCx) Remove unused vars save_set_decimal,
6403         save_set_grouping.
6404
6405         * descript.q: (dump_z_table) Fix table dimensioning.
6406         (pre_calc) Remove unused var j.
6407         (display) Remove unused vars title, s.  Fix table dimensioning.
6408
6409         * expr-evl.c: Comment fixes.
6410
6411         * frequencies.q: (full_dim) New function.
6412         (dump_full) Fix table dimensioning.
6413         (condensed_dim) New function.
6414         (dump_condensed) Fix table dimensioning.
6415
6416         * get.c: (cmd_match_files) Remove unused var n_val.  Remove unused
6417         label winnage.
6418
6419         * html.c: (html_close_drive) Remove unused var i.
6420         (postopen) Remove unused vars title, curfn_len, cp.
6421         (preclose) Remove unused vars this, x.
6422
6423         * lexer.c: Comment fixes.
6424
6425         * matrix-data.c: (cmd_matrix_data) Remove unused var index.
6426
6427         * means.q: (custom_tables) Remove unused var m_dim.
6428
6429         * mis-val.c: Format fix.
6430
6431         * modify-vars.c: (cmd_modify_vars) Remove unused var new_dict.
6432
6433         * output.c: (outp_get_paper_size) Remove unused var cp.
6434
6435         * pfm-read.c: (read_float) Remove unused var save, unused label
6436         underflow.
6437         (read_variables) Remove unused vars cp, j.
6438         (read_value_label) Remove unused var j.
6439
6440         * pfm-write.c: (bufwrite) Remove unused var i.
6441
6442         * postscript.c: (ps_postopen_drive) Remove unused vars dev_info,
6443         fn.
6444         (output_encodings) Remove unused vars char_cp, n_output.
6445         (read_ps_encodings) Remove unused var ep.
6446         (postopen) Remove unused var title.
6447         (preclose) Remove unused var fp.
6448         (ps_open_page) Remove unused vars true, false, orientation,
6449         mirror_horz, mirror_vert, width, length.
6450         (ps_text_metrics) Remove unused var x.
6451
6452         * q2c.c: (find_symbol) Remove unused var y.
6453         (parse_setting) Remove unused parameter sbc, all references
6454         changed.
6455         (dump_parser) Remove unused var cp.
6456         (dump_free) Remove unused var i.
6457
6458         * set.q: (static vars args, n) Removed.
6459         (internal_cmd_gset) Removed.
6460
6461         * sfm-read.c: (sfm_read_dictionary) Removed unused var i.
6462         (read_machine_flt64_info) Removed unused var file_endian.
6463         (read_documents) Removed unused var i.
6464         (read_compressed_data) Removed unused parameter dict, all
6465         references changed.
6466
6467         * sfm-write.c: (bufwrite) Removed unused var i.
6468         (sfm_write_case) Removed unused var i.
6469
6470         * sort.c: (merge_once) Remove unused var t.
6471         (write_separate) #if 0 out as dead code.
6472
6473         * split-file.c: (cmd_split_file) Remove unused var i.
6474
6475         * sysfile-info.c: (sysfile_info_dim) New function.
6476         (cmd_sysfile_info) Fix table dimensioning.
6477         (variables_dim) New function.
6478         (display_variables) Fix table dimensioning.
6479         (describe_variable) Remove unused var prev_r.
6480
6481         * t-test.q: (z_postcalc) Removed.
6482         (pairs_calc) Remove unused var bad_weight.
6483         (postcalc) Remove unused vars dfn, dfd.
6484
6485         * tab.c: (tab_create) Set t->dim to NULL.
6486         (tab_dim) Make sure t->dim is NULL first.
6487         (tab_natural_width) Remove parameter `clamp'.
6488         (tab_value) Remove duplicate assertion for table.
6489         (tab_raw) New function.
6490         (nowrap_dim) New function.
6491         (wrap_dim) New function.
6492         (tab_output_text) Fix table dimensioning.
6493
6494         * tab.h: (tab_raw) New macro.
6495
6496         * val-labs.c: (get_label) Remove unused var type.
6497         (copy_value_labels) Remove unused var trav.
6498
6499         * var.h: (struct crosstab_proc) Completely changed.
6500
6501         * vars-prs.c: (parse_dict_variable) Remove unused var v.
6502
6503         * vfm.c: (open_active_file) Remove unused vars i, lp.
6504
6505         * weight.c: (weight_trns_proc) #if 0 out as dead code.
6506         
6507 Tue Jun  2 23:37:21 1998  Ben Pfaff  <blp@gnu.org>
6508
6509         * Makefile.am: Add apply-dict.c, flip.c.
6510
6511         * apply-dict.c: New file.
6512         
6513         * command.c: (struct command) Make cmd[] larger for CLEAR
6514         TRANSFORMATIONS command name.
6515         (parse_cmd) Make sure we're in a valid state before using it as an
6516         index.  Discard variables and reset state on invalid transitions.
6517         (cmd_clear_transformations) New function.
6518
6519         * command.def: Add APPLY DICTIONARY, CLEAR TRANSFORMATIONS, FLIP.
6520         Add unimplemented PRESERVE, RESTORE.
6521
6522         * file-handle.h: Include stddef.h.
6523
6524         * flip.c: New file.
6525         
6526         * pfm-read.c: (parse_value) Pad value label values with spaces,
6527         not nulls.
6528
6529         * sfm-read.c: (struct sfm_fhuser_ext) Add reference count.
6530         (sfm_close) Decrement reference count, make sure it's zero.
6531         (sfm_maybe_close) New function.
6532         (sfm_read_dictionary) Handle reference counts.
6533
6534         * vars-atr.c: (clear_default_dict) New function.
6535         (discard_variables) Use clear_default_dict().
6536
6537 Sun May 31 00:58:05 1998  Ben Pfaff  <blp@gnu.org>
6538
6539         * Makefile.am: Add pfm-write.c.
6540         (LDADD) Add the libgmp2 libraries.
6541
6542         * command.def: Define EXPORT.
6543
6544         * get.c: (cmd_export) New function.
6545         (export_write_case_func) New function.
6546
6547         * pfm-read.c: (static spss2ascii[]) Make it const.
6548
6549         * pfm-write.c: New file.
6550
6551         * sfm-write.c: Formatting, comment fixes.
6552
6553         * var.h: Comment fix.
6554
6555 Fri May 29 21:44:12 1998  Ben Pfaff  <blp@gnu.org>
6556
6557         * Makefile.am: Add pfm.h, pfm-read.c.
6558
6559         * command.def: IMPORT is now implemented.
6560
6561         * format.c: (glob var translate_fmt[]) New var.
6562
6563         * get.c: (enum GTSV_NONE) Renamed GTSV_OPT_NONE.
6564         (cmd_import) New function.
6565         (import_source_read) New function.
6566         (glob var import_source) New var.
6567
6568         * pfm-read.c: New file.
6569
6570         * pfm.h: New file.
6571         
6572         * sfm-read.c: (parse_format_spec) Local variable translate_fmt[]
6573         moved in format.c.
6574         (dump_dictionary) Disabled printing a couple of items.
6575
6576 Mon May 25 12:42:37 1998  Ben Pfaff  <blp@gnu.org>
6577
6578         * crosstabs.q: (postcalc) Call make_summary_table().
6579         (make_summary_table) New function.
6580         (insert_summary) New function.
6581         (display_dimensions) Remove some unnecessary arguments, all
6582         references changed.
6583         (output_pivot_table) Fix lots of problems with the risk table
6584         setup.
6585         (submit) Don't display an empty table.
6586         (display_risk) Fix order of arguments to calc_risk().
6587
6588         * glob.c: Always include assert.h and stdlib.h.
6589
6590         * output.h: (enum OUTP_T_JUST_FULL) Removed, all references
6591         removed.
6592
6593         * tab.c: (tab_create) Cosmetic changes.
6594
6595         * tab.h: (enum TAB_JUSTIFY) Removed, all references removed.
6596
6597 Sun May 24 22:39:23 1998  Ben Pfaff  <blp@gnu.org>
6598
6599         * tab.def: Removed.
6600
6601         * crosstabs.q: (output_pivot_table) Headers drawing and submission
6602         code simplified, moved into new function submit().
6603         (submit) New function.
6604         (crosstabs_dim) New function.
6605         (display_directional) Substitute variable names for %s where
6606         appropriate.
6607         (somers_d_v[], somers_d_ase[], somers_d_t[]) New static vars.
6608         (calc_symmetric) Initialize parameters only if non-NULL.
6609         Calculate Somers' d.
6610         (calc_directional) Calculate Somers' d (or copy it, really).
6611         Calculate eta.
6612
6613         * output.c: (outp_string_width) New function.
6614
6615         * postscript.c: (postopen) Calculate font widths based on the
6616         width of the zero '0' character, not the width of the space
6617         character.  Set paper-width and paper-length based on points, not
6618         device units.
6619         (ps_open_page) Fix page setup string for landscape mode.
6620
6621         * som.h: (struct som_dimension) Removed.
6622         (struct som_table_class) height, width members take int * not
6623         som_dimesion * now.
6624
6625         * tab.c: Many functions now have added parameter validation.
6626         (tab_height, tab_width) These functions were removed and merged
6627         into a single function tab_resize(), and all references changed.
6628         (tab_dim) Rewritten since the interface changed; reduced from
6629         hundreds of lines to two.  All callers were changed.  Currently
6630         most of them just use tab_natural_dimensions as their callback and
6631         await detailed translation of functionality.
6632         (tab_natural_width) New function.
6633         (tab_natural_height) New function.
6634         (tab_natural_dimensions) New function.  This is a callback
6635         function, not something that you'd want to call directly.
6636         (tab_nat_dim) Removed.
6637         (tabi_table) Allocates t->w and t->h.
6638         (tabi_driver) Inlined sum_columns()'s functionality.  Calls the
6639         dimensions callback.
6640         (evaluate_dimensions) Removed.
6641         (sum_columns) Removed.
6642
6643         * tab.h: (enum TAL_1THIN) Removed.
6644         (enum series t_*) Removed.
6645         (struct tab_table) Members trh, trv changed to unsigned char *
6646         from int *.  Member dim changed to a function pointer from a
6647         unsigned char *.  Member max_stack_height removed.  New members
6648         hr_tot, vr_tot.
6649         (macros tab_l, tab_r, tab_t, tab_b) New.
6650
6651 Sat May 23 23:22:13 1998  Ben Pfaff  <blp@gnu.org>
6652
6653         * ascii.c: (delineate) Assign last_space_nchars before skipping
6654         spaces, to fix right justification.
6655
6656         * crosstabs.q: (static vars risk, direct) New vars.
6657         (static var pearson_r) Removed.
6658         (glob var chisq_fisher) Made static.
6659         (static vars row_tot[], col_tot[]) Don't include grand total
6660         anymore.
6661         (static var grand_total) Renamed W, all references changed.
6662         (output_pivot_table) Only make `table' if num_cells != 0.  Make
6663         risk and directional tables.  Deal with grand total no longer part
6664         of col_tot[].  Free rows and cols after we're done with them.
6665         (display_risk) New function.
6666         (display_directional) New function.
6667         (clac_r) Rewritten so that it stores all its results into its
6668         arguments, so it can be used for Spearman's correlation too.
6669         (calc_symmetric) Added a t[] argument, all references changed.
6670         Calculates ASEs for tau-b, tau-c, gamma.  Calculates Spearman's r,
6671         Pearson's r, Cohen's kappa.
6672         (calc_risk) New function.
6673         (calc_directional) New function.
6674
6675         * som.c: (som_submit) Improved debugging code.
6676
6677         * stats.c: (hypercube) New function.
6678         (cube) New function.
6679         (sqr) New function.
6680         (normal_sig) Went back to old implementation, which actually
6681         worked.
6682
6683         * stats.h: (macros square, cube, hypercube) Removed.  The
6684         equivalent functions in stats.c are inlined here; all references
6685         to square changed to sqr.
6686
6687 Fri May 22 00:03:41 1998  Ben Pfaff  <blp@gnu.org>
6688
6689         * crosstabs.q: (N_SYMMETRIC) New define.
6690         (postcalc) Disable debug printing.
6691         (static vars chisq_fisher, pearson_r) New.
6692         (output_pivot_table) Add support for symmetric measures.  Add
6693         chi-square output of exact sigs.
6694         (display_chisq) Rewritten.
6695         (display_symmetric) New function.
6696         (gamma_int) New function.
6697         (Pr) New function.
6698         (swap) New function.
6699         (calc_fisher) New function.
6700         (calc_chisq) Check boundary conditions better. Calculate Yates,
6701         Fisher, Mantel-Haenszel tests.
6702         (calc_r) New function.
6703         (calc_symmetric) New function.
6704
6705         * stats.c: (normal_sig) Rewritten with new algorithm.  Renamed
6706         from calc_normal.
6707         (chisq_sig) Better boundary conditions.  Renamed from
6708         calc_significance.
6709
6710         * tab.h: (struct tab_table) New member cf.
6711
6712         * tab.c: (tab_create) Set cf.
6713         (tab_width) New function.
6714         (tab_realloc) Handle cf.
6715         (tab_vline) Handle cf.
6716         (tab_hline) Handle cf.
6717         (tab_box) Handle cf.
6718         (tab_value) Handle cf.
6719         (tab_float) Handle cf.
6720         (tab_text) Handle cf.
6721         (tab_joint_text) Handle cf.
6722         (tab_offset) Handle cf.
6723         (tab_next_row) Handle cf.
6724         (evaluate_dimensions) Handle cf.
6725         (render_strip) Handle cf.
6726
6727 Wed May 20 00:03:59 1998  Ben Pfaff  <blp@gnu.org>
6728
6729         * crosstabs.q: (postcalc) New vars row_tot, col_tot, pass them to
6730         output_pivot_table().
6731         (output_pivot_table) Moved lots of local variables outside and
6732         made them static.  Add beginnings of chi-square statistic
6733         support.  Now column and row totals aren't in the main matrix.
6734         Always zero out any leftover rows & columns after we're done with
6735         the table entries.  Move all output stuff into
6736         display_dimensions(), display_crosstabs(), display_chisq().
6737         (display_dimensions) New function.
6738         (display_crosstabulation) New function.
6739         (display_chisq) New function.
6740         (calc_chisq) Implemented Pearson and likelihood-ratio chisquares.
6741
6742         * frequencies.q: (dump_full, dump_condensed) Remove tab_null()
6743         references, simplify logic.
6744
6745         * postscript.c: Remove scale, translate-x, translate-y,
6746         mirror-horz, mirror-vert, rotate-180 options.
6747         (struct ps_driver_ext) Remove scale, translate_x, translate_y.
6748         All references deleted.
6749         (macro YT) New macro.
6750         (array option_tab[]) Removed options.
6751         (ps_option) Removed options.
6752         (ps_open_page) Write page setup explicitly to output file, without
6753         using now-deleted BP function.
6754         (macro dump_line) Use YT().
6755         (macro dump_thick_line) Use YT().
6756         (draw_headers) Use YT().
6757         (switch_font) Reorder arguments to SF function.
6758         (write_text) Use YT().
6759
6760         * sfm-read.c: (sfm_read_case) Don't attempt to read variables that
6761         have get.fv == -1.
6762
6763         * sysfile-info.c: (describe_variables) Don't use tab_nulls().
6764
6765         * tab.c: (tab_create) Initialize t->ct to zeros.  Remove
6766         null-debugging code.
6767         (tab_realloc) Remove null-debugging code.  Initialize new regions
6768         of t->ct to zeros.
6769         (tab_vline) Support offsets.
6770         (tab_hline) Support offsets.
6771         (tab_box) Support offsets.
6772         (tab_null) Removed.
6773         (tab_nulls) Removed.
6774         (tab_row) Removed.
6775         (tab_col) Removed.
6776         (evaluate_dimensions) Remove null-debugging code.  Understand
6777         TAB_EMPTY attribute.  Assert that text.s.s is always non-NULL if
6778         TAB_EMPTY not present.
6779
6780         * tab.h: New cell attribute TAB_EMPTY.
6781         (macros tab_nr, tab_nc, tab_row, tab_col) New.
6782
6783         * vars-atr.c: (init_variable) Set get.fv to -1 so that GET doesn't
6784         try to read them from system files.
6785
6786         * vfm.c: (dump_splits) Don't call tab_null().   
6787
6788 Sat May 16 19:36:55 1998  Ben Pfaff  <blp@gnu.org>
6789
6790         * crosstabs.q: (struct crosstab) Added `missing' member.
6791         (custom_tables) Init missing.
6792         (calc_general) Handle missing values.
6793         (calc_chisq) New function.
6794         (output_pivot_table) Start work on chi-square output.  Update for
6795         new tab offset support functions.  Shorten statistic names.
6796
6797         * Several files: add in more `const's to placate gcc's warnings.
6798
6799         * tab.h: (struct tab_table) Add col_ofs, row_ofs members.  Comment
6800         fixes.
6801
6802         * tab.c: (tab_height, tab_realloc, tab_vline, tab_hline, tab_box,
6803         tab_null, tab_nulls, tab_value, tab_float, tab_text,
6804         tab_joint_text) Add col_ofs and row_ofs support.
6805         (tab_offset) New function.
6806         (tab_next_row) New function.
6807         (tab_row) New function.
6808         (tab_col) New function.
6809         (tabi_table) Add col_ofs and row_ofs support.
6810
6811         * vars-atr.c: (is_system_missing) New function.
6812
6813 Tue May 12 16:14:30 1998  Ben Pfaff  <blp@gnu.org>
6814
6815         * crosstabs.q: Expanded subcommand names RESID --> RESIDUAL, etc.
6816         (static var no_cells) Removed.
6817         (static var num_cells) New.
6818         (static var expected) New.
6819         (static var cells[]) New.
6820         (internal_cmd_crosstabs) Deal with new variables.
6821         (postcalc) Removed most of the meat and put it in new function
6822         output_pivot_table().
6823         (output_pivot_table) Calculates and outputs an entire pivot table.
6824
6825         * postscript.c: (postopen) Fix problems with free()ing addresses
6826         not obtained from malloc().
6827
6828         * som.c: (som_submit) Add assertion.
6829
6830         * sysfile-info.c: (describe_variable) Use new tab_nulls()
6831         function.
6832
6833         * tab.c: (static var tab_names[]) New.
6834         (tab_realloc) -1 for nc or nr indicates no change.
6835         (tab_nulls) New function.
6836         (tab_dim) Use tab_names[].
6837         (tabi_cumulate) Don't include bottom or right headers.  Furrfu.
6838         (evaluate_dimensions) Don't terminate on uninited cells, just put
6839         an X in them and emit a notice.  Use tab_names[].
6840
6841         * tab.h: Move bits into tab.def.
6842
6843         * tab.def: New.  Don't try to declare tab_table_class because then
6844         som.h has to be included.       
6845         
6846 Thu May  7 22:55:04 1998  Ben Pfaff  <blp@gnu.org>
6847
6848         * command.def: New file, contains all the command definitions
6849         previously included bodily in command.c.
6850
6851         * format.def: New file, contains all of the format definitions
6852         previously split across format.h, format.c, and sfm-write.c.
6853
6854         * lexer.h: Renamed from tokens.h in order to match corresponding
6855         .c file name.
6856
6857         * lexerP.h: Moved some rarely used functions exported by lexer.c
6858         into here.
6859
6860         * Makefile.am: Commemorate renamed files.
6861         (EXTRA_DIST) Add command.def, format.def.
6862
6863         * command.c: [0] (walk_cmdtable_func) Removed.
6864
6865         * crosstabs.q: (postcalc) Made it work and print out matrices
6866         proving it.
6867         (enum_column_values) Renamed enum_var_values, generalized for any
6868         variable.
6869
6870         * format.h: (struct fmt_desc) New member `spss'.
6871
6872         * q2c.c: (main) Generated code includes lexer.h instead of
6873         tokens.h.
6874
6875         * sfm-write.c: (write_format_spec) Use new spss member of fmt_spec
6876         instead of an independent translation table.
6877
6878 Tue May  5 13:19:03 1998  Ben Pfaff  <blp@gnu.org>
6879
6880         * Lots of source files: Added const to declarations.
6881
6882         * aggregate.c: (parse_aggregate_function) Rename inner i to j.
6883         
6884         * arena.c: (arena_clear) Set prev pointer to null when done.
6885
6886         * ascii.c: (ascii_option) Rename index as indx.
6887
6888         * avl.c: This is now a separate library called libavl.
6889         (xmalloc) Make static.
6890         (avl_probe) Step A7 can use the cache instead of an explicit
6891         compare.
6892         (avl_delete) Don't maintain a q pointer because it's always
6893         available in the pointer stack.  Comment fix.
6894
6895         * avl.h: This is now a separate library called libavl.
6896
6897         * command.c: (cmd_table[]) Remove spurious trailing "".
6898
6899         * common.h: Only include random() fix if this system needs it.
6900
6901         * crosstabs.q: Include alloca headers.
6902         (n_sorted_tab) New global var.
6903         (postcalc) Mostly rewritten.
6904         (find_pivot_extent) Rewritten.
6905         (enum_column_values) Rewritten.
6906
6907         * data-out.c: (convert_F) Rename inner n as n_spaces.
6908
6909         * error.c: (dump_message) Don't have an outer var i.
6910
6911         * file-handle.q: (static var f) Removed.  All references removed.
6912         (internal_cmd_file_handle) Uses a local variable instead of f.
6913
6914         * get.c: (trim_dictionary) Change scope of i, i1, i2.
6915         (cmd_match_files) Don't strcpy tokstr into sbc (why was this ever
6916         done?)
6917
6918         * getline.h: Declare getl_history as extern.  Reported by
6919         palme@uni-wuppertal.de (Hubert Palme).
6920
6921         * postscript.c: (postopen) Some large mods for constness.
6922
6923         * recode.c: Remove spurious copyrights since PSPP is owned by FSF
6924         anyway.
6925
6926 Fri Apr 24 12:52:47 1998  Ben Pfaff  <blp@gnu.org>
6927
6928         * Makefile.am: Rename BUILT_SOURCES to q_sources, all references
6929         changed.  Add avl.c, avl.h to pspp_SOURCES.  Remove avllib from
6930         LDADD.
6931
6932         * avl.c, avl.h: New files.  These form a clean-room
6933         reimplementation of avllib.  Iterative algorithms are used in
6934         place of recursive ones, so there is no resemblance in the code.
6935
6936         * Lots of headers: Don't include other headers by default.
6937
6938         * Lots of source files: Explicitly include all needed headers.
6939
6940         * arena.c: (arena_clear) New function.
6941
6942         * crosstabs.q: (ROW_VAR, COL_VAR) New enums.
6943         (static var ar) Removed.
6944         (staitc vars ar_tc, ar_col) New.
6945         (cmd_crosstabs) Destroy the arenas.
6946         (internal_cmd_crosstabs) Create the arenas.
6947         (precalc) Don't need a free function for the hash.
6948         (calc_general) Make sure to zero out the trailer on the key data
6949         before inserting.
6950         (print_table_entries) Updated.
6951         (postcalc) Worked on actually implementing.
6952         (find_pivot_extent) New function.
6953         (compare_value) New function.
6954         (enum_column_values) New function.
6955
6956         * data-in.c: (parse_month) Make local array `static const'.
6957         
6958         * data-out.c: (convert_date) Make local array `static const'.
6959         (convert_WKDAY) Same.
6960         (convert_MONTH) Same.
6961
6962         * frequencies.q: (postprocess_freq_tab) avl_walk_inorder() has
6963         been renamed to avl_walk().
6964         
6965         * hash.c: Rewritten more efficiently.
6966
6967         * hash.h: Add attribute const to hsh_next_prime declaration.
6968
6969         * lexer.c: (id_match) Make arguments const.
6970
6971         * postscript.c: (ps_postopen_driver) Make default fonts the
6972         Helvetica family.
6973
6974         * q2c.c: (main) Generated code needs stdlib.h.
6975
6976         * sfm-write.c: (write_value_labels) An avl_traverser needs to be
6977         initialized to 0 now, not to NULL.  All other references to
6978         avl_traverser were updated in the same way.
6979
6980         * tokens.h: Macro version of id_match updated to use const
6981         properly.
6982
6983         * val-labs.c: (inc_ref_count) New function.
6984         (copy_value_labels) Simply through use of new avl_copy() function.
6985
6986 Wed Apr 15 13:01:58 1998  Ben Pfaff  <blp@gnu.org>
6987
6988         * crosstabs.q: Probably doesn't compile.  New PIVOT subcommand.
6989         (postcalc) Worked on this.
6990
6991         * postscript.c: (OPO_DOUBLE_LINE) New enum.
6992         (struct ps_driver_ext) New line_width_thick member.
6993         (ps_preopen_drive) Init line_width_thick.
6994         (option_tab[]) Add line-* options.
6995         (ps_option) Parse line-* options.
6996         (postopen) Add line_width_thick support.  Strip leading spaces on
6997         prologue output lines.
6998         (ps_open_page) Include line_width_thick in output.
6999         (macro dump_thick_line) New.
7000         (dump_fancy_line) Support thick lines as well as double lines.
7001
7002 Tue Apr 14 00:50:08 1998  Ben Pfaff  <blp@gnu.org>
7003
7004         * Makefile.am: Add crosstabs.c to BUILT_SOURCES.  Add crosstabs.q
7005         to pspp_SOURCES.  Add crosstabs.q to EXTRA_DIST.
7006
7007         * Many source files: Rename `options' to `pv_opts' as appropriate.
7008
7009         * command.c: (static var cmd_table[]) Add CROSSTABS command.
7010
7011         * common.c: (xcalloc) New function.
7012
7013         * crosstabs.q: New file.  Not finished yet, though.
7014                 
7015         * data-list.c: Comment fix.
7016
7017         * error.c: Remove some old Checker cruft.
7018
7019         * frequencies.q: (dump_full) Cumulate valid percent instead of
7020         regular percent.
7021
7022         * getline.c: Comment fix.
7023
7024         * hash.c: Comment fixes.
7025
7026         * hash.h: (struct hsh_table) Make hash functions return unsigned
7027         instead of int to avoid problems with taking the modulo of
7028         negative return values.  All references changed.
7029
7030         * misc.c: (intlog10) Make its table static const instead of auto.
7031
7032         * sfm-read.c: (read_header) Make `prefix' static const instead of
7033         auto.
7034
7035         * var.h: (union value) Add member `hash'.
7036         (struct variable) Rename prv_index as `foo'--all references
7037         changed.  Reorder.
7038         (typedef pv_opts) Removed.  All references changed.
7039
7040         * vars-prs.c: (parse_variables) Message fixes.
7041         
7042 Mon Mar  9 15:35:08 1998  Ben Pfaff  <blp@gnu.org>
7043
7044         * get.c: (cmd_match_files) Don't reverse the order of FILEs as
7045         they are being inserted.  Don't check for BY variables of
7046         different types.  Discard variables if the active file isn't
7047         included in the merge.
7048         (mtf_processing) Essentially rewritten.
7049         (mtf_merge_dictionary) Check for master/slave variables of
7050         different types/widths.
7051
7052         * vfm.c: (static var not_canceled) New var.
7053         (process_active_file) Don't call vfm_source->read() if
7054         there's no vfm-source.  Initialize not_canceled.
7055         (process_active_file_write_case) Honor and update not_canceled.
7056         (prepare_for_writing) Rollback changes from yesterday, they were
7057         wrong.
7058         (close_active_file) Don't destroy vfm_source unless it exists.
7059         
7060 Mon Mar  9 00:56:16 1998  Ben Pfaff  <blp@gnu.org>
7061
7062         * Lots of source files: Added { } around nested if/else constructs
7063         to avoid new gcc 2.8 warnings.
7064
7065         * data-in.c: (parse_Z) Declare `int' type explicitly.
7066         (convert_Z) Ditto.
7067
7068         * get.c: (struct mtf_file) Add prev, next_min, by, input members.
7069         (cmd_match_files) Initialize mtf_by_values.  Manage by, input,
7070         prev members.  Put TABLEs at the end of the chain and FILEs at the
7071         beginning.  Don't allow the active file in STATE_INIT.  Use proper
7072         `seen' value for the active file.  Fill out the by members and
7073         make sure they're of consistent type.  Do the actual merge
7074         operation.
7075         (mtf_processing_finish) New function.
7076         (var_type_description) New function.
7077         (mtf_free_file) New function.
7078         (mtf_free) Rewritten.
7079         (mtf_delete_file_in_place) New function.
7080         (mtf_read_nonactive_records) New function.
7081         (mtf_compare_BY_values) New function.
7082         (static var mtf_seq_no) New var.
7083         (mtf_processing) New function.
7084         (mtf_merge_dictionary) Assign nval members for the system file
7085         dictionary.  Assign fv values for its variables.  Point each slave
7086         variable to the corresponding master variable.
7087
7088         * hash.c: Include str.h.
7089
7090         * mis-val.c: (copy_missing_values) src arg is const.
7091
7092         * misc.c: (spacing) Make `max' var explicitly int.
7093
7094         * sfm-read.c: (dump_dictionary) Message reformatting.
7095         (sfm_read_case) Add assertion.
7096
7097         * sort.c: Esthetic fixes.
7098
7099         * var.h: (struct match_files_proc) New struct.
7100         (struct variable) Add private data match_files_proc.
7101
7102         * vars-atr.c: (delete_variable) Implement.  Add argument for the
7103         dictionary that owning the variable.
7104         (dup_variable) Add assertion.
7105
7106         * vfm.c: Comment fixes, hopefully the comments are correct now.
7107         (process_active_file) New function.
7108         (process_active_file_write_case) New function.
7109         (process_active_file_output_case) New function.
7110         (prepare_for_writing) Use temp_dict->nval for vfm_info, not
7111         default_dict.nval.
7112         (write_case) Renamed procedure_write_case().  Now write_case is a
7113         pointer to a function.  Style fixes.
7114         
7115 1998-03-05  Ben Pfaff  <blp@gnu.org>
7116
7117         * Makefile.am: (q2c) Link with libmisc.
7118         (version.c) Define default_config_path, include_path,
7119         groff_font_path.
7120
7121         * ascii.c: (ascii_postopen_driver) When the default newline string
7122         is requested, open file in text mode.  Suggested by
7123         palme@uni-wuppertal.de (Hubert Palme).
7124         (static vars line_buf, line_p) Change from char * to unsigned char
7125         *.
7126         (ascii_close_page) char * to unsigned char *.
7127
7128         * cmdline.c: (parse_command_line) Implement -r option by
7129         prepending ~/.pspp/rc to the list of files to process.
7130
7131         * command.c: (cmd_remark) Reset getl_prompt to the standard prompt
7132         before pulling in a final line.
7133         (null_func, null_int_func) Removed (dead code).
7134
7135         * descript.q: (display) Calculate width of variable name column
7136         properly.  Calculate number of valid cases properly.  Reported by
7137         palme@uni-wuppertal.de (Hubert Palme).
7138
7139         * filename.c: (init_filename) Use default_config_path instead of
7140         now obsolete CONFIG_PATH.
7141
7142         * getline.c: (getl_initialize) Use include_path instead of now
7143         obsolete INCLUDE_PATH.
7144         (getl_add_file) New argument `where'.  All references changed.
7145
7146         * groff.c: (find_font_file) Use groff_font_path instead of now
7147         obsolete GROFF_FONT_PATH.
7148         
7149         * postscript.c: (find_ps_file) Use groff_font_path instead of now
7150         obsolete GROFF_FONT_PATH.  Copy through temporary variable to
7151         avoid problems with constness.
7152
7153         * str.h: (macro cs_streq) New macro.
7154
7155         * version.h: (glob var default_config_path, include_path,
7156         groff_font_path) New vars.
7157         
7158 1998-02-23  Ben Pfaff  <blp@gnu.org>
7159
7160         * Many source files: Change verbose_msg() priority levels and
7161         messages.
7162
7163         * aggregate.c: Include debug-print.h.
7164
7165         * cmdline.c: (parse_command_line) Add --safer/-s and --command/-c
7166         options.
7167         (static var pre_syntax_message) Document --safer/-s and
7168         --command/-c.
7169
7170         * command.c: (cmd_erase, cmd_host) Disable if set_safer is set.
7171
7172         * dfm.c: (open_inline_file) [__CHECKER__] Zero out ext->file,
7173         because it's not used but it's still copied.
7174         (open_file_r) Remove gratuitous debug message.
7175
7176         * filename.c: (safety_violation) New function.
7177         (open_file) Remove gratuitous debug messages.  Don't allow pipe
7178         files if set_safer is set.
7179
7180         * get.c: Turn off debugging.
7181
7182         * getline.c: (getl_add_virtual_file) New function.
7183         (getl_read_line) Add verbose_msg() call for opening new syntax
7184         file.
7185         (getl_perform_delayed_reset) Add a return value describing whether
7186         any action was taken.  Call reset_eof().
7187
7188         * getline.h: Comment fix.
7189
7190         * groff-font.c: (groff_read_font) Use `goto next_iteration' in
7191         place of incorrect `continue'.  Use strtok_r() instead of
7192         strtok().  Always check strtok_r() return value.
7193         (groff_read_DESC) Use strtok_r() instead of strtok().
7194
7195         * lexer.c: (reset_eof) New function.
7196
7197         * main.c: (parse) Get a token after performing a delayed reset
7198         action; allow empty syntax files.
7199
7200         * postscript.c: (output_encodings) Use strtok_r() instead of
7201         strtok().
7202
7203         * q2c.c: (dump_parser) Use strtok_r() instead of strtok().
7204
7205         * set.q: Comment fixes.
7206         (glob var set_safer) New var.
7207         (internal_cmd_set) Support SAFER.
7208
7209         * str.h: [!HAVE_STRTOK_R] Declare strtok_r() prototype.
7210
7211         * temporary.c: (free_dictionary) Set d->splits to NULL after
7212         freeing.
7213
7214         * vars-atr.c: (clear_variable) Decrement dict->n_splits if
7215         variable deleted, not if it *isn't* deleted.
7216
7217 1998-02-16  Ben Pfaff  <blp@gnu.org>
7218
7219         * command.c: (array cmd_table[]) Add MATCH FILES.
7220
7221         * common.c: Comment fixes.
7222
7223         * data-list.c, dfm.c, error.c, filename.c, list.q, matrix-data.c,
7224         modify-vars.c, postscript.c, sfm-read.c, sfm-write.c, tab.c:
7225         Include alloca.h.  Problem reported by palme@uni-wuppertal.de
7226         (Hubert Palme).
7227
7228         * expr-opt.c: Include str.h.  Problem reported by
7229         palme@uni-wuppertal.de (Hubert Palme).
7230
7231         * get.c: (cmd_get) [DEBUGGING] Update v->p.get to v->get.
7232         (static var mtf_by) Change from char ** to variable **.
7233         (static var mtf_master) New var.
7234         (mtf_merge_dictionary) New function.
7235         (cmd_match_files) Init mtf_master.  Parse mtf_by according to new
7236         var type.  Reorder tests properly.  Initialize file->dict.  Detect
7237         TABLE= without BY=.  Read file dictionaries and merge them.  Give
7238         subcommand name with IN, LAST, FIRST error messages.  Create IN,
7239         LAST, FIRST variables.  Comment fixes.
7240         (mtf_free) Don't free default_dict.  Free mtf_master.
7241
7242         * getline.c: Define getl_mode.  Change getl_buf_size to size_t
7243         from int.
7244         (handle_line_buffer) Cast int to size_t in comparison to avoid
7245         warning.
7246
7247         * getline.h: Declare getl_mode extern.
7248
7249         * groff-font.c: (groff_read_font) Type-fix calls to getline.
7250         (groff_read_DESC) Make line_size a size_t.
7251         (match_tok) Parenthesize name to avoid macro expansion.
7252
7253         * mis-val.c: (copy_missing_values) New function.
7254
7255         * postscript.c: (postopen) Make buf_size a size_t.
7256
7257         * sfm-read.c: (dump_dictionary) Make global from static.  Print
7258         variable info in parts for easier debugging with Checker.
7259
7260         * temporary.c: (copy_variable) Use copy_value_labels().
7261         (new_dictionary) New arg: whether to copy file label, documents.
7262
7263         * val-labs.c: (copy_value_labels) New function.
7264
7265         * var.h: (enums MISSING_*) Add MISSING_COUNT.
7266
7267         * vars-atr.c: [GLOBAL_DEBUGGING] (force_dup_variable) New
7268         function.
7269         (dup_variable) Set prv_index, get.fv, get.nv.
7270
7271 Fri Feb 13 15:38:36 1998  Ben Pfaff  <blp@gnu.org>
7272
7273         * Makefile.am: (pspp_SOURCE) Add htmlP.h.
7274
7275         * Many source files: For ANSI-compliance, add empty statement
7276         after label.  Reported by palme@uni-wuppertal.de (Hubert Palme)
7277         and Micah Altman <maltman@www-vdc.fas.harvard.edu>.
7278
7279         * data-in.c: (parse_numeric) Some header files break on
7280         -DBL_MIN_10_EXP because they get a --; add () for safety.
7281         Reported by palme@uni-wuppertal.de (Hubert Palme).
7282
7283         * dfm.c: Idea by Dr Eberhard W Lisse <el@linux.lisse.na>.
7284         (struct dfm_fhuser_ext) Change `file' from FILE * to file_ext.
7285         (dfm_close) Use close_file_ext.
7286         (open_inline_file) Set file.file to NULL, not file.
7287         (open_file_r, open_file_w) Initialize file.file; fill in file_ext
7288         struct and use open_file_ext().
7289         (read_record) Use file.file.
7290
7291         * file-handle.q: (prepend_current_directory) Pass through special
7292         filenames.
7293
7294         * filename.c: Only include unistd.h if HAVE_UNISTD_H.
7295         (normalize_filename) Pass through special filenames.
7296         (open_file, close_file) Accept pipe| and |pipe syntaxes as
7297         equivalent.
7298         (dirname) Rename blp_dirname() because of name conflict on some
7299         OS.  All references changed.  Reported by palme@uni-wuppertal.de
7300         (Hubert Palme).
7301         (is_special_filename) New function.
7302
7303         * get.c: (GTSV_OPT*) Add GTSV_OPT_MATCH_FILES.
7304         (trim_dictionary) Conditionalize some of the options on whether
7305         GTSV_OPT_MATCH_FILES is in *options.
7306         (rename_variables) Don't allow variables to be renamed as scratch
7307         variables.
7308         (MTF_*) New enum series.
7309         (struct mtf_file) New struct.
7310         (static vars mtf_head, mtf_tail, mtf_by, mtf_n_by, mtf_free) New
7311         vars.
7312         (cmd_match_files, mtf_free) New functions.
7313
7314         * lexer.c: (match_int) Needed parentheses around name to escape
7315         macro expansion.  Reported by Micah Altman
7316         <maltman@www-vdc.fas.harvard.edu>.
7317
7318         * print.c: Needed to include alloca.h.  Reported by Micah Altman
7319         <maltman@www-vdc.fas.harvard.edu>.
7320
7321         * recode.c: (convert_to_double) Parenthesize -DBL_MIN_10_EXP to
7322         -(DBL_MIN_10_EXP).  Reported by palme@uni-wuppertal.de (Hubert
7323         Palme).
7324         
7325         * str.h: Include stdarg.h.  Reported by palme@uni-wuppertal.de
7326         (Hubert Palme) and Micah Altman <maltman@www-vdc.fas.harvard.edu>.
7327
7328 Thu Feb  5 00:18:21 1998  Ben Pfaff  <blp@gnu.org>
7329
7330         * html.c: (struct html_driver_ext) Move into htmlP.h.
7331         (html_preopen_driver) Initialize cp_x, cp_y.
7332         (html_submit) Implement as call to output_tab_table().
7333         (change_attributes) New function.
7334         (escape_string) New function.
7335         (output_tab_table) New function.
7336
7337         * list.q: (write_all_headers) Add code for writing headers for the
7338         html driver.
7339         (clean_up) Write out the html close-table tag.
7340         (determine_layout) Ignore html driver.
7341         (list_cases) Write html data.
7342
7343         * som.c: (som_submit) Move more of the code into output_table().
7344
7345         * tab.c: (static var hit) Make a global var and rename tab_hit.
7346         (static var tab_table_class) Make a global var.
7347
7348         * htmlP.h: New file.
7349
7350 Tue Feb  3 16:12:18 1998  Ben Pfaff  <blp@gnu.org>
7351
7352         * dump-sysfile.c: Removed.
7353
7354         * html.c: (preclose) Change comment in emitted code.
7355
7356         * matrix-data.c: Debugging off by default.  Comment fixes.
7357         (static var container) New var.
7358         (cmd_matrix_data) Create and destroy container.  Initialize
7359         is_per_factor[] to 0s.  Move code into new function
7360         string_to_content_type().  Require split values to be present in
7361         the data when ROWTYPE_ is explicit.  Call specific function, not
7362         general read_matrices().
7363         (string_to_content_type) New function.
7364         (context) Exclude all whitespace, not just spaces.
7365         (mget_token) A dot is a number.  Add assertion.
7366         (static var data) Renamed nr_data.
7367         (static var factor_values) Renamed nr_factor_values.
7368         (read_matrices) Renamed read_matrices_without_rowtype().  Handle
7369         only specific case.  Close data_file before exit.
7370         (fill_matrix) New function.
7371         (read_data_lines) Renamed nr_read_data_lines().  Remove debug
7372         printing.  Style fixes.  Message fixes.  Move code into
7373         fill_matrix().
7374         (read_matrices_without_rowtype) Rename
7375         matrix_data_read_without_rowtype().  Fix off-by-one error on
7376         loops.  Allocate nr_data[] memory from arena.
7377         (read_matrices_with_rowtype) Removed.
7378         (read_splits) Renamed nr_read_splits().  Style fixes.
7379         (read_factors) Renamed nr_read_factors().
7380         (dump_cell_content) Comment fixes.  Arguments changed.  Change
7381         debug printing.  All references changed.
7382         (output_data) Renamed nr_output_data().
7383         (static var wr_content) New var.
7384         (struct factor_data) New struct.
7385         (static var wr_data) New var.
7386         (static var wr_current) New var.
7387         (matrix_data_source_destroy_source) Removed.
7388         (read_matrices_with_rowtype) New function.
7389         (matrix_data_read_with_rowtype) New function.
7390         (wr_read_splits) New function.
7391         (compare_factors) New function.
7392         (wr_output_data) New function.
7393         (wr_read_rowtype) New function.
7394         (wr_read_factors) New function.
7395         (wr_read_indeps) New function.
7396         (glob var matrix_data_source) Make destroy_source member NULL as
7397         well.
7398
7399 Fri Jan 23 00:09:08 1998  Ben Pfaff  <blp@gnu.org>
7400
7401         * lexer.c: (syntax_error) Give better error message when at end of
7402         file.
7403
7404         * matrix-data.c: (var content_names[]) Fix PROX spelling.  Change
7405         N_SCALAR to output as plain N.
7406         (mdump_token) Change output format.
7407         (context) Fix message output interaction with spaces in input.
7408         (another_token) New function.
7409         (force_eol) Improved error message.
7410         (static var max_cell_index) New var.
7411         (read_matrices) Init `cells'.  factor_values is now per-cell.
7412         Init max_cell_index.
7413         (read_data_lines) Replace `compare' local with new `compare' arg.
7414         Debugging messages changed.  Only read factors if per_factor.
7415         Propagate error return from read_factors(), force_eol().
7416         Copy N_SCALAR values across the N vector.
7417         (read_matrices_without_rowtype) Don't init `cells'.  Don't need to
7418         check parentheses manually since we now have is_per_factor[].
7419         Call read_data_lines() with new args.  Check for end of data after
7420         looping, using another_token().
7421         (read_factors) Arguments changed.  Use max_cell_index to determine
7422         whether to read or compare factors.  Message fixes.
7423         (dump_cell_content) New function.
7424         (output_data) Completely rewritten because content types were
7425         supported to be nested inside factor values, not vice versa.
7426         
7427 Thu Jan 22 00:26:38 1998  Ben Pfaff  <blp@gnu.org>
7428
7429         * lexer.c: (syntax_error) Support formatted varargs messages.
7430
7431         * matrix-data.c: Turn debugging on by default.
7432         (static content_type[]) New array.
7433         (static content_names[]) New array.
7434         (static rowtype_, varname_) New vars.
7435         (static is_per_factor[]) New array.
7436         (static split_values) Moved declaration.
7437         (static n_continuous, first_continuous) New var.
7438         (cmd_matrix_data) Don't init split_values.  Assign ROWTYPE_ to
7439         rowtype_.  Simplify SPLIT code.  Init is_per_factor[].  Assign
7440         VARNAME_ to varname_.  Initialize first_continuous, n_continuous.
7441         Check for continuous variables.
7442         [DEBUGGING] (debug_print) Remove content_names[].
7443         (mdump_token) New macro.
7444         (mget_token_dump) New function.
7445         (mdump_token) New function.
7446         (context) New function.
7447         (mget_token) Fix messages.
7448         (static var data, split_values, factor_values) New vars.
7449         (read_matrices) Manage split_values, factor_values.
7450         (read_data_lines) New function.
7451         (read_matrices_without_rowtype) Implemented.
7452         (read_splits) Message fixes.  Uses `just_read'.
7453         (read_factors) New function.
7454         (output_data) New function.
7455         (matrix_data_source_destroy_source) Close the file handle.
7456         (glob var matrix_source) Change name from "DATA LIST" to "MATRIX
7457         DATA".
7458
7459         * str.c: (strpadcmp) Removed.
7460
7461         * vfm.c: (dump_splits) Initialize i; fix test for end of splits.
7462
7463 Sun Jan 18 00:30:59 1998  Ben Pfaff  <blp@gnu.org>
7464
7465         * Lots of source files: Add cast to unsigned character to calls to
7466         tolower() and toupper().
7467
7468         * aggregate.c: Set default_dict.splits to NULL.
7469
7470         * command.c: (static variable tab[]) Add MATRIX DATA.
7471
7472         * data-in.c: Add debugging defines.  Formatting fixes.
7473
7474         * expr-opt.c: Formatting fixes.
7475
7476         * lexer.c: (syntax_error) Message fixes.
7477
7478         * matrix-data.c: New enum series.
7479         (static vars fmt, section, diag, explicit_rowtype, signle_split,
7480         split_values, n_factors, factors, cells, pop_n, contents,
7481         n_contents) New vars.
7482         (cmd_matrix_data) Finished implementation.
7483         (compare_variables_by_mxd_vartype) New function.
7484         [DEBUGGING] (debug_print) New function.
7485         (static vars mtoken, mtokstr, mtoklen, mtokval) New vars.
7486         (read_matrices) New function.
7487         (read_matrices_without_rowtype) New function.
7488         (read_matrices_with_rowtype) New function.
7489         (read_splits) New function.
7490         (mget_token) New function.
7491         (force_eol) New function.
7492         [0] (test_tokenizer) New function.
7493         (matrix_data_source_destroy_source) New function.
7494         (glob var matrix_data_source) New var.
7495
7496         * misc.h: Include ieeefp.h if present.
7497
7498         * split-file.h: (cmd_split_file) Changes corresponding to struct
7499         dictionary changes.
7500
7501         * str.h: Fix memmem prototype.
7502
7503         * temporary.c: (save_dictionary, restore_dictionary,
7504         free_dictionary) Changes corresponding to struct dictionary
7505         changes.
7506
7507         * var.h: (MXD_* enums) New enum series.
7508         (struct matrix_data_proc) New struct.
7509         (struct split) Removed.
7510         (struct dictionary) Changed `splits' member from `split *' to
7511         `variable **'.
7512         (macro force_create_variable) New macro.  Replaced lots of
7513         create_variable()/assert() calls with calls to this macro.
7514
7515         * vars-atr.c: (discard_variables) Changed assertion.
7516         [GLOBAL_DEBUGGING] (force_create_variable) New function
7517         called by the macro of the same name.
7518         (clear_variable) Changes to delete splits from the dictionary
7519         corresponding to struct dictionary changes.
7520
7521         * vars-prs.c: (parse_variables) [GLOBAL_DEBUGGING] Check for
7522         corrupted variable `index' values in the dictionary passed in
7523         every time this function is called.
7524
7525         * vfm.c: (dump_splits, SPLIT_FILE_procfunc) Changes corresponding
7526         to struct dictionary changes.
7527
7528 Tue Jan 13 23:45:02 1998  Ben Pfaff  <blp@gnu.org>
7529
7530         * Makefile.am: (pspp_SOURCES) Add matrix-data.c.
7531
7532         * command.c: New includes.
7533         (static array cmd_table[]) Add ERASE, HOST, NEW FILE.
7534         (cmd_erase) New function.
7535         [unix] (shell) New function.
7536         (run_command) New function.
7537         (cmd_host) New function.
7538         (cmd_new_file) New function.
7539
7540         * expr-prs.c: (parse_primary) Message fix.
7541
7542         * inpt-pgm.c: Formatting fix.
7543         (cmd_reread) Implement the FILE subcommand.
7544
7545         * matrix-data.c: New file.
7546
7547         * q2c.c: (dump_header) Change output commenting style.
7548
7549         * weight.c: Comment fix.
7550
7551 Tue Jan 13 00:53:39 1998  Ben Pfaff  <blp@gnu.org>
7552
7553         * aggregate.c: (buf64_10x) Renamed buf64_1xx, all references
7554         changed.
7555         (buf_10x) Renamed buf_1xx, all references changed.
7556         (cmd_aggregate) Implemented cases 010, 011, 110, and 111 (all
7557         cases now implemented).
7558         (create_sysfile) New function.
7559         (agr_11x_func) New function.
7560
7561         * data-in.c: (parse_numeric) Work properly if there's an
7562         explicitly coded decimal point in the data and decimal places are
7563         specified on DATA LIST.  Bug reported by Dr Eberhard W Lisse
7564         <el@linux.lisse.na>.
7565
7566         * get.c: (cmd_get, cmd_save_internal) Allow extraneous slash
7567         before file specification on GET, SAVE, XSAVE.  Bug reported by Dr
7568         Eberhard W Lisse <el@linux.lisse.na>.
7569
7570         * q2c.c: [!HAVE_STRERROR] Include misc/strerror.c, not
7571         strerror.c.  Bug reported by Alexandre Oliva
7572         <oliva@dcc.unicamp.br>.
7573
7574         * sort.c: Include sort.h.  Comment fixes.  A few esthetic fixes.
7575         (static var separate_case_tab) New var.
7576         (cmd_sort_cases) Cancel temporary transformations here.  Free
7577         v_sort before return.
7578         (sort_cases) Run an EXECUTE procedure if SEPARATE is nonzero and
7579         we're reading from a sort stream.  Don't cancel temporary
7580         transformations.  Offload internal sorting to do_internal_sort().
7581         (do_internal_sort) New function.  Handles internal sorting even
7582         when SEPARATE is nonzero.  Doesn't free v_sort.
7583         (do_external_sort) Take new arg SEPARATE.  Only destroy `x' if
7584         it's non-NULL.
7585         (write_initial_runs) Take new arg SEPARATE.  Only destroy the old
7586         sink if SEPARATE is zero.
7587         (read_output_cases) Renamed read_sort_output(), all references
7588         changed.  Now uses separate_case_tab when it exists.
7589         (write_separate) New function.
7590
7591         * vfm.c: (page_to_disk) Destroy memory_source_cases, not
7592         memory_sink_cases.  Don't redundantly call
7593         vfm_source->destroy_source().
7594         (memory_stream_mode) After switching over, set memory_sink_cases
7595         to NULL.
7596
7597 Sat Jan 10 23:35:51 1998  Ben Pfaff  <blp@gnu.org>
7598
7599         * aggregate.c: (struct agr_var) Expand dbl[] array from 2 to 3
7600         elements.
7601         (static var prev_case) New, moved out of aggregate_single_case()
7602         local scope.
7603         (static var buf64_10x, buf_10x) New.
7604         (cmd_aggregate) Initialize prev_case.  Comment fixes.  Implement
7605         the 000, 001, 100, and 101 cases.  Free prev_case.
7606         (parse_aggregate_functions) Disallow scratch variables.
7607         (free_aggregate_functions) Only free agr_dict if non-null.  Use
7608         iter->function to determine numeric/string type, not
7609         iter->src->type.
7610         (aggregate_single_case) Don't manage prev_case.  Initialize
7611         aggregate info after dumping it.
7612         (accumulate_aggregate_info) Fix sum, weighted sum, mean, weighted
7613         mean, stddev, weighted stddev definitions.
7614         (dump_aggregate_info) Implemented.
7615         (initialize_aggregate_info) Renamed from
7616         initialize_aggregate_functions().  Initializes dbl[2].
7617         (agr_00x_trns_proc, agr_00x_end_func, write_case_to_sfm,
7618         agr_10x_trns_proc, agr_10x_trns_free, agr_10x_end_func) New.
7619
7620         * cases.c: (alloc_val) Removed.
7621
7622         * get.c: (cmd_save_internal) Initialize new `dict' member.
7623
7624         * sfm-write.c: (sfm_write_dictionary, write_header,
7625         write_variable, write_value_labels, write_documents) Reorganize,
7626         simplify for new parameter structure.
7627         (write_variable) Only one variable * argument now.
7628
7629         * sfm.h: (struct sfm_write_info) Removed `pri', `sec', and
7630         replaced by new `dict' member.
7631
7632         * temporary.c: (new_dictionary) Initialize n_documents.
7633
7634         * vars-atr.c: (dup_variable) Allocate `value's from dict into
7635         v->fv manually.
7636         (init_variable, replace_variable) Eliminate usage of alloc_val().
7637
7638         * vars-prs.c: (parse_DATA_LIST_vars) Accept PV_NO_SCRATCH option.
7639
7640         * vfm.c: (arrange_compaction) Allow `temporary' value of 2 to
7641         signal that AGGREGATE is to be used for forming final cases.
7642         (close_active_file) Call end_func before stopping lagging.  Cancel
7643         temporary after finishing compaction.
7644         (write_case) Comment fixes.  Cleaned up.
7645         (compact_case) Let AGGREGATE handle compaction when `temporary' is
7646         2.
7647
7648 Sat Jan 10 02:10:47 1998  Ben Pfaff  <blp@gnu.org>
7649
7650         * Makefile.am: (BUILT_SOURCES) Add means.c.
7651         (pspp_SOURCES) Add means.c.
7652         (EXTRA_DIST) Add means.q.
7653
7654         * command.c: (array cmd_table[]) Add MEANS.
7655
7656         * common.h: Esthetic fixes.  Comment fixes.  Test for
7657         MAX_SHORT_STRING greater than 8.
7658         (macros LOWEST, HIGHEST) New.
7659
7660         * data-in.c, data-list.c, recode.c: Comment fixes.
7661
7662         * means.q: New file, base version.
7663
7664         * mis-val.c: (parse_num_or_range, parse_numeric) Replace -DBL_MAX
7665         with LOWEST, DBL_MAX with HIGHEST.
7666
7667         * q2c.c: (dump_vars) Add an enum to array types giving the number
7668         of values for the enum.
7669
7670         * sfm-read.c: (sfm_read_dictionary, read_machine_flt64_info)
7671         Replace second_lowest_value with second_lowest_flt64.
7672
7673         * sfm-write.c: (write_variable, write_rec_7_34) Replace
7674         second_lowest_value with second_lowest_flt64.
7675
7676         * t-test.q: Comment fix.
7677
7678         * temporary.c: (restore_dictionary) Esthetic fix.
7679
7680         * tokens.h: (force_match_id, force_match, force_string, force_int,
7681         force_num, force_id) Replace msg() with syntax_error().
7682
7683         * var.h: (struct means_proc) New.
7684         (struct variable) Add mns member to `p' union.
7685
7686         * vars-prs.c: (parse_variable, parse_dict_variable,
7687         parse_variables, parse_DATA_LIST_vars) Replace msg() with
7688         syntax_error().
7689
7690 Thu Jan  8 22:28:41 1998  Ben Pfaff  <blp@gnu.org>
7691
7692         * Makefile.am: (pspp_SOURCES) Add tab.h.
7693
7694         * Most source files: Added a cast to unsigned char in usages of
7695         the ctype is*() functions.  Replaced `end of command expected'
7696         calls to msg() with calls to syntax_error().
7697
7698         * frequencies.q: (dump_condensed) Fix tab_dim() column reference.
7699
7700         * lexer.c: (hex_val) Removed (was dead code).
7701         (idmatch) Parenthesize function name to avoid macro expansion.
7702
7703         * postscript.c: Comment fixes.
7704         (ps_preopen_driver) Change default font size to 10pt.
7705
7706         * sfm-read.c: (read_variables) Byteswap sv.print, sv.write as
7707         int32s.
7708         (parse_format_spec) Change system-file format spec argument type
7709         to int32.  Parse the format spec with bitwise operators.
7710
7711         * sfmP.h: (struct sysfile_format) Removed.
7712         (struct sysfile_variable) Changed print, write members from
7713         sysfile_format to int32.
7714
7715         * tokens.h: Esthetic fixes.
7716         [__GNUC__] (macro id_match) New macro to hopefully speed up
7717         identifier matching.
7718         (macros match_id, match_tok, match_int) Implemented in
7719         compiler-independent manner; no longer GNU C only.
7720
7721         * vfm.h: Include time.h.
7722
7723 Mon Jan  5 11:06:15 1998  Ben Pfaff  <blp@gnu.org>
7724
7725         * data-list.c: (dump_fixed_table) Change tab_dim().
7726
7727         * dump-sysfile.c: (open_sysfile) Fix mmap() call.
7728
7729         * error.c: Include command.h.
7730
7731         * frequencies.g: Formatting fixes.
7732
7733         * frequencies.q: Add tab_dim() calls.  Make the total cell a
7734         joined cell.
7735
7736         * glob.c: Include command.h.
7737
7738         * sfm-read.c: (struct sfm_fhuser_ext) New members sysmis, highest,
7739         lowest.
7740         (sfm_read_dictionary) Initialize sysmis, highest, lowest.
7741         (sfm_read_machine_flt64_info) Update sysmis, highest, lowest.
7742         (read_variables) Byteswap sv.type; byteswap sv.print, sv.write as
7743         the other elements (is this right?).
7744         (read_variables) Use lowest, highest members.
7745         (parse_format_spec) New arg `vv' for more stringent checking.
7746         (dump_dictionary) Byteswaps nonexplicit data.
7747         (sfm_read_case) Byteswap numeric data.
7748
7749         * som.c: Initialize table_num to 1.
7750         (render_segments) Remember to increment y_index after each table
7751         segment.
7752
7753         * sysfile-info.c: (cmd_sysfile_info) Change tab_dim().  Don't call
7754         avl_count() on a NULL tree.  No title for the second table.
7755         (cmd_display) Handle DISPLAY VECTORS by calling display_vectors().
7756         Handle AS_SCRATCH as AS_NAMES.  Warn if no variables.  Re-enable;
7757         fix call to display_variables().
7758         (display_variables) Default to 4 columns, not 3.  Set up headers.
7759         Column title is Variable, not Name.  Fix index column.
7760         Add joint text.  Add tab_dim().  Handle value labels properly.
7761         Handle DISPLAY LABELS properly.  Draw boxes correctly.
7762         (describe_variable) Value labels don't need titles.  Don't clear
7763         nonexistent index column.
7764         (compare_vectors_by_name) New function.
7765         (display_vectors) New function.
7766
7767         * tab.c: (tab_height) Add assertion.
7768         (tab_null) Add debug code.
7769         (evaluate_dimensions) Add debug code.
7770
7771         * var.h: (struct variable) get_proc data is sometimes used
7772         simultaneously with other per-procedure info, therefore it was
7773         removed from the union.  All references changed.        
7774
7775 Sun Jan  4 18:13:33 1998  Ben Pfaff  <blp@gnu.org>
7776
7777         * ascii.c: (ascii_close_page) Put title on second line of headers
7778         if there is no subtitle.
7779
7780         * command.c: (glob var cur_proc) Move definition here, from
7781         common.c.
7782         (cmd_remark) Emit blank line before remarks.
7783
7784         * command.h: (glob var cur_proc) Move declaration here, from
7785         common.h.
7786
7787         * data-list.c: (dump_fixed_table) Fix messages.
7788         (dump_free_table) Call tab_nat_dim().
7789
7790         * descript.q: (dump_z_table) Modify tab_dim() call.
7791
7792         * frequencies.q: (dump_condensed, dump_statistics) Add tab_dim()
7793         call.
7794         (dump_statistics) Don't output header.
7795
7796         * groff-font.c: Minor format fix.
7797
7798         * html.c: Comment fix.
7799
7800         * list.q: (write_varname) Indent after advancing page.
7801
7802         * output.h: Minor reordering.
7803
7804         * postscript.c: Comment fixes.  Many places, '\n' was replaced by
7805         a reference to eol[].
7806         (struct ps_driver_ext) New member eol[].
7807         (ps_preopen_driver) Initialize eol[].
7808         (ps_postopen_driver) Fix sense of text for text_opt, line_opt
7809         defaults.  Handle headers.  Fix test for minimum page length.
7810         (static var option_tab[]) Add `line-ends'.
7811         (ps_option) Handle line-ends to change eol[].
7812         (postopen) Scale prop_em_width and fixed_width properly.  Set the
7813         prologue title to outp_title if applicable.  Replace the prologue
7814         line ends with eol[].  Call draw_headers() if headers are enabled.
7815         (text_width) New function.
7816         (out_text_plain) New function.
7817         (draw_headers) New function.
7818
7819         * print.c: (dump_table) Call tab_nat_dim().
7820
7821         * som.c: (som_blank_line) Only advance a line if not at the top of
7822         a page.
7823         (som_submit) Move several informational table calls here.
7824         Increment subtable_num if SOMF_NO_TITLE not set.
7825         (output_table) Advance a line if SOMF_NO_SPACING not set.
7826         (render_columns, render_segments, render_simple) Handle spacing
7827         between tables.  Handle table titles.  Remove debug output.
7828
7829         * som.h: (SOMF_*) New enum series.
7830         (struct som_table_class) New member `flags'.
7831
7832         * sysfile-info.c: (cmd_sysfile_info) Calls tab_nat_dim().  No
7833         headers or spacing.
7834         (display_variables) Calls tab_nat_dim().
7835         (describe_variable) Remove restriction on number of value labels.
7836         Make value labels separated by thin lines.
7837
7838         * tab.c: (tab_create) Default `flags' to none.
7839         (tab_float) New arg `w'.  All references changed.
7840         (tab_nat_dim) New function.
7841         (tab_output_text) No title or spacing.
7842         (tab_flags) New function.
7843         (tabi_flags) New function.
7844         (tabi_title) New function.
7845         (strip_height) Removed.
7846         (tabi_render) Skip title when necessary.
7847         (static var tab_tab_class) Add tabi_flags, tabi_title.
7848         (evaluate_dimensions) Disable display of column, row size.
7849         (sum_columns) Add title height to top header.
7850         (render_strip) Moved within file.
7851
7852         * tab.h: (struct tab_table) New member `flags'.
7853
7854         * vfm.c: (dump_splits) Calls tab_nat_dim().  No title.
7855
7856 Sat Jan  3 16:55:44 1998  Ben Pfaff  <blp@gnu.org>
7857
7858         * Most source files: Add `const' attribute in all appropriate
7859         places.
7860         
7861         * sysfile-info.c: (cmd_sysfile_info) Add tab_dim() call, add a
7862         column to the variables table for use by describe_variable().
7863         (cmd_display) Disable for the present.
7864         (display_documents) Don't wrap documents.
7865         (display_variables) Table has four columns now.
7866         (describe_variable) Table has four columns now.  Don't use a
7867         subtable, use joined cells instead.
7868
7869         * tab.c: (tab_create) Don't set `join'.
7870         (tab_realloc) ct array is not made up of a_string's.
7871         Reallocate trh, hrh, h arrays, initialize trh array.  Initialize
7872         cell contents on GLOBAL_DEBUGGING, not DEBUGGING.
7873         (text_format) New function.
7874         (tab_title) Rewritten, uses text_format().
7875         (tab_text) Rewritten, uses text_format().
7876         (tab_joint_text) New function.
7877         (tab_join) Removed.
7878         (static var hit) New variable.
7879         (render_strip) New args r1, r2.  Implement joined cells that fit
7880         on a single page.
7881         (tabi_render) Increment hit.  Pass new args to render_strip().
7882         (evaluate_dimensions) [GLOBAL_DEBUGGING] Check for uninitialized
7883         cells.  For t_naw and t_nah, ignore joined cells and null cells in
7884         calculations.
7885         
7886         * tab.h: (struct tab_join_rect) Removed.
7887         (struct tab_table) Removed `join'.
7888         (TAB_JOIN_MAIN) Removed.
7889         (struct tab_joined_cell) New struct.
7890         (TAT_NOWRAP) New enum.
7891
7892 Fri Jan  2 01:39:58 1998  Ben Pfaff  <blp@gnu.org>
7893
7894         * ascii.c: (ascii_postopen) Replace ASCII_* macros with their
7895         expansions.
7896         (ascii_postopen_driver) Fix initialization of *_spacing so that
7897         the TAL_0 bit doesn't count.
7898
7899         * data-list.c: (dump_fixed_table) Use natural width for Format
7900         column.
7901
7902         * glob.c: (rerange) Removed.
7903         (get_date) Formatting fixes.  Internationalization fix.
7904
7905         * html.c: (html_postopen_driver) Replace HTML_DEFAULT_OUTPUT_FILE
7906         with "pspp.html".
7907
7908         * postscript.c: (ps_postopen_driver) Replace
7909         PS_DEFAULT_OUTPUT_FILE with "pspp.ps".
7910
7911         * som.c: (som_submit) Don't eject page before every table.
7912         (output_table) Fix order of arguments on call to area().
7913         (render_columns) Fix calculation of max_len.
7914         
7915         * tab.c: (tabi_cumulate) Minor change to increase elegance.
7916         (render_strip) New function.
7917         (strip_height) New function.
7918         (tabi_render) Rewrite as calls to render_strip().
7919
7920         * tab.h: (TAT_* enums) Removed TAT_RICH, all references removed.
7921         Renumbered TAT_PRINTF, TAT_TITLE, TAT_FIX to correspond better
7922         with the TAB_* and OUTP_T_* constants.
7923         
7924 Thu Jan  1 11:53:52 1998  Ben Pfaff  <blp@gnu.org>
7925
7926         * Makefile.am: Formatting fixes.
7927
7928         * ascii.c: (ascii_postopen_driver) Initialize *_line_spacing[],
7929         *_line_width[].
7930
7931         * data-list.c: (dump_fixed_table) Add tab_dim() call.
7932
7933         * descript.q: (dump_z_table, display) Add tab_dim() calls.
7934
7935         * dump-sysfile.c: (glob var length) Make type off_t.
7936         (usage) Fix arguments.
7937         (main) Return 0.
7938
7939         * output.h: (OUTP_T_*) Change constants' value to match tab.h.
7940         Now right-justification is the default so many references had to
7941         change.
7942         (struct outp_class) Removed line_width, all references changed.
7943         (OUTP_DEV_*) Add OUTP_DEV_DISABLED.
7944         (struct outp_driver) Add elements horiz_line_width,
7945         vert_line_width, horiz_line_spacing, vert_line_spacing.  Remove
7946         som element.
7947
7948         * postscript.c: (outp_encodings) Formatting fixes.  Fix garbage
7949         collection.
7950         (postopen) Initialize all the informational members of
7951         outp_driver.
7952
7953         * som.c: (som_blank_line) New function, renamed from blank_line(),
7954         all references changed.
7955         (som_submit) Disables drivers whose pages can't be opened.
7956         (render_columns, render_simple, render_segments) Add debug output.
7957         (render_columns) Fix loop range.
7958         (render_simple) Don't try to render the headers, they're taken
7959         care of automatically.  Advance cp_y past the table when done.
7960         (render_segments) Fix loop ranges.
7961
7962         * tab.c: Initialize new members of tab_table.
7963         (tab_vline) Handle trv[]; don't set style for spacing-only lines.
7964         (tab_hline) Handle trh[]; don't set style for spacing-only lines.
7965         (tab_box) Handle trh[], trv[]; don't set style for spacing-only
7966         lines.
7967         (set_expr) Removed.
7968         (tab_dim) New function.
7969         (tab_col_width) Removed.
7970         (tab_row_height) Removed.
7971         (tab_output_text) Call tab_dim().
7972         (tabi_driver) Call evaluate_dimensions(), sum_columns().
7973         (tabi_area) Implemented.
7974         (tabi_cumulate) Implemented.
7975         (tabi_render) Partially implemented, but broken.
7976         (var tab_table_class) Made static.
7977         (evaluate_dimensions) New function.
7978         (sum_columns) New function.
7979
7980         * tab.h: (enum t_*) Now start at t_end.  New: t_ptw, t_nr, t_nc,
7981         t_nah, t_naw, t_neg, t_xch, t_dup, t_lbl, t_jnz, t_sac, t_sar,
7982         t_scr, t_srr, t_sentinel.  Removed: t_nat.
7983         (struct tab_table) New: wl, wr, ht, hb, trh, hrh, trv, wrv, dim,
7984         max_stack_height, w, h.  Removed: ce, re.
7985         (macro blank_line) Removed.
7986         (glob var zero_length) Removed.
7987
7988 Fri Dec 26 15:44:31 1997  Ben Pfaff  <blp@gnu.org>
7989
7990         * Most source files: include some of the new include files broken
7991         out of var.h.
7992         
7993         * Makefile.am: (pspp_SOURCES) Add all the new source files to the
7994         list.
7995
7996         * aggregate.c: (glob var outfile) Make static.
7997
7998         * command.c: (glob var pgm_state) Move here.
7999
8000         * common.c: (glob vars endian, second_lowest_value, pgmname,
8001         finished, curdate, cur_proc, start_interactive, history_file) Move
8002         here.
8003
8004         * descript.q: (structs dsc_z_score, descriptives_trns) Move here.
8005
8006         * file-handle.q: (glob vars files, inline_file) Move here.
8007
8008         * glob.c: Lost lots of glob vars, detailed in individual file
8009         entries.
8010         (init_glob) set_printer, set_screen were obsolete, deleted.
8011         set_cprompt has fewer spaces because pspp has fewer letters than
8012         fiasco.
8013
8014         * inpt-pgm.c: (glob vars inp_init, inp_init_size) Move here.
8015         (inp_nval) Made static.
8016
8017         * lexer.c: (glob vars token, tokval, tokstr, tokstr_size,
8018         tokstr_len, toklongstr, tokint) Move here.
8019
8020         * misc.c: Lost several vars and functions.
8021
8022         * set.q: (all the set_* variables) Move here.
8023
8024         * str.c: (strmaxcpy, strbarepadcpy, strbarepadlencpy, strpadcpy,
8025         blpstrset, strpadcmp, memrev, memrmem, cmp_str) Move here from
8026         misc.c.
8027
8028         * tab.c: (set_expr, tab_col_width, tab_row_height) New functions.
8029
8030         * tab.h: (enum series t_*) New enums.
8031         (struct tab_table) Use arena struct tag.  New members ce, re.
8032
8033         * tokens.h: Comment fixes.
8034
8035         * var.h: Move lots of enums and variables and functions and
8036         structures to other files.  Use and declare a lot more union and
8037         struct tags.  Comment fixes.  
8038
8039         * vector.c: (glob vars vec, nvec) Move here.
8040
8041         * vfm.c: (glob vars reinit_sysmis, reinit_blanks, init_zero,
8042         init_blanks, last_vfm_invocation) Move here.
8043
8044         * cases.h: New file.
8045         (struct long_vec) Move here.
8046         (vec_init, vec_clear, vec_insert, vec_delete, devector, envector)
8047         Move here.
8048
8049         * command.h: New file.
8050         (STATE_* enums) Move here.
8051         (glob var pgm_state) Move here.
8052
8053         * format.c: New file.
8054         (glob var formats) Move here.
8055         (parse_format_specifier_name, fmt_to_string,
8056         check_input_specifier, check_output_specifier,
8057         check_string_specifier, convert_fmt_ItoO, parse_format_specifier)
8058         Move here.
8059
8060         * format.h: New file.  Move functions now in format.c here.
8061         (FMT_* enums) Move here.
8062         (struct fmt_desc) Move here.
8063         (FCAT_* enums) Move here.
8064         (struct fmt_spec) Move here.
8065         (glob vars formats, fmt_parse_ignore_error) Move here.
8066
8067         * inpt-pgm.h: New file.
8068         (INP_* enums) Move here, make #defines into enums.
8069         (glob vars inp_init, inp_init_size) Move here.
8070
8071         * sort.h: New file.
8072         (glob vars v_sort, nv_sort) Move here.
8073         (sort_cases, read_sort_output) Move here.
8074
8075         * vector.h: New file.
8076         (struct vector) Move here, add struct tag.
8077         (glob vars vec, nvec) Move here.
8078         (find_vector) Move here.
8079
8080         * New file.
8081         (glob vars last_vfm_invocation, temp_case, reinit_sysmis,
8082         reinit_blanks, init_zero, init_blanks) Move here.
8083         (struct case_stream) Move here.
8084         (glob vars vfm_source, vfm_sink, vfm_memory_stream,
8085         vfm_disk_stream, sort_stream, data_list_source,
8086         input_program_source, file_type_source, get_source, n_lag) Move
8087         here.
8088         (procedure, write_case, lagged_case, compact_case, page_to_disk)
8089         Move here.
8090                 
8091 Wed Dec 24 22:40:42 1997  Ben Pfaff  <blp@gnu.org>
8092
8093         * Makefile.am: (pspp_SOURCES) Added html.c, som.c, som.h.
8094         (LDADD) Add libdcdflib.
8095
8096         * ascii.c: Comment and formatting fixes.  Almost every external
8097         function had an assert added, checking driver_open and page_open.
8098         (ascii_init_driver) Broken into ascii_preopen_driver,
8099         ascii_postopen_driver, ascii_close_driver.  Manages driver_open.
8100         (ascii_open_page) Sets page_open.
8101         (ascii_close_page) Clears page_open.
8102
8103         * html.c: Comment and formatting fixes.  Almost every external
8104         function had an assert added, checking driver_open and page_open.
8105         (html_init_driver) Broken into html_preopen_driver,
8106         html_postopen_driver, html_close_driver.  Manages driver_open.
8107         (html_open_page) Sets page_open.
8108         (html_close_page) Clears page_open.
8109         (html_submit) Disabled.
8110
8111         * lexer.c: (parse_string) Remove debugging printf.
8112
8113         * list.q: (determine_layout) Open a page if one is not yet open.
8114
8115         * output.c: Comment fixes.
8116         (add_class) Set the class member of the new list element.
8117         (parse_options) Don't handle device type.
8118         (colon_tokenize) New function.
8119         (configure_driver) New four-field format with a field for device
8120         type.  Now initialize driver_open, page_open, next, and prev
8121         fields.  Use new colon_tokenize() function.  Don't do a memory
8122         copy to replace a driver, it doesn't work; instead delete the old
8123         driver and insert a new one.
8124         (destroy_driver) Don't call som_destroy_driver().  Close the page
8125         if it's open.  Find the class in the list of classes and decrement
8126         that reference count.  Remove the driver from the global driver
8127         list.
8128         (outp_iterate_enabled_drivers) Renamed outp_drivers().  All
8129         references changed.  Rewritten.  Don't return a driver that's not
8130         enabled.
8131         (outp_eject_page) All references to som_internal_eject_page()
8132         changed to use this.  Sets cp_x to 0 as well as cp_y.
8133
8134         * output.h: (OUTP_I_* enums) Removed.
8135         (struct som_submission_form) Removed.
8136         (struct outp_class) init_driver broken into preopen_driver,
8137         postopen_driver, and close_driver.  submit changed to take a
8138         som_table argument.
8139
8140         * postscript.c: Comment and formatting fixes.  Almost every
8141         external function had an assert added, checking driver_open and
8142         page_open.
8143         (ps_init_driver) Broken into ps_preopen_driver,
8144         ps_postopen_driver, ps_close_driver.  Manages driver_open.
8145         (ps_open_page) Sets page_open.
8146         (ps_close_page) Clears page_open.
8147
8148         * som.c: New file, base implementation.
8149         
8150         * som.h: (struct som_table) Add struct tag.
8151         (enum SOM_COL_ACROSS) Removed.
8152         (SOM_ROWS, SOM_COLUMNS) New enums.
8153         (struct som_table_class) Add member `cumulate'.  Remove `segment';
8154         change `render' arguments.
8155         (struct som_point, struct som_rect) Removed.
8156         (som_submit_table) Fixed typo, should have been som_submit.
8157
8158         * sysfile-info: (describe_variable) Don't try to insert a
8159         subtable; just destroy it for now.
8160
8161         * t-test.q: Include dcdflib/cdflib.h instead of cdflib.h.  Fix
8162         references to value labels.
8163
8164         * tab.c: (tab_destroy) New function.
8165         (tab_columns) Change argument.
8166         [0] (tab_submit) Remove dead code.
8167         (tab_title) Allocate string from the table's arena.
8168         (tab_output_text) Only free the buffer if we allocated it.
8169         (tab_submit) New function.
8170         (static vars t, d) New static vars.
8171         (tabi_table, tabi_driver, tabi_count, tabi_area, tabi_columns,
8172         tabi_headers, tabi_cumulate, tabi_render) New functions.
8173         (glob var tab_table_class) New global var.
8174
8175         * tab.h: (struct tab_join_rect) Don't use a som_rect; directly
8176         encapsulate the rectangle.  All references changed.
8177         
8178 Sun Dec 21 16:18:58 1997  Ben Pfaff  <blp@gnu.org>
8179
8180         * All header files updated to use struct tags in addition to
8181         typedefs for all structures.  Don't use word `struct' in struct
8182         tags.
8183         
8184         * Makefile.am: (pspp_SOURCES) Remove html.c.
8185         (INCLUDES) Replace the lib/* includes with a single lib/ include;
8186         all references updated.
8187
8188         * command.c: (parse_cmd) Remove call to som_check_workspace.
8189         (output_line) Update to new som.
8190
8191         * data-in.c: (parse_numeric) A single dot is not an error; it is
8192         the system-missing value.
8193
8194         * data-list.c: (dump_fixed_table, dump_free_table) Update to new
8195         som.
8196
8197         * data-out.c: Added `const' as appropriate to many prototypes.
8198         (convert_E, convert_F, convert_CCx) Take double argument instead
8199         of value * argument.
8200         (convert_format_to_string) Call changed functions appropriately.
8201         Instead of modifying the caller's value for FCAT_SHIFT_DECIMAL,
8202         make a local copy of the value.
8203
8204         * descript.q: Remove custom_variables() prototype now provided by
8205         q2c.  
8206         (custom_variables) Don't increment sbc_variables, the caller does
8207         this.
8208         (dump_z_table, display) Update to new som.
8209
8210         * error.c: (vmsg) Add const to prototype.  Remove code to handle
8211         `too many errors' condition.
8212         (check_error_count) New function.
8213         (msg) Add const to prototype.
8214
8215         * filename.c: (open_file) Rewrite for elegance.
8216
8217         * frequencies.q: Remove custom_*() prototypes now provided by q2c.
8218         (dump_full, dump_condensed, dump_statistics) Update for new som.
8219
8220         * list.q: Don't include somP.h.  Change all references to
8221         som_driver_ext to refer to the new members of som_driver.  Change
8222         som_internal_eject_page() references to outp_eject_page().
8223
8224         * main.c: (parse) Rewrite for elegance.  Add call to
8225         check_error_count().
8226
8227         * output.c: (add_class, outp_list_classes, outp_configure_driver)
8228         Rewrite or revise for new outp_driver_class_list structure.
8229         (outp_iterate_enabled_drivers) Fix comparison between disabled
8230         devices and current device type.
8231         (outp_eject_page) New function.
8232
8233         * output.h: Comment fixes.
8234         (struct outp_driver) New members driver_open, page_open, cp_x,
8235         cp_y, font_height, prop_em_width, fixed_width.  Deleted members
8236         ref_count, next.
8237         (struct outp_driver_class_list) New struct.
8238         (outp_class_list) Changed to type outp_driver_class_list; all
8239         references updated.
8240
8241         * print.c: (dump_table, print_trns_proc) Updated for new som.
8242
8243         * q2c.c: (dump_vars) Simplify array subcommand code.  Declare
8244         prototypes for custom subcommands.
8245         (dump_subcommand) Always include the `else'.
8246         (dump_parser) Fix comments in output code.
8247
8248         * set.q: Reordered functions.
8249
8250         * som-frnt.c, som-high.c, som-low.c, somP.h: Removed.
8251         
8252         * som.h: Rewritten from scratch.
8253
8254         * str.h: Remove dead code.
8255
8256         * tab.c, tab.h: New files, base implementation.
8257
8258         * sysfile-info.c: (cmd_sysfile_info, describe_variable) Update to
8259         new som.
8260
8261         * t-test.q: New code from John Williams
8262         <johnr.williams@stonebow.otago.ac.nz>.  Include math.h, cdflib.h.
8263         Many many new static vars and defines.
8264         (precalc, postcalc, g_postcalc, z_postcalc, t_pairs, t_groups,
8265         groups_calc, pairs_calc, z_dev_calc, z_calc) New functions.
8266         (struct value_list) New struct.
8267         (variance, covariance, pooled_variance, oneway, pearson_r, f_sig,
8268         t_crt, t_sig, print_t_groups) New functions.
8269         (cmd_t_test) Implemented.
8270
8271         * temporary.c: (cancel_temporary) Only free the temp_dict if it's
8272         non-NULL.
8273
8274         * vfm.c: (dump_splits) Update to new som.
8275
8276 Thu Dec  4 23:02:22 1997  Ben Pfaff  <blp@gnu.org>
8277
8278         * Makefile.am: (fiasco_SOURCES) Add html.c.
8279
8280         * aggregate.c: Base source.
8281
8282         * ascii.c: (postopen, preclose) Reformat.
8283
8284         * data-out.c, expr-evl.c: Comment fixes.
8285         
8286         * filename.c: (open_file) When opening a file for writing, use
8287         line buffering instead of full buffering for better interactive
8288         performance.  Suggested by Valerio Aimale
8289         <valerio@svpop.com.dist.unige.it>.  Also, recognize special file
8290         names `stdin', `stdout', `stderr'.
8291
8292         * groff-font.c: Comment fixes.
8293
8294         * html.c: New file; base version.
8295
8296         * list.q: (write_all_headers, clean_up, determine_layout,
8297         list_cases) Ignore `special' devices for now.  Needs to be fixed
8298         later.
8299
8300         * output.c: (outp_init) Add html driver to list; reverse list
8301         order.
8302
8303         * output.h: (struct outp_class_struct) New members `special',
8304         `submit'; comment fixes.  All references changed.
8305
8306         * postscript.c: (ps_init_driver) Make defaults for text_opt,
8307         line_opt depend on whether the OUTP_DEV_SCREEN bit is set on the
8308         device.
8309         (postopen) Comment fix.
8310         (preclose) Comment fixes, formatting fixes.  Change x->file.file
8311         references to more proper f->file.
8312
8313         * som-high.c: (som_submit_table) Special classes use their own
8314         renderers.
8315
8316         * som.h: Comment fixes.
8317
8318         * temporary.c: (new_dictionary) Don't try to xstrdup() a NULL
8319         string.
8320         
8321 Tue Dec  2 14:36:07 1997  Ben Pfaff  <blp@gnu.org>
8322
8323         * Makefile.am: (fiasco_SOURCES) Add aggregate.c back in.
8324
8325         * aggregate.c: Still working on this.
8326
8327         * command.c: (cmd_table[]) Add AGGREGATE back in.
8328         (split_words) Make '-' a legal word separator as well as ' '.
8329
8330         * main.c: Comment fixes.
8331
8332         * q2c.c: (dump_parser) Don't require the procedure's full name to
8333         be present, in the generated source.
8334
8335         * t-test.q: Change name to `t-test' from `t test'.  Let PAIRS be
8336         multiply specified and let it be default; let MISSING, CRITERIA,
8337         FORMAT be multiply specified.
8338         (cmd_t_test) Parse command name.  [DEBUGGING] Call debug_print().
8339         (custom_groups) Fix defaults.
8340         (custom_pairs) Check whether this is a PAIRS subcommand before
8341         attempting to parse.  Better garbage collection.  Proper storage
8342         allocation.
8343         [DEBUGGING] (debug_print) New function.
8344
8345         * temporary.c: Comment fixes.
8346         (copy_variable) Don't copy variable name and index.
8347         (save_dictionary) Copy variable name and index by hand.
8348
8349         * vars-atr.c: Comment fixes.
8350         (create_variable) New dictionary argument.  All references
8351         changed.
8352         (common_init_stuff) New dictionary argument.  All references
8353         changed.
8354         (init_variable) New dictionary argument.  All references changed.
8355         (dup_variable) New function.
8356
8357         * vars-prs.c: (parse_variables) If there are any errors, we always
8358         return 0.  Previously, it was possible for some types of errors to
8359         be ignored.
8360         
8361 Sat Nov 22 01:20:59 1997  Ben Pfaff  <blp@gnu.org>
8362
8363         * Makefile.am: (fiasco_SOURCES) For 0.1.5 release, remove
8364         aggregate.c.
8365
8366         * command.c: (cmd_table[]) Comment out AGGREGATE; add T TEST.
8367
8368         * list.q, t-test.q: Remove ALL option from VARLIST declaration in
8369         grammar rules.
8370
8371         * q2c.c: Comment fixes.
8372         (SBC_* enums) Remove SBC_VARLIST_ALL; all references removed.
8373         
8374         * t-test.q: (cmd_list) Rename cmd_t_test.
8375
8376         * temporary.c: (new_dictionary) Don't declare as static.
8377         
8378 Fri Nov 21 00:03:06 1997  Ben Pfaff  <blp@gnu.org>
8379
8380         * aggregate.c: Changes, still not finished.
8381
8382         * file-handle.q, frequencies.q, list.q, set.q: Comment fixes.
8383
8384         * q2c.c: Comment fixes.  Now its output is internationalized.
8385         (get_token) Fix parsing of escapes within literal strings.
8386         (main) Fix bad #line directives in output.
8387
8388         * t-test.q: Base implementation.
8389
8390         * temporary.c: (new_dictionary) New function.
8391         (restore_dictionary) [__CHECKER__] Change fill character to *
8392         (from @).
8393         
8394 Sun Nov 16 01:29:57 1997  Ben Pfaff  <blp@gnu.org>
8395
8396         * Makefile.am: (BUILT_SOURCES, fiasco_SOURCES) Add t-test.c
8397
8398         * aggregate.c: Changes, still not finished.
8399
8400         * descript.q, list.q: Comment fixes.
8401
8402         * q2c.c: Almost completely rewritten.
8403
8404         * t-test.q: New file, not complete.
8405
8406 Fri Nov 14 00:14:48 1997  Ben Pfaff  <blp@gnu.org>
8407
8408         * aggregate.c: Changes, still not finished.
8409
8410         * sort.c: (sort_cases) Call cancel_temporary() instead of doing it
8411         by hand.
8412
8413         * temporary.c: (cancel_temporary) New function.
8414
8415         * vars-atr.c: (discard_variables) Call cancel_temporary() instead
8416         of doing it by hand.
8417
8418         * vfm.c: (close_active_file) After restoring a TEMPORARY
8419         dictionary, set temp_dict to NULL.  Cancel TEMPORARY through
8420         cancel_temporary().
8421         (SPLIT_FILE_procfunc) Comment fix.
8422
8423 Tue Oct 28 16:08:45 1997  Ben Pfaff  <blp@gnu.org>
8424
8425         * Makefile.am: (fiasco_SOURCES) Add aggregate.c.
8426
8427         * aggregate.c: New file, not finished yet.
8428
8429         * command.c: (cmd_table) Add AGGREGATE.
8430
8431         * common.h: (pgm_state) Move declaration to var.h.
8432
8433         * lexer.c: (bin_value_func, oct_value_func, hex_value_func) i18n
8434         fixes.
8435         (parse_string) Message fix.
8436
8437         * recode.c: Comment fix.
8438
8439         * sfm-read.c: (read_variables) Code esthetic fixes.
8440         (write_header) Default date is `Jan', not `JAN'.
8441
8442         * sfmP.h: (bswap_int32) [!__linux__] Fix off-by-one errors.
8443
8444         * sort.c: (cmd_sort_cases) Farm the work out to new function
8445         parse_sort_variables().
8446         (parse_sort_variables) New function.
8447         (sort_cases) New function.  Cancels temporary transformations,
8448         which sorting didn't do previously.
8449         (cmd_sort_cases) Better garbage collection on error.  Uses
8450         do_external_sort().
8451         (write_initial_runs, merge_once) Improved code esthetics.
8452         (sort_stream_read) Reduced to one call to read_output_cases().
8453         (read_output_cases) New function.
8454
8455         * var-labs.c: (cmd_variable_labels) Re-enabled truncation of
8456         variable labels to 120 characters.
8457
8458         * var.h: Comment fixes.
8459         (glob var pgm_state) From common.h.
8460
8461         * vars-atr.c: (discard_variables) Set pgm_state to STATE_INIT.
8462
8463         * vars-prs.c: (parse_DATA_LIST_vars) Support PV_SINGLE in
8464         options.  Set *names to NULL on error.
8465
8466         * vfm.c: (memory_stream_init) Assert compaction_nval != 0.
8467
8468 Thu Oct  9 09:59:49 1997  Ben Pfaff  <blp@gnu.org>
8469
8470         * sfm-write.c, vfm.c: [HAVE_UNISTD] #include <unistd.h>, needed by
8471         SunOS4.  From Alexandre Oliva <oliva@dcc.unicamp.br>.
8472
8473 Wed Oct  8 18:55:24 1997  Ben Pfaff  <blp@gnu.org>
8474
8475         * vfm.c: (page_to_disk) Added missing local variables.
8476
8477 Tue Oct  7 20:23:17 1997  Ben Pfaff  <blp@gnu.org>
8478
8479         * get.c: Comment fix.
8480
8481         * sort.c: (cmd_sort_cases) Attempt to perform internal sort if the
8482         source is anything other than a disk stream, not just if it's in a
8483         memory stream.  Call page_to_disk() before external sort.
8484         (allocate_cases) Message fix.
8485
8486         * vfm.c: (prepare_for_writing) Warn user when paging workspace to
8487         disk.
8488         (page_to_disk) New function.
8489
8490 Sun Oct  5 15:56:14 1997  Ben Pfaff  <blp@gnu.org>
8491
8492         * Makefile.am: (INCLUDES) Include .. instead of $(top_srcdir).
8493
8494         * common.h: (macro strerror) Remove.  From Alexandre Oliva
8495         <oliva@dcc.unicamp.br>.
8496
8497         * get.c: (dict_delete_run) The number of variables to delete is
8498         not necessarily the number of variables that need to be shifted
8499         up.
8500         (trim_dictionary) Don't set *options to 0.  Fix bug that caused
8501         too many variables to be deleted.
8502
8503         * postscript.c: Comment fix.
8504
8505         * q2c.c: Include strerror.c.  From Alexandre Oliva
8506         <oliva@dcc.unicamp.br>.
8507
8508         * set.q: #undef ON and OFF.  From Alexandre Oliva
8509         <oliva@dcc.unicamp.br>.
8510
8511         * sfm-read.c: (sfm_read_dictionary) Don't set the file class too
8512         early, otherwise errors cause a bad free().
8513
8514         * str.h: (macro nvsprintf) s/FORMATS/FORMAT/ typo.  From Alexandre
8515         Oliva <oliva@dcc.unicamp.br>.
8516
8517         * temporary.c: (save_dictionary) Don't allocate memory if
8518         n_documents is 0.
8519
8520         * vfm.c: (memory_stream_write) Message fix.
8521
8522 Sat Oct  4 16:20:43 1997  Ben Pfaff  <blp@gnu.org>
8523
8524         * command.c: (static var cmd_table[]) Define REPEATING DATA
8525         command.
8526
8527         * common.h: Added support for broken systems that are missing
8528         EXIT_SUCCESS, EXIT_FAILURE, RAND_MAX, and/or strerror().
8529
8530         * Many source files: Replace syntax error messages via msg() with
8531         call to syntax_error().
8532
8533         * data-list.c: (dump_fixed_table) Add support for dumping table
8534         for REPEATING DATA as well as DATA LIST FIXED.
8535         (cmd_repeating_data) Allows and requires `/' between subcommands.
8536         Does proper thing with allowing rpd.starts_end to stay 0.  Allows
8537         CONTINUED specifications to be omitted.  Forces CONTINUED to be
8538         specified if ID is.  Calculates starts_end, cont_end from logical
8539         record length as reported by fhp.  Calls dump_fixed_table() if
8540         requested.  Fixed length of record copied by memcpy.
8541         (parse_num_or_var) Sets `num' to 0, not NOT_INT, for variables.
8542         Message fix.
8543         (realize_value) Returns sensible value for out-of-range variable
8544         values.
8545         (rpd_parse_record) New argument `ofs'.  Fixed confusion between
8546         length of occurrences and length of line.  Added warning for
8547         fields that exceed the line length.  Fixed infinite loop.
8548         (read_one_set_of_repetitions) Numerous minor changes for more
8549         complete SPSS compliance.  Message fixes.
8550
8551         * dfm.c: (dfm_close) If the file being closed is the inline file,
8552         read all the remaining data before closing it.
8553         (dfm_get_record) Don't close the file on lossage, as either it
8554         has been closed already or it doesn't belong to us.
8555
8556         * error.c: (puts_stdout) New function.
8557         (vmsg) Use puts_stdout instead of puts.
8558
8559         * file-handle.q: (fh_record_width) New function.
8560
8561         * inpt-pgm.c: (init_case) Fixed buffer overrun when inp_nval % 4
8562         == 0.
8563         (clear_case) Ditto.
8564         (input_program_source_read) Made an old kluge an approved method.
8565
8566         * lexer.c: (syntax_error) New function.
8567
8568         * misc.c: [BROKEN_RAND] (ansi_rand, ansi_srand; static var next)
8569         New.
8570
8571         * output.c: (oupt_get_paper_size) Message fix.
8572
8573         * q2c.c: Numerous fixes to formatting of generated code made to
8574         conform to GNU coding standards.  Uses syntax_error() in generated
8575         code.  Other miscellaneous generated message fixes.  Added support
8576         for broken systems that are missing EXIT_SUCCESS, EXIT_FAILURE,
8577         RAND_MAX, and/or strerror().
8578
8579 Sat Oct  4 02:09:56 1997  Ben Pfaff  <blp@gnu.org>
8580
8581         * data-in.c: Comment fixes.
8582
8583         * data-list.c: (struct repeating_data_trns) New member `id_spec'.
8584         (find_variable_input_spec) New function.
8585         (cmd_repeating_data) Initializes id_spec.
8586         (rpd_parse_record) Implemented.
8587         (read_one_set_of_repetitions) Returns -3 by default in order to
8588         kluge out some potential bugs.
8589
8590         * data-out.c: Comment fixes.
8591
8592         * file-type.c: (internal_cmd_record_type) Message fix.
8593
8594         * inpt-pgm.c: (input_program_source_read) Special temporary kluge
8595         for handling -3 return value.
8596
8597 Sat Sep 20 23:58:15 1997  Ben Pfaff  <blp@gnu.org>
8598
8599         * data-list.c: Comment fixes.
8600         (struct dls_var_spec) Reordered members.
8601         (read_from_data_list_fixed) Restructured.
8602         (struct repeating_data_trns) Reordered members.  Renamed `starts'
8603         as `starts_beg', `ends' as `starts_end'.
8604         (cmd_repeating_data) Calculates length of repeated data if
8605         necessary and possible.
8606         (parse_num_or_var) Don't allow string variables.
8607         (realize_value) New function.
8608         (rpd_msg) New function.
8609         (rpd_parse_record) New function.  Currently stubbed out.
8610         (read_one_set_of_repetitions) Implemented.
8611
8612         * inpt-pgm.c: (input_program_source_read) Comment fix.
8613
8614 Thu Sep 18 21:34:57 1997  Ben Pfaff  <blp@gnu.org>
8615
8616         * command.c: (cmd_end_repeat_p) Removed.
8617         (init_cmd_parser) Doesn't set cmd_end_repeat_p.
8618         (parse_cmd_name) Removed.
8619
8620         * data-list.c: Comment fixes.
8621         (data_list_pgm) Removed `eof' member.
8622         (static var first) New var.
8623         (cmd_data_list) Sets `first'.  Ensures that DATA LIST uses the
8624         FILE TYPE file inside FILE TYPE structures.
8625         (append_var_spec) Appends to *first, not dls.spec.
8626         (parse_fixed) Message fixes.
8627         (struct rpd_num_or_var) New.
8628         (struct repeating_data_trns) New.
8629         (static var rpd) New.
8630         (cmd_repeating_data) New function.
8631         (parse_num_or_var) New function.
8632         (parse_repeating_data) New function.
8633         (read_one_set_of_repetitions) New function.
8634
8635         * file-type.c: (cmd_file_type) Message fixes.  Always
8636         default_handle to FILE TYPE file handle.
8637         (internal_cmd_record_type) Message fixes.
8638
8639 Wed Aug 20 14:22:03 1997  Ben Pfaff  <blp@gnu.org>
8640
8641         * repeat.c: Comment fix.  Disable debugging.
8642
8643         * temporary.c: (restore_dictionary) Sets splits to NULL and
8644         n_splits to 0 before destroying the variables because now doing
8645         this tries to remove split variables.
8646
8647         * vars-atr.c: (discard_variables) Asserts that n_splits is 0 after
8648         destroying the dictionary.
8649         (clear_variable) Removes a variable from splits after destroying
8650         it.
8651
8652 Mon Aug 18 18:06:55 1997  Ben Pfaff  <blp@gnu.org>
8653
8654         * cmdline.c: (set_compat) Removed.
8655         (pick_compat) Removed.
8656         (parse_command_line) Removed -c option.
8657         (pre_syntax_message) Removed -c option.
8658         (usage) Remove compatibility code.
8659
8660         * common.h: (macros VER_PC, VER_WND, VER_X) Removed.
8661         (glob var compat) Removed.
8662
8663         * compute.c: (type_check) Fixed messages about type mismatches.
8664
8665         * data-list.c: (cmd_data_list) Removed compatibility code.
8666         (fixed_parse_compatible) Calls convert_negative_to_dash().
8667         Fixed bug where it only set the variable in fx.spec if it created
8668         the variable itself.
8669         (dump_fmt_list) Spelling fix.
8670         (cut_field) Removed compatibility code.
8671
8672         * dfm.c: (cmd_begin_data) Don't require a command terminator on
8673         BEGIN DATA command.
8674
8675         * expr-evl.c: (evaluate_expression) Implement LAG.
8676
8677         * expr-prs.c: (parse_add) Calls convert_negative_to_dash().
8678         (parse_neg) Calls convert_negative_to_dash().
8679         (LAG_func) Increases n_lag to the lag requested.  Fixed assignment
8680         bug.
8681
8682         * expr.h: (struct expression_struct) Removed member max_lag.
8683
8684         * file-type.c: (parse_col_spec) Calls convert_negative_to_dash().
8685         (internal_cmd_record_type) Removed special handling to produce
8686         negative numbers from dash tokens.
8687
8688         * getline.c: (static var DO_REPEAT_level) New var.
8689         (getl_add_DO_REPEAT_file) Increments DO_REPEAT_level.
8690         (handle_line_buffer) Copies the line into getl_buf; doesn't call
8691         copy_with_DO_REPEAT_substitutions().
8692         (getl_read_line) Maintains value of getl_mode.  Calls
8693         perform_DO_REPEAT_substitutions() whenever DO_REPEAT_level is
8694         positive.
8695         (getl_close_file) Decrements DO_REPEAT_level when appropriate.
8696
8697         * getline.h: (getl_mode) New glob var.
8698
8699         * glob.c: Comment fixes.
8700         (init_glob) Restructured.  Sets set_seed.
8701         (init_compat_dependent) Removed.  All references removed.
8702         (get_date) Format changed from MM/DD/YY to DD MMM YYYY.
8703         (__htonl, __htons) Removed.  (What were these for?)
8704
8705         * lexer.c: (static var tbl) Dash set to class CNUM.
8706         (make_hexit) New function from data-out.c.
8707         (get_token_representation) Rewritten.
8708         (convert_negative_to_dash) New function.
8709         (lex_init_compat_dependent) Removed.
8710         (yylex) A dash is parsed as part of a number if it is followed by
8711         a digit.  The ASCII representation of a number is copied to
8712         tokstr.  String parsing farmed out to parse_string().  Comment
8713         fixes.
8714         (bin_value_func, oct_value_func, hex_value_func, parse_string) New
8715         functions.
8716         (preprocess_line) Line processing depends on interactive/batch
8717         mode, not on compatibility mode.  Removed PC+ compatibility code.
8718
8719         * loop.c: (loop_3_trns_proc) Comment fix.
8720
8721         * main.c: Remove dead code.
8722         (main) Remove call to init_compat_dependent().
8723
8724         * misc.c: (convert_fmt_ItoO) Make E format conversion more
8725         conformant.
8726
8727         * print.c: (parse_string_argument) Calls
8728         convert_negative_to_dash().
8729         (fixed_parse_compatible) Calls convert_negative_to_dash().
8730
8731         * repeat.c: (RPT_* defines) Removed.
8732         (struct rpt_numeric) Removed.
8733         (struct repeat_entry) New member type, changed `replacement' from
8734         char * to char **.
8735         (clean_up) Deallocation adapted to new repeat_entry.
8736         (internal_cmd_do_repeat) `type' defaults to 0.  Remove lookahead()
8737         usage.  Creates vars for `type' of 1.
8738         (parse_ids) Sets type of 1.  Adapted to new repeat_entry.
8739         (store_numeric) Rewritten, new interface.
8740         (parse_numbers) Rewritten.
8741         (parse_strings) Rewritten.
8742         (find_DO_REPEAT_substitution) New function.
8743         (perform_DO_REPEAT_substitutions) New function.
8744         (copy_with_DO_REPEAT_substitutions) Removed.
8745         (debug_print) Rewritten.
8746
8747         * set.q: Comment fix.
8748         (custom_results) Removed compatibility code.
8749         (internal_cmd_set) Removed SET EMULATION subcommand.  Removed
8750         compatibility code.
8751
8752         * sysfile-info.c: (cmd_display) Removed compatibility code.
8753
8754         * tokens.h: Comment fixes.
8755         (token types enum) Removed `toktype' typedef name for this int
8756         type.  Removed SUBST.  Restructured.
8757
8758         * vars-atr.c: (discard_variables) Sets n_lag to 0.
8759
8760         * vars-prs.c: Comment fix.
8761
8762         * vfm.c: Comment fixes.
8763         (glob var n_lag) New var.
8764         (static vars lag_count, lag_head, lag_queue) New vars.
8765         (procedure) Removed argument nlag.
8766         (setup_lag) New function.
8767         (close_active_file) Discards lagging state.
8768         (lag_case) New function.
8769         (lagged_case) New function.
8770         (write_case) Lags a case if lagging.
8771
8772         * weight.c: (cmd_weight) Removed compatibility code.
8773         
8774 Sun Aug 17 22:34:40 1997  Ben Pfaff  <blp@gnu.org>
8775
8776         * getline.h: (struct getl_script) New members loop_index, macros.
8777
8778         * getline.c: (getl_add_file) Sets first_line field to NULL.
8779         (getl_add_DO_REPEAT_file) New function.
8780         (handle_line_buffer) When the current line's length is negative,
8781         set the filename and line number.  Increment line number after
8782         reading line.  Pass the line to
8783         copy_with_DO_REPEAT_substitutions() for processing.
8784         (getl_close_file) Free DO REPEAT lines before freeing the
8785         filename, and just set the filename to NULL when doing this,
8786         because otherwise the filename gets freed twice.
8787
8788         * glob.c: (glob var queuing) Removed.  All references removed.
8789
8790         * lexer.c: Comment fixes.
8791         (get_token_representation) New function.
8792
8793         * repeat.c: Comment fixes.
8794         (struct repeat_entry) Replaced type and v union members with a
8795         simple string.
8796         (append_record) New function.
8797         (internal_cmd_do_repeat) Started reforming it for the new
8798         repeat_entry struct.  Properly records filename changes in the
8799         getl_line_buf.  Fixed improper use of = for ==.  Fixed sense of
8800         strncasecmp() result usage.  Uses append_record() to simplify.
8801         Properly discards END REPEAT line.  Calls getl_add_DO_REPEAT_file
8802         to add in the file.
8803
8804         (copy_with_DO_REPEAT_substitutions) Started coding.
8805
8806         [DEBUGGING] (debug_print_lines) New function.
8807
8808         * set.q: (custom_results, internal_cmd_set) s/VER_PCP40/VER_PC/;
8809
8810         * tokens.h: (macro is_id1, is_idn) New macros.
8811
8812 Sat Aug 16 10:57:41 1997  Ben Pfaff  <blp@gnu.org>
8813
8814         * cmdline.c: (static var pre_syntax_message) Changed `win'
8815         compatibility mode to `wnd'.
8816
8817         * data-list.c: (fixed_parse_spss) Renamed
8818         fixed_parse_compatible().
8819
8820         * glob.c: (init_glob) Excise unused code for
8821         program_invocation_short_name.
8822
8823         * lexer.c: (preprocess_line) Leading indentors are ignored in Wnd
8824         as well as in X.
8825
8826         * print.c: (fixed_parse_spss) Renamed fixed_parse_compatible().
8827
8828         * set.q: `win' compatibility renamed `wnd'.
8829
8830 Thu Aug 14 22:11:12 1997  Ben Pfaff  <blp@gnu.org>
8831
8832         * filename.c: [__WIN32__] Change the included Windows header files
8833         (again).
8834         (absolute_filename_p) [__MSDOS__] A filename with a colon as the
8835         second character is absolute.
8836         (dirname) Fix logic error.  Don't printf() the results.
8837         (prepend_dir) Don't printf() the results.
8838
8839         * getline.c: (handle_line_buffer) New function.
8840         (getl_read_line) Reads line with handle_line_buffer() when
8841         appropriate.
8842         (getl_close_file) Discard line buffer data.
8843
8844         * getline.h: Comment fixes.
8845         (struct getl_line_list) New struct.
8846         (getl_script_struct) Added line buffer members.  These are hooks
8847         for use by DO REPEAT to allow it to insert virtual source code
8848         into the program.
8849
8850         * glob.c: (init_glob) [__DJGPP__ || (__WIN32__ && __BORLANDC__)]
8851         Override Borland C++ stupidity that claims Windows has a console
8852         window size of 0x3.
8853
8854         * repeat.c: This is in the process of being restructured from
8855         using a token-buffering approach to the DO REPEAT facility to
8856         using the more flexible approach of a line-buffering approach in
8857         conjunction with the getline module.  Comment fixes.
8858         (struct tok_struct) Removed.
8859         (static vars queue_index, queue_head, queue) Removed.
8860         (static vars line_buf_head, line_buf_tail) New vars.
8861         (internal_cmd_do_repeat) Instead of queuing tokens, queue lines.
8862         Not complete.
8863         (pull_queue, destroy_queue) Removed.
8864         [DEBUGGING] (debug_print_tokens) Removed.
8865
8866 Tue Aug  5 13:57:58 1997  Ben Pfaff  <blp@gnu.org>
8867
8868         * file-handle.q: (prepend_current_directory) New function.
8869         (internal_cmd_file_handle, fh_get_handle_by_filename) Prepends
8870         current directory before normalizing filename.
8871
8872         * filename.c: (gnu_getcwd) New function.
8873         (absolute_filename_p) New function.
8874         (search_path) New argument, PREPEND.  All references changed to
8875         pass NULL except those explicitly mentioned.  Uses
8876         absolute_filename_p().  Prepends PREPEND before trying the
8877         filename.
8878         (dirname, prepend_dir) New functions.
8879
8880         * getline.c: (getl_get_current_directory) New function.
8881         (getl_include) Passes getl_get_current_directory() as PREPEND arg
8882         to search_path().
8883                 
8884 Sun Aug  3 11:42:36 1997  Ben Pfaff  <blp@gnu.org>
8885
8886         * In several source files, the term `script' was replaced with
8887         `syntax file' inside error messages.  Usage of the term `script'
8888         in the sense of a syntax file is now deprecated.
8889
8890         * cmdline.c: (static vars pre_syntax_message, post_syntax_message)
8891         Updated messages.
8892
8893         * dump-sysfile.c: (usage) Update message.
8894
8895         * getline.c: (getl_read_line) Ignore lines beginning with `#!'.
8896
8897         * getline.h: (glob var getl_include_path) Declare extern.
8898
8899         * list.q: Define EXTERN as extern before #including somP.h.
8900
8901         * var.h: Remove declaration of `disptype' variable.
8902
8903         * vfm.c: (close_active_file) After switching the data sink to a
8904         data source, set vfm_sink to NULL, because it doesn't exist any
8905         more.
8906
8907 Thu Jul 17 21:41:44 1997  Ben Pfaff  <blp@gnu.org>
8908
8909         * glob.c: [__BORLANDC__] Include math.h.  Define _matherr() and
8910         _matherrl() to ignore all math errors.
8911
8912         * sfm-read.c: (read_value_labels) When reading the labels from
8913         disk, read the little parts separately instead of as a struct;
8914         this avoids alignment problems.
8915
8916         * sfm-write.c: (struct sfm_fhuser_ext) New member `elem_type'.
8917         (sfm_write_dictionary) Sets elem_type and frees it on lossage.
8918         (write_header) Allocates and initializes elem_type.
8919         (sfm_write_case) Uses elem_type to determine how to handle each
8920         flt64 element.
8921         (sfm_close) Frees elem_type.
8922
8923         * sfmP.h: Comment fix.
8924         [__BORLANDC__] Uses #pragma -a to adjust structure member
8925         alignment.
8926         
8927 Thu Jul 17 01:55:12 1997  Ben Pfaff  <blp@gnu.org>
8928
8929         * Makefile.am: (fiasco_SOURCES) Remove display.c.
8930
8931         * common.c: Fix typo.
8932
8933         * dfm.c: (read_record) Remove strncasecmp() emulation and fix the
8934         sense of the condition.
8935
8936         * expr-evl.c: (macro ALLOC_STRING_SPACE) [!PAGED_STACK] Add
8937         line-continuation backslash.
8938
8939         * filename.c: [__WIN32__] Include <windef.h> before <winbase.h>.
8940
8941         * frequencies.q: (custom_grouped, add_percentile) Don't use a
8942         non-constant expression as an argument to sizeof.
8943
8944         * glob.c: [__WIN32__ && __BORLANDC__] When including <conio.h>,
8945         undefine gettext macro because that's a conio function.
8946
8947         * hash.h: (hsh_prime_tab declaration) Remove.
8948
8949         * list.q: (write_fallback_headers) Move `leader' allocation out of
8950         main loop.  Change to local_alloc() allocation.
8951
8952         * output.h: Formatting fixes.  Put __attribute__ in right place on
8953         function prototypes.
8954
8955         * sfm-read.c: (read_machine_flt64_info, read_variables) Change
8956         incorrect `SECOND_LOWEST_VALUE' references to proper
8957         `second_lowest_value'.
8958
8959         * som-frnt.c: (EXTERN macro) Define as `extern' instead of null
8960         value.  This way 2 out of 3 of the som files define the vars
8961         extern, the correct way, that actually works under BC++.
8962         (som_set_float) Don't use nonconstant initializers for a struct.
8963
8964         * som-high.c: Add the standard alloca() header.
8965         (replicate_table) Add prototype.
8966
8967         Merged DISPLAY routine.
8968         * sysfile-info.c: (AS_*) New enum series.
8969         (cmd_sysfile_info) Gutted.  Calls describe_variable() to do the
8970         dirty work.
8971         (cmd_display, display_macros, display_documents,
8972         display_variables) Stolen from defunct display.c.
8973         (describe_variable) New function.
8974
8975         * temporary.c: [0] (display_tree) New debug function.
8976         (copy_variable) Performs shallow copy of value labels instead of
8977         deep copy; i.e., just copys the AVL tree and increments the
8978         reference counts.
8979
8980         * val-labs.c: Comment fixes.
8981         (do_value_labels) Optionally skip leading forward slash.
8982         (get_label) Creates only a single value label instead of many
8983         copies of one, and sets the reference count.
8984
8985         * display.c: Removed.
8986
8987         * dump-sysfile.c: New file, not yet complete.
8988
8989 Fri Jul 11 23:02:18 1997  Ben Pfaff  <blp@gnu.org>
8990
8991         For lots of source files I added more verbose_msg's.  These aren't
8992         listed below as they have tested as being benign.  In some cases
8993         these replaced debug_printf() calls.
8994
8995         * output.c: (outp_read_devices) Message fix.
8996
8997         * postscript.c: (output_encodings) Message fix.  Reports errors on
8998         fclose().
8999         (postopen) Message fix.
9000         
9001 Fri Jul 11 14:09:40 1997  Ben Pfaff  <blp@gnu.org>
9002
9003         * dfm.c: (dfm_close) Don't call fclose() for a NULL FILE.
9004
9005         * filename.c: (close_file_ext) Set f->file to NULL *after* closing
9006         it.
9007
9008         * main.c: Remove <malloc.h> #include.
9009
9010         * mis-val.c: (parse_numeric) Set .f member for each missing[]
9011         instead of trying to just set the missing[] itself, which is a
9012         gcc-specific idiom.
9013
9014         * sfm-read.c: (read_variables) Same.
9015
9016         * str.h: Add memmem() prototype.
9017
9018         * val-labs.c, var-labs.c: Replace <malloc.h> with <stdlib.h>.
9019
9020 Thu Jul 10 22:13:53 1997  Ben Pfaff  <blp@gnu.org>
9021
9022         * Makefile.am: (q2c) Don't include any libraries in the link.
9023
9024         * dfm.c: (force_line_buffer_extension) New macro.
9025         (count_tabs) New function.
9026         (tabs_To_spaces) New function.
9027         (read_record) Calls tabs_to_spaces() on the line being processed.
9028
9029         * q2c.c: Disabled i18n for this proglet so that libintl.a doesn't
9030         have to be compiled twice (once for CC, once for LOCAL_CC).
9031  
9032 Sun Jul  6 19:14:33 1997  Ben Pfaff  <blp@gnu.org>
9033
9034         * Makefile.am: (INCLUDES) Add intl directory; fix directories.
9035         (LDADD) Add @INTLLIBS@.
9036         (q2c) Add LIBS, @INTLLIBS@ to link step.
9037
9038         * inpt-pgm.c: Turn off debugging.
9039
9040         * postscript.c: (postopen) Format fix.  local_free() blocks
9041         returned by local_alloc(); don't free() them.
9042
9043 Sat Jul  5 23:44:51 1997  Ben Pfaff  <blp@gnu.org>
9044
9045         * data-in.c: (parse_string_as_format) Comment fix.  Fix check for
9046         string length.
9047
9048         * data-list.c: (read_from_data_list_fixed) Pass proper value for
9049         LEN arg, not simply the full string length.
9050
9051         * sort.c: (allocate_file_handles) Check SPSS compatible temp file
9052         directories before generic temp file directories.
9053
9054         * vfm.c: Disable debugging.
9055
9056 Fri Jul  4 13:26:41 1997  Ben Pfaff  <blp@gnu.org>
9057
9058         * get.c: Comment fix.
9059         (cmd_save_internal) Always passes GTSV_OPT_SAVE option.
9060
9061 Wed Jun 25 22:52:28 1997  Ben Pfaff  <blp@gnu.org>
9062
9063         * expr-prs.c: (debug_print_postfix) Conditionally included on
9064         GLOBAL_DEBUGGING.  Removed out_header() reference.
9065
9066         * exprP.h: Removed #undef GLOBAL_DEBUGGING.
9067
9068 Sun Jun 22 22:00:28 1997  Ben Pfaff  <blp@gnu.org>
9069
9070         * ascii.c: Removed obsolete ascii_close_page() prototype.
9071
9072         * command.c: (output_line) Comment fix.
9073
9074         * data-in.c: Formatting fix.
9075         (parse_string_as_format) Now the `fc' argument is used only for
9076         the purpose of error messages; it is not an index into the string
9077         passed.  All references changed.
9078
9079         * data-list.c: Comment fix.
9080         (cut_field) Comment fix.  Now returns the column number of the
9081         position of the field cut out on success.
9082         (parse_field) Added `column' argument.  Puts the column numbers in
9083         the error message.
9084         (read_from_data_list_free, read_from_data_list_list) Record the
9085         column number returned by cut_field(), pass it to parse_field().
9086
9087         * dfm.c: Comment fix.
9088
9089         * do-ifP.h: Comment fix.
9090
9091         * expr-prs.c: (SYSMIS_func) Implemented string-type arguments for
9092         the SYSMIS function.
9093
9094         * expr.h, exprP.h: Comment fix.
9095
9096         * glob.c: (init_glob) Only calls setlocale() and family if
9097         ENABLE_NLS set.
9098
9099         * hash.h: Comment fix.
9100
9101         * include.c: Comment fix.
9102
9103         * output.c: Comment fix.
9104
9105         * postscript.c: (ps_line_intersection) Simplified assertion.
9106
9107         * repeat.c: Comment fix.
9108
9109         * vars-atr.c: Comment fix.
9110
9111         * vars-prs.c: Comment fix.
9112
9113         * vfm.c: (vector_initialization) [DEBUGGING] Fixed undefined
9114         behavior with usage of postincrement.
9115         (memory_stream_read) Discards cases as it goes. 
9116
9117 Sun Jun 15 16:45:17 1997  Ben Pfaff  <blp@gnu.org>
9118
9119         * Makefile.am: Cleans q2c, not just distcleans it.  Distcleans
9120         foo.
9121
9122         * Most source files: Includes debug-print.h, related comment
9123         fixes.
9124
9125         * cases.c: (alloc_val) Removed complex allocation code.  Merely
9126         increments default_dict.nval and returns the former value.
9127         (envector, devector) Removed references to lv member of struct
9128         variable.
9129
9130         * common.h: (macro VME) Replaced complex definition with simple
9131         one.
9132
9133         * data-list.c: (cmd_data_list) Sets vfm_source instead of
9134         read_active_file and cancel_input_pgm.
9135         (read_from_data_list, cancel_data_list) Removed.
9136         (data_list_source_read, data_list_source_destroy_source) New
9137         functions.
9138         (glob var data_list_source) New var.
9139
9140         * dfm.c: (open_file_r, open_file_w) Simplified debug output.
9141         (cmd_begin_data) Improved criteria for an input program accessing
9142         the inline file.  Still not perfect.
9143
9144         * do-if.c: (do_if_trns_proc) Simplified debug output.
9145
9146         * expr-prs.c: Comment fixes.
9147         [DEBUGGING] (debug_print_postfix) Simplified debug output.
9148
9149         * file-handle.q: (fh_close_handle) Simplified debug output.
9150
9151         * file-type.c: Comment fixes.
9152         (cmd_file_type) Sets vfm_source instead of read_active_file and
9153         cancel_input_pgm.
9154         (cmd_end_file_type) On failure, discards variables in place of
9155         just canceling the input program.
9156         (read_from_file_type) Renamed file_type_source_read.
9157         (cancel_file_type) Renamed file_type_source_destroy_source.
9158         (glob var file_type_source) New var.
9159
9160         * get.c: (GTSV_* enum series) New enums GTSV_OPT_SAVE, GTSV_NONE.
9161         (cmd_get) Initializes options to GTSV_NONE before passing to
9162         trim_dictionary().  Removed `lv' reference.  Sets vfm_source
9163         instead of read_active_file and cancel_input_pgm.
9164         (cmd_save_internal) Initializes options before passing to
9165         trim_dictionary().  Local var `nval' removed.
9166         (dict_delete_run) Comment fixes.
9167         (trim_dictionary) Comment fixes.  Disallows scratch variables if
9168         GTSV_OPT_SAVE set in options.
9169         (read_from_get) Renamed get_source_read.
9170         (cancel_get) Renamed get_source_destroy_source.
9171         (glob var get_source) New var.
9172
9173         * inpt-pgm.c: (cmd_input_program) Sets vfm_source instead of
9174         read_active_file and cancel_input_pgm.
9175         (read_from_input_program) Renamed input_program_source_read.
9176         Simplified debug output.
9177         (cancel_input_program) Renamed
9178         input_program_source_destroy_source.
9179         (glob var input_program_source) New var.
9180
9181         * loop.c: (loop_1_trns_proc) Simplified debug output.
9182
9183         * main.c: (dump_token) Made eof output more explicit.
9184
9185         * sfm-read.c: (read_variables, dump_dictionary) Removed `lv'
9186         references.
9187
9188         * sort.c: (cmd_sort_cases) Disallows scratch variables.  Removed
9189         code for always-memory or always-disk cases.  malloc's case-list
9190         based on vfm_source_info.ncases.  Explicit support for
9191         memory_stream via memory_source_cases.
9192         (do_external_sort) Sets vfm_source instead of read_active_file and
9193         cancel_input_pgm.
9194         (allocate_file_handles) The temporary directory permissions are
9195         set to 0700 instead of 0777.
9196         (allocate_cases) Formatting fixes.  Simplified debug output.
9197         (output_record) Compacts the case if necessary before writing it
9198         out.
9199         (close_handle, open_handle_w) Simplified debug output.
9200         (write_initial_runs) Destroys vfm_sink, then sets it to
9201         sort_stream.  Writes records to memory based on
9202         vfm_sink_info.case_size.
9203         (write_to_sort_cases) Renamed sort_stream_write().
9204         (merge) Simplified error handling.  Simplified debug output.
9205         Formatting fixes.
9206         (read_from_external_sort) Renamed sort_stream_read().
9207         Reads records based on vfm_source_info.case_size.
9208         (sort_stream_write) Writes records to memory based on
9209         vfm_sink_info.case_size.
9210         (sort_stream_mode) New function.
9211         (glob var sort_stream) New variable.
9212
9213         * temporary.c: (cmd_temporary) Simplified debug output.
9214         (copy_variable) Removed references to `lv'.
9215
9216         * title.c: (get_title) Simplified debug output.
9217
9218         * var.h: Comment fixes.
9219         (struct get_proc) Removed member `lv'.
9220         (struct variable) Removed member `lv'.  Comment fixes.
9221         (glob vars read_active_file, write_active_file, cancel_input_pgm)
9222         Removed.
9223         (struct case_stream) New.
9224
9225         * vars-atr.c: (discard_variables) Changed cancel_input_pgm,
9226         read_active_file references to use vfm_source.
9227         (init_variable, replace_variable) Removed references to `lv'.
9228
9229         * vfm.c: Comment fixes.
9230         (glob var vfm_source, vfm_sink, vfm_source_info, vfm_sink_info)
9231         New variables.
9232         (static var queue, qh, qt, n_lag) Removed.  All references
9233         removed.
9234         (glob var compaction_necessary, compaction_nval, compaction_case,
9235         paging) New variables.
9236         (record_case) Removed.
9237         (procedure) Comment fixes.  Calls vfm_source->read() instead of
9238         read_active_file().
9239         (lag) Removed.
9240         (prepare_for_writing, arrange_compaction, make_temp_case,
9241         vector_initialization, setup_filter) New function.
9242         (open_active_file) Most of the code moved into the abovementioned
9243         new functions.  Now sets temp_dict to &default_dict if there is no
9244         temporary dictionary, for convenience.  New debug output.
9245         (close_active_file) Deals with changing the sink to the source.
9246         Calls finish_compaction().  Frees compaction_case.  Mostly
9247         rewritten.
9248         (glob vars disk_source_file, disk_sink_file) New vars.
9249         (destroy_active_file, read_from_memory) Removed.
9250         (disk_stream_init, disk_stream_read, disk_stream_write,
9251         disk_stream_mode, disk_stream_destroy_source,
9252         disk_stream_destroy_sink) New functions.
9253         (glob var vfm_disk_stream) New var.
9254         (glob vars memory_source_cases, memory_sink_cases,
9255         memory_sink_iter, memory_sink_max_cases) New vars.
9256         (memory_stream_init, memory_stream_read, memory_stream_write,
9257         memory_stream_mode, memory_stream_destroy_source,
9258         memory_stream_destroy_sink) New functions.
9259         (glob var vfm_memory_stream) New var.
9260         (write_case) Local var `i' renamed `cur_trns'; local var `retval'
9261         named `more_cases'.  Simplified debug output.  Otherwise mostly
9262         rewritten.
9263         (record_case) Moved into the stream drivers.  Removed.
9264         (transform) Removed (was dead code).
9265         (SPLIT_FILE_procfunc) s/vfm_replacement/vfm_sink_info/.  In the
9266         common case that the splits don't change, we don't need to copy
9267         the case into prev_case again--pointless.
9268         (compact_case) New function.
9269         (finish_compaction) New function.
9270
9271         * vfmP.h: Comment fixes.
9272         (DEV_* enum series) Removed. 
9273         (struct storage) Renamed `stream_info'.  Removed variant record.
9274         Removed `device' member.
9275
9276         * debug-print.h: New file.
9277         
9278 Sun Jun  8 01:12:38 1997  Ben Pfaff  <blp@gnu.org>
9279
9280         * autorecode.c: Turned off debugging.
9281
9282         * data-list.c: (destroy_dls) Closes the associated file handle.
9283
9284         * descript.q: (custom_variables) Added PV_NO_SCRATCH to
9285         parse_variables() options.
9286
9287         * dfm.c: (open_file_r) Removed gratuituous argument to msg() call.
9288
9289         * display.c: (display_variables) Really fixed null cell bug.
9290
9291         * file-handle.q: (fh_close_handle) Changed debugging message.
9292
9293         * frequencies.q: (custom_variables) Added PV_NO_SCRATCH to
9294         parse_variables() options.
9295
9296         * list.q: Added PV_NO_SCRATCH in q2c varlist options.
9297         (cmd_list) Fails if no variables specified.
9298         (determine_layout) Writes blank lines manually.
9299
9300         * loop.c: (loop_1_trns_proc) Made debugging code only print
9301         messages if debugging.
9302
9303         * q2c.c: (dump_subcommand) Appends sbc->message to SBC_VARLIST
9304         parse_variables() arguments.
9305         (main) Parses optional parenthesized options to varlist
9306         subcommands into sbc->message.
9307
9308         * sfm-read.c: Format fix.
9309
9310         * var.h: (FV_*) New enum series.
9311         (PV_*) New enum PV_NO_SCRATCH.
9312
9313         * vars-prs.c: (find_var) Removed.
9314         (fill_all_vars) Takes FV_* enum instead of boolean third
9315         argument.  Rewritten to deal with scratch as well as system
9316         variables.
9317         (parse_variables) Error message on scratch variable if
9318         PV_NO_SCRATCH set.
9319
9320         * vfm.c: (static var virt_begin_func) New var.
9321         (procedure) Sets up virt_begin_func.
9322         (SPLIT_FILE_procfunc) For the first case, calls virt_begin_func()
9323         after dump_splits().  For succeeding groups changes, calls
9324         virt_begin_func() instead of begin_func().      
9325
9326 Fri Jun  6 22:42:23 1997  Ben Pfaff  <blp@gnu.org>
9327
9328         * count.c, data-out.c, file-handle.q, list.q, loop.c: Turned off
9329         debugging.
9330
9331         * dfm.c: Added some debugging messages, disabled by default.
9332         (open_file_r) Fixed error message.
9333         (read_record) On eof on inline_file, instead of calling
9334         fh_close_handle(), simply jump to eof label like a normal file.
9335         Message fixes.
9336
9337         * display.c: Thin lines between rows for certain kinds of
9338         listing.  Fixed `null cell' bug.
9339
9340         * error.c: (failure) Flush stdout, stderr before failing.
9341
9342         * file-handle.q: (fh_close_handle) Added debugging message.
9343
9344         * frequencies.q: (dump_full) Bottom line extends across entire
9345         table width.  Changed title formatting.
9346         (dump_condensed) Changed title formatting.
9347         (dump_statistics) Fixed title formatting.
9348
9349         * glob.c: (init_glob) Moved initialization of cur_proc out of #if.
9350         Sets default value of set_format.
9351
9352         * list.q: (cmd_list) Calls blank_line() before determine_layout().
9353         Passes write_all_headers() to procedure() as pre-group func.
9354         (write_all_headers) New function.
9355         (determine_layout) Removed calls to write_header().
9356         Calls blank_line() before and after write_fallback_headers().
9357
9358         * recode.c: (recode_trns_free) Only attempts to free head->map if
9359         non-NULL.
9360
9361         * sfm-read.c: (read_variables) Allows `#' at beginning of system
9362         file variable names but gives a warning.  Sets `left' based on
9363         first character being/not being `#'.  On lossage frees dict->var.
9364
9365         * som-high.c: (som_draw_title) Simplified title formatting.
9366
9367         * vfm.c: (dump_splits) Fixed and changed splits formatting.
9368
9369 Thu Jun  5 22:51:15 1997  Ben Pfaff  <blp@gnu.org>
9370
9371         * autorecode.c: (cmd_autorecode) Sets h_trans to NULL at
9372         beginning.  Frees v_src, v_dest on successful exit.  Frees
9373         h_trans[*], h_trans on lossage.
9374         (recode) Frees h_trans[*], h_trans.
9375
9376         * dfm.c: (dfm_close) Formatting change.
9377         (open_inline_file) Now passed a dfm_fhuser_ext to initialize; no
9378         longer allocates its own in inline_file.
9379         (open_file_r) Passes the local dfm_fhuser_ext to
9380         open_inline_file().
9381         (open_file_w) Message fix. 
9382         (read_record) Buffer reallocation strategy changed.  Frees
9383         ext->line even in inline_file to prevent leaks.
9384         (dfm_put_record) Fixed bug where `ext' was cached before the file
9385         was opened and thus it would be NULL when the file really was
9386         open.
9387         (cmd_begin_data) Sets up inline_file basics itself, then calls
9388         open_inline_file() for the dfm_fhuser_ext.  Formatting fix.
9389
9390         * list.q: (write_line) Formatting fix.
9391         (clean_up) Minor strategy change.  Sets proportional font after
9392         finishing cleanup.
9393         (determine_layout) Sets fixed font before writing regular headers,
9394         or after writing fallback headers.
9395
9396         * modify-vars.c: (cmd_modify_vars) Frees variable lists for DROP
9397         and KEEP vars after using them.
9398
9399         * postscript.c: (ps_init_driver) Frees x->family.
9400         (postopen) When loading fonts, free the temporary font name buffer
9401         after using it.
9402         (ps_text_set_font_by_position) Free temporary font name buffer
9403         after using it.
9404         (text) Fixed code that calculated `lig' so that `lig' always gets
9405         initialized.  Formatting fix.
9406
9407         * som-low.c: (get_cell_size, som_get_table_size) `prop_height' ->
9408         `font_height'.
9409         [GLOBAL_DEBUGGIGN] (check_table) Use arena_alloc() to allocate
9410         cells, not xmalloc(), so that the cells will get destroyed
9411         automatically.
9412
9413         * sysfile-info.c: (cmd_sysfile_info) Frees the dictionary after
9414         using it.
9415
9416 Tue Jun  3 23:33:22 1997  Ben Pfaff  <blp@gnu.org>
9417
9418         * ascii.c: (ascii_text_draw) Always sets metrics for strings that
9419         are drawn.
9420
9421         * dfm.c: Comment fix.
9422
9423         * list.q: Comment fixes.  Include somP.h.  Removed static vars
9424         table, n_columns, n_rows, part.  New struct list_ext.  New static
9425         var line_buf.
9426         (n_lines_remaining, n_chars_width, write_line) New functions.
9427         (cmd_list, list_cases) Rewritten.
9428         (begin_row, end_row, flush_table) Removed.
9429         (write_header, clean_up, write_varname, write_fallback_headers,
9430         determine_layout) New functions.
9431
9432         * output.c: (outp_iterate_enabled_drivers) Minor reformat.
9433
9434         * output.h: Comment fix.
9435
9436         * postscript.c: Comment fix.
9437         (struct ps_driver_ext) Removed prop_size, fixed_size members;
9438         added font_size.  All references changed.
9439         (ps_init_driver) Initializes font_size.  Simplified space checking
9440         code.
9441         (static var option_tab[]) Removed prop-size, fixed-size; added
9442         font-size.
9443         (ps_option) Handles font_size.
9444
9445         * som-high.c: Moved prototypes into somP.h.
9446         (som_init_driver) New function.
9447         (som_submit_table) Moved some code into new function
9448         som_init_driver().
9449         (build_target) Moved some code into new function
9450         som_internal_eject_page().
9451         (som_eject_page) Uses som_internal_eject_page().
9452         (som_internal_eject_page) New function.
9453
9454         * som-low.c: Moved prototypes into somP.h.
9455
9456         * som.h: Formatting fixes.
9457
9458         * somP.h: (struct som_driver_ext) Removed em_width;
9459         added prop_em_width, fixed_width.
9460
9461 Mon Jun  2 14:25:25 1997  Ben Pfaff  <blp@gnu.org>
9462
9463         * Makefile.am: Added `localedir' definition.  Added
9464         -DLOCALEDIR="..." to DEFS.  Added -I. to INCLUDES.
9465
9466         * ascii.c: (macro draw_line) Fixed capitalization.
9467
9468         * ascii.c, autorecode.c, cases.c, cmdline.c, command.c, common.c,
9469         compute.c, count.c, data-in.c, data-list.c, data-out.c,
9470         descript.q, dfm.c, display.c, do-if.c, error.c, expr-evl.c,
9471         expr-opt.c, expr-prs.c, file-handle.q, file-type.c, filename.c,
9472         formats.c, frequencies.q, get.c, getline.c, glob.c, groff-font.c,
9473         hash.c, heap.c, include.c, inpt-pgm.c, lexer.c, list.q, loop.c,
9474         main.c, mis-val.c, misc.c, modify-vars.c, numeric.c, output.c,
9475         postscript.c, print.c, q2c.c, recode.c, rename-vars.c, repeat.c,
9476         sample.c, sel-if.c, sfm-read.c, sfm-write.c, sfmP.h, som-frnt.c,
9477         som-high.c, som-low.c, sort.c, split-file.c, sysfile-info.c,
9478         temporary.c, title.c, tokens.h, val-labs.c, var-labs.c,
9479         vars-atr.c, vars-prs.c, vector.c, vfm.c, weight.c: Marked strings
9480         for internationlization.
9481
9482         * glob.c: [HAVE_LOCALE_H] Includes locale.h.
9483
9484 Sun Jun  1 23:31:18 1997  Ben Pfaff  <blp@gnu.org>
9485
9486         * do-if.c, sort.c, val-labs.c: Comment fixes.
9487
9488         * glob.c: (init_glob) Uncommented, updated i18n support.
9489         
9490         * arena.c, ascii.c, data-in.c, descript.q, error.c, expr-evl.c,
9491         expr-opt.c, expr-prs.c, filename.c, frequencies.q, groff-font.c,
9492         output.c, postscript.c, sfm-read.c, som-high.c, vars-prs.c: Made
9493         the declarations of macros taking arguments a lot nicer.
9494
9495 Sun Jun  1 17:22:04 1997  Ben Pfaff  <blp@gnu.org>
9496
9497         * error.h: Removed CE, CW aliases for SE, SW.
9498
9499         * q2c.c: Removed explicit streq() definition since it's duplicated
9500         in str.h.
9501         
9502         * approx.h, error.h, font.h, hash.h, misc.h, output.h, somP.h,
9503         stats.h, str.h, tokens.h: Made the declarations of macros taking
9504         arguments a lot nicer-looking of <pinard@iro.umontreal.ca>.
9505         Comment fixes.
9506
9507 Sun Jun  1 12:02:06 1997  Ben Pfaff  <blp@gnu.org>
9508
9509         * cmdline.c: Comment fixes.
9510         (pick_compat) Changed return type to int.  Now, instead of setting
9511         glob var `compat' to the emulation, returns the emulation.  All
9512         references changed.
9513         (parse_command_line) Added terminating null to end of
9514         `long_options' array definition.
9515         (pre_syntax_message) Fixes.
9516         (usage) Shows the default emulation in the syntax message by
9517         calling pick_compat().
9518
9519         * getline.c: (getl_add_include_dir) Separates paths with
9520         PATH_DELIMITER, not DIR_SEPARATOR.
9521
9522         * glob.c: (init_glob) Fixed references to DEFAULT_VER_PCP40,
9523         DEFAULT_VER_WIN61, DEFAULT_VER_X40.
9524
9525         * output.c: (outp_configure_macro) Make earlier definitions for a
9526         particular key override later ones for the same key.
9527         
9528 Fri May 30 19:40:49 1997  Ben Pfaff  <blp@gnu.org>
9529
9530         * ascii.c: Comment fixes.
9531
9532         * output.c: (outp_get_paper_size)
9533         s/STAT_OUTPUT_INIT_FILE/STAT_OUTPUT_PAPERSIZE_FILE/.
9534         
9535 Sun May 25 22:34:07 1997  Ben Pfaff  <blp@gnu.org>
9536
9537         * ascii.c, postscript.c, sfm-read.c, sfm-write.c, sort.c: Include
9538         <errno.h>.  GNU libc 2 enforces this!
9539
9540         * command.c: (parse_cmd) Fixed problem with `else' clause being
9541         paired with wrong `if'.  Comment fix.
9542
9543 Fri May  9 16:53:52 1997  Ben Pfaff  <blp@gnu.org>
9544
9545         * getline.c: [!HAVE_LIBREADLINE] (read_console) Changed
9546         blp_getline() to getline().
9547
9548         * output.c: (outp_eval_dimension) Changed the fix from last time;
9549         there was no variable `a'.
9550
9551         * q2c.c: (get_line) Fixed boundary condition overrun bug.
9552
9553 Mon May  5 21:58:22 1997  Ben Pfaff  <blp@gnu.org>
9554
9555         * output.c: (outp_evaluate_dimension) Fixed handling of negative
9556         numbers having fractional parts.  Added case of a fraction without
9557         a whole-number part.
9558
9559 Fri May  2 22:08:05 1997  Ben Pfaff  <blp@gnu.org>
9560
9561         * ascii.c: (ascii_text_get_font_position) Removed.
9562
9563         * expr.h, exprP.h: Disabled debugging.
9564
9565         * groff-font.c, postscript.c: Changed `groff' to `Groff' in
9566         several places.
9567
9568         * output.h: (struct outp_class_struct) Removed
9569         text_get_font_position method.  All references deleted.
9570
9571         * postscript.c: Big change here.  Fontmaps were completely
9572         eliminated because of a change in philosophy.  Comment fixes.
9573         (struct ps_fontmap, ps2dit_map, font_family, dit2family_map)
9574         Removed.
9575         (struct ps_driver_ext) `position', `fontmap', `prop_name',
9576         `fixed_name' members removed.  New members `prop_family',
9577         `fixed_family'.  `family' member changed to type char *.
9578         (static var ps_fontmaps) Removed.
9579         () Removed.
9580         (ps_init_driver) Removed obsolete references, updated.
9581         Initializes `translate_x', `translate_y', `scale'.  Doesn't read
9582         fontmap, of course.  Refers to font names through internal_name
9583         rather than subversive means.  Frees proper items.
9584         (static var option_tab[]) Removed `fontmap-file' option; renamed
9585         `fixed-font', `prop-font'.
9586         (ps_option) Corresponds to option_tab[].
9587         (read_fontmap, release_fontmap, ps_to_dit, compare_ps2dit,
9588         hash_ps2dit, compare_dit2family, hash_dit2family, compare_family,
9589         hash_family) Removed.
9590         (postopen) Generates font names from family names.  Gets
9591         PostScript font name properly.  New prologue file comment `!!!'
9592         style.
9593         (ps_open_page) Adds translate_x, translate_y to BP prologue
9594         function; gives SF argument floating-point format.
9595         (ps_text_set_font_by_name) Doesn't try to map PostScript->Groff
9596         font name.  Doesn't change font family.
9597         (ps_text_set_font_by_position) Generates Groff font name from font
9598         family name instead of through table lookup.
9599         (ps_text_set_font_by_family) Renamed `ps_text_set_font_family',
9600         all references changed.  Reduced to simple string assignment.
9601         (ps_get_font_name) Removed.
9602         (ps_get_font_family) Reduced to string return.
9603         (text) Doesn't save `position' since it no longer exists.  Ugly
9604         kluge to save font family--fix soon?
9605         (load_font) Removed PostScript name argument.
9606         
9607 Thu May  1 14:58:59 1997  Ben Pfaff  <blp@gnu.org>
9608
9609         * postscript.c: Comment fix.
9610         (ps_open_page) Puts scale factor in PostScript output.
9611         
9612 Sat Apr 26 11:49:32 1997  Ben Pfaff  <blp@gnu.org>
9613
9614         * Makefile.am: Distcleans q2c.
9615
9616 Wed Apr 23 21:33:48 1997  Ben Pfaff  <blp@gnu.org>
9617
9618         * ascii.c: (delineate) Sets text size even if width is zero.
9619
9620         * command.c: Comment fix.
9621         (static var cmd_table[]) Re-enabled EVALUATE command.
9622         (parse_cmd) Lotsa comment fixes.  Fixed infinite loop in parsing
9623         of comments in script files.  Now more liberal on criteria for
9624         performing a state transition--if *anything* happened correctly,
9625         not just if *everything* happened correctly.
9626
9627         * data-out.c: (convert_F) Comment fix.  Why in the fsck does
9628         Checker segfault on formatting large numbers and why in the fsck
9629         hadn't I noticed this before?
9630
9631         * expr.h, exprP.h: No longer turn off GLOBAL_DEBUGGING.
9632
9633         * list.q: (cmd_list) Commented out the actual output routine
9634         because of various problems.  Probably will abandon the idea of
9635         using the general `crushed tables' for the LIST procedure.
9636
9637         * temporary.c: (restore_dictionary) Sets var_by_name to NULL after
9638         clearing it.  Allocates a new var_by_name dictionary before trying
9639         to add members to it.
9640
9641         * vars-atr.c: [DEBUGGING] (dump_one_var_node) Removed argument
9642         `sib'.  Changed type of `node' argument.
9643         [DEBUGGING] (dump_var_tree) Replaced avlwalk() with
9644         avl_walk_inorder().
9645         (clear_variable) Only dumps the var tree if var_by_name non-NULL.
9646         [DEBUGGING] Only deletes the variable from var_by_name if that var
9647         non-NULL.
9648
9649 Fri Apr 18 16:48:41 1997  Ben Pfaff  <blp@gnu.org>
9650
9651         * Makefile.am: Added include files to SOURCES.  Added
9652         frequencies.q to EXTRA_DIST.  Removed include/ from INCLUDES.  Now
9653         includes rules for q2c.  Added `boast' target.
9654
9655 Fri Apr 18 15:42:22 1997  Ben Pfaff  <blp@gnu.org>
9656
9657         * Makefile.am: Maintainer-clean Makefile.in.
9658         
9659         * Makefile.am: Fixed redundant EXTRA_DIST line.
9660
9661         * ascii.c: Comment fixes.
9662         (ascii_line_vert) Fixed overly aggressive range check.
9663
9664         * display.c: Removed dead code.
9665
9666         * list.q: Turn debugging on.
9667         (flush_table) New debug code.
9668
9669         * sfm-read.c: (read_value_labels) malloc's the structure before
9670         trying to assign to its members.
9671
9672         * sfm-write.c: Comment fix.
9673
9674         * som-high.c: (som_submit_table) Sets som.t and som.d on each call
9675         to output_table().
9676         (output_table) No arguments anymore--gets them through `som'
9677         global.  New debug code.  In crushed tables, now sets `htv' as
9678         well as `hv' to avoid bad confusion later.
9679         (dump_crush_page) New debug code.
9680
9681         * som-low.c: (som_dump_crush_page) New debug code.
9682
9683 Thu Mar 27 01:11:29 1997  Ben Pfaff  <blp@gnu.org>
9684
9685         All source files: Broke long lines into multiple lines.
9686         
9687         * ascii.c: (ascii_close_page) Uses host_system var in place of
9688         HOST_SYSTEM constant.
9689
9690         * cmdline.c: (var syntax_message[]) Broke into
9691         pre_syntax_message[] and post_syntax_message[].
9692         (usage) Outputs both parts, separated by driver list.
9693
9694         * error.h: Fixed broken formatting.
9695
9696         * expr-opt.c: (str_search, str_rsearch) New functions.
9697
9698         * misc.c: (blp_getdelim) Removed.  All references changed to
9699         `getdelim'.
9700         (str_search, str_rsearch) Removed.
9701         (memrmem) New function.
9702
9703         * misc.h: (blp_getline) Removed.  All reference changed to
9704         `getline'.
9705
9706         * stat.h: New file.
9707
9708         * filename.c: Includes "stat.h", not <sys/stat.h>.
9709         (blp_getenv) Uses host_system var instead of HOST_SYSTEM constant.
9710
9711         * output.c: (outp_list_classes) Changed output formatting.
9712
9713         * sfm-write.c: (write_header) Uses host_system var instead of
9714         HOST_SYSTEM constant.
9715         (write_rec_7_34) Extracts version numbers from the version string.
9716         Untested.
9717
9718         * sort.c: Includes "stat.h", not <sys/stat.h>.
9719
9720         * str.c: (strcasecmp) Removed.
9721
9722         * title.c: (cmd_document) Uses host_system var instead of
9723         HOST_SYSTEM constant.
9724
9725         * version.c: Generated on-the-fly by the Makefile instead of being
9726         static.
9727
9728         * str.h: Comment fixes.  Doesn't substitute for missing memmove or
9729         memcpy.
9730         [!HAVE_STRNCASECMP] Declares strncasecmp().
9731
9732         * version.h: Removed stray character.  Comment fixes.
9733         (vars host_system, build_system) New vars.
9734
9735 Mon Mar 24 21:47:31 1997  Ben Pfaff  <blp@gnu.org>
9736
9737         * Most source files: Changed formatting of copyright notice; fixed
9738         FSF address; reformatted to better conform to GNU standards;
9739         comment fixes.  Added markups to prevent GNU indent from messing
9740         up my beautiful formatting :-).
9741         
9742         * q2c.c: (get_line) Ignores lines that begin with `/* *INDENT' so
9743         that GNU indent markups can be passed through without problems.
9744
9745 Wed Feb 19 21:30:31 1997  Ben Pfaff  <blp@gnu.org>
9746
9747         * get.c: Turned off debugging.
9748
9749         * glob.c: (init_glob) Turned on save-file compression by default.
9750
9751         * sfm-write.c: (sfm_write_case) Fixed bug which resulted in less
9752         compression than was possible in save files.
9753
9754 Sun Feb 16 20:57:20 1997  Ben Pfaff  <blp@gnu.org>
9755
9756         * data-out.c: (convert_F) Comment fixes.  Debug message fixes.
9757
9758         * frequencies.q: Removed Fiasco extensions.  Updated calculation
9759         algorithms.  Polished output format. 
9760         (struct frq_info_struct) Removed members `max_degree', `min_n',
9761         all references removed.
9762         (macro frq_extensions) Removed.
9763         (static vars min_n, max_degree) Removed, all references removed.
9764         (internal_cmd_frequencies) Doesn't handle extensions.  Doesn't
9765         calculate `min_n', `max_degree'.
9766         (postcalc) Passes new arg to dump_statistics().
9767         (dump_full) Honor NOLABEL option.  Buggy?  Adds variable name
9768         title.
9769         (dump_condensed) Adds variable name title.
9770         (sum_freqs) Removed.
9771         (calc_stats) Updated calculation algorithm.
9772         (dump_statistics) Removed warning for too-few observations.
9773         Changed table formatting.  Adds variable name title if passed new
9774         arg is nonzero.
9775
9776         * output.h: Comment fix.
9777
9778         * recode.c, sample.c, sort.c: Disabled debug code.
9779
9780         * som-frnt.c: (som_set_value, som_set_float, som_set_text)
9781         Improved debug code.
9782
9783         * var.h: (enum series frq_*) Removed Fiasco extensions.
9784
9785 Sat Feb 15 21:26:53 1997  Ben Pfaff  <blp@gnu.org>
9786
9787         * command.c: Added PROCESS IF to command table.
9788
9789         * Lots & lots of places, removed checks for NULLs preceding calls
9790         to free_expression(), which itself checks.
9791
9792         * descript.q: Removed Fiasco extensions.  Removed optimizations
9793         for non-weighted active files.  Implemented some options.
9794         Finished polishing output format.  Comment fixes.  Merged
9795         `descript.g'.
9796         (static vars n_glob_miss_list, n_glob_valid, n_glob_missing,
9797         max_degree, min_n) Removed.
9798         (macro dsc_extensions) Removed.
9799         (struct dsc_info_struct) Removed `min_n' member, all references
9800         fixed.
9801         (internal_cmd_descriptives) Removed calculation of min_n,
9802         max_degree.  Only deals with one `calc' routine instead of two
9803         flavors.
9804         (precalc) Eliminated redundancy.  Updated for changes to
9805         descriptives_proc structure.
9806         (calc) Moved here from `descript.g'.  Rewritten to calculate
9807         statistics via `moments about the mean' rather than by summing,
9808         summing squares, summing cubes, and so on.
9809         (postcalc) Rewritten for new-style statistical calculation.
9810         (display) Removed support for displaying variables across rows.
9811         No longer crushes the descriptives table.  Removed ancient code.
9812         Added display of N, by variable and listwise.
9813
9814         * descript.g: Removed; merged into `descript.q'.
9815
9816         * expr-evl.c: (evaluate_expression) Now returns a double.  For
9817         numeric results, it returns the result as well as storing it in
9818         the passed `value' structure if non-NULL.  For string results it
9819         just returns 0.0 and it must be passed non-NULL.  Many references
9820         to this function were optimized by use of this change, especially
9821         but not exclusively in `compute.c'.
9822
9823         * frequencies.g: Comment fix.
9824
9825         * glob.c: (glob var process_if_expr) New global var.
9826
9827         * postscript.c: (static var option_tab[]) Corrected entry for
9828         `fixed_size'.
9829         (postopen) Sets x->size to x->prop_size.
9830         (ps_text_set_font_by_name) Sets font size as well as typeface for
9831         PROP and FIXED fonts.
9832         
9833         * sel-if.c: (cmd_process_if) New function.
9834
9835         * sfm-write.c: (struct sfm_fhuser_ext) New member `n_cases'.
9836         (sfm_write_dictionary) Sets `n_cases' to 0.
9837         (sfm_write_case) Increments `n_cases'.
9838         (sfm_close) Attempts to seek the system file back to the header
9839         and write the number of cases in its proper slot.
9840
9841         * som-frnt.c: (som_insert_table) Masks off expansion options since
9842         only SOPT_X_NORM seems to work sensibly.
9843
9844         * som-low.c: (get_cell_size) Fixed bug when a table cell was sized
9845         with a `fixed' value of 2.
9846
9847         * sort.c: (cmd_sort_cases) Cancels PROCESS IF.
9848
9849         * sysfile-info.c: (cmd_sysfile_info) Doesn't display more than 10
9850         value labels; uses SOPT_NONE instead of SOPT_X_BOTH.
9851
9852         * var.h: (enum series dsc_*) Removed Fiasco extensions.
9853         (struct descriptives_proc) Removed `miss_noweight'; new members
9854         `X_bar', `M2', `M3', `M4', `min', `max'.
9855
9856         * vars-atr.c: (discard_variables) Cancels PROCESS IF.
9857
9858         * vfm.c: (close_active_file) Cancels PROCESS IF.
9859         (write_case) Doesn't process cases unselected by PROCESS IF.
9860
9861 Fri Feb 14 23:32:58 1997  Ben Pfaff  <blp@gnu.org>
9862
9863         * glob.c: (glob var err) Removed.
9864
9865         * sysfile-info.c: (cmd_sysfile_info) When adjusting table size,
9866         doesn't have to take into account number of value labels since
9867         they're in a subtable anyway.  Also, doesn't display more than 10
9868         value labels since we can't yet break pages in subtables.
9869
9870 Tue Feb  4 15:15:50 1997  Ben Pfaff  <blp@gnu.org>
9871
9872         * som-frnt.c: (som_change_table_size) Simple change for elegance
9873         that shouldn't change behavior.
9874         (som_set_value) Comment fix.
9875
9876         * som-high.c: (som_submit_table) Message fix.
9877
9878 Wed Jan 22 21:54:00 1997  Ben Pfaff  <blp@gnu.org>
9879
9880         * command.c: Added SYSFILE INFO to command table.
9881
9882         * file-handle.q: (fh_handle_filename) New function.
9883
9884         * get.c: (save_trns_proc) Fixed a bug in padding of output data
9885         with spaces.
9886
9887         * main.c: (parse) New return value for command functions, -3.
9888
9889         * misc.h: Comment fix.
9890
9891         * output.h: Comment fixes.
9892         (macro COMPONENTS) Removed.
9893
9894         * postscript.c: (write_text) Modified literal_chars[] so that `('
9895         and ')' are not written to the output in strings as literals.
9896
9897         * sfm-read.c: (sfm_read_dictionary) New argument.
9898         (read_header) New argument.  Sets the information structure's
9899         values from the header information.  
9900         (read_variables) [__CHECKER__] Redefines isalnum()--some sort of
9901         bizarre Checker problem, I guess.
9902         (read_variables) Proper cleanup on lossage.
9903
9904         * sfm.h: (struct sfm_read_info) New struct for use by
9905         sfm_read_dictionary().
9906
9907         * som-frnt.c: (som_create_table) New argument CREATE_FLAGS,
9908         currently used just for tables that can be dynamically resized and
9909         thus have to be allocated with arena_malloc() instead of
9910         arena_alloc().  All references changed.
9911         (som_change_table_size) New function.
9912         (som_insert_table) Bugfix: now inserts `cell', not `c'!
9913
9914         * som-high.c: [GLOBAL_DEBUGGING] (check_table) Moved to som-low.c.
9915         (som_submit_table) [GLOBAL_DEBUGGING] Doesn't call check_table()
9916         any more.
9917
9918         * som-low.c: (draw_cell) Calls draw_table_cell() for SCON_TABLE
9919         cells.
9920         (draw_intersection) Now takes an argument specifying the table in
9921         question.  All references changed.
9922         (draw_table_cell) New function.
9923         (som_get_table_size) [GLOBAL_DEBUGGING] Calls check_table().
9924         (som_get_table_size) Many nice new explanatory comments.
9925         [GLOBAL_DEBUGGING] (check_table) Moved here from som-high.c.
9926
9927         * som.h: New enum series SOM_CREATE_* for use as create flags with
9928         som_create_table().
9929
9930         * str.h: Moved a comment here from TODO.
9931
9932         * sysfile-info.c: New file.  Reference implementation.
9933
9934 Sun Jan 19 14:22:11 1997  Ben Pfaff  <blp@gnu.org>
9935
9936         * command.c: Added RENAME VARIABLES to table of commands.
9937
9938         * data-in.c: (dls_error) Sets `cust_field'.
9939         (parse_N) Message fix.
9940         (parse_day_count) New function.
9941         (to_roman) Never outputs VX as a `short form' of V.
9942         (parse_month) Fixed parsing of Roman numerals.
9943         (parse_trailer) Message fix.
9944         (parse_DATE, parse_ADATE, parse_EDATE, parse_SDATE, parse_JDATE,
9945         parse_QYR, parse_MOYR, parse_WKYR, parse_DTIME) Issue a message if
9946         the date is invalid.
9947         (parse_SDATE) Fixed swapped day, year.
9948         (parse_JDATE) Fixed bug for dates in 1582.
9949         (parse_DTIME) Allows days not between 1 and 31.
9950         (parse_numeric) Makes local copy of f.type for easier usage.
9951         FMT_DOLLAR fixed.
9952
9953         * data-out.c: (convert_F) When outputting as scientific, properly
9954         sets f.type as fp->type.
9955         (insert_commas) Fixed operator precedence problem with setting of
9956         nitems.  Changed strcpy to memcpy (no null terminator). 
9957         (convert_date) Fixed FMT_JDATE: added 1900 to year.
9958         (convert_CCx) Essentially rewritten, but now it works.
9959
9960         * display.c: (cmd_display) Added DISPLAY FILE LABEL (undocumented
9961         feature of Fiasco).
9962         (display_documents) Implemented.
9963
9964         * error.c: (glob var cust_field) New var.
9965         (vmsg) Displays cust_field as part of message classes DE and DW.
9966
9967         * formats.c: (debug_print) Fixed to compile under updated
9968         dictionary format.
9969
9970         * get.c: (cmd_get, cmd_save_internal) Close file handle on
9971         failure.
9972
9973         * misc.c: (parse_format_specifier) Formatting fix.
9974
9975         * modify-vars.c: (struct var_modification) Renamed `n_reorder' as
9976         `n_rename' for clarity.
9977         (cmd_modify_vars) Initializes `forward' and `positional' at
9978         appropriate times.  Frees lists of vars to rename on failure.
9979         Comment fix.  Frees memory on success.  
9980         (rearrange_dict) Simplified `for' loop condition.
9981
9982         * rename-vars.c: New file (reference implementation).
9983         
9984         * set.q: (internal_cmd_set) Fixed `emu' test condition.
9985
9986         * sfm-read.c: (read_header) File label is created only if file
9987         label in file is not blank.
9988         (read_variables) Initializes `dict' local variable.
9989         (read_documents) Proper behavior on lossage.
9990
9991         * sfm-write.c: (write_header) Doesn't blank out the file label
9992         (why was this here to begin with?!)
9993
9994         * temporary.c: (save_dictionary) File label is copied only if
9995         non-NULL.  Doesn't try to xstrdup() dictionary documents.
9996         Adapted so as to not irritate Checker.
9997         (free_dictionary) Only destroys var_by_name if non-NULL.
9998
9999         * title.c: (cmd_file_label) Doesn't skip FILE, LABEL tokens.
10000         (cmd_document) Doesn't skip DOCUMENT token.  Adds some header
10001         lines to the document, indents the document.  Also, it works now.
10002         (add_document_line) New function.
10003
10004         * var.h: (struct dictionary) Reordering.
10005
10006         * vars-prs.c: (parse_variables) On lossage, only local_free()'s
10007         bits if it was allocated to begin with.
10008
10009 Thu Jan 16 13:08:57 1997  Ben Pfaff  <blp@gnu.org>
10010
10011         * command.c: Added MODIFY VARS to list of commands.
10012
10013         * configure.in: Updated custom macros for autoconf 2.12.  Removed
10014         mmap reference; fixed termcap library reference.
10015
10016         * display.c: (display_variables) Fixed a few bugs although it's
10017         still not well written.
10018
10019         * error.c: [!__CHECKER__] (chkr_disp_call_chain) New function.
10020         (induce_segfault) Calls chkr_disp_call_chain() instead of
10021         inducing an actual SIGSEGV.
10022
10023         * expr-opt.c: (evaluate_tree) Swapped order of arguments to
10024         str_search() and str_rsearch().  Fixed tests for matches on
10025         OP_INDEX and OP_RINDEX.
10026
10027         * filename.c: (good_getcwd) Removed as the new libc for Checker
10028         doesn't contain this bug, apparently.
10029
10030         * misc.c: (str_search, str_rsearch) Changed order of arguments for
10031         consistency with GNU memmem.
10032         (blp_getdelim) Changed `len' from `int' to `size_t'.
10033
10034         * modify-vars.c: Reference implementation.
10035
10036         * som-frnt.c: (zero_length) New global var.
10037         (som_create_table) Message fix.
10038
10039         * som.h: Added gcc attributions to som_set_text(),
10040         som_output_text() prototypes.  blank_line() refers to
10041         zero_length[] instead of a literal null string to suppress gcc
10042         warnings.
10043
10044         * sort.c: (do_external_sort) Fixed fencepost error on lossage.
10045         (allocate_cases) Decrements x_max so the last element of x[] can
10046         be used by the algorithm.
10047
10048         * var.h: Changed minor details of `variable' declaration.  
10049         (struct modify_vars_proc) New struct.
10050         (struct variable) Added field p.mfv.
10051
10052         * vars-atr.c: Comment fix.
10053
10054         * vars-prs.c: (fill_all_vars) More optimal implementation.
10055
10056         * vfm.c: (dump_splits) Sets the last byte of temp_buf to a null
10057         character, which it shouldn't have to do but printf() seems to
10058         read the null byte even though I supply a maximum length...
10059
10060 Fri Jan 10 20:22:08 1997  Ben Pfaff  <blp@gnu.org>
10061
10062         * command.c: Removed command alias X for QUIT.
10063         (parse_cmd) Fixed comment parsing.
10064
10065         * dfm.c: (struct dfm_fhuser_ext) Fields `len', `size' are now of
10066         type size_t.
10067         (read_record) Fixed references to len, size.
10068         (dfm_get_record) Restructured.
10069
10070         * file-handle.h: (struct file_handle) Field `lrecl' now of type
10071         size_t.
10072
10073         * file-handle.q: (internal_cmd_file_handle) Checks for nonpositive
10074         record length.
10075
10076         * modify-vars.c: New file.  Not complete.
10077         
10078         * set.q: (set_ccx) Fixed operator precedence problem regarding ^
10079         and ==.
10080
10081         * sfm-read.c: (bswap_flt64, read_header, write_variable) Fixed
10082         problems caused by int/size_t differences.
10083
10084         * sort.c: (output_record, merge_once) Cast `size_t's to `int's in
10085         appropriate spots.
10086
10087         * str.c: (strcasecmp) Fixed bug that cropped up when the strings
10088         being compared were of equal length.
10089
10090 Thu Jan  2 19:08:23 1997  Ben Pfaff  <blp@gnu.org>
10091
10092         * command.c: Added DOCUMENT, DROP DOCUMENTS, FILE LABEL.
10093
10094         * lexer.c: (get_dotted_rest_of_line) New function.
10095
10096         * sel-if.c: (cmd_filter) Cannot choose string or scratch variables
10097         as filters.
10098
10099         * sfm-read.c: (sfm_read_dictionary) Calls read_documents() to read
10100         type 6 records.  Frees the dictionary properly.
10101         (read_header) Initializes the dictionary instead of letting
10102         read_variables() do it.  Sets the dictionary file label from the
10103         system file.
10104         (read_documents) New function.
10105
10106         * sfm-write.c: (sfm_write_dictionary) Calls write_documents() to
10107         write type 6 record if appropriate.
10108         (write_header) Writes file label from dictionary.
10109         (write_documents) New function.
10110
10111         * temporary.c: (save_dictionary, restore_dictionary,
10112         free_dictionary) Properly handle new fields in dictionary struct.
10113
10114         * title.c: (get_title) Returns after failure().
10115         (cmd_file_label, cmd_document, cmd_drop_documents) New functions
10116         for new commands FILE LABEL, DOCUMENT, DROP DOCUMENTS.  Untested.
10117
10118         * var.h: (struct dictionary) New fields `label', `n_documents',
10119         `documents'.
10120
10121 Wed Jan  1 22:08:10 1997  Ben Pfaff  <blp@gnu.org>
10122
10123         * command.c: Added FILTER to list of commands.
10124
10125         * frequencies.g: [WEIGHTING] Removed test for weighting!=-1 since
10126         it's always true.
10127
10128         * get.c: (cmd_save_internal) Removed weighting code since it's now
10129         handled by sfm-write.c.  Properly commented out debug code.
10130
10131         * glob.c: (glob var weighting) Removed.
10132
10133         * sel-if.c: Comment fixes.
10134         (cmd_filter) New function.
10135
10136         * sfm-read.c: (struct sfm_fhuser_ext) New field `weight_index'.
10137         (sfm_read_dictionary) Sets weighting variable direct in the
10138         created dictionary now.  (Apparently we previously didn't support
10139         weighting on GET?)
10140         (read_header) Sets weight_index field in sfm_fhuser_ext from
10141         header read from disk.
10142
10143         * sfm-write.c: (sfm_write_dictionary) Comment fix.
10144         (write_header) Now sets the weighting in the header from the
10145         passed primary dictionary instead of from the sfm_write_info.
10146
10147         * sfm.h: (struct sfm_write_info) Removed field `weight'.
10148
10149         * som-high.c: (dump_crush_table) Fixed a couple of assertions that
10150         broke on boundary conditions.
10151
10152         * var.h: (struct dictionary) New fields `weight_var',
10153         `weight_index', and `filter_var'.
10154         (glob var weighting) Removed.  This is now part of struct
10155         dictionary.  All references changed; the less mechanical changes
10156         are described above.
10157
10158         * vars-atr.c: (find_dict_variable) New function.
10159
10160         * vfm.c: (static var filter_index) New variable.
10161         (open_active_file) Initializes filter_index from default_dict.
10162         (write_case) Calls proc_func() only if the filter variable is
10163         nonzero; this implements FILTER behavior.
10164
10165         * weight.c: (static var weight_varname) Removed.
10166         (cmd_weight) Modified default_dict instead of glob vars.
10167         (update_weighting) Changed the signature to modify a dictionary
10168         instead of glob vars.  Now returns the weighting variable.
10169         (get_weighting_variable) Removed; its function is absorbed by
10170         update_weighting().
10171         (stop_weighting) Operates on a dictionary now.
10172
10173 Wed Jan  1 17:00:59 1997  Ben Pfaff  <blp@gnu.org>
10174
10175         * sort.c: Removed debugging info from messages.
10176         (do_external_sort) Cleans up after itself by deleting the
10177         temporary directory on failure.  (On success it is deleted by the
10178         input program.)
10179         (allocate_cases) Removed debug code.  Added clean up code.
10180         (output_record) Removed debug code.
10181         (merge) Added code to close all the input files that are currently
10182         open.  This is a likely location for bugs, because I'm not sure
10183         about boundary conditions.  Removed an unnecesary heap_delete().
10184         (merge_once) Removed input file "optimization" that in fact
10185         screwed up the rest of the code.  Message and comment fixes.
10186
10187 Sun Dec 29 21:36:48 1996  Ben Pfaff  <blp@gnu.org>
10188
10189         * error.c: [__CHECKER__] (induce_segfault) Flushes output streams.
10190
10191         * heap.c: (heap_delete) New argument.
10192
10193         * sort.c: Finished implementation of external sort.
10194
10195         * vfm.c: (read_from_disk) Returns after a disk error.
10196
10197 Sun Dec 22 23:10:39 1996  Ben Pfaff  <blp@gnu.org>
10198
10199         * sort.c: (static var state) Removed.
10200         (static vars max_handles, tmp_basename, tmp_extname,
10201         huffman_queue) New variables.
10202         (do_external_sort) Moved most code to new functions.
10203         Creates huffman_queue.
10204         (allocate_file_handles, allocate_cases) New functions.
10205         (static vars run_no, run_length, file_index, case_count) New
10206         variables. 
10207         (output_record) Returns success.  Now really writes to the output
10208         file.
10209         (begin_run, end_run) New functions.
10210         (write_initial_runs) Returns success.  Initializes run_no to -1.
10211         Calls begin_run(), end_run() at appropriate times.  Outputs debug
10212         messages.
10213         (write_to_sort_cases) Calls begin_run(), end_run() at appropriate
10214         times.
10215         (merge) New function.
10216
10217         * heap.c, heap.h: New files.  Hopefully in near-final form.
10218
10219 Sat Dec 21 21:51:04 1996  Ben Pfaff  <blp@gnu.org>
10220
10221         * glob.c: Added write_active_file to global vars.
10222
10223         * sort.c: Several new miscellaneous static variables.
10224         (cmd_sort_cases) Big comment fix.
10225         (perform_case_2) Renamed `do_external_sort' and completely
10226         rewritten.
10227         (case_2_proc_func) Removed.
10228         (output_record, write_initial_runs, write_to_sort_cases,
10229         compare_record) New functions.
10230
10231         * vfm.c: [DEBUGGING] (index_to_varname) Excised bit rot.
10232
10233 Tue Dec 17 18:57:59 1996  Ben Pfaff  <blp@gnu.org>
10234
10235         * sort.c: (perform_case_2) Changed the method for allocation of
10236         lots of memory--now allocates one case at a time in hopes that
10237         more cases can be allocated with heavily fragmented memory.
10238
10239         * var.h: (write_active_file) New global var.
10240
10241         * vfm.c: (procedure, close_active_file, write_case,
10242         SPLIT_FILE_procfunc) Now allow beginfunc, procfunc, and endfunc
10243         arguments to procedure() to be NULL.  All references to
10244         procedure() that made use of dummy functions were changed to NULL
10245         functions.
10246         (open_active_file) If write_active_file is non-NULL, the output
10247         device becomes DEV_PGM (a new enum).
10248         (close_active_file) Sets write_active_file to NULL.
10249         (read_from_memory) Comment fix.
10250         (record_case) Calls write_active_file() when the output device is
10251         DEV_PGM.
10252
10253 Sun Dec 15 15:32:16 1996  Ben Pfaff  <blp@gnu.org>
10254
10255         * sort.c: New file.
10256
10257         * autorecode.c: (cmd_autorecode) Fixed parsing of options.
10258         Fixed checking for duplicate varnames.
10259         (recode) xmalloc()'s the transformation instead of arena_alloc()'ing
10260         it.
10261         (autorecode_trns_free) Destroys hash tables for each recoding
10262         specification.
10263         (autorecode_proc_func) Compares NULL to *vpp instead of vpp.
10264
10265         * command.c: Added SORT CASES to cmd_table.
10266         (null_func, null_int_func) Prototyped.
10267
10268         * descript.g: (calc_weight, calc_noweight) Computes own case
10269         number now.
10270         
10271         * frequencies.q: (dump_statistics) Fixed problem with
10272         too-few-cases warning message.
10273
10274         * get.c: (cmd_save_internal) Handles weighting properly.
10275
10276         * hash.c: (hsh_dump) Output format changed.
10277         (force_hsh_insert) Actually works now, prototype changed.
10278
10279         * list.q: (static var case_num) New variable.
10280         (cmd_list) Initializes case_num.
10281         (list_cases) Increments case_num.
10282
10283         * var.h: Added definitions for SORT CASES.  Comment fixes.
10284
10285         * vfm.c: Some definitions moved to new file vfmP.h.  Comment
10286         fixes.  `active' renamed vfm_active, `rep' renamed
10287         vfm_replacement, all references changed.
10288         (procedure) The procfunc no longer receives a case number.  All
10289         references changed.
10290         (write_case) Subtle reordering.
10291         (SPLIT_FILE_procfunc) Counts cases differently.  Slightly less
10292         redundant.
10293
10294         * weight.c: (get_weighting_variable) New function.
10295
10296         * vfmP.h: New file with definitions from vfm.c.
10297
10298 Sat Dec 14 10:35:30 1996  Ben Pfaff  <blp@gnu.org>
10299
10300         * command.c: (FILE_TYPE_okay) Commented out some tests because
10301         they're clumsy and not yet needed.
10302
10303         * var.h: Most *_trns structures moved to their respective source
10304         files.  Some were moved into a new file, do-ifP.h.  Comment fixes.
10305         (union any_trns) Changed to a typedef for trns_header.
10306         (struct input_program_pgm) Removed.
10307
10308         * vars-prs.c: (parse_variables) Only local_free()'s bits if it
10309         was allocated in the first place.
10310
10311 Fri Dec 13 21:30:53 1996  Ben Pfaff  <blp@gnu.org>
10312
10313         * autorecode.c: New file.
10314         
10315         * command.c: Added AUTORECODE to command table; re-enabled SET.
10316
10317         * data-out.c: (convert_F) Handles infinities and NaNs properly.
10318
10319         * error.c: (vmsg) Comment fixes.
10320
10321         * hash.c: Comment fix.
10322         (hashpjw_d) New function.
10323         (hashpjw) Reimplemented as call to more general function
10324         hashpjw_d().
10325         (internal_comparison_fn) Initializes pointers properly.
10326         (hsh_sort) [GLOBAL_DEBUGGING] New debugging code.
10327         (force_hsh_insert, force_hsh_find) New debugging wrapper
10328         functions.
10329
10330         * main.c: (main) Message fix.
10331
10332         * output.c: (outp_read_devices) Message fix.
10333
10334         * set.q: Comment fixes.
10335         (custom_results) Implemented Wnd/X form of subcommand.
10336         (set_routing) New function.
10337         (internal_cmd_set) Implemented ERRORS, MESSAGES.
10338
10339         * settings.h: (SET_ROUTE_*) New enum series.
10340         (set_results) Renamed set_results_file, all references changed.
10341         (set_messages) Removed.
10342         (glob vars set_errors, set_messages, set_results) New vars.
10343
10344         * title.c: (get_title) Remembers to xstrdup() the result of
10345         get_rest_of_line().
10346
10347         * var.h: (arc_item, arc_spec, autorecode_trns) New structures for
10348         use by AUTORECODE.
10349         (union any_trns) New element `arc'.
10350
10351 Fri Dec  6 23:53:47 1996  Ben Pfaff  <blp@gnu.org>
10352
10353         * command.c: (output_line) Removed references to set_screen.
10354
10355         * error.c: (static var terminating) New var.
10356         (hcf) Sets terminating to 1.
10357         (vmsg) If terminating is nonzero, does not attempt to call hcf().
10358         This prevents an infinite loop if an error occurs within hcf().
10359
10360         * expr-evl.c: (evaluate_expression) [__CHECKER__] Replaced case
10361         statement circumlocution with `case 42000' trick.
10362         (evaluate_expression) New support for OP_STR_MIS.
10363
10364         * expr-opt.c: (evaluate_expression) [__CHECKER__] Replaced case
10365         statement circumlocution with `case 42000' trick.
10366         (dump_node) Handles OP_STR_MIS.
10367
10368         * expr-prs.c: (MISSING_func, SYSMIS_func) Rewrote to handle string
10369         variables exceptions.
10370         (parse_function) Message fix.
10371         (ops[]) Added OP_STR_MIS.
10372
10373         * expr.h: Added OP_STR_MIS to OP_* enum.  Comment fixes.
10374
10375         * exprP.h: [__CHECKER__] Removed case statement circumlocution.
10376
10377         * glob.c: Removed set_scrnfile glob var.
10378         (init_glob) set_errorbreak set to 0 by default.
10379
10380         * groff-font.c: Changed included files.
10381         (groff_read_font) Initializes font_arena local var correctly.
10382         (default_font) New function.
10383
10384         * output.c: Comment fixes.
10385         (glob var disabled_devices) New variable.
10386         [GLOBAL_DEBUGGING] (static var iterating_driver_list) New
10387         variable.
10388         [GLOBAL_DEBUGGING] (reentrancy) New function.
10389         [GLOBAL_DEBUGGING] (outp_read_devices, outp_done, find_driver,
10390         outp_iterate_enabled_drivers) Calls to reentrancy().
10391         (destroy_list) New function.
10392         (outp_done) Moved code to destroy_list().
10393         (parse_options) Parses `listing', `screen', `printer' options
10394         internally.
10395         (configure_driver) Sets new `device' member of driver.
10396         (outp_iterate_enabled_drivers, outp_enable_device) New functions.
10397
10398         * output.h: Comment fixes.  New enum series OUTP_DEV_*.
10399         (struct outp_driver_struct) New member `device'.
10400
10401         * postscript.c: (find_encoding_file) Doesn't display its own error
10402         messages.
10403         (default_encoding) New function.
10404         (switch_font) Calls default_encoding() if no encoding can be
10405         found.
10406         (text) Makes up a character metric if none exists for the desired
10407         character.
10408         (load_font) Properly copies a fallback filename.  Calls
10409         default_font() for a font if none at all are known.
10410
10411         * set.q: Comment fixes.  Removed OUTPUT subcommand.
10412         (custom_listing) Calls outp_enable_device() to enable/disable
10413         listing device.
10414         (turn_screen_on) Removed.
10415         (internal_cmd_set) Calls outp_enable_device() to enable/disable
10416         screen, printer devices.
10417
10418         * settings.h: Comment fixes.
10419         (glob vars set_output, set_printer, set_screen, set_scrnfile)
10420         Removed.
10421
10422         * som-high.c: (som_submit_table, som_eject_page) Use
10423         outp_iterate_enabled_drivers() instead of iterating
10424         outp_driver_list directly.
10425
10426 Wed Dec  4 21:34:17 1996  Ben Pfaff  <blp@gnu.org>
10427
10428         * data-in.c: (parse_EDATE, parse_SDATE) New functions.
10429         (parse_string_as_format) Handles new formats.
10430         (parse_numeric) Now handles DOT and PCT formats.
10431
10432         * data-out.c: (convert_E, convert_F, insert_commas) Handle DOT
10433         format now.
10434         (convert_date) Handle EDATE and SDATE formats.
10435         (convert_CCx) Now if there's not room for the currency characters,
10436         converts it as F format if it's positive instead of giving up
10437         quickly.  Also fixed save-and-restore bug with decimal point
10438         characters.  
10439         (convert_format_to_string) Handles new formats.
10440
10441         * misc.c: (formats[]) Added new formats.
10442         (convert_fmt_ItoO) Supports new formats.
10443
10444         * sfm-read.c: (parse_format_spec) Supports new formats.  Better
10445         data checking.  New argument, all references changed.
10446
10447         * sfm-write.c: (write_format_spec) Supports new formats.
10448
10449         * var.h: New formats FMT_DOT, FMT_PCT, FMT_EDATE, FMT_SDATE.
10450         Comment fixes.
10451
10452 Sun Dec  1 17:19:00 1996  Ben Pfaff  <blp@gnu.org>
10453
10454         * cmdline.c: Comment fixes.
10455         (parse_command_line) Changed return type to void.
10456
10457         * data-in.c: (parse_string_as_format) Added FMT_CCA...FMT_CCE to
10458         switch.
10459         (parse_numeric) Handles international numbers (comma as decimal
10460         point).  Some reformatting.
10461
10462         * data-list.c: (parse_free) Default output format is now
10463         set_format instead of hard-coded F8.2.
10464         (read_from_data_list_list) Emits error message on undefined data
10465         only if set_undefined is nonzero.
10466
10467         * data-out.c: (convert_E) Changes decimal point from period to
10468         comma if appropriate.  Restructured.  Better comments.
10469         (convert_F) Changes decimal point from period to comma if
10470         appropriate.
10471         (insert_commas) Major bug with handling of negative values fixed.
10472         Also, inserts periods instead of commas if appropriate.
10473         (convert_CCx) New function.
10474         (convert_format_to_string) Added FMT_CCA...FMT_CCE to switch.
10475         (num_to_string) Changed `.' to set_decimal.
10476
10477         * dfm.c: Comment fixes.
10478         (dfm_close) Frees ext->line even in inline_file.
10479         (open_inline_file) New function.
10480         (open_file_r) When opening the inline file: now properly
10481         recognizes `BEGIN DATA.' line, and calls open_inline_file() to
10482         finish up.
10483         (read_record) Calls fh_close_handle() instead of dfm_close() to
10484         close the inline file.  Makes a copy of the line getl_buf to avoid
10485         interlock problems.
10486         (dfm_get_record) Restructured.  Now checks the return value of
10487         open_file_r().
10488         (cmd_begin_data) Moved open code into open_inline_file().  Relaxed
10489         checking for use of inline file.  No longer tries to close inline
10490         file.
10491
10492         * error.c: (glob var error_already_flagged) New var.
10493         (vmsg) Message change.  Now checks max number of errors/warnings,
10494         acts on it.
10495
10496         * file-handle.q: (fh_handle_name) Now allows closing of
10497         inline_file.
10498         (fh_init_files) Reformatted.
10499
10500         * get.c: (trim_dictionary) Checks SCOMP option instead of COMP.
10501
10502         * getline.c: (getl_include) Fixed bug that popped up when called
10503         when file queue was empty.
10504         (read_console) Resets error_count, warning_count,
10505         error_already_flagged to zero.
10506
10507         * glob.c: Many changes to update list of variables.
10508         (init_compat_dependent) Now this function is called whenever
10509         `compat' changes.  It now sets set_seed only if it hasn't
10510         previously been referenced.  It now calls
10511         lex_init_compat_dependent().
10512
10513         * include.c: (cmd_include_at) Frees temporary buffer instead of
10514         line buffer.  
10515         (cmd_include) Doesn't make copy of include file name.
10516
10517         * lexer.c: Comment fixes.
10518         (init_lex) Moved some code into new function
10519         lex_init_compat_dependent().
10520         (lex_init_compat_dependent) New function.
10521         (hex_val) Simplified.
10522         (preprocess_line) Uses set_endcmd instead of hardcoding `.'.
10523
10524         * main.c: Comment fixes.
10525         (main) Reformatted.
10526
10527         * misc.c: (formats[]) Added FMT_CCA...FMT_CCE.
10528         (check_input_specifier) Disallows FMT_CCA...FMT_CCE.
10529         (convert_fmt_ItoO) Detects FMT_CCA...FMT_CCE.
10530         (setup_randomize) Sets set_seed_used.
10531
10532         * set.q: Comment fixes.
10533         (custom_results) Conditionalizes on `compat'.
10534         (custom_log) Calls custom_journal().
10535         (set_ccx) New function.
10536         (cmd_set) Calls init_compat_dependent() when `compat' changes.
10537         Calls set_ccx() to handle CCA...CCE.  Sets set_grouping
10538         when set_decimal changes.  Range-checks values for MITERATE,
10539         MNEST.  Message fixes.
10540
10541         * settings.h: Comment fixes.
10542         (struct set_cust_currency) New struct.
10543         (set_cc[], set_grouping, set_seed_used) New global vars.
10544
10545         * var.h: (FMT_CCA...FMT_CCE) New output formats.
10546         (FCAT_OUTPUT_ONLY) New FCAT_* constant.
10547
10548 Thu Nov 28 23:14:07 1996  Ben Pfaff  <blp@gnu.org>
10549
10550         * glob.c: Revised variables to correspond to settings.h.
10551         (init_glob) Initializes variables from settings.h properly.
10552
10553         * set.q: Began long-overdue major revision to correspond to new
10554         philosophy.  Most code changed. 
10555
10556         * settings.h: Mostly changed; reorganized, reordered, large new
10557         comment.
10558
10559 Thu Nov 28 19:46:10 1996  Ben Pfaff  <blp@gnu.org>
10560
10561         * get.c: (cmd_save_internal) No longer forces compression off.
10562
10563         * sfm-read.c: (read_compressed_data) If eof is reached when
10564         reading a new instruction octet, only signal error if we're in the
10565         middle of a case.
10566
10567         * sfm-write.c: (COMPRESSION_BIAS) New #define.
10568         (struct sfm_fhuser_ext) New member `end'.
10569         (write_header) Refers to COMPRESSION_BIAS instead of magic 100.0.
10570         (ensure_buf_space) New function.
10571         (sfm_write_case) Reimplemented in order to support compression.
10572         (sfm_close) Writes out the remaining contents of the compression
10573         buffer if any.
10574
10575 Wed Nov 27 23:18:35 1996  Ben Pfaff  <blp@gnu.org>
10576
10577         * command.c: Defined SAVE and XSAVE commands in command table.
10578
10579         * common.h: second_lowest_value is of type flt64, not double.
10580
10581         * file-handle.h: Comment fix.
10582
10583         * get.c: Comment fixes.
10584         (static var `trns') New.
10585         (save_write_case_func, save_trns_proc, save_trns_free, null_func,
10586         cmd_save_internal, cmd_save, cmd_xsave) New functions.
10587         (dict_delete_run) Clears the variables and frees them now.
10588         (trim_dictionary) Sets default for compression.
10589         On KEEP subcommand, frees deleted variables as well as clearing
10590         them.  Finally got the sense of the test for deleting all
10591         variables correct.
10592         [DEBUGGING] (dump_dict_variables) Message fix.
10593
10594         * glob.c: (init_glob) set_compression set to 1 by default.
10595
10596         * list.q: Properly #includes config.h.
10597
10598         * misc.h: New macro REM_RND_UP.
10599
10600         * settings.h: Comment fix.
10601
10602         * sfm-read.c: (structs sysfile_header, sysfile_format,
10603         sysfile_variable; inline function bswap_int32) Moved to new file
10604         sfmP.h.
10605         (corrupt_msg) [__CHECKER__] No longer induces segfault.
10606         (sfm_read_dictionary) Fixed bug caused by failing to initialize
10607         var_by_index.
10608         (read_machine_flt64_info) Fixed some problems caused by confusion
10609         between flt64 and double types.
10610         (read_header) Message fix.
10611         (read_variables) Fixed set of cases in which we byte-swap sv.print
10612         and sv.write.  Fixed confusion of flt64 and double.
10613
10614         * sfm.h: (struct sfm_write_info) New.
10615
10616         * som-high.c: (som_draw_title) Properly frees `s'.
10617
10618         * temporary.c: (save_dictionary) Comment fix.
10619
10620         * var.h: Comment fixes.  New FMT_* enum, FMT_NUMBER_OF_FORMATS.
10621         (struct trns_header) Formatting fix.
10622         (struct save_trns) New.
10623
10624         * vars-atr.c: (discard_variables) Comment fix.
10625
10626         * sfm-write.c: New file, baseline release.
10627
10628         * sfmP.h: New file, baseline release.
10629
10630 Sun Nov 24 14:53:53 1996  Ben Pfaff  <blp@gnu.org>
10631
10632         * cmdline.c: (parse_command_line) `--version' output updated.
10633         (glob var syntax_message[]) Added my e-mail address.
10634
10635         * file-handle.q, lexer.c, vfm.c: Changed many instances of
10636         `illegal' to `invalid'.
10637
10638         * sfm-read.c: (struct sfm_fhuser_ext) New fields used as
10639         uncompression buffer.
10640         (sfm_close) Frees decompression buffer.
10641         (sfm_read_dictionary) Initializes decompression buffer.
10642         (buffer_input, read_compressed_data) New functions.
10643         (sfm_read_case) Restructured; now calls read_compressed_data() to
10644         handle compressed system file data.
10645
10646         * var.h: Comment fix.
10647
10648 Mon Nov 11 15:34:09 1996  Ben Pfaff  <blp@gnu.org>
10649
10650         * dfm.c: (dfm_close) Does not set h->{ext,class} because the
10651         caller handles it.
10652          
10653         * get.c: New comments.  New static var `get_file'.
10654         (cmd_get) Now fully implemented.  Calls discard_variables();
10655         initializes fv and lv for all variables; new debug code; sets
10656         up the dictionary; sets up the input program.
10657         (read_from_get, cancel_get) New functions.
10658
10659         * sfm-read.c: Comment fixes.
10660         (sfm_close) New static function.
10661         (sfm_read_dictionary) Properly sets up the class of the
10662         file_handle.  No longer cares what size the data is in records of
10663         type 7.  Also, on failure, properly cleans up the file_handle and
10664         free()s some stuff.
10665         (read_variables) No longer thinks it knows `nval' of the
10666         dictionary.  Now sets p.get.fv, etc., instead of speculatively
10667         setting fv itself.
10668         (read_value_labels) Fixed off-by-one error in indexing of
10669         var_by_index[].
10670         (sfm_read_case) New function.
10671         (sfm_r_class) New static var.
10672
10673         * var.h: (get_proc) New struct.
10674         (struct variable) New member p.get.
10675
10676 Thu Nov  7 20:52:28 1996  Ben Pfaff  <blp@gnu.org>
10677
10678         * get.c: Removed GTSV_OPT_MAP because of a misinterpretation of
10679         the manual's meaning.
10680         (rename_variables) New function.
10681         (trim_variables) Doesn't try to parse MAP any more.  Removed debug
10682         code.  Now properly reorders the dictionary on the KEEP keyword.
10683
10684         * sfm-read.c: (read_value_labels) Fixed some bugs regarding
10685         garbage collection.
10686
10687         * vars-atr.c: (clear_variable) New argument `dictionary *'.
10688         (rename_variable) New function.
10689         (free_val_lab) Reformatted.
10690
10691 Thu Nov  7 17:29:16 1996  Ben Pfaff  <blp@gnu.org>
10692
10693         * var.h: Reindented entire file.  Comment fixes.
10694         (glob vars var, var_by_name, nvar, N, nval, n_splits, splits)
10695         Removed.
10696         (glob var default_dict) New.
10697         (struct indirect_dictionary) Removed.
10698
10699         * Many other source files were changed to add `default_dict.'
10700         before all references to the dictionary of the active file.
10701         
10702         * vars-atr.c: (make_indirect_dictionary) Removed.
10703
10704         * glob.c: Reindented all variable declarations.  Updated for
10705         changed var.h.  Comment fixes.
10706
10707         * temporary.c: (restore_dictionary, save_dictionary) Simplified
10708         because now we can mainly copy dictionary structs.
10709
10710         * vars-prs.c: (is_dict_varname, parse_dict_variable,
10711         parse_variables) Takes dictionary instead of indirect_dictionary
10712         first argument.
10713         (parse_variables) Instead of calling make_indirect_dictionary,
10714         just sets DICT to &default_dict if DICT is NULL.  Of course, lots
10715         of `*dict.' references had to be changed to `dict->'.  Removed
10716         debug code.
10717
10718 Thu Nov  7 15:48:52 1996  Ben Pfaff  <blp@gnu.org>
10719
10720         * get.c: Added GTSV_OPT_* series of enums.
10721         (trim_dictionary, dict_delete_run) New functions.
10722         [DEBUGGING] (dump_dict_variables) New function.
10723         (cmd_get) Calls trim_dictionary() to get dictionary fully set-up.
10724         [DEBUGGING] Calls dump_dict_variables() to display results.
10725
10726         * glob.c: (cmp_variable) Now a public function declared in var.h.
10727
10728         * sfm-read.c: Turned off debug code.  Comment fixes.
10729         (read_machine_int32_info, read_machine_flt64_info) New functions
10730         to parse type 7 records.
10731         (sfm_read_dictionary) Properly byteswaps several fields now.
10732         Calls read_machine_*_info() to parse type 7 subtypes 3 and 4
10733         records.  [DEBUGGING] Dumps dictionary.
10734         (read_variables) Sets `index' field of variables created properly.
10735         Constructs avl tree of variables in dictionary.  [DEBUGGING] No
10736         longer dumps dictionary.
10737         (read_value_labels) Properly byteswaps fields.  [DEBUGGING] New
10738         debug code.
10739         [DEBUGGING] (dump_dictionary) No longer stubbed out.
10740
10741         * temporary.c: (restore_dictionary) Destroys `var_by_name' glob
10742         var before destroying any variables just to save a little time.
10743
10744         * var.h: (struct variable) Reordered in order to make name[] the
10745         first member; this makes pointers to `variable' pointers to the
10746         variable name, simplifying avl trees, etc.
10747         (struct indirect_dictionary) New struct.
10748
10749         * vars-atr.c: (find_variable) Rewritten for efficiency.
10750         (make_indirect_dictionary, is_dict_varname, parse_dict_variable)
10751         New functions.
10752         (is_varname) Rewritten for efficiency.
10753         (parse_variables) New argument, which is a `dictionary *'.  All
10754         references changed.  This function now reads variable names from
10755         the dictionary passed, or from the default dictionary if NULL.
10756
10757 Tue Nov  5 18:34:59 1996  Ben Pfaff  <blp@gnu.org>
10758
10759         * misc.h: Added new macro DIV_RND_UP to perform integer division,
10760         rounding up.  Changed many references to ROUND_UP to use this
10761         instead.
10762
10763         * sfm-read.c: Includes avl.h.
10764         (corrupt_msg) Induces a segfault under Checker.
10765         (macro assertive_bufread) New.  Many references to bufread() now
10766         use this instead.
10767         (sfm_read_dictionary) Split up into several functions.  Added code
10768         to read dictionary records following the the type 2 records.  Not
10769         quite complete.  New variable `var_by_index'.
10770         (read_header, read_variables) New functions extracted from
10771         sfm_read_dictionary().
10772         (read_value_labels) New function.
10773         (bufread) Checks ferror() if fread() doesn't return the expected
10774         value; if ferror() is zero it's just EOF.
10775         (dump_dictionary) Stubbed out.
10776
10777         * BTW: The source code now exceeds 50000 lines!
10778         
10779 Mon Nov  4 22:03:28 1996  Ben Pfaff  <blp@gnu.org>
10780
10781         * command.c: Added GET to cmd_table[].
10782
10783         * list.q: Removed reference to alloca headers.
10784         (cmd_list) Gave prototype.
10785
10786         * sfm-read.c: Added DEBUGGING comments.
10787         (sfm_read_dictionary) Checks bias correctly.  Sets
10788         dict->var_by_name to NULL.  Calculates long_string_count
10789         correctly.  realloc's dict->var[] array to minimum size.
10790         [DEBUGGING] Calls dump_dictionary.
10791         [DEBUGGING] (dump_dictionary) New function.
10792
10793         * temporary.c: (save_dictionary) Sets var_by_name to NULL.
10794         (restore_dictionary) If the dictionary contains a non-NULL
10795         var_by_name, uses that instead of generating one.
10796         (free_dictionary) Destroys var_by_name.
10797
10798         * var.h: (struct dictionary) Added field `var_by_name'.
10799
10800         * get.c: New file, not complete.
10801
10802 Sun Nov  3 12:24:36 1996  Ben Pfaff  <blp@gnu.org>
10803
10804         * mis-val.c: New enums MV_NOR_*.  New struct num_or_range.
10805         (parse_num_or_range) New function.
10806         (parse_numeric) Reimplemented in order to support LOW THRU <n> and
10807         <n> THRU HIGH missing values.
10808
10809         * output.h: [__GNUC__>1 && __OPTIMIZE__] (width, height) Made
10810         __attribute__((const)).
10811
10812         * q2c.c: (get_token) Merged isdigit || isalpha into isalnum.
10813
10814         * sfm-read.c: Finished reference implementation.
10815
10816         * sfm.h: Includes var.h.
10817
10818         * var.h: Comment fixes.
10819         (struct `variable') Reordered some fields.
10820
10821         * vars-atr.c: (is_num_user_missing) Added support for MISSING_*
10822         constants added previously.
10823
10824 Wed Oct 30 17:13:08 1996  Ben Pfaff  <blp@gnu.org>
10825
10826         * common.h: Comment fixes.  Added declaration of
10827         `second_lowest_value' as variable or macro.  Made `compat_type',
10828         `pgm_state_type' into anonymous enums.
10829
10830         * display.c: Comment fix.
10831
10832         * glob.c: [ENDIAN==UNKNOWN] Added definition for `endian' global
10833         var.
10834         [!defined SECOND_LOWEST_VALUE] Added definition for
10835         `second_lowest_value' global var.
10836         (compat, pgm_state global vars) Changed types to `int'.
10837         (init_glob) Initializes `second_lowest_value'.
10838
10839         * sfm-read.c: Continued work, not complete.
10840
10841         * var.h: Added new MISSING_* constants to handle LOWEST and
10842         HIGHEST.
10843
10844 Sat Oct 26 23:06:06 1996  Ben Pfaff  <blp@gnu.org>
10845
10846         * sfm-read.c: New file, not complete.
10847
10848         * cases.c: (vec_insert) Changed vector expansion algorithm.
10849         (vec_delete) Fixed bug that screwed up deletion sometimes, it was
10850         mucking up the RECODE transformation in particular.
10851         (envector) Harmless change in notation.
10852
10853         dfm is now fairly well tested again.  
10854         * dfm.c: (dfm_get_record) Only returns ext->ptr if ext is
10855         non-NULL--duh.
10856         (cmd_begin_data) if(ext->line) replaced by if(ext && ext->line).
10857
10858         * recode.c: Comment fix.
10859
10860         * sfm.h: Interface should be fairly final now, or at least for a
10861         day or so...
10862
10863         * vfm.c: [DEBUGGING] (index_to_varname) New function.
10864         (open_active_file) [DEBUGGING] Translates ccase indices into
10865         variable names now to make it easier to understand what's really
10866         going on.
10867
10868 Sat Oct 26 20:46:31 1996  Ben Pfaff  <blp@gnu.org>
10869
10870         * data-in.c: Comment fix.
10871
10872         * data-list.c: Includes dfm.h.
10873         (do_reading) Uses new function dfm_push_cust().
10874
10875         * data-out.c: (convert_time, convert_WKDAY, convert_MONTH) Added
10876         `return 1;' at end.
10877
10878         * file-handle.h: Completely changed.  Some parts split off into
10879         new file dfm.h.  Implemented in file-handle.q.
10880         (enum FH_*) Removed.
10881         (struct fh_ext_class) New struct.
10882         (struct file_handle) Retained only these fields: name, norm_fn,
10883         fn, recform, lrecl, mode.  New fields class, ext.
10884         (get_handle_by_name, get_handle_by_filename, parse_file_handle,
10885         close_handle, handle_name) Added `fh_' prefix to name, all
10886         references changed.
10887
10888         * dfm.h: New file, implemented in dfm.c.
10889         (get_record, put_record, fwd_record, bkwd_record, set_record,
10890         get_cur_col) Functions moved from file-handle.h, now prefixed with
10891         `dfm_'.
10892         (dfm_push_cust) New function.
10893
10894         * sfm.h: New file.  Incomplete.
10895
10896         * dfm.c: All functions adjusted/rewritten for new dfm/fhp
10897         interface.  Functions reordered, comments changed.  Not well
10898         tested, probably full of bugs.
10899         (struct dfm_fhuser_ext) New struct.
10900         (dfm_close) New function.
10901         (open_file_r) Pickier about finding `BEGIN DATA.' line.
10902         (open_file_w) User messages changed.
10903         (get_record) Comment fixed.
10904         (read_record) Increments ext->ln even for inline_file.  Calls
10905         dfm_close() for inline_file when `END DATA.' encountered.
10906         (dfm_get_record) Experimental restructuring.
10907         (dfm_push_cust) New function.
10908         (cmd_begin_data) Detects whether the inline file was fully read by
10909         checking whether it is still open; detects whether it was read at
10910         all by checking whether the line number is greater than zero.
10911
10912         * file-handle.q: All functions adjust/rewritten for new dfm/fhp
10913         interface.  Functions reordered, comments changed.  Not well
10914         tested, probably full of bugs.
10915         (init_file_handle) Removed initializers for obsolete fields, added
10916         new fields.
10917         (fh_close_handle) Much simpler, now mainly calls the class
10918         function.
10919         (fh_init_files) Renamed inline file internal filename.
10920
10921         * file-type.c: Includes dfm.h.
10922         (read_from_file_type) Doesn't use dfm internal state anymore.
10923
10924         * inpt-pgm.c, print.c: Include dfm.h.
10925
10926         * recode.c: (internal_cmd_recode) Casts strlen() return value to
10927         int in comparison with other int.
10928
10929         * som-high.c: (build_target) Fixed operator precedence problem in
10930         if statement (& versus ==).
10931
10932 Sat Oct 26 10:39:25 1996  Ben Pfaff  <blp@gnu.org>
10933
10934         * dfm.c: (read_record) Can now read fixed-length records; not
10935         tested.
10936         (put_record) Can now write fixed-length records; not tested.
10937
10938         * file-handle.h: FH_* defines changed to enums.  New enum series
10939         FH_RF_*, FH_MD_*.
10940         (struct file_handle) New members recform, lrecl, mode.
10941
10942         * file-handle.q: Parser changed.
10943         (internal_cmd_file_handle) Added support for new /RECFORM, /MODE,
10944         /LRECL subcommands.  These are compatible with Windows.
10945         (init_file_handle) Initializes recform, mode fields.
10946
10947         * q2c.c: (get_line) When outputting `!' comment lines, now
10948         increments the output file line number so that `#line' directives
10949         are correct.
10950         (make_identifier) New function that converts an arbitrary string
10951         into a valid C identifier.
10952         (dump_vars) Calls make_identifier() in two places in order to
10953         suppress some errors for bad identifiers.
10954         (make_match) Allows TRUE as synonym for YES and FALSE as synonym
10955         for NO.  Allows numbers to be prefixed by underscores to make them
10956         acceptable C identifiers but still to be parsed as numbers by the
10957         Fiasco lexer.
10958
10959 Thu Oct 24 20:13:42 1996  Ben Pfaff  <blp@gnu.org>
10960
10961         * command.c: Re-enabled RECODE, SAMPLE, SELECT IF.
10962         
10963         * dfm.c: Comment fixes. (get_record) Gives error if file handle
10964         was opened for writing.
10965         (open_file_w) New function.
10966         (read_record) Uses strncasecmp if available.  Improved error
10967         messages, comments.
10968         (put_record) New function.
10969
10970         * file-handle.h: Moved function comments into dfm.c and
10971         file-handle.q.  Comment fixes.  Removed declarations of
10972         tilde_expand() and normalize_filename().
10973         (struct file_handle) Changed `open' from boolean to enumerated
10974         field to allow for three states--closed, open for reading, open
10975         for writing--all references changed.
10976
10977         * file-handle.q: Includes filename.h.
10978
10979         * print.c: (CMD_* enums) Renamed PRT_* and moved into var.h; all
10980         references changed.
10981         (alloc_line) Makes allowance for line terminator characters in
10982         calculations.
10983         (print_trns_proc) Now handles OUTFILE, WRITE differences.
10984         (print_space_trns_proc) Handles OUTFILE differences.
10985
10986         * recode.c, sample.c: Comment fixes.
10987
10988         * var.h: (struct print_trns) Changed boolean field `eject' to
10989         bitmapped field `options'; all references changed.  New enums
10990         PRT_* for use with this field.
10991
10992         * exception.h, test-exception.c: Removed.
10993
10994 Thu Oct 24 17:47:14 1996  Ben Pfaff  <blp@gnu.org>
10995
10996         * ascii.c: (delineate) Turned off debug output.
10997
10998         * common.c: [Checker and Linux] (__assert_fail, __eprintf) Moved
10999         to error.c.
11000
11001         * data-in.c: (parse_string_as_format) Sets the entire string value
11002         to spaces, not just the short string part of it.  Is this correct
11003         now? 
11004
11005         * data-out.c: (convert_date) Fixed DATETIME format problems with
11006         decimal places, removed debug code.
11007
11008         * dfm.c: (open_file_r) Fixed bug where an error would occur in the
11009         middle of parsing BEGIN DATA that would cause the lexer to read
11010         from a wild pointer `prog'; now calls new function
11011         preprocess_line() in lexer.c.
11012
11013         * error.c: [__CHECKER__] (hcf) Calls induce_segfault() on improper
11014         termination.
11015         [Checker and Linux] (__assert_fail, _eprintf) Moved from common.c.
11016         Now call induce_segfault() to induce the segfault.
11017         (induce_segfault) New function.
11018
11019         * expr-opt.c: Comment fix.
11020         (parse_sysvar) New function.
11021         (parse_primary) Added system variable support--calls
11022         parse_sysvar().
11023         (global var ops) Added OP_CASENUM operator.
11024
11025         * expr.h: Comment fixes.
11026         (OP_* enum) added OP_CASENUM operator.
11027         (struct casenum_node) New struct.
11028         (union any_union_union) New member `cas' of type `casenum_node'.
11029
11030         * glob.c: (global var last_vfm_invocation) New var.
11031         (init_glob) Initializes last_vfm_invocation.
11032
11033         * lexer.c: (lookahead) Fixed reversed condition on if statement.
11034
11035         * getline.c: (get_line) Split into get_line() and preprocess_line().
11036         (preprocess_line) New function.
11037
11038         * var.h: Declares last_vfm_invocation.
11039
11040         * vfm.c: (procedure) Sets last_vfm_invocation.
11041
11042 Wed Oct 23 21:53:43 1996  Ben Pfaff  <blp@gnu.org>
11043
11044         * command.c: (parse_cmd) Fixed bad assertion related to
11045         lookahead().
11046
11047         * data-in.c: (parse_month) Implemented to parse months according
11048         to full interpretation of standard.
11049         (to_roman) New function.
11050         (parse_wk_delimiter) Bug fix (forgot to skip `WK' in string).
11051         (parse_weekday) Bug fix (forgot to skip all the day name).
11052
11053         * data-list.c: (read_from_data_list_fixed) Fixed bug that screwed
11054         up parsing of multirecord data items.  Also fixed user message.
11055
11056         * data-out.c: Comment fix.
11057         (year2, year4, convert_date, convert_time, convert_WKDAY,
11058         convert_MONTH) New functions to support time & date output.
11059         (convert_format_to_string) Calls new time & date output routines.
11060
11061         * expr-prs.c: (nary_num_func) Found a bug, but didn't fix it yet.
11062
11063         * lexer.c: (lookahead) Noted a previously unnoticed caveat in
11064         comment.
11065
11066         * main.c: [DEBUGGING] (dump_token) Updated to handle getline.h.
11067
11068         * misc.c: (global var formats) Fixed declarations of DATETIME,
11069         TIME, DTIME.
11070
11071         * postscript.c: (text) Fixed a pair of bugs in the reallocation of
11072         the output_char buffer.
11073
11074         * vars-prs.c: (parse_DATA_LIST_vars) Fixed a failure to free
11075         memory bug.  Fixed user messages.
11076
11077 Tue Oct 22 17:27:04 1996  Ben Pfaff  <blp@gnu.org>
11078
11079         * Removed #pragma argsused from lots of places.
11080         
11081         * data-in.c: Implemented zoned decimal and time-date formats.
11082         Untested.  This is a huge chunk of code--maybe 1000 lines and 50
11083         new functions.
11084
11085         * data-out.c: Implemented zoned decimal format.
11086
11087         * expr.h: Moved yrmoda() declaration here from exprP.h.
11088
11089         * misc.c: (global var formats) Minor fixes--added
11090         FCAT_SHIFT_DECIMAL to formats N and Z.
11091         (convert_fmt_ItoO) Added support for format Z.
11092
11093         * som-frnt.c: (som_set_value) Fixed bug regarding string values.
11094
11095 Mon Oct 21 20:39:59 1996  Ben Pfaff  <blp@gnu.org>
11096
11097         * command.c: (parse_cmd) [GLOBAL_DEBUGGING] Inserted call to
11098         som_check_workspace() that is activated between commands.
11099
11100         * data-list.c: (dump_fixed_table, dump_free_table) Finished these
11101         for good, I hope.
11102
11103         * list.q: (begin_row) Changed title expansion style from
11104         SOPT_X_VERT to SOPT_X_SHSP.
11105
11106         * som-frnt.c: Now includes `somP.h'.
11107         (som_push_workspace, som_pop_workspace) New functions that, taken
11108         together, form a solution to the recursive table building problem
11109         mentioned yesterday.  Surrounded every table output routine
11110         throughout the program with calls to these functions.
11111         [GLOBAL_DEBUGGING] (som_check_workspace) New function.
11112         (som_create_table) Checks that there's an active workspace.
11113         (som_destroy_all_tables, som_crush) Removed.
11114
11115         * som-high.c: (global var som_preserve_tables) Removed, all
11116         references deleted.
11117         (som_submit_table) Checks that there's an active workspace.
11118         (dump_columnated_table) Doesn't columnate tables that would have
11119         just one row per column.
11120         (dump_crush_page, som_dump_crush_page) Removed debugging code.
11121         (som_dump_crush_page) Moved row number labels from left side of
11122         tables to right side.
11123         (som_get_table_size) Added support for SOPT_X_SHSP.
11124
11125         * som.h: New cell expansion type SOPT_X_SHSP.
11126
11127         * somP.h: (global vars arena_stack, n_arena_stack, m_arena_stack)
11128         New vars.
11129         (global var curtab_arena) Moved from som-frnt.c.
11130
11131 Sun Oct 20 13:45:28 1996  Ben Pfaff  <blp@gnu.org>
11132
11133         * ascii.c: [GLOBAL_DEBUGGING] (SUPPRESS_WARNINGS) New debug option
11134         that causes bad location warnings to be suppressed.
11135         (delineate) Saves current font when calling draw_text(); fixed
11136         handling of NULLs when backing up.  Also fixed line-wrapping bug.
11137
11138         * command.c: Re-enabled `LEAVE', `NUMERIC', `PRINT', `PRINT EJECT',
11139         `PRINT FORMATS', `PRINT SPACE', `STRING', `TITLE', `WRITE'.
11140
11141         * common.c: Added code to cause assertion failure to dump core
11142         when run under Checker.
11143
11144         * data-list.c: (dump_fixed_table) Fixed some inconsistencies, but
11145         there are still bugs.
11146
11147         * glob.c: (__eprintf) Removed.
11148
11149         * list.q: Inserted som_preserve_tables kluge that prevents tables
11150         from being thrown away due to recursive table building through
11151         som_output_line being called from a transformation during the LIST
11152         procedure invocation.  This is a general problem that must be
11153         solved in a better way since it applies to all procedures in
11154         general.
11155         (begin_row) Changed title options to SOM_X_VERT from SOM_X_BOTH.
11156         (flush_table) Removed SOM_TOPT_PRESERVE from submission options.
11157
11158         * numeric.c: Fixed several errors in the form of msg() calls.
11159
11160         * print.c: Updated for use of som.
11161         (dump_table) Reimplemented.
11162         (print_trns_proc) Calls som_eject_page() instead of eject_page().
11163         Calls som_output_text() instead of outs_line().
11164
11165         * som-frnt.c: (som_destroy_all_tables) Sets som_preserve_tables to
11166         0.
11167         (som_output_text) Function moved from som-low.c.  Interface
11168         changed.
11169
11170         * som-high.c: (som_preserve_tables) New global public variable
11171         declared in som.h.
11172         (som_submit_table) Destroys the tables only if som_preserve_tables
11173         is 0.
11174         (paginate_horizontally) Bugfix: sets som.mpw even if there's only
11175         one subrow per row.  Now labels subrows if there's more than one
11176         subrow per row.
11177         (dump_crush_table) Added wishlist comment.
11178         (som_eject_page) New public function declared in som.h.
11179
11180         * som-low.c: (som_dump_crush_page) Draws row labels if there's
11181         more than one subrow per row.
11182         (som_output_text) Moved to som-frnt.c.
11183
11184         * som.h: (SOM_TOPT_PRESERVE) Removed.
11185
11186         * title.c: (get_title) Changed interface.
11187         (cmd_title) Changed `title' to `outp_title'.
11188         (cmd_subtitle) Changed `subtitle' to `outp_subtitle'.
11189
11190 Sun Oct 20 09:04:15 1996  Ben Pfaff  <blp@gnu.org>
11191
11192         * list.q: (flush_table) Conforms to new partial options in
11193         som_submission_form.
11194
11195         * som-high.c: (paginate_horizontally) Changed form of subrow
11196         number labels.
11197         (build_target) Omits spacing before table if
11198         SOM_TOPT_PARTIAL_OMIT_TOP is selected.
11199         (dump_crush_page) Changed interface.  Only trims bottom rule if
11200         SOM_TOPT_PARTIAL_OMIT_BTM is not selected.
11201         (dump_crush_table) Handles partial tables.
11202         (output_row_label) New function.
11203         (som_dump_crush_page) Emits subrow number labels.  Draws vertical
11204         rule on the right edge of narrow subrows.
11205
11206         * som.h: Changed SOM_SUB_PARTIAL_* series of submission type
11207         constants to a series of SOM_TOPT_PARTIAL_* submission options.
11208         All references updated.
11209
11210 Fri Oct 18 19:46:49 1996  Ben Pfaff  <blp@gnu.org>
11211
11212         * misc.c: Comment fix.
11213
11214         * som-high.c: (examine_table) Treats crushed tables separates for
11215         purpose of determining header size.
11216         (paginate_horizontally) Allots space for line numbers in crushed
11217         tables with lots of subrows per row.  Calculates the `maximum page
11218         width', the width of the widest horizontal page.
11219         (build_target) Removed trim argument; all references changed.
11220         Stricter assertions.  (dump_crush_page) New function.
11221         (dump_crush_table) Reimplemented.
11222
11223         * som-low.c: (som_dump_page) Uses new RULE_ROW &c. constants.
11224         (som_dump_crush_page) Reimplemented, interface changed.
11225
11226         * somP.h: Many many new helper macros for use with crushed tables.
11227         (global var som) Removed `tv', `cum_y' members; all references
11228         removed.  New members `mpw', `digit_space'.
11229
11230 Sun Sep 29 19:37:03 1996  Ben Pfaff  <blp@gnu.org>
11231
11232         * arena.c: (arena_alloc) [!DISCRETE_BLOCKS] Removed `size'
11233         variable, changed to constant 1024.
11234         (arena_ca_strdup) Changed `sizeof(a_string)' to
11235         `sizeof(c_string)'.
11236         (arena_ca_strdup) [!DISCRETE_BLOCKS] Changed bad cast from
11237         `(c_string *)' to `(char *)'; this fixed some offset problems.
11238
11239         * filename.c: (readlink_malloc) Changed initial allocation from
11240         100 bytes to 128.
11241         (good_getcwd) Changed from xmalloc() to local_alloc(); removed
11242         comment.
11243
11244         * postscript.c: (read_fontmap) Fixed leak by changing &owner to
11245         &fm->owner in several places.
11246
11247         * som-high.c: (output_table) Changed interface to rest of world.
11248         (examine_crush_table) Removed.  Crushed tables are re-broken now,
11249         in preparation for rewrite.
11250
11251         * som.h: Comment fix.
11252
11253 Sat Sep 28 21:28:07 1996  Ben Pfaff  <blp@gnu.org>
11254
11255         * ascii.c: (ascii_init_driver) Disposes of x->file.filename and x
11256         itself in the cleanup stage.
11257
11258         * descript.q: (display) At least temporarily, changed the table
11259         format to a crushed table.
11260
11261         * list.q: (begin_row) At least temporarily, added horizontal lines
11262         between cases.
11263
11264         * som-high.c: (examine_crush_table) Sets som.hh to the width of
11265         the horizontal "headers," that is, to the width of the far left
11266         and far right rules.
11267         (justify_pagination) Sets som.th to the width of the widest row
11268         in the crushed table.  Fixed inner loop off-by-one error.
11269
11270         * som-low.c: (som_dump_crush_page) Added code to draw horizontal
11271         rules.
11272
11273         * somP.h: Comment fix.
11274
11275 Fri Sep 27 20:08:39 1996  Ben Pfaff  <blp@gnu.org>
11276
11277         * filename.c: (open_file_ext) Now, doesn't set f->file to NULL
11278         before closing it; also, opens the constructed filename `s'
11279         instead of f->filename.
11280
11281         * postscript.c: Moved initialization of x->loaded, x->prop,
11282         x->fixed, x->current, also the add_encoding() calls, into
11283         postopen().
11284         (preclose) Destroys x->combos; sets x->loaded, x->combos to NULL;
11285         sets x->last_font to NULL; sets x->next_combo to zero.
11286
11287         * som-high.c: (crushed_row_height) Moved definition farther up.
11288         (som_submit_table) Doesn't calculate line width, font size until
11289         after calling open_page(), to accomodate changes to PostScript
11290         driver.
11291         (vert_headers) Removed; equivalent functionality moved to
11292         examine_table(), examine_crush_table().
11293         (justify_pagination) Replaced with different algorithm.
11294         (dump_crush_table) Bugfix that caused tables to fail to be clipped
11295         at the bottom of the page.
11296
11297 Thu Sep 26 22:20:26 1996  Ben Pfaff  <blp@gnu.org>
11298
11299         * command.c: Added cmd_list back into cmd_table.
11300
11301         * freq.c, frequencies.q, repeat.c, list.q, vars-atr.c, vfm.c:
11302         Comment fix: `#define DEBUGGING' --> `#define DEBUGGING 1'.
11303
11304         * list.q: (flush_table) Updated to new som_submission_form format.
11305
11306         * som-frnt.c: Comment fix.
11307
11308         * som-high.c: Changed `#endif' to `#undef EXTERN'.
11309         (output_table) Calls som_get_table_size() directly; handles
11310         crushed tables.
11311         (examine_crush_table) New function; calls vert_headers().
11312         (examine_table) Moved some code into new function, vert_headers().
11313         (justify_pagination) New function.
11314         (dump_plain_table) Removed `static' from `cy'.
11315         (dump_crush_table) New function.
11316
11317         * som-low.c: (som_dump_crush_page) New function.
11318
11319         * som.h: Comment fixes.
11320         (enum SOM_TOPT_CRUSH) New.
11321         (SOM_SUB_PARTIAL_BEG, SOM_SUB_PARTIAL_MID, SOM_SUB_PARTIAL_END)
11322         Temporarily set to zero to make do with LIST procedure.
11323
11324         * somP.h: Re-ordering.
11325
11326 Wed Sep 25 19:36:11 1996  Ben Pfaff  <blp@gnu.org>
11327
11328         * som.c: Split into som-frnt.c, som-high.c, som-low.c.
11329
11330         * somP.h: New file for use by som-high.c, som-low.c.
11331
11332         * q2c.c: Added definition for VME.
11333         (get_line) Now dumps `!' comment lines to the output file
11334         verbatim.
11335
11336         * crosstabs.q, descript.q, file-handle.q, frequencies.q, list.q,
11337         set.q: Changed format of `!' comment lines.
11338
11339 Tue Sep 24 18:39:09 1996  Ben Pfaff  <blp@gnu.org>
11340
11341         * All source files: Added copyright notice.
11342
11343         * common.c: (xmalloc, xrealloc, xstrdup) Cast size_t's to unsigned
11344         longs in msg() calls.
11345
11346         * con32s.c: (xmalloc, xrealloc) Updated from common.c.
11347
11348         * q2c.c: (xmalloc, xrealloc, xstrdup) Updated from common.c.
11349
11350 Sat Sep 21 23:16:31 1996  Ben Pfaff  <blp@gnu.org>
11351
11352         * output.c: (outp_read_devices) Changed criteria for
11353         distinguishing different types of lines.
11354
11355 Fri Sep 20 22:52:28 1996  Ben Pfaff  <blp@gnu.org>
11356
11357         * cmdline.c: Changed syntax message.
11358
11359         * filename.c: (good_getcwd) Bug fix (?).
11360         (normalize_filename) [__BORLANDC__] Uses _fullpath() library
11361         function.
11362         (search_path) Appends DIR_SEPARATOR to directory name only if it
11363         does not already end with one.
11364
11365         * glob.c: Checks STAT_PAGER envvar before PAGER.
11366
11367         * output.c: Checks environment variables instead of just local
11368         macros.
11369
11370 Tue Sep 10 21:39:00 1996  Ben Pfaff  <blp@gnu.org>
11371
11372         * arena.c: (arena_destroy) Swatted a subtle bug that cropped up
11373         when the pointer passed to the function was within the arena
11374         itself, so that it couldn't properly be set to NULL _after the
11375         arena was freed_.
11376
11377         * command.c: Re-enabled DISPLAY.
11378
11379         * display.c: Rewritten to handle tables.  Untested.
11380
11381         * filename.c: (search_path) Fixed memory leak.
11382
11383         * frequencies.q: (cmd_frequencies) Frees v_variables.
11384         (postcalc) Calls cleanup_freq_tab() after displaying statistics.
11385         (cleanup_freq_tab) New function to garbage collect.
11386         (dump_full) Elegantized.
11387
11388         * main.c: New comment.
11389
11390         * output.h: New tag for tagged quotes: TAG_NEWLINE.
11391
11392         * postscript.c: Comment fix.
11393         (release_fontmap, free_font_entry) New functions.
11394         (ps_init_driver) Sets free_font_entry() as the freefunc for
11395         hashtable `loaded'.  Calls release_fontmap() when destroying a
11396         driver; also frees the output filename; also frees the
11397         ps_driver_ext block.
11398         (free_ps_encoding) Frees the filename as well as the encoding
11399         block.
11400         (output_encodings) Frees the line buffer and pops the msg-filename
11401         stack.
11402         (read_fontmap) Frees the fontmap filename and the line buffer.
11403         (postopen, preclose) Misc. garbage collection fixes.
11404         (ps_open_page) Destroys the `combos' hash table; sets `last_font'
11405         to NULL; this fixes some output problems.
11406         (text) Handles TAG_NEWLINE.  Untested.
11407
11408         * som.c: (cell_byte_size) Merged SCON_VALUE and SCON_TEXT cases.
11409         (som_set_string) Removed.  All references changed to
11410         `som_set_text'.
11411         (som_set_text) Rewritten.  New interface.  More general.
11412
11413         * som.h: Minor format changes.
11414         (struct som_value_cell) Removed; all references changed to
11415         `som_text_cell'.
11416         (enums SOT_*) Changed.
11417
11418 Mon Sep  9 21:43:13 1996  Ben Pfaff  <blp@gnu.org>
11419
11420         * command.c: Re-enabled SPLIT FILE.
11421
11422         * postscript.c: Comment fix.
11423
11424         * som.h: Added `SOT_NONE'.
11425
11426         * split-file.h: (cmd_split_file) Removed superfluous parenthesis.
11427
11428         * vfm.c: (dump_splits) Reimplemented.
11429
11430 Sat Sep  7 22:35:12 1996  Ben Pfaff  <blp@gnu.org>
11431
11432         * Compiled the project under gcc 2.7.2, which gave some new
11433         warnings.  This led to many additions of casts from unsigned to
11434         int sprinkled throughout the code.
11435         
11436         * arena.c: Many uses of `unsigned' changed to `size_t'.
11437
11438         * command.c: Added END FILE, END REPEAT to command table.
11439         (var cmd_end_repeat) Renamed cmd_end_repeat_p.
11440         (find_command, FILE_TYPE_okay) Not commented out anymore.
11441         (parse_cmd) Calls FILE_TYPE_okay again.
11442         (output_line) Added calls to som_output_text() to put the line
11443         in the output files.
11444
11445         * common.c: (macro VME) Format changes.
11446         (xstrdup) Asserts that its argument is not NULL.
11447         
11448         * data-list.c: Implemented dump_fixed_table().
11449         
11450         * inpt-pgm.c: Formatting changes.  Comment changes.
11451         (end_case_proc) Renamed end_case_trns_proc.
11452         (cmd_end_file, end_file_trns_proc) New functions.
11453
11454         * misc.c: Many uses of `int' and `unsigned' changed to `size_t'.
11455
11456         * misc.h: (local_strdup) New macro corresponding to strdup() but
11457         allocating its data through local_alloc() if possible--that is, if
11458         GNU C is in use.
11459
11460         * postscript.c: Comment changes.
11461         (quote_ps_name, quote_ps_string, output_encodings) New functions.
11462         (output_line, add_string) New macros supporting
11463         output_encodings().
11464         (postopen) Fixed contents of ${fixed-font} and ${prop-font}
11465         substitution vars.  Calls output_encodings() when a line
11466         consisting of `!encodings' is encountered.
11467         (preclose) Some code moved into quote_ps_string().
11468         (dump_line) Changed into macro supporting dump_fancy_line().
11469         (switch_font) Now outputs DSC "%%IncludeResource: font (...)"
11470         command when appropriate.
11471         (write_text) Fixed `literal_char' array (I think it's fixed, at
11472         least.)
11473         (text) Fixed bug when width was zero.  Now exits immediately on
11474         zero height_left.  Now, when executing `goto restart;', checks
11475         that cp<end, so that we don't read beyond end-of-string.  Also,
11476         outputs the correct code to the output file by outputting the code
11477         from the metric instead of the internal metric index.
11478
11479         * repeat.c: (cmd_end_repeat) New function.
11480
11481         * som.c: (var som) `headers' renamed `options' and semantics
11482         changed.  All references changed.
11483         (draw_title) `if(px!=-1 || px!=-1)' --> `if(px!=-1 || py!=-1)'.
11484         (build_target) Only inserts spacing if SOM_TOPT_SPACING not
11485         selected.
11486         (som_text_table) Removed.
11487         (som_output_text) New function.
11488
11489         * som.h: (struct som_submission_form) Removed `header', `reuse',
11490         replaced with bitmapped field `options'.
11491         (SOM_TOPT_*) New enum set for som_submission_form.options.
11492         (SOT_*) New enum set for som_output_text().
11493
11494         * temporary.c: (copy_variable) When copying the var label, only
11495         calls xstrdup() if it's non-NULL.
11496
11497         * var.h: (enum type `vartype') Removed; all references changed to
11498         `int'.
11499
11500         * vars-atr.c: (init_variable) Changed local var `nbytes' from
11501         `int' to `size_t'.
11502
11503 Thu Sep  5 22:05:56 1996  Ben Pfaff  <blp@gnu.org>
11504
11505         * font.h: Comment changes.
11506
11507         * groff-font.c: (groff_read_font) Initializes `name' field to
11508         NULL.  Handles `encoding' field.
11509
11510         * hash.c: (hsh_dump) [GLOBAL_DEBUGGING] Output formatting changes.
11511
11512         * postscript.c: (struct font_entry) Removed `position' field.
11513         (struct ps_font_combo) New struct.
11514         (struct ps_driver_ext) Removed field `next_position'.  New fields
11515         `combos', `next_combo'.  `last_font' field changed from
11516         `font_entry *' to `ps_font_combo *'.
11517         (ps_init_driver) Reformatted; handles new fields.  When
11518         OPO_AUTO_ENCODE is set, adds the two default fonts' encodings to
11519         the encoding list.
11520         (get_encoding, find_encoding_file) New functions.
11521         (add_encoding) Some code moved out into find_encoding_file().
11522         (postopen) Changed value for ${title}.
11523         (preclose) Sets `loaded' field to NULL after destroying the hash
11524         table.
11525         (ps_open_page) Added comment.  Inits the `combos' and `next_combo'
11526         fields.
11527         (ps_text_set_font_by_position) Figures out the current family if
11528         not known.
11529         (compare_ps_combo, hash_ps_combo, free_ps_combo) New functions.
11530         (switch_font) Implemented.
11531         (write_text) Calls switch_font() more often.  Format changes.
11532         #undefs its macros after they're no longer useful.
11533         (text) Changed `continue' at one point to a jump to the top of the
11534         loop because we don't want `separate' reset to 0 at that point.
11535         (load_font) No longer sets `position' in the font_entry created.
11536
11537 Wed Sep  4 21:45:35 1996  Ben Pfaff  <blp@gnu.org>
11538
11539         * font.h: (struct font_desc) New member `encoding', which is not
11540         properly handled yet.
11541
11542         * glob.c: (init_glob) Some new i18n code, which is probably
11543         screwed up.
11544
11545         * output.c: (outp_read_devices, outp_get_paper_size) Changed
11546         `size' local from `int' to `size_t'.
11547
11548         * postscript.c: New driver configuration parameter `auto-encode'.
11549         New enums OPO_AUTO_ENCODE, ODA_COUNT.
11550         (struct font_entry) New member `position'.
11551         (struct ps_driver_ext) Reordered.  New hash table member
11552         `encodings'; new members `next_position', `next_encoding',
11553         `last_font'.  Members `current', `prop', `fixed' changed from type
11554         `font_desc *' to `font_entry *'; all references changed.
11555         (struct ps_encoding) New struct.
11556         (read_ps_encodings, compare_ps_encoding, hash_ps_encoding,
11557         free_ps_encoding, add_encoding) New functions.
11558         (ps_init_driver) Added OPO_AUTO_ENCODE to default
11559         x->output_options.  Initializes new members of ps_driver_ext.
11560         Changed default value for prologue_fn, encoding_fn.  Calls
11561         read_ps_encodings after loading default fonts.
11562         (option_tab[], ps_option) Handle new configuration parameter.
11563         (switch_font) New function.
11564         (struct output_char) `font' member changed from `font_desc *' to
11565         `font_entry *'.  New member `separate'.
11566         (read_fontmap) Changed `size' from `int' to `size_t'.
11567         (output_line, put_number) New macros for write_text().
11568         (write_text) Optimizes text output by consolidating multiple
11569         calls to PostScript `show' operator.
11570         (text) Keeps track of when text arguments can't be consolidated by
11571         write_text(), and marks those spots in the output stream.
11572         (load_font) Sets `position' of the allocated font_entry to -1, cuz
11573         the font hasn't been switched to by switch_font(), which is where
11574         the position is important--the PostScript is what cares about the
11575         position.
11576
11577 Sat Aug 31 23:52:38 1996  Ben Pfaff  <blp@gnu.org>
11578
11579         * hash.c: (hsh_destroy) Ignores NULL argument.  Doesn't try to
11580         call a NULL free_func.
11581         (hsh_rehash) Elegantized.
11582         (hsh_probe) Fix bug that manifested when the table was expanded
11583         and thus had to change location in memory.  Good thing
11584         too--otherwise could have been much more subtle.
11585         (hsh_find) [GLOBAL_DEBUGGING] Not stubbed out anymore.
11586         (hsh_foreach) New function for hash table iteration.
11587
11588         * hash.h: (struct hsh_iterator) New.
11589
11590         * lexer.c: (parse_tagged_quote) Font and family name strings in
11591         tags are now null-terminated.
11592
11593         * output.c: (outp_evaluate_dimension) Fixed over-aggressive unit
11594         parsing.
11595         (internal_get_paper_size, outp_get_paper_size) Fixed; now work as
11596         documented.  (Never before tested?)
11597
11598         * output.h: Comment changes.
11599
11600         * postscript.c: New driver options `optimize-text-size',
11601         `optimize-line-size', `max-fonts-simult'.  New enum set for
11602         specing cached line types.  Comment fixes.
11603         (struct line_form) New struct.
11604         (struct ps_driver_struct) New members `text_opt', `line_opt',
11605         `max_fonts', `lines'.
11606         (ps_init_driver) Initializes new members of ps_driver_struct.
11607         (user option type enum set) New member `nonneg_int_arg'.
11608         (static var option_tab[]) Supports new options.
11609         (ps_option) Handles new options.
11610         (find_ps_file) Made static.  No longer calls hsh_dump().
11611         (ps_get_var) Made static.
11612         (preclose) Dumps out proper DSC trailer.
11613         (ps_open_page) Elegantized.
11614         (ps_close_page) Calls dump_lines() if appropriate.
11615         (ps_line_horz, ps_line_vert, ps_line_intersection) Reduced to
11616         wrappers around line().
11617         (int_2_compare, compare_line, dump_line, dump_fancy_line,
11618         dump_lines, hash_line, free_line, line) New functions for support
11619         of line caching.
11620         (write_text, text) Made static.
11621         (text) Added to font support, not finished.
11622
11623 Thu Aug 29 21:36:41 1996  Ben Pfaff  <blp@gnu.org>
11624
11625         * font.h: (struct font_desc) New members ascent, descent.
11626
11627         * groff-font.c: (groff_read_font) Calculates font ascent and
11628         descent from the ascent and descent of the `d' and `p' characters,
11629         respectively, as per a suggestion on comp.fonts.
11630
11631         * postscript.c: (ps_open_page, ps_close_page, ps_line_horz,
11632         ps_line_vert, ps_line_intersection) Rewritten to deal with changed
11633         prologue.
11634         (write_text) Handles text right-justification and centering (not
11635         full justification).  Still very inefficient.  (One output line
11636         per character?!)
11637         (struct output_char) Added fields for font and font size.
11638         (text) Many bugfixes.
11639
11640 Sat Aug 24 23:26:00 1996  Ben Pfaff  <blp@gnu.org>
11641
11642         * cmdline.c: (usage) Calls outp_list_classes().
11643
11644         * font.h: Comment fix.
11645
11646         * groff-font.c: New exported global var `space_index'.
11647         (groff_init) New function to initialize `space_index'.
11648         (hash_kern) Casts result to unsigned.
11649         (font_name_to_index) Renamed font_char_name_to_index.  All
11650         references changed.  Also, now returns the value of `space_index'
11651         when passed an ASCII space character as an argument.  Fixed
11652         handling of nulls.
11653         (font_get_kern_adjust) Changed i from `int' to `unsigned'.
11654         Handles passed NULL pointers properly.
11655
11656         * lexer.c: (parse_tagged_quote) Comment fix.  Better range
11657         checking.
11658
11659         * output.c: (outp_list_drivers) Removed.  Removed all references.
11660         
11661         * output.h: Comment fixes.
11662
11663         * postscript.c: (ps_open_global) Calls groff_init().
11664         (output_char) New structure.
11665         (write_text) New function.
11666         (text) No longer stubbed out!  Now the output is correct--with a
11667         few exceptions, one of them being that the page has to be held
11668         upside down into a mirror.
11669
11670 Sun Aug 11 21:31:22 1996  Ben Pfaff  <blp@gnu.org>
11671
11672         * font.h: Comment fix.
11673         
11674         * font.c: (name_to_index) Renamed font_name_to_index, made extern.
11675         All callers changed.
11676         (number_to_index) Renamed font_number_to_index, made extern.  All
11677         callers changed.
11678         (font_get_kern_adjust, font_get_char_metrics) New functions.
11679
11680         * output.h: New constant OUTP_T_INTERNAL_DRAW.
11681
11682         * postscript.c: Changed default line width back to 1/2 point.
11683         (ps_line_horz, ps_line_vert, ps_line_intersection) Now lines are
11684         in the center of the space allotted for them, not just a fixed
11685         offset from the edge of the space; this fixes some bugs.
11686         (ps_line_intersection) Now supports all command line styles.
11687         (ps_text_get_size) Bug fix in computation of em width.
11688         (text) New function, the meat behind ps_text_metrics and
11689         ps_text_draw.  Not complete.
11690         (ps_text_metrics, ps_text_draw) Removed the stub taken from
11691         ascii.c; call text().
11692
11693 Sat Aug 10 23:28:17 1996  Ben Pfaff  <blp@gnu.org>
11694
11695         * arena.c: (arena_free) Assert that the argument is non-NULL.
11696         
11697         * groff-font.c: (add_kern) Calls arena_free() for old_kern if and
11698         only if old_kern is non-NULL.
11699
11700         * postscript.c: (ps_init_driver) Changed default line width to 1
11701         point.
11702         (postopen) New prologue variables.
11703         (ps_line_horz, ps_line_vert, ps_line_intersection) Implements some
11704         more of the common line styles properly, but not all.
11705         (ps_text_metrics) Fixed problem with this stubbed out version that
11706         kept it from taking font sizes into account.
11707
11708 Thu Aug  8 22:31:11 1996  Ben Pfaff  <blp@gnu.org>
11709
11710         * arena.c: (arena_malloc) Bug fix.
11711         (arena_dump) [GLOBAL_DEBUGGING] New function.
11712
11713         * ascii.c: Comment fix.
11714         (count_fancy_chars, delineate) Now static functions.
11715         
11716         * filename.c: (interp_vars) Bug fixes.
11717
11718         * font.h: Comment fixes.
11719
11720         * glob.c: (init_glob) Sets set_viewwidth, set_viewlength at
11721         beginning in case we have an error message to display before
11722         initializing the display.
11723
11724         * groff-font.c: Comment fix.  Changed rehash threshold from 2/3
11725         full to 1/2 full.
11726         (groff_read_font) Bug fixes.
11727         (name_to_index) Increments hash.used.  Sets `name' field of hash
11728         entry properly.
11729         (add_kern) Sets kern_max_used after rehashing.  Other bug fixes.
11730
11731         * hash.c: Return type changed.
11732
11733         * postscript.c: Continued development.  Now marks lines on the
11734         paper, but very buggy.
11735
11736 Sat Aug  3 20:50:35 1996  Ben Pfaff  <blp@gnu.org>
11737
11738         * Changed comments in many source files from `/* xxx /* yyy */' to
11739         `/* xxx */ /* yyy */' for cleanliness.
11740
11741         * arena.c: (arena_sd_strdup) New function.
11742         
11743         * ascii.c: (struct ascii_driver_ext) New member `file'.
11744         (ascii_init_driver) Fills out member `file' for initing; uses
11745         close_file_ext for closing drivers.
11746         (ascii_option) Changed %.*s back to %s because the a_string's are
11747         always null-terminated.
11748         (postopen, preclose) New functions.
11749         (ascii_open_page) Uses new style of open_file_ext.
11750         (ascii_option, commit_line_buf, output_lines) Use ext->file.file
11751         instead of this->output.
11752         (__assert_fail) Removed.
11753
11754         * cmdline.c: Changed syntax_message[].
11755
11756         * error.c: #include's <readline/history.h> only if the history
11757         library is available, not if just the readline library is
11758         available.
11759
11760         * filename.c: (expand_line) Removed alloca() support.
11761         (interp_vars) No longer tilde-expands argument.  Limit on output
11762         length removed.
11763         (tilde_expand) Now treats argument as path rather than filename.
11764         [!unix] Now is a no-op function.
11765         (search_path) Better verbose message formatting.
11766         (open_file, close_file) Comment fixes.
11767         (close_file) [!unix] Doesn't bother with pipes.
11768         (open_file_ext) Completely rewritten, interface revamped.
11769         (close_file_ext) New function.
11770
11771         * font.h: Comment changes.
11772
11773         * frequencies.q: Removed AIX alloca support since it doesn't use
11774         alloca.
11775
11776         * hash.c: Comment changes & additions.
11777         (hsh_create) Initializes entire table instead of first M entries.
11778         (hsh_probe) Stupid bug fixed.  Now it works.
11779         (hsh_dump) [GLOBAL_DEBUGGING] New function.
11780
11781         * main.c: (parse) Detects EOF properly in token-eating loop.
11782         Should the STOP token have its value changed to 0?
11783
11784         * misc.c: (blp_getdelim) [HAVE_GETDELIM] Now it's a macro.
11785         (blp_getline) Now it's a macro.
11786
11787         * output.h: (struct outp_driver) Removed members output, filename.
11788         
11789         * output.c: (outp_init) [!NO_POSTSCRIPT] Installs PostScript
11790         drivers in driver table.
11791         (outp_read_devices) Frees buf.  Warns if there are no active
11792         output drivers.
11793         (outp_configure_clear) Sets outp_configure_vec to NULL after
11794         deleting its elements.
11795         (configure_driver, destroy_driver) Removed references to output,
11796         filename members of outp_driver.
11797         (outp_evaluate_dimension, internal_get_paper_size,
11798         outp_get_paper_size) New functions.
11799
11800         * postscript.c: Continued development.  Now links but doesn't make
11801         any marks on the page.  Lotsa bugs I suppose.
11802
11803         * str.c: (strcasecmp) [!HAVE_STRCASECMP] New function.
11804
11805         * str.h: Comment changes.
11806
11807 Sat Jul 27 22:32:38 1996  Ben Pfaff  <blp@gnu.org>
11808
11809         * Removed dependencies on non-nested comments in several files.
11810         Also removed references to (unix || __unix__) in #if's since
11811         prefh.orig makes those two equivalent.
11812         
11813         * ascii.c: (ascii_open_global) Creates ascii_arena.
11814         (ascii_close_global) Destroys ascii_arena.
11815         (ascii_init_driver) Doesn't create ascii_arena.
11816         (ascii_copy_driver) Removed.
11817         (ascii_option) Possible bugfix regarding %s vs. %.*s with a_string's.
11818         (outp_class ascii_class) Removed ascii_copy_driver reference.
11819
11820         * frequencies.q: Now can display all statistics except median.
11821         Still not finished.
11822
11823         * output.c: Handles outp_class.ref_count so output class
11824         destructors are called properly.
11825         (add_class) Sets ref_count to 0.
11826         (configure_driver) Initializes class if ref_count++ is 0.
11827         (destroy_driver) Destructs class if --ref_count is 0.  Frees the
11828         class output file name.
11829         
11830         * output.h: (struct outp_class) Removed copy_driver, inited.
11831         Added ref_count.
11832
11833         * postscript.c: Completely replaced but not finished.
11834         
11835 Tue Jul 23 21:48:36 1996  Ben Pfaff  <blp@gnu.org>
11836
11837         * approx.h: #includes <float.h>.
11838
11839         * arena.h, arena.c: Many functions changed to take an arena **
11840         instead of an arena *, for consistency.  All callers changed.
11841         (arena_alloc) Now creates a new arena if passed *A that is NULL.
11842         (arena_destroy) Sets *A to NULL.
11843         
11844         * ascii.c: (delineate) Implements OUTP_T_VERT correctly.  Removed
11845         assertion that `width' be positive.
11846
11847         * command.c: Removed #if's from cmd_table.
11848         (walk_cmdtable_func) [0] New function (debug code).
11849         (init_cmd_parser) [0] Dumps out cmd_table (debug code).
11850         (parse_cmd) Doesn't return failure for unimplemented commands.
11851
11852         * common.h: (SYSMIS) Changed from DBL_MAX to -DBL_MAX.
11853         (SYSCODE) New constant macro.
11854
11855         * descript.q: Checks for positive n_variables before performing
11856         analysis.
11857
11858         * file-handle.q: (get_handle_by_filename) Bug fix: passes &f to
11859         avl_find instead of &fp as arg 2.
11860
11861         * frequencies.g, frequencies.q: Continued updating; now compiles &
11862         works again, but not complete.
11863
11864         * main.c: Changes to user messages.
11865
11866         * misc.c: (reverse) [0] New function.
11867
11868         * settings.h: Comment removed.  #includes "common.h".
11869
11870         * som.c: (som_set_null) New function.
11871         (som_set_value, som_set_string, som_set_text) More detailing
11872         assertions.
11873         (som_set_float) Implemented function.
11874         (dump_columnated_table) Bug fix regarding page breaks.
11875         (draw_cell) Bug fix regarding text that spilled out of a cell.
11876         (draw_intersection, draw_horz_rule, draw_vert_rule) No longer draw
11877         null lines.
11878         (get_cell_size) Support SCON_EMPTY cells.
11879         (get_table_size) When calculating rules' widths and heights, mask
11880         out SLIN_SPACING bit.  Added SOPT_X_HLTL support.
11881         
11882         * som.h: (som_any_cell) New option SOPT_X_HTLT.  Removed
11883         SOPT_X_SHADE.
11884         (struct som_submission_form) New member `header'; all users
11885         changed.
11886
11887         * val-labs.c: (get_label) User messages changed.
11888
11889         * var.h: Changed FREQUENCIES structures.
11890
11891         * vars-atr.c: (is_num_user_missing, is_str_user_missing) Made
11892         inline.
11893         
11894 Fri Jul 19 19:11:13 1996  Ben Pfaff  <blp@gnu.org>
11895
11896         * approx.h: Definition of EPSILON now depends on system's
11897         DBL_EPSILON.  Removed GNU C specific code.
11898         (cmpapx) Renamed approx_compare.
11899
11900         * frequencies.g, frequencies.q: Continued updating; still doesn't
11901         compile.
11902
11903         * groff-font.c: (name_to_index) Fix bug that kept it from
11904         compiling.
11905
11906         * hash.c, hash.h: Completed work.
11907
11908         * var.h: Changes to freq_tab, frequencies_proc.
11909         
11910 Wed Jul 17 21:23:36 1996  Ben Pfaff  <blp@gnu.org>
11911
11912         New hashing code.
11913         * hash.c, hash.h: New files.  Not completed.
11914         * Makefile.am: Added hash.c to source file list.
11915         * font.h: (struct font_desc) New member kern_size_p.
11916         * groff-font.c: Uses hash.h.
11917         (hashpjw) Moved to hash.c.
11918         (next_prime_power) Rewrote, renamed hsh_next_prime, moved to
11919         hash.c.
11920         (static var hash) New member size_p.
11921         * var.h: Includes hash.h.
11922         (struct freq_tab) Changed AVL_TREE to hash_tab.
11923
11924         * vars-prs.c: Comment, formatting fixes.
11925
11926         * frequencies.g, frequencies.q: Continued updating.  Not yet
11927         working.
11928
11929         * formats.c: Bug fix.
11930
11931 Tue Jul 16 22:10:04 1996  Ben Pfaff  <blp@gnu.org>
11932
11933         Increasing parallelism between DESCRIPTIVES and FREQUENCIES.
11934         * descript.g: Comment fixes.
11935         * descript.q: Comment fixes.  Moved some declarations into var.h.
11936         Made dsc_info a static table.  Updated FIXMEs.
11937         (internal_cmd_descriptives) Beautified.
11938         
11939         * frequencies.q: Started updating into working order.
11940         * frequencies.g: New file analogous to descript.g.
11941         * var.h: Comment fixes.  Added structures for FREQUENCIES.
11942         
11943         * som.c: Removed vestiges of crushing and partial table support.
11944
11945 Sun Jul 14 15:45:31 1996  Ben Pfaff  <blp@gnu.org>
11946
11947         * Many more changes to som.c especially, but these will not be
11948         documented as I have resolved to remove them.  This patchlevel is
11949         being released solely so that I can fall back to it if I decide
11950         that removing the changes is not a good idea.
11951
11952 Sat Jul 13 09:58:44 1996  Ben Pfaff  <blp@gnu.org>
11953
11954         * som.c: (global var som) New member `cum_y'.
11955         (build_target) Properly handles titles for partial tables.
11956         (dump_partial_beg, dump_partial_mid, dump_partial_end)
11957         Merged into single new function dump_partial().  Fixed problem
11958         with titles on partial tables.
11959         (dump_table) Calls dump_partial() for all parts of partial tables.
11960         (dump_page) Criteria for drawing title changed.
11961         
11962 Fri Jul 12 22:03:36 1996  Ben Pfaff  <blp@gnu.org>
11963
11964         * command.c: (cmd_table) Added LIST, WEIGHT.
11965
11966         * command.c: (cmd_remark) No longer frees `s' since it's not
11967         dynamically allocated.
11968         
11969         * data-out.c: (convert_f) Now correctly handles the case where
11970         abs(v->f)<1 but v->f rounds to a value of 1.00 given the specified
11971         number of decimals.
11972         (som_destroy_all_tables) Removed argument.  All callers changed.
11973         (som_vline, som_hline) Argument validity checking corrected.
11974         (som_set_value) Implemented half-heartedly.
11975         (replicate_table) Copies tables piece-by-piece when using Checker.
11976
11977         * som.h: New line style SLIN_1THIN, currently equivalent to
11978         SLIN_0.  New enum set SOM_SUB_*.
11979         (struct som_submission_form) Removed `seq_no'.  Added `type'.
11980         
11981         * list.q: Newly working file; uses partial tables.
11982         
11983         * som.c: (som_reduce_table) Renamed som_set_table_height().
11984         (som_crush) Removed argument `group'.
11985         (global var som) Removed `nt', `seq_no'.  Added `type'.
11986         (som_submit_table) Arguments changed.
11987         (output_table) Removed partial table code.
11988         (build_target) New arg; partial table support added.  All callers
11989         changed.
11990         (dump_plain_table) Removed partial table code.
11991         (dump_partial_beg, dump_partial_mid, dump_partial_end) New functions.
11992         (dump_table) Supports partial tables.
11993         (dump_page) New argument to allow not drawing top and/or bottom
11994         headers.  All callers changed.  Supports partial tables.
11995
11996 Sat Jul  6 22:22:25 1996  Ben Pfaff  <blp@gnu.org>
11997
11998         * data-out.c: Changed `#include <approx.h>' to `#include
11999         "approx.h".
12000         (convert_F) Comment fix.  Now won't print `-.000', etc.
12001
12002         * descript.q: Now Z-scores work, although there appears to
12003         be a bug (which might actually be in data-out.c:convert_F()).
12004         (descriptives_trns_proc, descriptives_trns_free) New functions.
12005         (run_z_pass) Implemented.
12006         
12007         * var.h: Comment fixes.
12008         (dsc_z_score, descriptives_trns) New structs.
12009         (descriptives_trns) Added to any_trns as `dsc'.
12010
12011         * error.c, error.h: New error class, IS (Installation Script
12012         error), used in those instances where the error is in the
12013         installation, but there is a script file or installation file that
12014         can be usefully referred to.
12015         
12016         * output.c: Change many IE classes to IS classes.
12017
12018         * cases.c, command.c, common.c, crosstabs.q, expr-evl.c,
12019         frequencies.q, list.q, vars-prs.c, vfm.c: Removed reference to
12020         HAVE_MALLOC_H because Borland C++ alloca() is broken, so why
12021         include the corresponding header?
12022         
12023         * glob.c: (init_glob) Don't malloc term_buffer under Checker.
12024         Don't bail out if termcap can't be read.
12025
12026         * som.c: (som_destroy_table) Removed.
12027         (som_reduce_table, som_destroy_all_tables) New functions.
12028         (som_crush) New function, not implemented.
12029         
12030         * som.h: New table option STAB_CRUSH.  Comment fix.  New struct
12031         som_submission_form.  Function prototypes revised.
12032
12033         Outputting huge tables (1000s of rows) a few rows at a time
12034         is supported, though untested.  May even break everything.
12035         Actually, the code doesn't even compile right now.
12036         * som.c: (struct som) New fields htv, nt, seq_no.
12037         (som_submit_table) Multiple arguments changed to a single
12038         pointer to struct submission_form.  Only increments subtable_num
12039         if seq_no is zero.  Only destroys table if it's not going to
12040         be reused.
12041         (replicate_table) New function.
12042         (output_table) Comment fix.
12043         (examine_table) Changed inline code to code calling
12044         replicate_table().  Calculates htv.  Supports partial tables.
12045         (draw_title) Removed comment.
12046         (build_target) Only allows for title on first part of partial
12047         tables.
12048         (dump_plain_table) Only resets table chunk number on first part
12049         of partial tables; FIXME: doesn't work quite right.  Supports
12050         partial tables.
12051         (dump_page) Titles only on first part of partial tables.
12052
12053 Fri Jul  5 20:16:19 1996  Ben Pfaff  <blp@gnu.org>
12054
12055         * Thanks to an unreliable IDE hard drive, I have spent the last
12056         day reconstructing my Debian GNU/Linux installation and redoing
12057         the previous day's changes--somehow I managed to save every file
12058         except for output.c and output.h.  So the following changes could
12059         really be considered independent of the output.c, output.h changes
12060         from Jul 4.
12061
12062         * output.h, output.c: Moved the outp_configure_vec global var,
12063         outp_names struct, and enum set OUTP_S_* from output.h to output.c.
12064         outp_configure_vec is now static.
12065         
12066 Thu Jul  4 20:20:24 1996  Ben Pfaff  <blp@gnu.org>
12067
12068         * The entire philosophy behind configuration of the output drivers
12069         changed.  Now there is a termcap-type configuration where drivers
12070         to be read are determined beforehand, rather than parsing the
12071         entire output init file and storing it in memory & deciding what
12072         to actually use later.  Faster & more memory-efficient at the same
12073         time, cool.
12074         
12075         * output.c: Comment fix.  Removed outp_init_drivers global var.
12076         Removed all references to synonyms.  New structure outp_defn.  New
12077         global vars outp_macros, outp_configure_vec.
12078         (search_name, delete_name, add_name, check_configure_vec,
12079         expand_name, find_defn_value) New static functions.
12080         (outp_configure_clear, outp_configure_add, outp_configure_macro,
12081         outp_read_devices) New extern functions.
12082         (outp_init) Much functionality moved into outp_read_devices.
12083         (outp_read_devices) Format of output init file changed; name of
12084         file is `devices' rather than `output' to avoid Makefile
12085         conflicts.
12086         (outp_clear) Renamed outp_done.
12087         (outp_list_classes) Bug fix, cleaned up.
12088         (outp_list_drivers) Not implemented anymore.
12089         (outp_configure_driver) Now a static function; simplified; now
12090         interpolates macros; supports new structure.
12091         (outp_enable_driver, match_synonym) Removed; all references
12092         removed.
12093         (find_driver) First argument removed.
12094         
12095         * output.h: Global var outp_init_drivers removed; new structure
12096         outp_names; new enum set OUTP_S_*; new global var
12097         outp_configure_vec; function prototypes for output.c exports
12098         updated.
12099         
12100         * main.c: (main) Calls outp_read_devices() after parsing the
12101         command line.
12102         
12103         * cmdline.c: (parse_command_line) New option -v --verbose;
12104         --version changed to -V.  --device option changed syntax to just
12105         take a single device name.  Accepts key=value declaration of
12106         output init file macros.  Syntax message updated.
12107
12108         * filename.c: (expand_line) New function.
12109         (interp_environ_vars) Renamed interp_vars; no longer uses
12110         fixed-size buffer.
12111         (blp_getenv) Allows $ARCH and $VER pseudo-environment-vars to be
12112         overridden by real environment vars.
12113         (search_path) Uses verbose_msg() instead of #ifdef'd printf().
12114         * filename.h: interp_environ_vars() renamed interp_vars().
12115         
12116         * error.c, error.h: Added extern variable `verbosity', message
12117         class MM.
12118         
12119         * error.c: (vmsg) Support message class MM.
12120         (verbose_msg) New function.
12121
12122         * descript.q: (generate_z_varname) Bug fix in generation of
12123         Z-score varnames.
12124         (dump_z_table) Bug fix in column headers.
12125         
12126         * ascii.c: (ascii_init_driver) Changed minimum number of lines per
12127         page from 29 to 15.  Don't set a default for ops[OPS_INIT,
12128         OPS_DONE].  Writes the uninit string when the driver is closed.
12129         (ascii_open_page) Write the init string before the first page.
12130         (output_shorts) Form of main loop changed from `while' to `for'.
12131         Bug fix with overstrikes: the character is printed *after* the
12132         backspace.  Eliminated a lot of `& 0xff' modifiers.
12133         (advance_to_left_margin) New function.
12134         (return_carriage, output_lines) Handle left margin.
12135
12136 Thu Jul  4 00:35:59 1996  Ben Pfaff  <blp@gnu.org>
12137
12138         * ascii.c: New option `carriage-return-style'.
12139
12140         * ascii.c: (count_fancy_chars) New function.
12141         (delineate, text_metrics) Use new function; bug fixes regarding
12142         rich text strings.
12143         (text_draw) Bug fix with rich text.
12144         (output_string, output_shorts) Reordered.
12145         (output_shorts) Now handles boxchars and some overstrike font
12146         changes.
12147         (output_char, return_carriage) New functions.
12148         (output_lines) Now handles overstriking and font changes properly;
12149         some code moved to output_shorts.
12150
12151 Tue Jul  2 22:13:23 1996  Ben Pfaff  <blp@gnu.org>
12152
12153         [GLOBAL_DEBUGGING]
12154         * ascii.c: New member `debug' in ascii_driver_ext.
12155         (ascii_init_driver, delineate) Uses new member.
12156
12157         Now you can set a vertical height on writing text.
12158         * ascii.c: (delineate) Keeps track of vertical position.
12159         (text_draw) No longer considers fully justified text an internal
12160         error.
12161         
12162         * output.h: New flag OUTP_T_VERT; other OUTP_T_ values changed.
12163
12164         Tables' titles are drawn; they can have variable height.
12165         * som.c: `som' struct has new member, title_height.
12166         (draw_title) New argument.  Moved within file.  All caller
12167         changed.
12168         (build_target) New argument, amount of space needed for first row.
12169         Calculates height of title, takes that into account.  All callers
12170         changed.
12171         (dump_plain_table, dump_columnated_table) Took calculation of y1,
12172         y2 out of loop.
12173         (dump_columnated_table) [GLOBAL_DEBUGGING] Debugging code
12174         improved.
12175         (dump_columnated_table) Organized for readability.
12176         (dump_page) Makes use of som.title_height.
12177
12178         * som.c: Many comment bug fixes.
12179
12180         * descript.q: (try_name, generate_z_name) Bug fix regarding
12181         generation of Z-score variable names.
12182         * var.h: Removed num from descriptives_proc; all referents removed.
12183
12184 Mon Jul  1 22:13:39 1996  Ben Pfaff  <blp@gnu.org>
12185
12186         * ascii.c: (ascii_line_horz, ascii_line_vert,
12187         ascii_line_intersection) Added debugging code.
12188
12189         Added a descriptive line above each table to describe it.
12190         * command.c: (parse_cmd) Calls som_new_series.
12191         
12192         * som.c: New static vars table_num, subtable_num.  New `som'
12193         member `title'.
12194         (dump_page) New arguments.
12195         (som_submit_table) Handle new variables.
12196         
12197         * som.c, som.h: (som_submit_table) New arguments.  All callers
12198         changed.
12199         (som_new_series) New function.
12200         (build_target) Makes room for extra line.
12201         (draw_title) New function.
12202         (dump_page) Calls draw_title.  Bug fix: doesn't always set
12203         som.ext->cp to 0.
12204         
12205         Columnation of tables support.
12206         * som.h: Deleted fr, lr, ri from som_table.  Reorganized.
12207         
12208         * som.c: Deleted references to fr, lr, ri.
12209         (som_columnate) Bux fix: sets group member of table.
12210         (som_add_options) Function removed.
12211         (dump_table) Split into three functions; extensively reworked.
12212         
12213         * descript.q: (dump_z_table) Better output table formatting; added
12214         title support to correspond to som.h changes.
12215         (display) Title support.
12216
12217         * output.h: Added OUTP_T_NONE.
12218         
12219 Mon Jul  1 13:00:00 1996  Ben Pfaff  <blp@gnu.org>
12220
12221         * descript.q: Improved handling of Z scores; still not perfect.
12222         
12223         * output.h, ascii.c: Added hook for getting em width of current
12224         font.
12225         
12226         * som.c: Uses new em-width hook.  Added debugging code to
12227         several functions.
12228         (som_columnate) New argument.
12229         (som_add_options) Removed.
12230
12231 Jun 29 17:40:47 1996  Ben Pfaff  <blp@gnu.org>
12232
12233         * som.h, som.c, output.c, output.h, ascii.c: Updated to work with
12234         rules as a property of the table instead of as a property of the
12235         cells.
12236         
12237         * ascii.c: Added `header' to table of options.
12238         
12239         * descript.q: Added even shorter statistic names; modified to work
12240         with new som interface.
12241         
12242         * misc.c (blp_getdelim): Bug fix.
12243         
12244         * version.c: includes 'conf.h'.
12245         
12246 ----------------------------------------------------------------------
12247 Local Variables:
12248 mode: change-log
12249 version-control: never
12250 End: