Handle case of a lookup table as the active file.
[pspp-builds.git] / src / ChangeLog
1 Tue May 24 21:52:55 2005  Ben Pfaff  <blp@gnu.org>
2
3         * get.c: (mtf_processing) Handle case of a lookup table as the
4         active file.  Thanks to John Darrington for reporting this bug.
5
6 Wed May 25 10:27:02 WST 2005 John Darrington <john@darrington.wattle.id.au>
7         
8         * alloc.c alloc.h: (xcalloc) changed signature to imitate the
9         POSIX  calloc function.
10         
11         * crosstabs.q get.c vars-prs.c: Updated calls to xcalloc to
12         reflect new signature.
13
14         * sfm-read.c: Now much more robust in the face of badly formed
15         system files.
16
17 Mon May 23 11:57:31 WST 2005 John Darrington <john@darrington.wattle.id.au>
18
19         *sfm-read.c: Fixed some bugs regarding long string continuation
20         records, which the previous fix uncovered.
21
22 Sat May 21 12:48:34 WST 2005 John Darrington <john@darrington.wattle.id.au>
23
24         * sfm-read.c, sfmP.h:  Allow reading of system files when the 
25         case_size value in the header is -1.  Also changed some Errors to 
26         Warnings when reading system files.
27
28 Tue May 17 21:00:57 2005  Ben Pfaff  <blp@gnu.org>
29
30         * data-list.c: (data_list_trns_free) Don't free the argument
31         because cancel_transformations() will do that itself.
32         (data_list_source_destroy) Destroy the argument to
33         data_list_trns_free(), because it no longer does so itself.
34
35 Tue May 17 18:29:35 2005  Ben Pfaff  <blp@gnu.org>
36
37         * data-out.c: (format_and_round) Don't output leading `-' if value
38         rounds to zero.
39
40 Tue May 17 00:06:43 2005  Ben Pfaff  <blp@gnu.org>
41
42         Fix PR 11119.
43
44         * som.c: (output_encodings) If some cell in the table won't fit
45         with the horizontal or vertical headers, cancel those headers.
46
47         * som.h: (struct som_table_class) Add fits_width, fits_length,
48         set_headers members.
49
50         * tab.c: (tabi_fits_width) New function.
51         (tabi_fits_length) New function.
52         (tabi_set_headers) New function.
53         (global var tab_table_class) Add the new functions as appropriate
54         members.
55         
56 Mon May 16 22:34:06 2005  Ben Pfaff  <blp@gnu.org>
57
58         Fix rest of PR 13054.
59
60         * format.def: Fix EDATE, SDATE, ADATE, JDATE, QYR, MOYR, WKYR,
61         DATETIME, TIME system/portable file values.
62
63 Mon May 16 22:31:15 2005  Ben Pfaff  <blp@gnu.org>
64
65         * data-list.c: (parse_free) Use make_input_format().
66         
67         * data-out.c: (num_to_string) Use make_output_format().
68
69         * dictionary.c: (dict_create_var) Ditto.
70
71         * format.c: (global var f8_2) New var.
72         (make_input_format) New function.
73         (make_output_format) New function.
74
75         * get.c: (cmd_match_files) Use make_output_format().
76
77         * list.q: (cmd_list) Ditto.
78
79         * matrix-data.c: Ditto.
80
81         * sfm-read.c: (parse_format_spec) Check output specifier
82         thoroughly.
83
84         * tab.c: (tab_float) Use make_output_format().
85
86 Sun May 15 23:38:10 2005  Ben Pfaff  <blp@gnu.org>
87
88         Fix more of PR 13054.
89         
90         * format.def: FMT_A should allow 255-character output.  FMT_AHEX
91         should allow 510-character input and output.
92
93         * data-out.c: (num_to_string) Get rid of NEW_STYLE option.
94         (convert_E) Handle non-finite values.
95         (try_F) Rewrite.
96         (format_and_round) New function.
97         (convert_infinite) New function used by try_F() and convert_E().
98
99 Sun May 15 23:36:55 2005  Ben Pfaff  <blp@gnu.org>
100
101         Regularize string and buffer function names so that they make some
102         kind of sense.
103
104         * str.c: (mm_reverse) Rename buf_reverse().  Update all
105         references.
106         (mm_find_reverse) Rename buf_find_reverse().  Update all
107         references.
108         (mm_case_compare) Rename buf_compare_case().  Update all
109         references.
110         (st_compare_pad) Rename buf_compare_rpad().  Update all
111         references.
112         (str_compare_rpad) New function.
113         (st_bare_pad_copy) Rename buf_copy_str_rpad().  Update all
114         references.
115         (buf_copy_str_lpad) New function.
116         (st_bare_pad_len_copy) Rename buf_copy_rpad().  Update all
117         references.
118         (st_pad_copy) Rename str_copy_rpad().  Update all references.
119         (st_trim_copy) Rename str_copy_trunc().  Update all references.
120         (st_uppercase) Renamed str_uppercase().  Update all references.
121         
122 Sat May 14 08:22:26 WST 2005 John Darrington <john@darrington.wattle.id.au>
123
124         * dfm-read.c: Fixed polarity of test in dfm-close-reader.  Closes 
125         Bug #13082
126
127 Tue May 10 20:08:18 2005  Ben Pfaff  <blp@gnu.org>
128
129         * data-in.c: (data_in) Add assertion to check input specifier.
130
131         * data-out.c: (data_out) Add assertion to check output specifier.
132
133 Tue May 10 19:56:35 2005  Ben Pfaff  <blp@gnu.org>
134
135         Start to fix PR 13054.
136
137         * format.c: (check_input_specifier) Improve error message.
138         (check_input_specifier) Check F, COMMA, and DOLLAR formats for
139         valid decimal places.
140         (check_output_specifier) Ditto (but different criteria).
141         (convert_fmt_ItoO) Assert valid input and output specifiers.
142         Also, if input specifier has *any* decimal places, make the output
143         specifier 1 place wider.
144
145 Mon May  9 07:14:29 WST 2005 John Darrington <john@darrington.wattle.id.au>
146
147         * sysfile-info.c: Fixed bug [# 13024 ]
148
149 Sun May  8 13:52:12 2005  Ben Pfaff  <blp@gnu.org>
150
151         "Fix" PR 13021 by disabling FILE TYPE.  Eventually, we should
152         actually implement it.
153
154         * command.c: (FILE_TYPE_okay) Always return 1.
155
156         * command.def: Change FILE TYPE, END FILE TYPE into UNIMPL.
157
158         * file-type.c: Add prototypes to get rid of warnings.
159
160 Sun May  8 08:08:07 WST 2005 John Darrington <john@darrington.wattle.id.au>
161
162         * barchart.c box-whisker.c cartesian.c piechart.c plot-hist.c: Fixed 
163         more ISO/IEC 9899:1990 conformance issues.
164
165 Wed May  4 23:54:02 2005  Ben Pfaff  <blp@gnu.org>
166
167         Fix PR 12948.  See also new test in
168         tests/bugs/match-file-scratch.sh.
169         
170         * get.c: (mtf_merge_dictionary) Don't compact dictionary because
171         that deletes scratch variables that someone else might be using,
172         and because we can't reassign our sources' value indexes.
173         Instead, simply don't copy scratch variables into the master
174         dictionary.
175
176         * dictionary.c: (dict_compact_values) Delete variables from the
177         dictionary passed in, not from default_dict (!).
178
179 Tue May  3 22:25:17 2005  Ben Pfaff  <blp@gnu.org>
180
181         Improve hash.c comments, error-checking.
182         
183         * hash.c: (struct hsh_table) [NDEBUG] Add hash_ordered member.
184         (hsh_create) size == 0 should *not* return NULL!  Set
185         hash_ordered.
186         (hsh_clear) Set hash_ordered.
187         (locate_matching_entry) Check hash_ordered.
188         (hsh_rehash) Rename rehash().  Add assertion.  Set hash_ordered.
189         (hsh_data) Set hash_ordered.  Add const-ness to return value and
190         update all callers.
191         (hsh_sort) Ditto.       
192
193 Wed May  4 08:50:11 WST 2005 John Darrington <john@darrington.wattle.id.au>
194
195         * casefile.c: Removed unnecessary #include <valgrind/valgrind.h>
196
197 Tue May  3 19:14:48 WST 2005 John Darrington <john@darrington.wattle.id.au>
198
199         * copyleft.c: Updated copyright date.
200
201         * Makefile.am: Removed erroneous explicit "-lplot"
202
203         * examine.q oneway.q: Made these files conform to ISO/IEC 9899:1990
204
205 Tue May  3 16:20:31 WST 2005 John Darrington <john@darrington.wattle.id.au>
206
207         * command.c command.def: Added description string for unimplemented commands.
208
209         * oneway.q: Sorted the hash tables before shipping out the results. Closes 
210         bug [#12931].
211
212 Mon May  2 23:45:01 2005  Ben Pfaff  <blp@gnu.org>
213
214         Code improvements.
215         
216         * data-list.c:  (parse_fixed) Use lex_end_of_command().
217         (parse_free) Ditto.
218         (cmd_repeating_data) Set cont_end.num in right situations.
219         (parse_repeating_data) Remove redundant test.
220
221 Mon May  2 23:37:19 2005  Ben Pfaff  <blp@gnu.org>
222
223         Partial fix for PR 12859.
224         
225         * data-list.c: (cmd_data_list) Add transformation properly in
226         vfm_source == NULL case.
227
228 Mon May  2 23:27:28 2005  Ben Pfaff  <blp@gnu.org>
229
230         * lexer.c: (lex_error) Improve error messages.
231
232 Mon May  2 22:28:17 2005  Ben Pfaff  <blp@gnu.org>
233
234         * get.c: (cmd_match_files) Check token type before trying to match
235         tokid.  Fixes PR 12923.
236
237 Mon May  2 22:16:51 2005  Ben Pfaff  <blp@gnu.org>
238
239         * flip.c: [HAVE_SYS_TYPES_H] Include <sys/types.h>.  Fixes PR
240         12789.
241
242 Mon May  2 22:02:52 2005  Ben Pfaff  <blp@gnu.org>
243
244         * expressions/generate.pl: (get_token) Make use of /g
245         backward-compatible with Perl 5.6.1.
246
247 Sun May  1 23:00:19 2005  Ben Pfaff  <blp@gnu.org>
248
249         * var-display.c: (cmd_variable_alignment) Fix memory leak.
250         (cmd_variable_level) Ditto.
251
252 Sun May  1 22:49:04 2005  Ben Pfaff  <blp@gnu.org>
253
254         Hash table had buggy deletion function.  The fix required changing
255         other functions to do probing in the required order.
256
257         * hash.c: (locate_matching_entry) Rewrite and change interface.
258         (hsh_rehash) Rewrite to use locate_matching_entry().
259         (hsh_probe) Ditto.
260         (hsh_find) Ditto.
261         (hsh_delete) Ditto.  Also, fix stupid bugs.
262
263 Sun May  1 22:24:58 2005  Ben Pfaff  <blp@gnu.org>
264
265         * dictionary.c: (dict_clone) Properly copy vectors.
266
267 Sun May  1 22:07:58 2005  Ben Pfaff  <blp@gnu.org>
268
269         New implementation of long variable names.  Each variable has a
270         "normal" name, which may be up to 64 bytes long and which is used
271         for all normal operations.  Variables may have a "short" name,
272         which is limited to 8 bytes and used only for system and portable
273         file input and output.
274         
275         Make tokid case-preserving.  Update most uses of tokid to treat it
276         case-insensitively.
277
278         Update many commands to deal with long variable names.
279
280         * autorecode.c: (cmd_autorecode) Use strcasecmp() instead of strcmp().
281
282         * command.c: (cmd_parse) Ditto.
283         (match_strings) Use toupper() before comparing characters.
284         (conflicting_3char_prefixes) Use mm_case_compare() instead of
285         memcmp().
286         (cmd_match_words) Ditto.
287
288         * compute.c: (lvalue_parse) Use st_trim_copy() instead of
289         strncpy().
290
291         * count.c: (struct cnt_var_info) Change n[] to fit long var name.
292         Use st_trim_copy() instead of strcpy().
293
294         * data-in.c: (parse_enum) Use mm_case_compare() instead of
295         memcmp().
296
297         * data-list.c: (struct dls_var_spec) Change name[] to fit long var
298         name.
299         (parse_free) Use st_trim_copy() instead of strcpy().
300
301         * descript.c: (struct dsc_var) Change z_name[] to fit long var
302         name.
303         (try_name) Use strcasecmp() instead of strcmp().
304         (generate_z_varname) Use st_trim_copy() instead of strcpy().
305         (descriptives_compare_dsc_vars) Use strcasecmp() instead of
306         strcmp().
307
308         * dictionary.c: (struct dictionary) Removed `long_name_tab'
309         member.
310         (compare_long_names) Removed.
311         (hash_long_name) Removed.
312         (dict_create) Don't initialize `long_name_tab' member.
313         (dict_clone) Copy short names into new dictionary. 
314         (dict_clear) Don't clear `long_name_tab' member.
315         (dict_get_varname_block) Removed.
316         (dict_add_longvar_entry) Removed.
317         (free_nte) Removed.
318         (dict_destroy) Don't destroy `long_name_tab' member.
319         (dict_create_var_from_short) Removed.
320         (dict_create_var_x) Removed.
321         (dict_create_var) Get rid of longname handling.
322         Clear short name.
323         (dict_clone_var) Get rid of longname parameter and longname
324         handling.
325         (dict_lookup_var) Get rid of longname handling.
326         (dict_reorder_var) New function.
327         (dict_rename_var) Clear short name.
328         (dict_rename_vars) Get rid of longname handling.  Clear short
329         names.
330         (dict_create_vector) Support long vector names.
331         (dict_lookup_vector) Use strcasecmp() instead of strcmp().
332         (quasi_base27) Removed.
333         (make_short_name) Removed.
334         (compare_strings) New function.
335         (hash_string) New function.
336         (dict_assign_short_names) New function.
337
338         * file-handle.q: (get_handle_with_name) Use strcasecmp() instead
339         of strcmp().
340         (get_handle_for_filename) Support long handle names.
341
342         * file-type.c: (struct col_spec) Make `name' fit long var names.
343         (cmd_file_type) Use strcasecmp() instead of strcmp().
344
345         * flip.c: (make_new_var) Rewrite.
346         (flip_sink_write) Use st_trim_copy() instead of strncpy().
347
348         * format.c: (parse_format_specifier_name) Use mm_case_compare()
349         instead of memcmp().
350
351         * get.c: (cmd_save_internal) Rephrase.
352         (rename_variables) Drop test for identical variable name.
353         (struct mtf_proc) Change `first', `last' to fit long var name.
354
355         * hash.c: (hsh_hash_case_string) New function for case-insensitive
356         string hashing.
357
358         * lexer.c: (restore_token) Use st_trim_copy() instead of
359         strncpy().
360         (lex_get) Don't uppercase string when copying into tokid.
361         (lex_put_back_id) Use st_trim_copy() instead of
362         strncpy().
363
364         * list.q: (determine_layout) Consider length of variable names in
365         choosing vertical layout.
366
367         * matrix-data.c: (cmd_matrix_data) Use strcasecmp() instead of
368         strcmp().
369         (string_to_content_type) Ditto.
370
371         * modify-vars.c: (compare_variables_given_ordering) Ditto.
372         (struct var_renaming) Change `new_name' to fit long var name.
373         (compare_var_renaming_by_new_name) Use strcasecmp() instead of
374         strcmp().
375
376         * pfm-read.c: (read_variables) Disallow system variables in system
377         files.
378         (write_variables) Call dict_assign_short_names() and use
379         short_name[] members.
380
381         * repeat.c: (internal_cmd_do_repeat) Use strcasecmp() instead of
382         strcmp().
383
384         * sfm-read.c: (sfm_open_reader) Rewrite code for long variable
385         map.  Reorder variables into same order as long variable map.
386         (read_variables) Set short name.
387
388         * sfm-write.c: (sfm_open_writer) Call dict_assign_short_names().
389         (write_variable) Use st_bare_pad_copy().
390         (write_longvar_table) Rewrite.
391
392         * str.c: (mm_case_compare) New function.
393
394         * sysfile-info.c: (compare_vectors_by_name) Use strcasecmp()
395         instead of strcmp().
396
397         * t-test.q: (tts_custom_groups) Remove redundant test.
398         (tts_custom_pairs) Ditto.
399
400         * var.h: (struct variable) Change `name' to fit long var names.
401         Remove `longname'.  Add `short_name' member.  Reorder some
402         variables.
403         (struct name_table_entry) Removed.
404         (struct vector) Change `name' to fit long vector names.
405
406         * vars-atr.c: (var_is_valid_name) Allow long var names.
407         (compare_var_names) Use strcasecmp() instead of strcmp().
408         (compare_var_ptr_names) Ditto.
409         (hash_var_name) Use hsh_hash_case_string().
410         (hash_var_ptr_name) Ditto.
411         (var_set_short_name) New function.
412         (var_clear_short_name) New function.
413         (var_set_short_name_suffix) New function.
414
415         * vars-prs.c: (parse_DATA_LIST_vars) Support long names.
416         Use strcasecmp() instead of strcmp().
417         (struct array_var_set) Removed `longname_tab'.
418         (array_var_set_lookup_var_idx) Drop longname_tab support.
419         (array_var_set_destroy) Don't destroy `longname_tab'.
420         (var_set_create_from_array) Don't create `longname_tab'.
421
422         * vector.c: (cmd_vector) Use strcasecmp() instead of strcmp().
423         Support long names.
424
425         * expressions/parse.c: (word_matches) Use mm_case_compare()
426         instead of memcmp().
427         (compare_strings) New function.
428         (lookup_function) Use compare_strings() instead of strcmp().
429         
430 Sun May  1 22:07:43 2005  Ben Pfaff  <blp@gnu.org>
431
432         * algorithm.c: (move_element) New function.
433
434 Sun May  1 22:05:35 2005  Ben Pfaff  <blp@gnu.org>
435
436         * aggregate.c: (parse_aggregate_functions) Always initialize
437         destvar.
438
439 Sun May  1 22:03:47 2005  Ben Pfaff  <blp@gnu.org>
440
441         * aggregate.c: (cmd_aggregate) Use dict_clone_var_assert().
442
443         * dictionary.c: (dict_clone) Ditto.
444         (dict_clone_var_assert) New function.
445
446         * get.c: (mtf_merge_dictionary) Use dict_clone_var_assert().
447
448 Sun May  1 15:05:54 WST 2005 John Darrington <john@darrington.wattle.id.au>
449
450         * error.c: Added a string for the compiler version to the
451         request_bug_report_and_abort function.
452
453         * groff_font.c, font.c: Removed manpage(1) style references from 
454         comments, because RMS frowns upon them.
455
456 Thu Apr 28 18:52:06 2005  Ben Pfaff  <blp@gnu.org>
457
458         * expressions/parse.c: Improve previous fix for PR 12858 (LAG).
459
460 Fri Apr 29 09:28:00 WST 2005 John Darrington <john@darrington.wattle.id.au>
461
462         * expressions/parse.c: Added handler for OP_LAG_Vn and OP_LAG_Vs.  
463         Fixed bug [#12858] .
464
465 Wed Apr 27 12:42:34 WST 2005 John Darrington <john@darrington.wattle.id.au>
466
467         * loop.c recode.c repeat.c: Fixed a couple of instances of SHORT_NAME_LEN 
468         which should be LONG_NAME_LEN
469
470 Wed Apr 27 07:43:50 WST 2005 John Darrington <john@darrington.wattle.id.au>
471
472         * command.def echo.c:  Added the ECHO command.
473
474 Mon Apr 25 22:55:59 2005  Ben Pfaff  <blp@gnu.org>
475
476         Finish fixing MATCH FILES (PR 11677).
477
478         * get.c: (trim_dictionary) Rewrite in terms of drop_variables(),
479         keep_variables(), rename_variables().
480         (drop_variables) New function.
481         (keep_variables) New function.
482         (struct mtf_file) Rename `in' to `in_name'.  Add `in_var'.
483         (cmd_match_files) Deal with in_var.  Use drop_variables(),
484         keep_variables().  When IN is specified, require BY.  Set master
485         variables after master dictionary is complete.  Add IN variables
486         after master dictionary is complete.
487         (mtf_free_file) Free `in_name'.
488         (mtf_delete_file_in_place) Set in_var value to 0.
489         (mtf_read_nonactive_records)  Rephrase.
490         (mtf_processing) Support IN.  Rephrase.  Fix bugs.
491         (mtf_merge_dictionary) Don't set master variables; we do that
492         later now.
493         (get_master) Don't insist that there's a master variable.
494         
495 Mon Apr 25 22:55:22 2005  Ben Pfaff  <blp@gnu.org>
496
497         Kluge to make some variable renaming sort of work.
498         Needs real fix.
499
500         * dictionary.c: (dict_rename_var) Call dict_add_longvar_entry().
501
502 Mon Apr 25 22:52:28 2005  Ben Pfaff  <blp@gnu.org>
503
504         Add functions for comparing sets of variables between cases.
505         Use the functions.
506
507         * case.c: (case_compare) New function.
508         (case_compare_2dict) New function.
509         
510         * aggregate.c: (struct agr_proc) Remove `prev_break' member.  Add
511         `break_case'.
512         (cmd_aggregate) Nullify break_case.  Don't call
513         initialize_aggregate_info().
514         (agr_destroy) Destroy break_case.
515         (aggregate_single_case) Rewrite.  Use case_compare().
516         (dump_aggregate_info) Copy from break_case into output.
517         (initialize_aggregate_info) Copy break_case from input.
518
519         * get.c: (mtf_compare_BY_values) Use case_compare_2dict().
520
521         * vfm.c: (equal_splits) Use case_compare().
522
523 Sat Apr 23 17:01:04 WST 2005 John Darrington <john@darrington.wattle.id.au>
524
525         * dictionary.c vars-prs.c sfm-write.c: Fixed some memory leaks
526
527 Sun Apr 17 23:08:15 2005  Ben Pfaff  <blp@gnu.org>
528
529         Start work on fixing MATCH FILES.
530
531         * get.c: (enum operation) Remove OP_MATCH.
532         (trim_dictionary) Change return value to bool.  Don't support
533         OP_MATCH.
534         (struct mtf_file) Remove `first', `last' members.
535         (struct mtf_proc) Add `first', `last' members.  Change mtf_case
536         from `struct ccase *' to `struct ccase'.  Remove `by' member.
537         (cmd_match_files) Essentially rewrite.
538         (mtf_free) Don't free `by' member.  Destroy `mtf_case' member.
539         (mtf_read_nonactive_records) mtf_ parameter is not unused.
540         (mtf_processing) Ditto.  Also rephrase some code.
541         (mtf_merge_dictionary) Rewrite for easy comprehension.  
542
543 Sun Apr 17 23:06:00 2005  Ben Pfaff  <blp@gnu.org>
544
545         * matrix-data.c: (wr_output_data) [DEBUGGING] Fix compilation
546         error.
547
548         * q2c.c: (dump_token) [DEBUGGING] Fix compilation error.
549         
550 Thu Apr 14 2005 John Darrington
551
552         * var-display.c: New file.
553
554         * format.h var.h sfm-read.c sfm-write.c dictionary.c :  Added 
555           display_width, measure and alignment parameters to variables.
556
557         * aggregate.c command.def compute.c count.c data-list.c descript.c
558           dictionary.c dictionary.h expr-prs.c file-type.c flip.c get.c 
559           lexer.c lexer.h loop.c modify-vars.c pfm-read.c recode.c repeat.c 
560           sfm-read.c sfm-write.c sfm-write.h sfmP.h val-labs.c val.h var.h 
561           vars-prs.c vector.c :  
562               - Replaced literal constants representing maximum variable name 
563                 length with macro definitions. 
564               - Added support for long variable names.
565               - Changed lexer such that it no longer makes tokens upper
566                 case, but relies upon case insensitive behaviour of commands.
567
568 Mon Apr  4 22:27:34 2005  Ben Pfaff  <blp@gnu.org>
569
570         * aggregate.c: (parse_aggregate_functions) If dict_create_var()
571         fails, don't dereference the resulting null pointer (PR 12427).
572         Also, fix double free error.
573
574 Sat Mar 19 23:06:02 2005  Ben Pfaff  <blp@gnu.org>
575
576         * aggregate.c: (parse_aggregate_functions) Fix N_NO_VARS format.
577         (accumulate_aggregate_info) Set int1 to 1 for SUM.
578         (dump_aggregate_info) Only make SUM non-missing if there was at
579         least one variate.
580
581 Sat Mar 19 14:48:19 2005  Ben Pfaff  <blp@gnu.org>
582
583         * aggregate.c: (dump_aggregate_info) Properly test whether the
584         destination variable is numeric, when making the result
585         system-missing for columnwise missing values.
586
587 Mon Mar 14 21:52:34 2005  Ben Pfaff  <blp@gnu.org>
588
589         * misc.h: Remove GCC specializations.
590
591 Mon Mar 14 21:07:23 2005  Ben Pfaff  <blp@gnu.org>
592
593         Make sort stable (PR 12313).
594         
595         * sort.c: Don't need to include some headers anymore.
596         (static var min_buffers) New variable.
597         (static var max_buffers) New variable.
598         (static var allow_internal_sort) New variable.
599         (cmd_sort_cases) Add test mode.
600         (sort_execute) Rephrase.
601         (do_internal_sort) Don't try internal sorting if
602         allow_internal_sort is set.
603         (struct external_sort) Renamed `initial_runs' to `runs' and
604         updated all references.
605         (macro MIN_BUFFER_TOTAL_SIZE_RECS) Removed.
606         (macro MIN_BUFFER_SIZE_BYTES) Removed.
607         (macro MIN_BUFFER_SIZE_RECS) Removed.
608         (compare_initial_runs) Removed.
609         (struct record_run) Add member `idx'.
610         (write_initial_runs) Pass increasing values to process_case() as
611         index.
612         (process_case) Add `idx' parameter and use it to initialize new
613         `idx' member.
614         (allocate_cases) Limit allocated buffers to max_buffers.
615         (compare_record_run) Use new `idx' member for last resort
616         comparison, for stability.
617         (end_run) Call casefile_sleep() on irs->casefile, to prevent
618         running out of file descriptors.
619         (struct merge_state) Removed.
620         (merge) Don't need to allocate cases.  Always use MAX_MERGE_ORDER
621         unless we have fewer runs left.  Always merge consecutive runs,
622         for stability.  Return the final run.
623         (mod) Removed.
624         (choose_merge) New function.
625         (merge_once) Rewritten.
626
627 Mon Mar 14 21:05:42 2005  Ben Pfaff  <blp@gnu.org>
628
629         * cmdline.c: (static var testing_mode) Move into
630         parse_command_line().
631         
632 Mon Mar 14 21:05:13 2005  Ben Pfaff  <blp@gnu.org>
633
634         * algorithm.c: (remove_range) New function.
635         (remove_element) New function.
636
637         * dictionary.c: (dict_delete_var) Use remove_element().
638
639         * flip.c: (cmd_flip) Ditto.
640
641 Sun Mar 13 22:52:05 2005  Ben Pfaff  <blp@gnu.org>
642
643         * file-handle.q: (struct file_handle) `open_mode' should not be
644         const.
645         
646 Sun Mar 13 22:40:54 2005  Ben Pfaff  <blp@gnu.org>
647
648         First phase of making SORT CASES stable (PR 12313).
649
650         * sort.c: (struct indexed_case) New structure.
651         (do_internal_sort) Rewrite to make internal sorting stable.
652         (compare_case_dblptrs) Removed.
653         (compare_indexed_cases) New function.
654
655 Sun Mar 13 22:38:40 2005  Ben Pfaff  <blp@gnu.org>
656
657         Clean-ups.
658
659         * casefile.c: (casereader_read_xfer_assert) New function.
660
661         * dictionary.c: (dict_compact_case) New function.
662
663         * flip.c: (struct flip_pgm) New member idx_to_fv.
664         (cmd_flip) Initialize idx_to_fv member.
665         (destroy_flip_pgm) Free idx_to_fv member.
666         (flip_sink_write) Use struct flip_pgm member instead of case_sink
667         member.
668         (flip_sink_write) Ditto.
669
670         * vfm.c: (write_case) Use dict_compact_case() instead of
671         compact_case().
672         (compact_case) Removed.
673         (storage_source_create) Removed `dict' parameter.  All references
674         updated.
675
676         * vfm.h: (struct case_source) Removed `value_cnt' member.  All
677         references removed.
678         (struct case_sink) Removed `dict', `idx_to_fv' members.  All
679         references removed.
680
681 Sun Mar 13 22:35:55 2005  Ben Pfaff  <blp@gnu.org>
682
683         More AGGREGATE fixes.
684
685         * aggregate.c: (accumulate_aggregate_info) Implement NMISS and
686         NUMISS for strings.  Fix FOUT, POUT, FGT, FLT, FIN, FOUT for
687         strings.
688         (initialize_aggregate_info) Fix initialization for MIN, MAX for
689         strings.
690
691 Sat Mar 12 23:26:21 2005  Ben Pfaff  <blp@gnu.org>
692
693         Start work on testing and debugging AGGREGATE.
694
695         * aggregate.c: (cmd_aggregate) Use discrete bool variables instead
696         of a bit-map.  Require proper subcommand ordering.  Make OUTFILE
697         subcommand mandatory.
698         (parse_aggregate_functions) Check that PIN, POUT, FIN, FOUT
699         functions' arguments are in the correct order and swap them if
700         not.
701         (accumulate_aggregate_info) Make SUM include weights.  Add various
702         string functions.
703         (dump_aggregate_info) Add various string functions.
704         (initialize_aggregate_info) Initialize int1 for MIN, MAX.
705
706         * sort.c: (sort_parse_criteria) Add parameter for returning
707         whether any directions were specified.  All callers updated.
708
709 Sun Mar 13 14:54:27 WST 2005 John Darrington <john@darrington.wattle.id.au>
710
711         * t-test.q: Fixed erroneous logic in compare_group_binary.
712
713 Sat Mar 12 13:29:21 2005  Ben Pfaff  <blp@gnu.org>
714
715         * split-file.c: (cmd_split_file) Ignore LAYERED and SEPARATE
716         keywords (PR 11628).
717
718 Sat Mar 12 13:17:12 2005  Ben Pfaff  <blp@gnu.org>
719
720         * vfm.c: (procedure_with_splits) Fix PR 11492: end_func() must be
721         called *before* close_active_file().
722
723 Sat Mar 12 12:20:57 2005  Ben Pfaff  <blp@gnu.org>
724
725         * file-handle.q: (struct file_handle) Change open_mode from
726         character pointer to 3-char array, for safety.  Updated all
727         references.
728
729 Sat Mar 12 12:15:49 2005  Ben Pfaff  <blp@gnu.org>
730
731         Thanks to Ben Kujala <bkujala@oregonchildcare.org> for reporting
732         these bugs.
733         
734         * pfm-read.c: (read_header) Improve error message for many cases
735         in which the input is not actually a portable file.
736
737         * file-handle.q: (fh_open) When we give an error message, actually
738         return NULL.
739
740 Fri Mar 11 11:50:30 2005  Ben Pfaff  <blp@gnu.org>
741
742         * format.c: (check_common_specifier) New function for checks
743         common to check_input_specifier() and check_output_specifier().
744         (check_input_specifier) Use check_common_specifier().
745         (check_output_specifier) Use check_common_specifier().
746         (check_string_specifier) Removed.
747         (check_specifier_type) New function.
748         (check_specifier_width) New function.
749         (get_format_var_width) Fix bug.
750
751         * formats.c: (internal_cmd_formats) Only accept numeric variables.
752
753         * lexer.c: (check_id) Rename lex_id_to_token(), make public,
754         update all references.  Make case-insensitive.
755
756         * pfm-read.c: Essentially rewrite the whole file.  Now much
757         cleaner.
758
759         * print.c: (check_string_width) New function.
760         (fixed_parse_compatible) Use check_string_width(),
761         check_specifier_type().
762         (dump_fmt_list) Ditto.
763
764         * str.c: (st_trim_copy) New function.
765         (st_uppercase) New function.
766
767         * vars-atr.c: (var_is_valid_name) New function.
768         
769         * expressions/parse.c: (type_coercion_core) Use
770         check_specifier_type().
771         
772 Fri Mar 11 11:31:24 2005  Ben Pfaff  <blp@gnu.org>
773
774         * expressions/evaluate.c: (cmd_debug_evaluate) Fix memory leaks.
775
776         * expressions/parse.c: (no_match) Ditto.
777
778 Wed Mar  9 09:54:27 2005  Ben Pfaff  <blp@gnu.org>
779
780         * Makefile.am: (pspp_LDADD) Add libgsl-extras.a.
781
782         * expressions/helpers.c: (struct func_params) Removed.
783         (generalized_idf) Removed.
784         (cdf_beta) Removed.
785         (idf_beta) Removed.
786         (idf_fdist) Use gslextras_cdf_beta_Pinv() instead of idf_beta().
787
788         * expressions/operations.def: Implement IDF.BETA, CDF.BINOM,
789         CDF.GEOM, CDF.HYPER, CDF.NEGBIN, CDF.POISSON using gsl-extras.
790         Implement SIG.F, which I had overlooked previously.
791
792 Tue Mar  8 12:47:53 WST 2005 John Darrington <john@darrington.wattle.id.au>
793
794         * command.c command.def glob.[ch] cmdline.c: Made DEBUG cmds
795         available only in testing mode.
796
797 Sun Mar  6 23:25:40 2005  Ben Pfaff  <blp@gnu.org>
798
799         * data-in.c: Use `bool' throughout, where relevant.
800
801 Sun Mar  6 19:52:22 2005  Ben Pfaff  <blp@gnu.org>
802
803         DATA LIST with free-field formats should not have implied decimal
804         places (PR 12035).  Also clean up data-in.c a bit.
805
806         * data-in.h: (enum) Add DI_IMPLIED_DECIMALS.
807
808         * data-in.c: (apply_implied_decimals) New function.
809         (parse_numeric) Don't adjust exponent if DI_IMPLIED_DECIMALS not
810         set.  Also, get rid of gotos.
811         (parse_Z) Use apply_implied_decimals() if the field doesn't
812         contain a decimal point.
813         (parse_N) Use apply_implied_decimals().
814         (parse_IB) Ditto.
815         (parse_PIB) Ditto.
816         (parse_P) Ditto.
817         (parse_PK) Ditto.
818         (to_roman) Removed.
819         (parse_enum) New function.
820         (macro CHAR_IS_ROMAN) Removed.
821         (macro ROMAN_VALUE) Removed.
822         (parse_month) Use parse_enum().
823         (parse_weekday) Use parse_enum().
824         (parse_DATETIME) Use long for weekday.
825
826         * data-list.c: (read_from_data_list_fixed) Use
827         DI_IMPLIED_DECIMALS.
828
829 Sun Mar  6 17:07:20 2005  Ben Pfaff  <blp@gnu.org>
830
831         When the lexer sees something like `-5' in the input, it has to
832         decide whether it's a negative numeric constant token or a '-'
833         token followed by a positive numeric constant token.  It always
834         decides on the former, and then the parser can call
835         lex_negative_to_dash() if it wants the latter.  However, this
836         doesn't work for the case of `-0', because negative zero is
837         (portably) indistinguishable from positive zero.  So now we divide
838         T_NUM into two tokens, T_POS_NUM and T_NEG_NUM, to make the
839         distinction clear.  This requires a little bit of extra effort,
840         because there were several references to T_NUM in the code base.
841         
842         * lexer.c: (lex_get) Use T_NEG_NUM and T_POS_NUM to distinguish
843         positive and negative numeric constants.
844         (lex_double_p) Renamed lex_is_number().  Changed return type to
845         bool.  Updated all relevant references to T_NUM to instead use
846         this function.
847         (lex_double) Renamed lex_number().  All references updated.
848         (lex_integer_p) Renamed lex_is_integer().  Changed return type to
849         bool.  All references updated.
850         (lex_token_representation) Understand T_NEG_NUM and T_POS_NUM.
851         (lex_negative_to_dash) Ditto.
852         (dump_token) Ditto.
853         
854         * lexer.h: (enum) Add T_POS_NUM, T_NEG_NUM.  Remove T_NUM.
855
856 Sun Mar  6 22:09:20 2005  Ben Pfaff  <blp@gnu.org>
857
858         * expressions/operations.def: (NUMBER) Use DI_IMPLIED_DECIMALS.
859
860 Sun Mar  6 19:33:24 2005  Ben Pfaff  <blp@gnu.org>
861
862         * expressions/operations.def: (VEC_ELEM_NUM) Treat user-missing
863         values as system-missing.
864
865         * expressions/parse.c: (parse_vector_element) Fix order of
866         arguments in call to expr_allocate_binary().
867
868 Sun Mar  6 17:51:05 2005  Ben Pfaff  <blp@gnu.org>
869
870         * expressions/optimize.c: (optimize_tree) Fix optimization bug for
871         x**2.
872
873         * expressions/parse.c: (type_coercion_core) Set *node to NULL on
874         failure, as indicated by function comment.
875         (parse_binary_operators) Always return NULL on type_coercion()
876         failure.  Should have been doing this anyway, but bug in
877         type_coercion_core() filtered through.
878         (parse_add) Fix typo in user message.
879         (parse_primary) Understand T_NEG_NUM and T_POS_NUM.
880
881 Sun Mar  6 10:47:13 2005  Ben Pfaff  <blp@gnu.org>
882
883         * expressions/operations.def: Add VALUE function.
884
885         * expressions/parse.c: (parse_function) Need an unary composite
886         node for variables in A TO B, not a variable node.  Use
887         allocate_unary_variable().
888         (parse_primary) Use allocate_unary_variable().
889         (allocate_unary_variable) New function.
890
891 Thu Mar  3 23:53:32 2005  Ben Pfaff  <blp@gnu.org>
892
893         * expressions/PSPP_expressions.pm: Renamed it back to generate.pl
894         but fixed the real problem that was preventing the build from a
895         separate directory.  I liked it my way better ;-)
896         
897 Thu Mar  3 23:17:51 2005  Ben Pfaff  <blp@gnu.org>
898
899         * expressions/parse.c: (expr_parse) Fix parameter type.  Thanks to
900         John Darrington <john@darrington.wattle.id.au> for reporting this
901         bug.
902
903 Thu Mar  3 22:10:25 WST 2005 John Darrington <john@darrington.wattle.id.au>
904
905         * expressions/Makefile.am expressions/evaluate.h.pl
906           expressions/evaluate.inc.pl expressions/operations.h.pl
907           expressions/optimize.inc.pl expressions/parse.inc.p:
908
909           Renamed generate.pl to PSPP_expressions.pm and adjusted *.pl
910           to suit. 
911
912           Fixed everything so that it can be built from an arbitrary
913           directory.
914         
915 Thu Mar  3 22:08:35 WST 2005 John Darrington <john@darrington.wattle.id.au>
916
917         * Makefile.am : Fixed up CLEANFILES target.
918
919 Mon Feb 28 23:49:56 2005  Ben Pfaff  <blp@gnu.org>
920
921         * str.h: Changed `struct len_string' to `struct fixed_string', a
922         more accurate name.  Updated all references.
923
924 Mon Feb 28 23:35:30 2005  Ben Pfaff  <blp@gnu.org>
925
926         Redo calendar support.  Should now be bug-for-bug compatible.
927         
928         * calendar.c: New file.
929
930         * calendar.h: New file.
931
932         * data-in.c: Use new calendar functions.
933         (parse_sign) Change sense of return value.
934         (calendar_error) New function.
935         (ymd_to_ofs) New function.
936         (ymd_to_date) New function.
937         (parse_DATE) Use new function.
938         (parse_ADATE) Ditto.
939         (parse_EDATE) Ditto.
940         (parse_SDATE) Ditto.
941         (parse_JDATE) Ditto.
942         (parse_QYR) Ditto.
943         (parse_MOYR) Ditto.
944         (parse_WKYR) Ditto.
945         (parse_TIME) Ditto.
946         (parse_DTIME) Ditto.
947         (parse_DATETIME) Ditto.
948
949         * data-out.c: (convert_date) Use new calendar functions.
950
951         * error.c: (err_vmsg) Changed interface to be more sensible.
952         Updated all callers.
953         (dump_message) Don't double new-lines (why did we do this
954         anyway?).
955
956 Mon Feb 28 23:30:25 2005  Ben Pfaff  <blp@gnu.org>
957
958         * sfmP.h: (macro flt64) Moved here from pref.h.orig.
959         (macro FLT64_MAX) Moved here from pref.h.orig.
960
961 Mon Feb 28 23:28:01 2005  Ben Pfaff  <blp@gnu.org>
962
963         * set.q: Support SET EPOCH.
964         (static var set_epoch) New var.
965         (aux_stc_custom_epoch) New function.
966         (stc_custom_epoch) New function.
967         (get_epoch) New function.
968         (stc_custom_pager) [USE_INTERNAL_PAGER] Fix bug.
969
970         * format.c: Make it possible just to check whether a specifier is
971         valid without emitting an error message.
972         (parse_format_specifier_name) Change interface, update all
973         callers.
974         (check_input_specifier) Ditto.
975         (check_output_specifier) Ditto.
976         (parse_format_specifier) Ditto.
977
978 Mon Feb 28 23:24:08 2005  Ben Pfaff  <blp@gnu.org>
979
980         * command.def: Add DEBUG POOL.
981
982         * pool.c: (pool_destroy) Fix bug in deleting this pool from its
983         parent.
984         (pool_clear) Properly account for size of pool gizmo.
985         (pool_realloc) Ditto.
986         (pool_clone) New function.
987
988         * pool.h: Mark our allocation functions MALLOC_LIKE.
989
990 Mon Feb 28 23:21:26 2005  Ben Pfaff  <blp@gnu.org>
991
992         * Makefile.am: Move many definitions into new top-level
993         Make.build.  Add expressions to SUBDIRS.  Add calendar.c,
994         calendar.h.  Remove expr-evl.c, expr-opt.c expr-prs.c, expr.h,
995         exprP.h, expr.def.
996
997         * case.c: (case_resize) New function.
998         (case_swap) New function.
999
1000         * casefile.c: Include mkfile.h.
1001
1002 Fri Feb 25 21:11:35 WST 2005 John Darrington <john@darrington.wattle.id.au>
1003
1004         * sfm-read.c: Fixed a buglet which caused a crash when trying
1005         to read a non-existent file.
1006
1007 Sun Feb 13 16:11:13 2005  Ben Pfaff  <blp@gnu.org>
1008
1009         Fix PR 11955.
1010
1011         * aggregate.c: (parse_aggregate_functions) Code cleanup.
1012         Important part: get rid of spurious copying of function->format to
1013         destvar->print and destvar->write.
1014
1015 Fri Feb 11 00:08:36 2005  Ben Pfaff  <blp@gnu.org>
1016
1017         Fix PR 11916, which was confusing a variable's `index' member
1018         with the variable's position in a var_set.  Although these are
1019         usually the same, they are not for array `var_set's.
1020         
1021         Took advantage of this bug as an opportunity to clean up and
1022         rewrite parse_var_set_vars().
1023
1024         * vars-prs.c: (parse_vs_variable_idx) New function.
1025         (parse_vs_variable) Reimplement in terms of
1026         parse_vs_variable_idx().
1027         (parse_var_idx_class) New function.
1028         (add_variable) New function.
1029         (add_variables) New function.
1030         (parse_var_set_vars) Rewritten.
1031         (struct var_set) Change `lookup_var' member that returns a
1032         variable into `lookup_var_idx' member that returns an int.
1033         Updated the var set implementations in obvious corresponding ways.
1034         Used compare_var_ptr_names(), hash_var_ptr_name() just added.
1035         
1036 Fri Feb 11 00:06:03 2005  Ben Pfaff  <blp@gnu.org>
1037
1038         Use our global variable compare & hash functions and give them
1039         better names.  Add similar functions for dealing with double
1040         pointers to variables.
1041         
1042         * vars-atr.c: (compare_variables) Renamed compare_var_names().
1043         (hash_variable) Renamed hash_var_name().
1044         (compare_var_ptr_names) New function.
1045         (hash_var_ptr_name) New function.
1046         
1047         * t-test.q: (cmd_t_test) Use global compare_var_names(),
1048         hash_var_name().
1049         (compare_var_name) Removed.
1050         (hash_var_name) Removed.
1051
1052 Fri Feb 11 00:04:39 2005  Ben Pfaff  <blp@gnu.org>
1053
1054         Fix dictionary bug.
1055         
1056         * dictionary.c: (compare_variable_dblptrs) Rename
1057         compare_var_ptrs() and fix it to properly dereference the double
1058         pointers.
1059
1060 Mon Feb  7 09:58:15 WST 2005 John Darrington <john@darrington.wattle.id.au>
1061
1062         crosstabs.q examine.q oneway.q q2c.c:  Added a q2c feature to 
1063         declare subcommands as mandatory.  Closed bug #11843
1064
1065 Sat Feb  5 20:35:10 WST 2005 John Darrington <john@darrington.wattle.id.au>
1066         
1067         * getline.c command.[ch] command.def:  Added (very rudimentary)
1068         support for line  completion when in interactive mode.  Partially 
1069         addresses bug #11693
1070         
1071 Mon Jan 31 09:52:51 WST 2005 John Darrington <john@darrington.wattle.id.au>
1072
1073         * examine.q factor_stats.c oneway.q output.c pfm-read.c: Fixed some
1074         problems revealed by valgrind.
1075
1076
1077 Wed Jan 26 11:44:11 WST 2005 John Darrington <john@darrington.wattle.id.au>
1078
1079         * set.q: Affixed a fix to the previous fix such that we'll be OK now
1080         whether or not PAGER is set.
1081
1082 Wed Jan 26 09:25:54 WST 2005 John Darrington <john@darrington.wattle.id.au>
1083
1084         * set.q: Copied the string produced by getenv("PAGER") thus avoiding
1085         "invalid free" errors.  Hopefully fixes bug #11722
1086
1087         * compute.c expr-prs.c: Check that lvalues are populated before 
1088         attempting to destroy them.  Closes bug #11676
1089
1090 Tue Jan 25 21:01:43 WST 2005 John Darrington <john@darrington.wattle.id.au>
1091
1092         * aggregate.c: Initialised the complete agr_proc structure.
1093         Closes bug #11675
1094
1095
1096 Sun Jan 23 23:02:21 2005  Ben Pfaff  <blp@gnu.org>
1097
1098         * print.c: (print_trns_free) Close the dfm writer if there is one,
1099         fixing a memory leak.
1100
1101 Mon Jan 24 12:24:36 WST 2005 John Darrington <john@darrington.wattle.id.au>
1102
1103         * glob.c oneway.q q2c.c t-test.q vfm.c: Still *more* memory leaks 
1104         fixed.
1105
1106
1107 Fri Jan 21 19:54:14 WST 2005 John Darrington <john@darrington.wattle.id.au>
1108
1109         * linked-list.[ch] Added
1110
1111         * examine.q file-handle.[hq] font.h glob.c groff-font.c postscript.c 
1112           set.q:    Yet more memory leaks
1113
1114 Tue Jan 18 23:12:40 WST 2005 John Darrington <john@darrington.wattle.id.au>
1115
1116         * t-test.q examine.q : More memory leaks fixed.
1117
1118 Tue Jan 18 19:26:59 WST 2005 John Darrington <john@darrington.wattle.id.au>
1119
1120         * examine.q  factor_stats.[ch] get.c pfm-read.c: Plugged numerous
1121         memory leaks.
1122
1123 Mon Jan 10 14:43:45 WST 2005 John Darrington <john@darrington.wattle.id.au>
1124
1125         * ascii.c cartesian.c casefile.c chart.h devind.c 
1126           examine.q frequencies.q
1127           html.c output.h piechart.c plot-chart.c plot-hist.c
1128
1129           Integrated the chart rendering into the output stream
1130           (currently only works for html).
1131           
1132           Removed gratuitous use of ifndef NO_CHARTS, and replaced with
1133           dummy-chart.c for compiling without charts.
1134
1135         * mkfile.[ch] Created.  
1136
1137         * som.[ch] tab.[ch]: Changed name of som_table to som_entity
1138         Added type element so we can tell if it's a chart or a table.
1139
1140         * chart.h examine.q piechart.c plot-chart.c plot-hist.c: changed the 
1141         API of charts to be more like that of tables.
1142
1143 Thu Jan 13 21:00:02 WST 2005 John Darrington <john@darrington.wattle.id.au>
1144
1145         * casefile.c main.c: Moved the SIGINT handler from casefile.c to
1146         main.c. Removed the handler for SIGQUIT.
1147
1148 Mon Jan 10 14:43:45 WST 2005 John Darrington <john@darrington.wattle.id.au>
1149
1150         * casefile.c: Added a signal handler to delete temp files on 
1151         SIGINT and SIGQUIT
1152
1153         * permissions.c Inhibited the PERMISSIONS command when SAFER is on.
1154
1155         * command.def Added a lot more unimplemented commands.
1156
1157         * copyleft.[ch] cmdline.c Moved legal information to copyleft.c
1158
1159 Sat Jan  8 23:58:34 2005  Ben Pfaff  <blp@gnu.org>
1160
1161         * sort.c: (compare_initial_runs) Needed additional level of
1162         dereferencing.
1163         (merge_once) Fix plenty of stupid mistakes.
1164
1165 Sat Jan  8 23:55:27 2005  Ben Pfaff  <blp@gnu.org>
1166
1167         * casefile.c: (casefile_sleep) Need to flush_buffer() after
1168         calling casefile_to_disk() or we will lose the last block in the
1169         file if the casefile started out as disk-based.
1170         (casefile_get_reader) Initialize reader->destructive to 0.
1171         (cmd_debug_casefile) Add new test pattern.
1172         (test_casefile) Define new test pattern to make sure
1173         casefile_sleep() works properly.
1174
1175 Fri Jan  7 08:00:05 WST 2005 John Darrington <john@darrington.wattle.id.au>
1176
1177         * Makefile.am chart.[ch]  histogram.[ch] piechart.c (Modified);
1178           plot-hist.c plot-chart.c (Added) Reorganised these files in an
1179           attempt to seperate the creation and processing of charts from their
1180           actuall renedering.
1181
1182         * examine.q frequencies.q generated charts conditional upon the NO_CHARTS
1183           macro.
1184
1185 Thu Jan  6 18:48:58 WST 2005 John Darrington <john@darrington.wattle.id.au>
1186
1187         * main.c Added a signal handler for SIGFPE
1188
1189         * sort.c Somewhat more robust fix to the previous entry.
1190
1191 Wed Jan  5 21:23:31 2005  Ben Pfaff  <blp@gnu.org>
1192
1193         * sort.c: (merge) Fix assertion for proper Huffman merge pattern:
1194         0 == 1 modulo 1.  See Knuth 5.4.9 (vol. 3, 2nd ed.,
1195         pp. 361).  Thanks to John Darrington <john@cellform.com.au> for
1196         reporting the bug.
1197
1198 Wed Jan  5 22:42:26 WST 2005 John Darrington <john@darrington.wattle.id.au>
1199
1200         * case.h Fixed bug # 11307
1201         
1202 Wed Jan  5 08:30:48 WST 2005 John Darrington <john@darrington.wattle.id.au>
1203
1204         * val-labs.c Fixed bug which caused a crash if VALUE LABELS had
1205         a trailing slash.
1206
1207 Mon Jan  3 17:44:37 2005  Ben Pfaff  <blp@gnu.org>
1208
1209         * pfm-read.c: (read_variables) Remove direct manipulation of
1210         v->aux, which is no longer needed.  Fixes PR 11483.
1211
1212 Sat Jan  1 19:01:16 WST 2005 John Darrington <john@darrington.wattle.id.au>
1213
1214         * data-list.c Fixed a bug in parsing delimiters.
1215
1216         * group.c vars-atr.c Fixed buglet in hash/compare functions for alpha
1217         values.
1218
1219         * percentiles.c Properly handled calculation of Tukey hinges where
1220         the number of data is small.
1221
1222         * oneway.q Used the generic value_to_string function for independent
1223         variable instead of trying to do it ourselves.
1224
1225         * box-whisker.c Fixed a buglet which caused a crash if the number of
1226         data was zero
1227
1228
1229 Fri Dec 31 16:47:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
1230
1231         * examine.q box-whisker.c chart.h Implemented boxplots in EXAMINE
1232
1233         * percentiles.c Fixed some bugs when calculating percentiles when
1234         there's a small number of cases.
1235
1236 Wed Dec 29 08:18:08 WST 2004 John Darrington <john@darrington.wattle.id.au>
1237
1238         * percentiles.[ch] Added. Calculates percentiles and Tukey hinges
1239
1240         * examine.q factor_stats.[ch]  Added calculation of percentiles
1241
1242 Fri Dec 24 15:09:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
1243
1244         * t-test.q Fixed bug #11227 Made t-test work when the independent
1245         variable is alpha
1246
1247 Sat Dec 11 11:43:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
1248
1249         * factor_stats.c Fixed calculation of trimmed mean under various
1250         special conditions.
1251
1252 Sat Dec  4 17:14:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
1253
1254         * histogram.c chart.[ch] factor_stats.c frequencies.q
1255
1256         Added code to calculate sensible histogram ranges and limits.
1257
1258 Thu Dec  2 13:37:43 WST 2004 John Darrington <john@darrington.wattle.id.au>
1259
1260         * chart.h Updated to reflect many API changes.
1261
1262         * cartesian.c chart.c Moved the definitions of chart_write_{xy}scale from 
1263         cartesian.c and into chart.c
1264
1265         * factorstats.[ch] Added the histogram calculations
1266
1267         * casefile.c Removed an unused variable.
1268
1269         * frequencies.q examine.q histogram.c  Reworked the API for 
1270         histograms.
1271
1272         * piechart.c  Revised the API for piecharts.
1273
1274         * var.h  Moved the definitions of freq_tab and freq out of var.h
1275         and into frequencies.q where they belong.
1276         
1277 Tue Nov 30 21:10:20 2004  Ben Pfaff  <blp@gnu.org>
1278
1279         * flip.c: (flip_file) Check for off_t separately from fseeko(),
1280         using AC_TYPE_OFF_T.
1281
1282 Tue Nov 30 08:47:41 2004  Ben Pfaff  <blp@gnu.org>
1283
1284         * flip.c: (flip_file) If fseeko() is not available, use long int
1285         for off_t.  Thanks to "Marshall DeBerry" <mdb@radix.net> for
1286         reporting the problem.
1287
1288 Mon Nov 29 12:20:59 WST 2004 John Darrington <john@darrington.wattle.id.au>
1289
1290         * examine.q factor_stats.[ch] Changed stderr to se_mean to avoid
1291         conflict with stdio.
1292
1293 Sun Nov 21 10:32:41 WST 2004 John Darrington <john@darrington.wattle.id.au>
1294
1295         * var-labs.c (var_to_string) Now returns null if the variable is null
1296
1297         * value-labels.c (value_to_string) Made it return null if either the 
1298         value or the variable is null.
1299
1300         * hash.c (hsh_clear) Fixed a buglet.
1301
1302         * examine.q  factor_stats.[ch] Largely  rewrote, because I'd started 
1303         with  the wrong model.
1304
1305         * casefile.[ch] Added a function to return the casereader.case_idx 
1306         member
1307
1308         * examine.q  Implemented the extreme values results.
1309
1310 John Darrington <john@darrington.wattle.id.au>
1311
1312         * settings.h set.c glob.[ch] frequencies.q q2c.c error.c lexer.[ch] 
1313           output.[ch] getline.c 
1314
1315           Plugged some memory leaks
1316
1317 Mon Nov 15 23:47:40 2004  Ben Pfaff  <blp@gnu.org>
1318
1319         Adopt GSL random number generators, paving the way for providing
1320         the complete suite of random number generators on expressions.
1321         
1322         * Makefile.am: Remove random.c, random.h.
1323
1324         * random.c: Removed.
1325
1326         * random.h: Removed.
1327
1328         * algorithm.c: (algo_default_random) Use GSL functions.
1329
1330         * casefile.c: (test_casefile) Use GSL RNG functions.
1331
1332         * expr-evl.c: (expr_evaluate) Use GSL RNG functions for OP_NORMAL,
1333         OP_UNIFORM.
1334
1335         * sample.c: (cmd_sample) Use GSL RNG functions.
1336         (sample_trns_proc) Ditto.
1337
1338         * set.q: (static var set_seed) Removed.
1339         (static var seed_flag) Removed.
1340         (static var rng) New variable.
1341         (aux_stc_custom_seed) No seed value anymore, don't print anything.
1342         (stc_custom_seed) Use new seed functions.
1343         (seed_is_set) Removed.
1344         (get_rng) New function that composes the entire external
1345         interface.
1346         (set_rng) New function.
1347         (random_seed) New function.
1348
1349 Mon Nov 15 22:08:25 2004  Ben Pfaff  <blp@gnu.org>
1350
1351         * expr-evl.c: (expr_evaluate) Fix XDATE.JDAY formula.  Thanks to
1352         John Darrington <john@darrington.wattle.id.au> for reporting this
1353         bug.
1354
1355 Tue Nov 16 13:19:18 WST 2004 John Darrington <john@darrington.wattle.id.au>
1356
1357         * permissions.c command.def Added the PERMISSIONS command
1358
1359 Mon Nov 15 01:33:32 2004  Ben Pfaff  <blp@gnu.org>
1360
1361         * q2c.c: (dump_header) Don't try to emit #includes at very top of
1362         output file because that will precede #include <config.h>, which
1363         is bad.
1364         (main) Add needed headers to /* (header) */ code.
1365
1366 Mon Nov 15 01:21:36 2004  Ben Pfaff  <blp@gnu.org>
1367
1368         Instead of making system or portable file readers responsible for
1369         dropping and reordering variables, make them read full cases and
1370         let the caller take care of any changes.
1371
1372         * get.c: New "case map" structure to handle this.  Use for GET,
1373         IMPORT, MATCH FILES.  Essentially rewrite the whole file.
1374
1375         * pfm-read.c: (pfm_read_case) Read into provided case.  Signature
1376         changed appropriately.
1377
1378         * sfm-read.c: (sfm_read_case) Ditto.
1379
1380 Mon Nov 15 00:47:45 2004  Ben Pfaff  <blp@gnu.org>
1381
1382         Decided that case_serialize() and case_unserialize() were too
1383         abstract.  Also we need a couple more functions to avoid excessive
1384         copying for data in/out fast paths.
1385
1386         * case.c: (case_serial_size) Removed.
1387         (case_serialize) Rename case_to_values() and make its argument
1388         explicitly an array of union values.
1389         (case_unserialize) Rename case_from_values() and make its argument
1390         explicitly an array of union values.
1391         (case_data_all) New function.
1392         (case_data_all_rw) New function.
1393
1394         * casefile.c: (struct casefile) Change buffer from array of
1395         unsigned char to array of union value for better accuracy.
1396         Redefine buffer_used and buffer_size in terms of values, not
1397         bytes.  Remove case_size because it is now redundant with
1398         value_cnt.  Fix up all references to these members.
1399
1400 Mon Nov 15 00:45:46 2004  Ben Pfaff  <blp@gnu.org>
1401
1402         * barchart.c: (struct subcat) Make `label' member const to silence
1403         GCC warning with -Wwrite-strings.
1404
1405         * cartesian.c: (struct dataset) Ditto.
1406
1407         * case.c: Don't re-define NDEBUG if already defined.
1408         Add lots of comments.
1409
1410         * str.c: Fix includes.
1411
1412         * crosstabs.q: Fix includes.
1413
1414         * examine.q: Fix includes.  Fix GCC warning about unused
1415         variables.
1416         
1417         * frequencies.q: (stat macro) Removed and replaced where used by
1418         its expansion.
1419
1420         * list.q: Fix includes.
1421
1422         * oneway.q: Fix includes.
1423
1424         * piechart.c: Fix includes.  Only define M_PI if not already
1425         defined.
1426
1427         * sfm-read.c: (bswap) New function.
1428         (bswap_int32) Write in terms of bswap.
1429         (bswap_flt64) Ditto.
1430
1431         * str.c: (ds_data) Add external definition here, needed because
1432         str.h has only an `extern inline' version.
1433
1434         * value-labels.c: Fix includes.
1435
1436 Mon Nov 15 00:40:55 2004  Ben Pfaff  <blp@gnu.org>
1437
1438         Instead of providing a system or portable file writer with a raw
1439         case in the format needed for output, provide it with a regular
1440         case.  The writer takes care of any needed translation.
1441
1442         * aggregate.c: Adopt new scheme for AGGREGATE.
1443         (struct agr_proc) sfm_agr_case member removed.
1444         (write_case_to_sfm) Removed because the new interface is easier to
1445         use.
1446
1447         * get.c: Adopt new scheme for SAVE, XSAVE, EXPORT.
1448
1449         * pfm-write.c: Implement new scheme.
1450
1451         * sfm-write.c: Ditto.
1452
1453 Mon Nov 15 00:32:24 2004  Ben Pfaff  <blp@gnu.org>
1454
1455         Instead of treating `struct file_handle' as a class to subclass
1456         into data files, system files, and portable files, instead use it
1457         as a helper that coordinates access.  Now it is opaque, too.
1458
1459         This means that most references to a struct file_handle are now
1460         changed into references to one of struct dfm_reader, struct
1461         dfm_writer, struct sfm_reader, struct sfm_writer, struct
1462         pfm_reader, or struct pfm_writer, according to what's being read
1463         or written.
1464
1465         Most related changes are only worth summarizing briefly.
1466
1467         * dictionary.c: (dict_clear) Destroy aux data in deleted
1468         variables.
1469         (dict_clear_aux) New function.
1470         (dict_create_var) Initialize aux, aux_dtor.
1471         (dict_delete_var) Destroy aux data in deleted variable.
1472
1473         * file-handle.h: (struct fh_ext_class) Removed.
1474         (struct file_handle) Removed.
1475         (fh_init_files) Removed.
1476
1477         * file-handle.q: Changed references to a handle's `private' member
1478         to direct references.
1479         (struct private_file_handle) Renamed file_handle.
1480         Add next, open_cnt, type, open_mode, aux members.
1481         (struct file_handle_list) Removed.
1482         (extern var inline_file) Removed.
1483         (static var file_handles) Changed from file_handle_list * to
1484         file_handle *.
1485         (create_file_handle) Initialize new members.
1486         (fh_close_handle) Removed.
1487         (mode_name) New function.
1488         (fh_open) New function.
1489         (fh_close) New function.
1490         (fh_parse_file_handle) Renamed fh_parse().
1491
1492         * glob.c: (init_glob) Remove fh_init_files() call.
1493         
1494         * aggregate.c: use sfm_writer.
1495         (create_sysfile) Removed because the new interface is simpler.
1496         
1497         * apply-dict.c: Use sfm_reader.
1498
1499         * data-list.c: Use dfm_reader.
1500
1501         * file-type.c: Use dfm_reader.
1502
1503         * get.c: Use sfm_reader, sfm_writer, pfm_reader, pfm_writer.
1504
1505         * inpt-pgm.c: Use dfm_reader.
1506
1507         * print.c: Use dfm_writer.
1508
1509         * sysfile-info: Use sfm_reader.
1510
1511         * dfm-read.c: Adopt new file handle infrastructure.
1512
1513         * dfm-write.c: Ditto.
1514
1515         * pfm-read.c: Ditto.
1516         
1517         * pfm-write.c: Ditto.
1518
1519         * sfm-read.c: Ditto.
1520
1521         * sfm-write.c: Ditto.
1522         
1523 Mon Nov 15 00:31:44 2004  Ben Pfaff  <blp@gnu.org>
1524
1525         Break dictionary functions into separate header file.
1526
1527         * dictionary.h: New file.
1528
1529         * var.h: Moved dict_*() functions to dictionary.h.
1530
1531 Mon Nov 15 00:30:33 2004  Ben Pfaff  <blp@gnu.org>
1532
1533         Get rid of procedure-specific union in struct variable, using
1534         instead a void * pointer and a destructor function.
1535
1536         Most related changes are only worth brief summaries.
1537
1538         * crosstabs.q: Fix includes.  Use new struct var_range in lieu of
1539         old p.crs member in struct variable.
1540         
1541         * frequencies.q: Fix includes.  Use new struct var_freqs in lieu
1542         of old p.frq member in struct variable.
1543
1544         * histogram.c: (draw_histogram) Takes new freq_tab arg because
1545         it's no longer possible to grab this from var->p.frq.
1546
1547         * piechart.c: (draw_piechart) Ditto.
1548
1549         * group.c: (group_proc_get) New function.
1550
1551         * levene.c: Use group_proc_get() in lieu of old p.grp_data member
1552         in struct variable.
1553
1554         * oneway.q: Ditto.
1555
1556         * t-test.q: Ditto.
1557
1558         * main.c: (execute_command) Clear aux data in default_dict after
1559         each command.  (It's debatable whether this should be done.)
1560
1561         * matrix-data.c: Use new struct mxd_var in lieu of old p.mxd
1562         member in struct variable.
1563
1564         * means.q: Get rid of integer mode, which is not included in
1565         recent SPSS and was the only code that wanted per-variable private
1566         data.
1567
1568         * var.h: (struct crosstab_proc) Removed.
1569         (struct frequencies_proc) Removed.
1570         (struct list_proc) Removed.
1571         (struct get_proc) Removed.
1572         (struct means_proc) Removed.
1573         (struct matrix_data_proc) Removed.
1574         (struct match_files_proc) Removed.
1575         (lots of enums) Removed.
1576         (struct variable) Removed members `p', `get'.  Add member
1577         `aux_dtor'.
1578
1579         * vars-atr.c: (var_attach_aux) New function.
1580         (var_detach_aux) New function.
1581         (var_clear_aux) New function.
1582         (var_dtor_free) New function.
1583         (discard_variables) Use NULL instead of inline_file.
1584
1585 Fri Nov 12 10:07:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
1586
1587         * value-labs.c  Fixed the implmentation of value_to_string, so 
1588         that it properly handles alpha values.
1589
1590         * oneway.q  Changed instances where labels were being probed manually, 
1591         to use the canonical {var,value}_to_string functions
1592
1593 Thu Nov 11 21:01:31 WST 2004 John Darrington <john@darrington.wattle.id.au>
1594
1595         * examine.q cartesian.c chart.[ch]   Added normal and detrended normal
1596         plots.  Changed the API of the cartesian plot to be a much lower level
1597         thing.
1598
1599 Sun Nov  7 17:25:04 WST 2004 John Darrington <john@darrington.wattle.id.au>
1600
1601         * examine.q Added some of the parametric calculations
1602
1603         * factor_stats.[ch]  Created
1604         
1605 Sat Nov  6 21:24:31 WST 2004 John Darrington <john@darrington.wattle.id.au>
1606
1607         * examine.q  Changed the definition of factors to be a composite, and
1608         dealt with the consequences.
1609
1610 Sat Nov  6 20:40:38 WST 2004 John Darrington <john@darrington.wattle.id.au>
1611
1612         * examine.q Fixed problem where examine wasn't dealing properly with 
1613         splits
1614
1615 Sat Nov  6 14:49:47 WST 2004 John Darrington <john@darrington.wattle.id.au>
1616
1617         * oneway.q Fixed problem where oneway wasn't dealing properly with 
1618         splits
1619
1620 Thu Nov  4 11:09:01 WST 2004 John Darrington <john@darrington.wattle.id.au>
1621
1622         * q2c.c examine.q  Fixed a bug (feature?) whereby arrays in the
1623         command which had settings didn't get the appropriate code
1624         generated.
1625
1626         * val.h value-labels.[ch] var-labs.c Added v*to_string functions
1627         to convert variables/values to strings.
1628
1629         * examine.q  Added framework for the EXAMINE command.
1630
1631 Mon Nov  1 12:46:17 WST 2004 John Darrington <john@darrington.wattle.id.au>
1632
1633         * q2c.c frequencies.q set.q t-test.q  Fixed the q2c parsing of DBL 
1634         subcommand types.  Changed frequencies.q to use it rather then the 
1635         custom parser.  Dealt with the consequences.  Added a test for NTILES
1636         subcommand of frequencies.
1637
1638 Sat Oct 30 09:16:29 WST 2004 John Darrington <john@darrington.wattle.id.au>
1639
1640         * oneway.q   Fixed up the behaviour when given missing values
1641
1642         * levene.c oneway.q Fixed a buglet with the levene statistic and
1643         incorporated the levene test into the oneway command.
1644
1645         * group.h  t-test.q  Moved the CMP_EQ and CMP_LE symbols out of 
1646         global scope, since they're only relevant to T-TEST
1647
1648 Fri Oct 29 17:39:03 WST 2004 John Darrington <john@darrington.wattle.id.au>
1649
1650         * group.c group.h group_proc.h levene.c oneway.q t-test.q
1651
1652         Made the t-test more consistent
1653         with the way it handles groups.  That is, it now uses a hash instead
1654         of an array of 2.  Also, made the levene.c file independent of the 
1655         implementation of the t-test.  So now levene should be fine for both
1656         t-test and anova.
1657
1658         * Added an oneway.q file for one way anova
1659
1660 Wed Jun  2 22:08:02 2004  Ben Pfaff  <blp@gnu.org>
1661
1662         * descript.c: (cmd_descriptives) Remove harmless but bogus test in
1663         STATISTICS parsing.
1664
1665 Mon May 31 20:45:24 2004  Ben Pfaff  <blp@gnu.org>
1666
1667         Fix memory leaks.
1668
1669         * data-list.c: (cmd_data_list) Free dls->delims on lossage.
1670         (data_list_trns_free) Free dls->delims.
1671
1672         * t-test.q: (tts_custom_pairs) Free vars.
1673         (ssbox_one_sample_init) Fix tab_vline() argument.
1674         (ssbox_independent_samples_init) Ditto.
1675         (trbox_paired_init) Ditto.
1676         (trbox_one_sample_init) Ditto.
1677
1678 Mon May 31 17:19:27 2004  Ben Pfaff  <blp@gnu.org>
1679
1680         Generalize casefiles to the extent that we can use them for
1681         sorting and other kinds of data transformations.  Change cases to
1682         be copy-on-write to improve memory efficiency in common cases.
1683         Every access to a member of a `struct ccase' was changed to be a
1684         call to a case_*() function, especially case_data(), case_num(),
1685         case_str(), or case_data_rw().  Many instances of a local variable
1686         named "case_num" were changed to "case_idx" as a consequence.
1687         Many `struct ccase *' were changed to actual `struct ccase'
1688         because of copying semantics of cases.  In several places there
1689         was a choice between updating debug code to work with the new ADTs
1690         or just deleting it because it was useless; I chose to delete it.
1691  
1692         * Makefile.am: (pspp_SOURCES) Add case.c, case.h.
1693
1694         * case.c: New file.
1695
1696         * case.h: New file.
1697
1698         * aggregate.c: (struct agr_proc) Change type of `sort' to
1699         sort_criteria *.  Add `break_vars', `break_var_cnt' members.
1700         Rename `vars' to `agr_vars', all references updated.  Change
1701         `agr_case' to type `struct ccase'.
1702         (cmd_aggregate) Deal with new members.  Use case_create(),
1703         sort_active_file_in_place(), sort_active_file_to_casefile().
1704         (agr_destroy) Deal with new members.
1705         (aggregate_single_case) Ditto.
1706         (dump_aggregate_info) Ditto.
1707         (initialize_aggregate_info) Ditto.
1708         (agr_to_active_file) Ditto.
1709         (presorted_agr_to_sysfile) Ditto.
1710         (sort_agr_to_sysfile) Removed.
1711
1712         * alloc.c: (out_of_memory) Make non-static.
1713
1714         * alloc.h: Prototype out_of_memory().
1715
1716         * casefile.c: Switched from a linked list in-memory representation
1717         to a two-level array-style representation.  The linked list was
1718         appropriate when we could stick a header onto cases, but that's no
1719         longer the case.  Also, the two-level array will allow for random
1720         in-memory access in case that's ever wanted.  Also added the
1721         concept of a `destructive casereader', one that destroys cases in
1722         the underlying casefile as they are read out.
1723         (macro CASES_PER_BLOCK) New macro.
1724         (struct casefile) New members `value_cnt', `case_list_size',
1725         `case_acct_size', `being_destroyed', `cases'.  Removed `head',
1726         `tail'.
1727         (struct casereader) Removed `cur'.  Added `destructive', `c'.
1728         (global var casefiles) Made static.
1729         (static var case_bytes) New var.
1730         (casefile_create) Takes a value count, not a case size in bytes,
1731         to conform to the case interface.  All callers updated.  Deal with
1732         new and removed members.
1733         (casefile_destroy) Deal with new and removed members.
1734         (casefile_sleep) New function.
1735         (casefile_get_case_size) Removed.
1736         (casefile_get_value_cnt) New function.
1737         (casefile_append) Rewritten to deal with new and removed members.
1738         (casefile_append_xfer) New function.
1739         (write_case_to_disk) Use case_serialize().
1740         (call_posix_fadvise) Removed because posix_fadvise64 segfaults.
1741         Couldn't figure out why.
1742         (casefile_to_disk) Don't call call_posix_fadvise.  Rewritten to
1743         deal with new and removed members.
1744         (merge) Removed.
1745         (merge_sort) Removed.
1746         (casefile_sort) Removed.
1747         (casefile_get_reader) Deal with new and removed members.
1748         (casefile_get_destructive_reader) New function.
1749         (reader_open_file) Make code more readable.  Create case for
1750         reader.
1751         (casereader_get_casefile) New function.
1752         (casereader_read) Deal with new and removed members.  Now returns
1753         a copy of the case, so that the caller is responsible for
1754         destroying the returned case.
1755         (casereader_read_xfer) New function.
1756         (casereader_destroy) Destroy reader's case.
1757         (test_casefile) Second arg is now a value count, all callers
1758         updated.  Now tests destructive readers too.
1759         (get_random_case) Deal with new case ADT.
1760         (write_random_case) Ditto.
1761         (read_and_verify_random_case) Ditto.
1762
1763         * crosstabs.q: Remove debug code.
1764
1765         * descript.q: (calc_descriptives) Deal with new case, casefile
1766         ADTs.
1767
1768         * dfm.c: (cmd_begin_data) There's no storage_source_class anymore.
1769
1770         * do-if.c: Remove unneeded header inclusion.
1771
1772         * expr-prs.c: Remove debug code.
1773
1774         * exprP.h: Remove debug code.
1775
1776         * flip.c: (flip_file) Use fseeko() if available.
1777
1778         * formats.c: Remove debug code.
1779
1780         * get.c: Remove debug code.
1781         (struct mtf_file) Change `input' from `union value *' to `struct
1782         ccase', all references updated.
1783
1784         * levene.c: (levene) Deal with new case, casefile ADTs.
1785
1786         * list.q: Remove debug code.
1787
1788         * loop.c: Remove debug code.
1789         
1790         * matrix-data.c: Remove debug code.
1791
1792         * means.q: Remove debug code.
1793
1794         * mis-val.c: Remove debug code.
1795
1796         * pfm-read.c: Remove debug code.
1797         (pfm_read_code) Change second arg from `union value *' to `struct
1798         ccase *', all references updated.
1799
1800         * recode.c: (string_to_long) Make first arg const.
1801         (convert_to_double) Ditto.
1802
1803         * repeat.c: Remove debug code.
1804
1805         * sample.c: Remove debug code.
1806
1807         * sfm-read.c: Remove debug code.
1808         (sfm_read_case) Change second arg from `union value *' to `struct
1809         ccase *'.
1810
1811         * sort.c: Redone in terms of casefiles.
1812         (enum sort_direction) Moved here from sort.h.
1813         (struct sort_criterion) New structure.
1814         (struct sort_criteria) New structure.
1815         (cmd_sort_cases) Rewritten.
1816         (prepare_to_sort_active_file) New function.
1817         (sort_active_file_in_place) New function.
1818         (sort_active_file_to_casefile) New function.
1819         (parse_sort) Renamed sort_parse_criteria(), rewritten & interface
1820         changed, all callers updated.
1821         (destroy_sort_cases_pgm) Renamed sort_destroy_criteria(),
1822         rewritten & interface changed, all callers updated.
1823         (sort_cases) Renamed sort_execute(), rewritten & interface
1824         changed, all callers updated.
1825         (struct internal_sort) Removed.
1826         (do_internal_sort) Rewritten, interface changed.
1827         (destroy_internal_sort) Removed.
1828         (compare_case_dblptrs) Use sort_criteria instead of sort_case_pgm.
1829         (struct initial_run) Removed; an initial run is now just a
1830         casefile.
1831         (compare_initial_runs) Rewritten.
1832         (struct external_sort) Changed almost completely.
1833         (do_external_sort) Rewritten, interface changed.
1834         (destroy_external_sort) Rewritten.
1835         [HAVE_MKDTEMP] (make_temp_dir) Removed.
1836         [!HAVE_MKDTEMP] (do_mkdir) Removed.
1837         [!HAVE_MKDTEMP] (make_temp_dir) Removed.
1838         (init_external_sort) Removed.
1839         (simulate_error) Removed.
1840         (rmdir_temp_dir) Removed.
1841         (get_temp_file_name) Removed.
1842         (open_temp_file) Removed.
1843         (close_temp_file) Removed.
1844         (remove_temp_file) Removed.
1845         (write_temp_file) Removed.
1846         (read_temp_file) Removed.
1847         (struct record_run) Change `record' from `struct case_lit *' to
1848         `struct ccase'.
1849         (struct initial_run_state) Remove `idx_to_fv', `free_list',
1850         `file_idx', `output_file'.  Add `run', casefile'.  Change
1851         `last_output' from `struct case_list *' to `struct ccase'.
1852         (write_initial_runs) Change interface, rewrite.
1853         (sort_sink_write) Renamed process_case(), changed interfaced,
1854         rewrote.
1855         (destroy_initial_run_state) Rewritten.
1856         (allocate_cases) Rewritten.
1857         (compare_record) Interface changed, rewritten.
1858         (start_run) Rewritten.
1859         (end_run) Rewritten.
1860         (output_record) Rewritten.
1861         (grab_case) Removed.
1862         (release_case) Removed.
1863         (struct merge_case) Change `cases' from double pointer to single
1864         pointer.
1865         (merge) Deal with new case and casefile ADTs.
1866         (struct run) Removed.
1867         (merge_once) Rewritten, interface changed.
1868         (fill_run_buffer) Removed.
1869         (sort_sink_make_source) Removed.
1870         (sort_sink_class) Removed.
1871         (struct sort_source_aux) Removed.
1872         (sort_source_read_helper) Removed.
1873         (sort_source_read) Removed.
1874         (read_sort_output) Removed.
1875         (read_internal_sort_output) Removed.
1876         (read_external_sort_output) Removed.
1877         (sort_source_destroy) Removed.
1878         (sort_source_class) Removed.
1879
1880         * sort.h: (struct sort_cases_pgm) Removed.
1881         (enum sort_direction) Moved to sort.c.
1882
1883         * t-test.q: (calculate) Deal with new case, casefile ADTs.
1884
1885         * tab.c: Remove debug code.
1886
1887         * var-labs.c: Remove debug code.
1888
1889         * var.h: (struct ccase) Removed.
1890         (struct case_list) Removed.
1891
1892         * vars-atr.c: (discard_variables) Use free_case_source().
1893
1894         * vars-prs.c: (parse_vs_variable) Make arg const.
1895         (parse_dict_variable) Ditto.
1896         (parse_variables) Make struct dictionary * arg const.
1897         (parse_var_set_vars) Make struct var_set * arg const.
1898         (struct var_set) Add const to some of the function pointers' args.
1899         (var_set_get_cnt) Make arg const.
1900         (var_set_get_var) Make first arg const.
1901         (var_set_lookup_var) Make first arg const.
1902         (dict_var_set_get_cnt) Make arg const.
1903         (dict_var_set_get_var) Make first arg const.
1904         (dict_var_set_lookup_var) Make first arg const.
1905         (var_set_create_from_dict) Make arg const.  Add cast to aux
1906         assignment.
1907         (struct array_var_set) Add const to var member.
1908         (array_var_set_get_cnt) Make arg const.
1909         (array_var_set_get_var) Make first arg const.
1910         (array_var_set_lookup_var) Make first arg const.
1911         (var_set_create_from_array) Make first arg const.  Insert cast.
1912
1913         * vfm.c: (struct write_case_data) Change trns_case, sink_case
1914         members from `struct ccase *' to `struct ccase'.
1915         (static var lag_queue) Change from double to single pointer.
1916         (procedure) Optimize trivial case.
1917         (internal_procedure) Deal with changed case, case_source ADTs.
1918         (create_trns_case) Changed interface, rewrote.
1919         (open_active_interface) Initialize modified lag queue.
1920         (write_case) Deal with changed case ADT.
1921         (lag_case) Deal with modified lag queue.
1922         (close_active_file) Destroy modified lag queue.
1923         Deal with changed case_source, case_sink ADTs.
1924         (destroy_storage_stream_info) Make null arg into no-op.
1925         (storage_sink_make_source) Set aux in created source.
1926         (storage_source_read) Deal with changed case, casefile ADTs.
1927         (storage_source_create) New function.
1928         (lagged_case) Rewrite.
1929         (free_case_source) New function.
1930         (free_case_sink) Rewrite.
1931         (struct split_aux_data) Changed prev_case from `struct ccase *' to
1932         `struct ccase'.
1933         (procedure_with_splits) Deal with changed prev_case.
1934         (procedure_with_splits_callback) Ditto.
1935         (multipass_split_aux_data) Changed prev_case from `struct ccase *' to
1936         `struct ccase'.
1937         (multipass_procedure_with_splits) Deal with changed prev_case.
1938         (multipass_split_callback) Ditto.
1939         
1940         
1941 Mon May 31 17:19:06 2004  Ben Pfaff  <blp@gnu.org>
1942
1943         The workspace idea didn't work out.
1944
1945         * Makefile.am: (pspp_SOURCES) Remove workspace.c, workspace.h.
1946         
1947         * workspace.c: Removed.
1948
1949         * workspace.h: Removed.
1950
1951 Sun May 30 18:35:19 2004  Ben Pfaff  <blp@gnu.org>
1952
1953         Fully implement arbitrary delimiters on DATA LIST, extending the
1954         half implementation that was already there.
1955
1956         * data-list.c: (struct data_list_pgm) Remove `delim', add
1957         `delims', `delim_cnt'.
1958         (cmd_data_list) Initialize new members.  Parse delimiters and
1959         clean up code a bit.
1960         (cut_field) Extract fields with arbitrary delimiters.  Also, fix
1961         handling of leading commas.
1962         (read_from_data_list_fixed) Expand tabs.  Adapt to new DFM
1963         interfaces.
1964         (read_from_data_list_free) Adapt to new DFM interfaces.
1965         (read_from_data_list_list) Ditto.
1966         (repeating_data_trns_proc) Ditto.
1967
1968         * dfm.c: Split up reader and writer into separate code, because
1969         they do different things.  Use struct string instead of explicit
1970         allocation code, for clarity.
1971         (enum dfm_reader_flags) New enum.
1972         (struct dfm_fhuser_ext) Removed.
1973         (struct dfm_reader_ext) New.
1974         (get_reader) New function, used by just about all the reader
1975         functions.
1976         (dfm_close) Removed.
1977         (close_reader) New function.
1978         (dfm_open_for_reading) Rewrite initialization of dfm_fhuser_ext.
1979         (dfm_open_for_writing) Ditto.
1980         (macro force_line_buffer_expansion) Removed.
1981         (count_tabs) Removed.
1982         (tabs_to_spaces) Removed.
1983         (read_record) Deal with new dfm_reader_ext.  Use struct string
1984         functions.  Don't convert tabs to spaces.
1985         (dfm_eof) New function.
1986         (dfm_get_record) Changed interface, rewrote.
1987         (dfm_expand_tabs) New function.
1988         (dfm_fwd_record) Renamed dfm_forward_record(), updated to new
1989         dfm_reader_ext, rewritten.
1990         (dfm_bkwd_record) Renamed dfm_reread_record(), updated to new
1991         dfm_reader_ext, rewritten.
1992         (dfm_set_record) Removed in favor of dfm_forward_columns().
1993         (dfm_forward_columns) New function.
1994         (dfm_get_cur_col) Renamed dfm_column_start, updated to new
1995         dfm_reader_ext, rewritten.
1996         (static var dfm_r_class) Use close_reader for the destructor.
1997         (struct dfm_writer_ext) New.
1998         (dfm_put_record) Updated to new dfm_writer_ext, rewritten.  Uses
1999         bounce buffer now instead of local allocation.
2000         (close_writer) New function.
2001         (static var dfm_writer_ext) Use close_writer for destructor.
2002         (cmd_begin_data) Adapt to new dfm_reader_ext.
2003
2004         * file-handle.q: Add support for per-file tab width.
2005         (struct private_file_handle) Add tab_width member.
2006         (q2c specifications) Add tabwidth subcommand.
2007         (cmd_file_handle) Put parsed tab width into private_file_handle.
2008         (create_file_handle) Set default tab width.
2009         (handle_get_tab_width) New function.
2010
2011         * file-type.c: (file_type_source_read) Adapt to new DFM interface.
2012
2013         * inpt-pgm.c: (reread_trns_proc) Ditto.
2014
2015         * matrix-data.c: (context) Ditto.
2016         (another_token) Ditto.
2017         (mget_token) Ditto.
2018         (force_eol) Ditto.
2019
2020 Sun May 30 18:33:59 2004  Ben Pfaff  <blp@gnu.org>
2021
2022         * casefile.c: (casefile_destroy) Fix memory leak by freeing
2023         cf->filename.
2024         (casereader_destroy) Don't close file descriptor -1.
2025
2026         * recode.c: (cmd_recode) Fix memory leak.
2027
2028         * set.q: (q2c specifications) Fix typo in user message.
2029
2030         * str.c: (st_bare_pad_len_copy) Change memcpy to memmove to avoid
2031         undefined behavior for overlapping arguments.
2032
2033 Sun May 30 18:31:48 2004  Ben Pfaff  <blp@gnu.org>
2034
2035         * casefile.c: valgrind doesn't implement posix_fadvise() yet, so
2036         don't call it when we're running under valgrind.
2037         (call_posix_fadvise) New function.
2038         (casefile_to_disk) Use call_posix_fadvise().
2039         (reader_open_file) Ditto.
2040         
2041 Sun May 30 18:20:12 2004  Ben Pfaff  <blp@gnu.org>
2042
2043         Update our string ADTs, struct string and struct len_string.  Get
2044         rid of pool support, which was largely unused.  Rename lots of
2045         functions to have more obvious or consistent names.
2046         
2047         * ascii.c: Get rid of ascii_pool.  It was only used for string
2048         allocations.
2049         (ascii_open_global) Don't create ascii_pool.
2050         (ascii_close_driver) Don't destroy ascii_pool.
2051         (ascii_postopen_driver) Don't use pool.
2052         (ascii_close_driver) Destroy strings manually.
2053
2054         * str.c: (ds_create) Remove pool argument, all references updated.
2055         (ds_init) Ditto.
2056         (ds_replace) Remove pool support, make more efficient when we
2057         don't need to reallocate.
2058         (ds_destroy) Remove pool support.
2059         (ds_rpad) New function.
2060         (ds_size) Renamed ds_capacity(), all references updated.
2061         (ds_value) Renamed ds_c_str(), all references updated.
2062         (ds_concat) Renamed ds_puts(), all references updated.
2063         (ds_concat_buffer) Renamed ds_concat(), all references updated.
2064         (ds_putchar) Renamed ds_putc(), all references updated.
2065         (ds_getline) Renamed ds_gets(), all references updated.
2066         (ls_create) Remove pool argument, all references updated.
2067         (ls_create_buffer) Ditto.
2068         (ls_destroy) Removed pool support.
2069         (ls_value) Renamed ls_c_str(), all references updated.
2070
2071         * str.h: (ls_length) [__GNUC__] Add inline version.
2072         (ls_c_str) [__GNUC__] Add inline version.
2073         (ls_end) [__GNUC__] Add inline version.
2074         (struct string) Remove pool member.  Rename `size' to `capacity',
2075         all references updated.
2076
2077         * tab.c: (text_format) Instead of using pool argument to
2078         ls_create_buffer(), call pool_register() on allocated data.
2079
2080 Mon Apr 26 22:40:07 2004  Ben Pfaff  <blp@gnu.org>
2081
2082         We're abusing the current ASCII driver by telling it to allocate a
2083         9999-line, 9999-character page in the tests.  This causes some
2084         systems to curl up and die because it allocates 20 MB of
2085         contiguous RAM.  This change alleviates at least part of the
2086         problem.  It is mostly a stop-gap until the new output system is
2087         ready.
2088         
2089         * ascii.c: (struct line) New structure.
2090         (struct ascii_driver_ext) Remove `page', `page_size', `line_len',
2091         `line_len_size', `n_output' members.  Add `lines', `lines_cap'.
2092         (ascii_preopen_driver) Initialize new members, not old ones.
2093         (ascii_close_driver) Destroy new members, not old ones.
2094         (ascii_open_page) Allocate new members, not old ones.
2095         (expand_line) Allocate room in line.
2096         (draw_line) Use new members.
2097         (ascii_line_horz) Ditto.
2098         (ascii_line_vert) Ditto.
2099         (ascii_line_intersection) Ditto.
2100         (text_draw) Ditto.
2101         (output_lines) Ditto.
2102         (ascii_close_page) Ditto.
2103
2104 Sun Apr 25 23:40:15 2004  Ben Pfaff  <blp@gnu.org>
2105
2106         * matrix.c: Dead code.  Removed.
2107
2108         * matrix.h: Dead code.  Removed.
2109
2110 Fri Apr 16 23:59:51 2004  Ben Pfaff  <blp@gnu.org>
2111
2112         Contrary to what I'd always understood, there is an efficient
2113         algorithm for deletion from a hash table populated via linear
2114         probing.  This change implements it.
2115         
2116         * hash.c: (hsh_rehash) Probe in increasing order.
2117         (hsh_probe) Ditto.
2118         (locate_matching_entry) Ditto.
2119         (hsh_delete) Use Knuth's Algorithm 6.4R for deletion.
2120
2121 Tue Apr 13 19:24:15 2004  Ben Pfaff  <blp@gnu.org>
2122
2123         * moments.c (calc_moments): Adjust calculation of kurtosis to
2124         avoid subtracting huge numbers from huge numbers, on Michael
2125         Kiefte's advice.
2126
2127 Sun Apr 11 14:22:12 2004  Ben Pfaff  <blp@gnu.org>
2128
2129         Rework moments routines for improved numerical stability based on
2130         Michael Kiefte's advice.  Any bugs or remaining numerical problems
2131         are still mine though.
2132
2133         There is now a struct moments1 for use with one-pass moments.  It
2134         uses a provisional means algorithm as an attempt to improve
2135         accuracy of higher moments.  The older struct moments now only
2136         handles two-pass moments.
2137         
2138         * aggregate.c: Use moments1 instead moments.
2139
2140         * descript.c: Revert previous change, which is no longer needed
2141         due to the moments revision.
2142
2143         * moments.c: (calc_moments) New function for calculating variance,
2144         skewness, kurtosis.
2145         (moments_pass_one) Only accumulate weights bigger than zero.
2146         (moments_calculate) Allow calculating the mean on pass one, others
2147         require pass two.  Implement in terms of calc_moments().
2148         (struct moments1) New structure.
2149         (init_moments1) New function.
2150         (moments1_clear) Ditto.
2151         (moments1_create) Ditto.
2152         (moments1_add) Ditto.
2153         (moments1_calculate) Ditto.
2154         (moments1_destroy) Ditto.
2155         (cmd_debug_moments) Deal with `struct moments' or `struct
2156         moments1' as requested by user.
2157
2158 Sun Apr 11 14:21:55 2004  Ben Pfaff  <blp@gnu.org>
2159
2160         * Makefile.am (pspp_SOURCES): Remove debug.c.
2161
2162         * debug.c: Removed.  It was empty anyway.
2163
2164 Fri Apr  9 20:04:49 2004  Ben Pfaff  <blp@gnu.org>
2165
2166         * descript.c (calc_descriptives): Fix assert failure when only
2167         MOMENT_MEAN is needed.
2168
2169 2004-04-09  Michael Kiefte  <mkiefte@dal.ca>
2170
2171         * descript.c: 
2172
2173         fixed problem with parsing in match_statistic() causing
2174         "DESCRIPTIVE STAT=MEAN." to barf.
2175
2176         "MEAN" is now default if "SORT" given without specification.
2177
2178         Fixed infinite loop with "DESCRIPT GIBBERISH=ALL."  Parsing is
2179         generally less forgiving of syntax errors: better to have it do
2180         nothing and type it in again then to not know what it actually did
2181         instead.  
2182
2183         z-score transformation now checks score for user-missing values
2184         and checks std_dev for SYSMIS.
2185
2186 2004-04-06  Michael Kiefte  <mkiefte@dal.ca>
2187
2188         * aggregate.c, crosstabs.q, descript.c, dictionary.c, frequencies.q, levene.c, t-test.q, var.h: 
2189         Changed dict_get_case_weight() to accept an additional int * flag
2190         to complain about system-missing, user-missing, zero, or negative
2191         weights and updated existing functions to pass int * to
2192         dict_get_case_weight().
2193
2194 2004-04-05  jmd  <jmd@gnu.org>
2195
2196         * main.c: Fixed configuration problems with gsl
2197
2198         * t-test.q: Fixed some problems encountered when compiling under Cygwin
2199
2200 2004-04-03  blp  <blp@gnu.org>
2201
2202         * lexer.c, ChangeLog:
2203         Fix infinite loop on comment at end of file, add test.
2204
2205 2004-04-03  jmd  <jmd@gnu.org>
2206
2207         * settings.h, var.h, ChangeLog, Makefile.am, cmdline.c, command.c, command.h, error.h, filename.c, frequencies.q, lexer.h, main.c, q2c.c, set.q:
2208         Fixed the calculation of percentiles and added --syntax and --algorithm options
2209
2210 Sat Apr  3 11:43:37 2004  Ben Pfaff  <blp@gnu.org>
2211
2212         * lexer.c: (lex_skip_comment) Handle end-of-file correctly (I
2213         hope).
2214
2215 Sat Apr  3 15:00:18 WST 2004 John Darrington <john@darrington.wattle.id.au>
2216
2217         * frequencies.q:  Fixed the calculation of percentiles
2218
2219         * Makefile.am:  Added the --ansi flag and dealt with the
2220         consequences.  Added some entries to PSPP_sources so that
2221         make distcheck would pass
2222
2223         * cmdline.c:   Added the --syntax and --algorithm options
2224
2225         * q2c.c:  Added an implicit /ALGORITHM subcommand to everything.
2226
2227 Fri Apr  2 11:25:22 WAST 2004 John Darrington <john@darrington.wattle.id.au>
2228
2229         * t-test.q, levene.c, levene.h  Converted t-test (incl levene) to 
2230         use the new multipass_split_... mechanism.
2231
2232 Wed Mar 31 22:36:22 2004  Ben Pfaff  <blp@gnu.org>
2233
2234         * frequencies.q: (calc_stats) Use moments data structure and
2235         calc_seskew(), calc_sekurt() functions.
2236
2237         * set.q main.c settings.h Added support for --syntax and --algorithm 
2238         options
2239
2240 Tue Mar 30 22:04:19 2004  Ben Pfaff  <blp@gnu.org>
2241
2242         * vfm.c: Had to get last call to multipass_split_output() inside
2243         open_active_file()/close_active_file() pairing, so introduce new
2244         function.
2245         (internal_procedure) Move procedure() code here, except for calls
2246         to open_active_file() and close_active_file().
2247         (procedure) Wrap open_active_file() and close_active_file() around
2248         internal_procedure().
2249         (multipass_procedure_with_splits) Wrap open_active_file() and
2250         close_active_file() around internal_procedure().
2251
2252 Tue Mar 30 22:01:57 2004  Ben Pfaff  <blp@gnu.org>
2253
2254         * descript.c: (cmd_descriptives) Free `vars' to avoid memory leak.
2255
2256 Mon Mar 29 16:26:40 2004  Ben Pfaff  <blp@gnu.org>
2257
2258         * debug.c: Removed.  Moved cmd_debug_evaluate() into expr-evl.c.
2259
2260         * expr-evl.c: (cmd_debug_evaluate) Moved here from debug.c.
2261
2262 Mon Mar 29 16:03:08 2004  Ben Pfaff  <blp@gnu.org>
2263
2264         * algorithm.c: By default turn off some of the more expensive
2265         assertions.
2266         (expensive_assert) New macro which expands to assert if
2267         EXTRA_CHECKS is defined, to nothing otherwise.
2268         (unique) Use expensive_assert().
2269         (binary_search) Ditto.
2270         (push_heap) Ditto.
2271         (pop_heap) Ditto.
2272         (make_heap) Ditto.
2273         (sort_heap) Ditto.
2274
2275         * command.c: (conflicting_3char_prefixes) Words that are the same
2276         don't cause conflicts when they are abbreviated to the first three
2277         letters.
2278
2279         * expr-evl.c: (CONCAT_func) Fix memory leak by incrementing struct
2280         nonterm_node's n earlier.
2281         (generic_str_func) Ditto.
2282         
2283 Mon Mar 29 15:32:17 2004  Ben Pfaff  <blp@gnu.org>
2284
2285         Add support for multipass procedures.  Rewrite DESCRIPTIVES to
2286         test multipass support, take advantage of new moments
2287         calculation, and to not be such crappy code.  Get rid of q2c
2288         processing for DESCRIPTIVES.
2289
2290         * vfm.c: (struct multipass_split_aux_data) New structure.
2291         (multipass_procedure_with_splits) New function.
2292         (multipass_split_callback) New function.
2293         (multipass_split_output) New function.
2294         * descript.q: Removed.
2295
2296         * descript.c: New file.
2297
2298         * var.h: Removed descriptives enums.
2299         (struct descriptives_proc) Removed.
2300         (struct variable) Removed p.dsc.
2301
2302         * Makefile.am: (q_sources_c) Remove descript.c.
2303         (q_sources_q) Removed descript.q.
2304         
2305 Mon Mar 29 15:31:55 2004  Ben Pfaff  <blp@gnu.org>
2306
2307         New manager for keeping track of used workspace.
2308         
2309         * workspace.c: New file.
2310
2311         * workspace.h: New file.
2312
2313         * Makefile.am: (pspp_SOURCES) Add workspace.c, workspace.h.
2314
2315         * sort.c: (do_internal_sort) Use workspace_malloc().
2316         (destroy_internal_sort) Use workspace_free().
2317
2318 Mon Mar 29 15:31:08 2004  Ben Pfaff  <blp@gnu.org>
2319
2320         New `struct casefile' for managing sets of cases.
2321
2322         * casefile.c: New file.
2323
2324         * casefile.h: New file.
2325
2326         * command.def: Add DEBUG CASEFILE command.
2327
2328         * Makefile.am: (pspp_SOURCES) Add casefile.c, casefile.h.
2329
2330         * sort.c: (sort_cases) Move logic for sending storage file to disk
2331         into do_external_sort().
2332         (struct internal_sort) Use an array of ccase pointers instead of a
2333         case_list.
2334         (do_internal_sort) Rewrite to handle casefiles.
2335         (compare_case_list) Removed.
2336         (compare_cases) New function.
2337         (compare_case_dblptrs) New function.
2338         (read_internal_sort_output) Deal with new struct internal_sort.
2339
2340         * vfm.c: (static var workspace_overflow) Removed.
2341         (struct storage_stream_info) Removed all the members.  Added
2342         struct casefile * member.
2343         (storage_sink_open) Use casefile.
2344         (open_storage_file) Removed.
2345         (write_storage_file) Removed.
2346         (storage_to_disk) Removed.
2347         (destroy_storage_stream_info) Use casefile.
2348         (storage_sink_write) Use casefile.
2349         (storage_sink_make_source) Use casefile.
2350         (storage_source_count) Use casefile.
2351         (storage_source_read) Use casefile.
2352         (storage_source_on_disk) Removed.
2353         (storage_source_get_cases) Removed.
2354         (storage_source_set_cases) Removed.
2355         (storage_source_get_casefile) New function.
2356         
2357 Mon Mar 29 15:30:09 2004  Ben Pfaff  <blp@gnu.org>
2358
2359         New `struct moments' for calculating moments.
2360
2361         * stats.c: Removed.
2362
2363         * stats.h: Removed.
2364
2365         * moments.c: New file.
2366
2367         * moments.h: New file.
2368
2369         * command.def: Add DEBUG MOMENTS command.
2370
2371         * Makefile.am: (pspp_SOURCES) Add moments.c, moments.h.  Remove
2372         stats.c, stats.h.
2373
2374         * aggregate.c: Modify AGGREGATE to use the new moments
2375         calculation, even if not in such a great way.
2376         (struct agr_var) Add `moments' member.
2377         (parse_aggregate_functions) Set `moments' member to null.
2378         (agr_destroy) Destroy `moments' member.
2379         (accumulate_aggregate_info) Use `moments' for standard deviation.
2380         (dump_aggregate_info) Ditto.
2381         (initialize_aggregate_info) Create or clear `moments'.
2382
2383         * misc.h: Add pow2(), pow3(), pow4() functions in place of sqr(),
2384         cube(), pow4() that were in stats.h.  All references updated.
2385
2386         * crosstabs.q: stats.h had chi-square significance functions.  Use
2387         GSL instead.
2388         (display_chisq) Use gsl_cdf_chisq_Q() instead of chisq_sig().
2389
2390         * expr-evl.c: (expr_evaluate) Use moments_of_values() for
2391         OP_CFVAR, OP_MEAN, OP_SD, OP_VARIANCE.
2392                 
2393 Fri Mar 26 14:21:23 2004  Ben Pfaff  <blp@gnu.org>
2394
2395         * dictionary.c: (dict_compact_values) Compacted values need to
2396         start off from 0.
2397
2398 Fri Mar 26 00:54:57 2004  Ben Pfaff  <blp@gnu.org>
2399
2400         * var-labs.c: (cmd_variable_labels) For compatibility, don't allow
2401         `/' at start.  Check return value of parse_variables() for error
2402         return.
2403
2404 Fri Mar 26 00:19:27 2004  Ben Pfaff  <blp@gnu.org>
2405
2406         Revamp expressions: make the code a little nicer, and fix bugs
2407         found in testing.
2408         
2409         * expr-evl.c: (expr_evaluate) Make expression argument const.
2410         Support OP_ADD, OP_SUB, OP_MUL, OP_DIV instead of OP_PLUS, OP_MUL.
2411         OP_POW is missing for arg 2 <= 0.  OP_LOG is natural log, not
2412         base-10 log.  Fix OP_ANY, OP_ANY_STRING, OP_RANGE, OP_RANGE_STRING
2413         off-by-ones.  Add OP_MAX_STRING, OP_MIN_STRING.  Fix OP_TIME_HMS,
2414         OP_DATE_WKYR boundary conditions.  Add OP_CTIME_DAYS,
2415         OP_CTIME_HOURS, OP_CTIME_MINUTES, OP_CTIME_DAYS, OP_CTIME_SECONDS.
2416         Support OP_INDEX_2, OP_INDEX_3, OP_RINDEX_2, OP_RINDEX_3 instead
2417         of OP_INDEX, OP_INDEX_OPT, OP_RINDEX, OP_RINDEX_OPT.  Merge
2418         OP_LPAD_OPT into OP_LPAD, OP_RPAD_OPT into OP_RPAD, OP_LTRIM_OPT
2419         into OP_LTRIM, OP_RTRIM_OPT into OP_RTRIM, OP_NUMBER_OPT into
2420         OP_NUMBER.  Fix OP_RTRIM fragility.  Support OP_SUBSTR_2,
2421         OP_SUBSTR_3 instead of OP_SUBSTR, OP_SUBSTR_OPT.  Remove OP_INV.
2422         Simplify OP_SYSMIS.  Remove OP_STR_MIS.
2423
2424         * expr-opt.c: (optimize_expression) Rewrite.
2425         (macro n0) Removed.
2426         (macro n1) Removed.
2427         (macro n2) Removed.
2428         (macro s0) Removed.
2429         (macro s0l) Removed.
2430         (macro s1) Removed.
2431         (macro s1l) Removed.
2432         (macro s2) Removed.
2433         (macro s2l) Removed.
2434         (macro s) Removed.
2435         (macro sl) Removed.
2436         (eq_num_con) New function.
2437         (optimize_tree) New function.
2438         (macro rnc) Removed.
2439         (macro frnc) Removed.
2440         (str_search) Add const to string params.
2441         (str_rsearch) Ditto.
2442         (evaluate_tree_no_missing) Renamed from evaluate_tree.  Add num[],
2443         str[], str_len[] locals to substitute for most of removed macros.
2444         Support OP_ADD, OP_SUB, OP_MUL, OP_DIV instead of OP_PLUS, OP_MUL.
2445         Removed support for missing values because we're never called with
2446         missing values.  Use set_number() or set_number_errno() instead of
2447         rnc or frnc.  Removed any stuff that caused trouble in testing.
2448         We can re-add it later if it really slows anything.  Fix some
2449         random problems.
2450         (evaluate_tree_with_missing) Not yet supported.  To be added later
2451         if it's important.
2452         (repl_num_con) Removed.
2453         (collapse_node) New function.
2454         (force_repl_num_con) Removed.
2455         (set_number) New function.
2456         (set_number_errno) New function.
2457         (repl_str_con) Removed.
2458         (set_string) New function.
2459         (yrmoda) Tighten boundary conditions.  Adopt 2030 cut-off for
2460         2-digit years.
2461         (dump_node) No special case for OP_AND, OP_OR.
2462
2463         * expr-prs.c: (expr_prs) Honor EXPR_NO_OPTIMIZE bit.  Rewrite.
2464         (expr_get_type) New function.
2465         (type_check) Rewrite.
2466         (type_coercion) New function.
2467         (struct operator) New structure.
2468         (match_operator New function.
2469         (parse_binary_operators) New function.
2470         (parse_inverting_unary_operator) New function.
2471         (parse_or) Rewritten.
2472         (parse_and) Rewritten.
2473         (parse_not) Rewritten.
2474         (parse_rel) Rewritten.
2475         (parse_add) Rewritten.
2476         (parse_mul) Rewritten.
2477         (parse_neg) Rewritten.
2478         (parse_exp) Rewritten.
2479         (parse_sysvar) Add $TRUE, $FALSE system variables.
2480         Get $LENGTH, $WIDTH from get_viewlength(), get_viewwidth().
2481         (parse_primary) Use allocate_var_node(), allocate_num_con(),
2482         allocate_str_con().
2483         (struct function) Remove desc, change `func' prototype.
2484         (unary_func) Remove special cases.
2485         (MISSING_func) Reduce to unary_func() that just returns a boolean.
2486         (SYSMIS_func) Handle SYSMIS((x)) like SYSMIS(x).
2487         (VALUE_func) Use allocate_var_node().
2488         (nary_num_func) Allow MIN and MAX for strings.
2489         Use allocate_var_node().  Properly clean up.
2490         Fix return type.
2491         (generic_str_func) Use local table instead of removed `desc'
2492         member.  Mostly rewrite.
2493         (get_num_args) Revise error message.
2494         (parse_function) Return EXPR_ERROR, not 0 on error.
2495         (macro op) Removed.
2496         (macro varies) Removed.
2497         (ops[]) Use expr.def.
2498         (free_node) Do nothing if node is null.
2499         (allocate_num_con) New function.
2500         (allocate_str_con) New function.
2501         (allocate_var_node) New function.
2502         (allocate_binary_nonterminal) New function.
2503         (append_nonterminal_arg) Removed.
2504         (static var func_tab[]) Revised.
2505         (expr_debug_print_postfix) Make parameter const.
2506         Use printf() instead of debug_printf().
2507
2508         * expr.def: New file.
2509         
2510         * expr.h: Change PXP_* to EXPR_*, all references updated.  Also
2511         use named enum instead of unnamed, all references updated.  Add
2512         EXPR_ANY, EXPR_NO_OPTIMIZE.
2513
2514         * exprP.h: Remove EX_*.  Add DEFINE_OPERATOR.  Use expr.def
2515         instead of defining OP_* directly.
2516         (macro IS_TERMINAL) New macro.
2517         (macro IS_NONTERMINAL) New macro.
2518         (enum OP_NO_FLAGS) New.
2519         
2520 Fri Mar 26 00:18:01 2004  Ben Pfaff  <blp@gnu.org>
2521
2522         * error.c: (err_assert_fail) msg variable needs to be non-const.
2523
2524 Fri Mar 26 00:17:24 2004  Ben Pfaff  <blp@gnu.org>
2525
2526         * debug.c: (cmd_debug_evaluate) Rewrite.
2527
2528 Fri Mar 26 00:15:13 2004  Ben Pfaff  <blp@gnu.org>
2529
2530         Fix some CROSSTABS bit rot stupidity.
2531
2532         * crosstabs.q: Reorder the CELLS subcommands for compatibility.
2533         (internal_cmd_crosstabs) Initializes cells[] correctly.
2534         (float_M_suffix) Rename format_cell_entry(), change prototype,
2535         rewrite.
2536         (display_crosstabulation) Fix cell formatting.
2537
2538 Fri Mar 26 00:14:09 2004  Ben Pfaff  <blp@gnu.org>
2539
2540         Make lex_rest_of_line(), lex_entire_end() not discard lines.  Have
2541         to call lex_discard_line() to do that.
2542
2543         * command.c: (run_command) Call lex_discard_line() after
2544         lex_rest_of_line().
2545
2546         * lexer.c: (lex_entire_end) Change behavior.
2547         (lex_rest_of_line) Change behavior.  Return const char *.
2548         (lex_discard_line) Don't clear getl_buf, don't emit message.
2549
2550         * main.c: (handle_error) Emit message here.
2551
2552         * repeat.c: (internal_cmd_do_repeat) Use lex_discard_line()
2553         instead of lex_entire_line().
2554
2555         * str.c: (mm_find_reverse) Make length params size_t.  Rewrite.
2556
2557         * title.c: (get_title) Call lex_discard_line() after
2558         lex_rest_of_line().
2559         (cmd_file_label) Ditto.
2560         (cmd_document) Deal with const char * return value.
2561
2562 Fri Mar 26 00:10:16 2004  Ben Pfaff  <blp@gnu.org>
2563
2564         Removed REMARK command.
2565
2566         * command.c: (extract_prefix) Removed.
2567         (output_line) Removed.
2568         (cmd_remark) Removed.
2569
2570         * command.def: Remove REMARK.
2571
2572 Fri Mar 26 00:08:38 2004  Ben Pfaff  <blp@gnu.org>
2573
2574         Added abort() after lots of assert(0) invocations to avoid some
2575         compiler warnings.  We really need a NOT_REACHED macro.
2576
2577 Tue Mar 23 08:00:42 WAST 2004 John Darrington <john@darrington.wattle.id.au>
2578
2579         * sort.c: Added missing call to temp_file_close.  Changed error 
2580         messages to warnings.
2581
2582         * set.q: Improved setting of set_view{length,width} to be more tolerant
2583         of buggy OSes.
2584
2585 Sun Mar 21 10:11:14 WST 2004 John Darrington <john@darrington.wattle.id.au>
2586
2587         * val-labs.c: Fixed a bug where PSPP would crash, if VALUE LABELS was
2588         used with incorrect syntax.
2589
2590         * error.c, error.h et al:  Overridden definition of assert for a
2591         custom one.
2592
2593         * test-q.c: Fixed a buglet where it would crash if no /VARIABLES
2594         subcommand was given when it ought to have been.
2595
2596 Sat Mar 20 22:19:08 2004  Ben Pfaff  <blp@gnu.org>
2597
2598         * tab.c: (tab_vline) Fix assertions to respect row_ofs and
2599         col_ofs.
2600         (tab_hline) Ditto.
2601         (tab_box) Ditto.
2602         (tab_joint_text) Ditto.
2603
2604 Sat Mar 20 17:57:23 2004  Ben Pfaff  <blp@gnu.org>
2605
2606         * levene.c: Add #include.
2607
2608         * set.q: (set_viewport) Add `int' argument to make its prototype
2609         correct for signal().
2610
2611 Sat Mar 20 15:35:17 2004  Ben Pfaff  <blp@gnu.org>
2612
2613         * expr-evl.c: (expr_evaluate) Assert that `c' is nonzero before
2614         using it.
2615
2616 Sat Mar 20 15:18:16 2004  Ben Pfaff  <blp@gnu.org>
2617
2618         Changed DFM from open-at-first-access to explicit-open.  Before,
2619         calling dfm_get_record() or dfm_put_record() would automatically
2620         open the file.  Now, you have to call dfm_open_for_reading() or
2621         dfm_open_for_writing() explicitly.  This makes it possible to
2622         check permissions, file existence, etc. earlier.
2623
2624         Also made struct file_handle more opaque, and clean up in general.
2625
2626         * data-list.c: (cmd_data_list) Open handle for reading.
2627
2628         * dfm.c: (struct dfm_fhuser_ext) Add `where', `saw_begin_data'
2629         members.
2630         (open_file_r) Renamed dfm_open_for_reading(), rewrote.
2631         (open_file_w) Renamed dfm_open_for_writing(), rewrote.
2632         (open_inline_file) Removed.
2633         (read_record) For inline_file, if we haven't seen BEGIN DATA, read
2634         it.  Deal with line_number in extension record instead of file
2635         handle.
2636         (dfm_get_record) Rewrote.
2637         (dfm_put_record) Rewrote.
2638         (dfm_push) Assert file is open and one of ours.  Deal with
2639         line_number in extension record instead of file handle.
2640         (dfm_pop) Assert file is open and one of ours.  Deal with
2641         line_number in extension record instead of file handle.
2642         (cmd_begin_data) Use dfm_open_for_reading().  Mark that we saw
2643         BEGIN DATA.     
2644
2645         * file-handle.h: (enum constants RH_RF_*) Removed.
2646         (enum constants FH_MD_*) Removed.
2647         (struct file_handle) Removed `name', `norm_fn', `fn', `where',
2648         `recform', `lrecl', `mode' members.  Public references to
2649         `recform' changed to use handle_get_mode(), references to `lrecl'
2650         changed to use handle_get_record_width().  Added `private' member.
2651         (enum file_handle_mode) New.
2652
2653         * file-handle.q: (struct private_file_handle) New structure.
2654         (struct file_handle_list) New structure.
2655         (static var files) New.
2656         (static var file_handles) Removed.
2657         (init_file_handle) Removed.
2658         (create_file_handle) Removed.
2659         (get_handle_with_name) New function.
2660         (get_handle_for_filename) New function.
2661         (cmd_file_handle) Rewritten.
2662         (hash_file_handle) Removed.
2663         (cmp_file_handle) Removed.
2664         (fh_init_files) Rewritten.
2665         (fh_parse_file_handle) Rewritten.  Allows identifiers as
2666         filenames.
2667         (fh_get_handle_by_name) Renamed handle_get_name(), all references
2668         updated.  Rewritten.
2669         (fh_get_handle_by_filename) Renamed handle_get_filename(), all
2670         references updated.  Rewritten.
2671         (fh_record_width) Renamed handle_get_record_width(), all
2672         references updated.  Rewritten.
2673         (handle_get_mode) New function.
2674
2675         * file-type.c: (cmd_file_type) Open handle for reading.
2676
2677         * filename.c: [unix] (struct file_identity) New structure.
2678         [unix] (fn_get_identity) New function.
2679         [unix] (fn_free_identity) New function.
2680         [unix] (fn_compare_file_identities) New function.
2681         [!unix] (struct file_identity) New structure.
2682         [!unix] (fn_get_identity) New function.
2683         [!unix] (fn_free_identity) New function.
2684         [!unix] (fn_compare_file_identities) New function.
2685
2686         * lexer.c: (static var put) Renamed put_token, all references
2687         updated.
2688         (static var put_tokstr) New.
2689         (static var put_tokval) New.
2690         (lex_init) Initialize put_tokstr().
2691         (restore_token) New function.
2692         (save_token) New function.
2693         (lex_get) Use restore_token().
2694         (lex_put_back) Use save_token().
2695         (lex_put_back_id) New function.
2696         (lex_put_forward) Removed.
2697         (lex_preprocess_line) Set put_token instead of using
2698         lex_put_forward().
2699         (lex_negative_to_dash) Use save_token(), set put_token directly.
2700         (dump_token) Use stderr instead of stdout.
2701
2702         * main.c: (main) Remove call to cmd_init().
2703         
2704         * matrix-data.c: (cmd_matrix_data) Open file for reading.
2705
2706         * pfm-read.c: Use handle_get_filename() instead of trying to use
2707         h->fn directly, all over.
2708
2709         * pfm-write.c: Ditto.
2710
2711         * print.c: (internal_cmd_print) Open handle for writing.
2712         (dump_table) Use handle_get_filename().
2713         (print_trns_proc) Use handle_get_mode().
2714         (cmd_print_space) Use fh_parse_file_handle().
2715         Open handle for writing.
2716         [0] (debug_print) Removed.
2717
2718         * sfm-read.c: Use handle_get_filename() instead of trying to use
2719         h->fn directly, all over.
2720
2721         * sfm-write.c: Ditto.
2722
2723 Sat Mar 20 14:35:48 2004  Ben Pfaff  <blp@gnu.org>
2724
2725         Fix memory leaks.
2726         
2727         * autorecode.c: (arc_free) Free arc->src_values.
2728
2729         * error.c: (msg) Free buf.
2730
2731         * val-labs.c: (do_value_labels) Always free vars.
2732
2733         * vfm.c: (close_active_file) If sink has no make_source then call
2734         its destroy function.
2735
2736 Sat Mar 20 14:00:24 2004  Ben Pfaff  <blp@gnu.org>
2737
2738         Fixed cmd_parse() so that it always skips past a full command
2739         name.  A few special commands for which this would be bad get
2740         special treatment.  This lets us drop code for skipping past the
2741         end of a command name in most cmd_*() functions.  It's not worth
2742         listing all the commands affected.
2743
2744         * command.c: (struct command) Remove `cmd' member, replace by
2745         `name' member, all references updated.  Remove `word', `next',
2746         `skip_entire_name' members.
2747         (macro DEFCMD) Deal with revised `struct command'.
2748         (macro UNIMPL) Ditto.
2749         (macro SPCCMD) New macro for commands whose last word shouldn't be
2750         skipped.
2751         (static array cmd_table[]) Make const, rename `commands', remove
2752         sentinel element.
2753         (macro COMMAND_CNT) New macro.
2754         (split_words) Removed.
2755         (cmd_init) Removed.
2756         (FILE_TYPE_okay) Make parameter const.
2757         (cmd_parse) Improve error messages.
2758         (match_strings) New function.
2759         (next_word) New function.
2760         (enum command_match) New enum.
2761         (conflicting_3char_prefixes) New function.
2762         (conflicting_3char_prefix_command) New function.
2763         (cmd_match_words) New function.
2764         (count_matching_commands) New function.
2765         (get_command_name) New function.
2766         (free_words) New function.
2767         (unknown_command_error) New function.
2768         (figure_out_command) Renamed parse_command_name(), rewritten.
2769
2770         * command.def: Removed @ command.  Marked BEGIN DATA, DOCUMENT,
2771         FILE LABEL, REMARK, SUBTITLE, TITLE as special.  Renamed EVALUATE
2772         to DEBUG EVALUATE.  Added N alias for N OF CASES, SORT alias for
2773         SORT CASES.
2774
2775         * command.h: (macro SPCCMD) New.
2776
2777         * include.c: (cmd_include_at) Removed.
2778         (cmd_include) Allow identifier to be used as filename.
2779
2780         * inpt-pgm.c: (cmd_reread) Use fh_parse_file_handle().
2781
2782         * t-test.q: (cmd_t_test) Command name is now parsed for us.
2783         
2784
2785 Sat Mar 20 13:56:00 2004  Ben Pfaff  <blp@gnu.org>
2786
2787         Start work on better test framework.
2788         
2789         * Makefile.am: (pspp_sources) Add debug.c.
2790         
2791         * debug.c: New file.
2792
2793         * compute.c: (cmd_evaluate) Moved to debug.c, renamed
2794         cmd_debug_evaluate().
2795
2796         * expr-prs.c: (expr_parse) Remove PXP_DUMP support.
2797
2798         * expr.h: (enum constant PXP_DUMP) Removed.
2799
2800 Sat Mar 20 00:05:42 WST 2004 John Darrington <john@darrington.wattle.id.au>
2801
2802         * set.q:  Implemented the SHOW command, and synced it to the existing 
2803         SET cmd.
2804
2805         Added a handler for SIGWINCH so that viewlength and viewwidth follow
2806         changes as the window size is changed.
2807
2808         Added fallback to set viewlength and viewwidth from LINES and COLUMS
2809         environment variables if other methods are not available.
2810
2811         glob.c: Removed a lot of global variables from glob.c and encapsulated 
2812         them in set.q
2813
2814         random.c: Tidied up the way the random seed is set.
2815
2816         str.c: Added a ds_vprintf function.
2817
2818         error.c: Extended dump_message so that messages are always broken at
2819         '\n' characters.
2820         
2821 Thu Mar 18 11:07:14 2004  Ben Pfaff  <blp@gnu.org>
2822
2823         * pfm-write.c: (bufwrite) Write out the correct element for string
2824         variables.  From Andreas Streichardt <streichardt@globalpark.de>.
2825
2826 Mon Mar 15 20:48:03 2004  Ben Pfaff  <blp@gnu.org>
2827
2828         Get rid of static and global (!) vars in matrix-data.c.
2829
2830         * matrix-data.c: (static var nr_data) Removed.
2831         (static var nr_factor_values) Removed.
2832         (static var max_cell_index) Removed.
2833         (static var split_values) Removed.
2834         (struct nr_aux_data) New structure.
2835         (read_matrices_without_rowtype) Use a local struct nr_aux_data in
2836         place of static vars, pass to create_case_source() and procedure()
2837         as aux data.
2838         (nr_read_data_lines) Use struct nr_aux_data * parameter instead of
2839         struct matrix_data_pgm *.
2840         (nr_read_splits) Ditto.
2841         (nr_read_factors) Ditto.
2842         (nr_output_data) Ditto.
2843         (static var wr_content) Removed.
2844         (global var wr_data) Removed.
2845         (global var wr_current) Removed.
2846         (struct wr_aux_data) New structure.
2847         (read_matrices_with_rowtype) Use a local struct wr_aux_data in
2848         place of static vars, pass to create_case_source() and procedure()
2849         as aux data.
2850         (matrix_data_read_with_rowtype) Use struct wr_aux_data * parameter
2851         instead of matrix_data_pgm *.
2852         (wr_read_splits) Ditto.
2853         (wr_output_data) Ditto.
2854         (wr_read_rowtype) Ditto.
2855         (wr_read_factors) Ditto.
2856         (wr_read_indeps) Ditto.
2857         
2858 Mon Mar 15 20:07:29 2004  Ben Pfaff  <blp@gnu.org>
2859
2860         Get rid of static vars in autorecode.c.
2861
2862         * autorecode.c: (struct autorecode_trns) Rename `arc' to `specs',
2863         `n_arc' to `spec_cnt'.  All references updated.
2864         (static var v_src) Removed.
2865         (static var v_dest) Removed.
2866         (static var h_trns) Removed.
2867         (static var nv_src) Removed.
2868         (static var descend) Removed.
2869         (static var print) Removed.
2870         (enum direction) New enum.
2871         (struct autorecode_pgm) New structure.
2872         (cmd_autorecode) Use struct autorecode_pgm instead of static vars.
2873         Move n_dest local var into struct autorecode_pgm for ease of
2874         clean-up.  Use arc_free().
2875         (arc_free) New function.
2876         (recode) Modify to take struct autorecode_pgm * parameter instead
2877         of using statics.  Let the caller clean up.
2878         (autorecode_proc_func) Use struct autorecode_pgm * auxiliary data
2879         instead of statics.  Rearrange code a little.
2880
2881 Mon Mar 15 00:25:02 2004  Ben Pfaff  <blp@gnu.org>
2882
2883         Get rid of static, global vars in recode.c.  Remove debug code.
2884
2885         * recode.c: (static var head) Removed.
2886         (global var v) Removed.
2887         (global var nv) Removed.
2888         (cmd_recode) New local variables head, v, nv.  Initialize and free
2889         v.  Don't call debug_print().
2890         [DEBUGGING] (dump_dest) Removed.
2891         [DEBUGGING] (debug_print) Removed.
2892
2893 Mon Mar 15 00:14:49 2004  Ben Pfaff  <blp@gnu.org>
2894
2895         Get rid of static vars in expr-opt.c.
2896
2897         * expr-opt.c: (static var e) Removed.
2898         (static var nop) Removed.
2899         (static var mop) Removed.
2900         (static var ndbl) Removed.
2901         (static var mdbl) Removed.
2902         (static var nstr) Removed.
2903         (static var mstr) Removed.
2904         (static var nvars) Removed.
2905         (static var mvars) Removed.
2906         (struct expr_dump_state) New structure.
2907         (dump_expression) Use new struct expr_dump_state instead of static
2908         vars and pass to functions we call.
2909         (dump_node) Use struct expr_dump_state * parameter.
2910         (emit) Ditto.
2911         (emit_num_con) Ditto.
2912         (emit_str_con) Ditto.
2913         (emit_var) Ditto.
2914         
2915 Mon Mar 15 00:03:51 2004  Ben Pfaff  <blp@gnu.org>
2916
2917         Get rid of static var in COUNT.
2918
2919         * count.c: (static var head) Move into cmd_count().
2920         (cmd_count) [DEBUGGING] Don't call debug_print.
2921         [DEBUGGING] (debug_print) Removed.
2922
2923 Sun Mar 14 23:56:09 2004  Ben Pfaff  <blp@gnu.org>
2924
2925         Get rid of static vars in VALUE LABELS, ADD VALUE LABELS.
2926
2927         * val-labs.c: (static var v) Removed.
2928         (static var nv) Removed.
2929         [DEBUGGING] (debug_print) Removed.
2930         (verify_val_labs) Add struct variable **, int parameters.
2931         (get_label) Ditto.  Improve error messages, streamline.
2932         (erase_labels) New function for erasing value labels, taking over
2933         part of verify_val_labs()'s function.
2934         (init) Removed.
2935         (done) Removed.
2936         (cmd_value_labels) No need to call init() or done() anymore.
2937         (cmd_add_value_labels) Ditto.
2938         (do_value_labels) Add vars, var_cnt local variables.  Clean up
2939         after them internally.  Call erase_labels() if we should.  Don't
2940         call debug_print().
2941
2942 Sun Mar 14 23:33:53 2004  Ben Pfaff  <blp@gnu.org>
2943
2944         Get rid of static vars in MATCH FILES.
2945         
2946         * get.c: (static var mtf_head) Removed.
2947         (static var mtf_tail) Removed.
2948         (static var mtf_by) Removed.
2949         (static var mtf_n_by) Removed.
2950         (static var mtf_master) Removed.
2951         (static var mtf_seq_num) Removed.
2952         (static var mtf_seq_nums) Removed.
2953         (static var mtf_sink) Removed.
2954         (static var mtf_case) Removed.
2955         (struct mtf_proc) New structure.
2956         (cmd_match_files) Use struct mtf_proc instead of static vars.
2957         (mtf_processing_finish) Ditto.
2958         (mtf_free) Ditto.
2959         (mtf_delete_file_in_place) Ditto.
2960         (mtf_read_nonactive_records) Ditto.
2961         (mtf_compare_BY_values) Ditto.
2962         (mtf_processing) Ditto.
2963         (mtf_merge_dictionary) Ditto.
2964
2965 Sun Mar 14 22:48:12 2004  Ben Pfaff  <blp@gnu.org>
2966
2967         * command.def: Add CASESTOVARS, VARSTOCASES unimplemented commands.
2968
2969         * dictionary.c: (dict_rename_var) Add assertion.
2970         (dict_contains_var) Check by index instead of name.
2971
2972 Sun Mar 14 22:01:02 2004  Ben Pfaff  <blp@gnu.org>
2973
2974         Get rid of compaction_necessary, compaction_nval, compaction_case.
2975         Redo VFM interface.  Replace disk_sink and memory_sink by
2976         storage_sink, disk_source and memory_source by storage_source.
2977
2978         * vfm.h: (struct case_sink) Add `dict', `idx_to_fv', `value_cnt'
2979         members.
2980
2981         * vfm.c: 
2982         (struct write_case_data) Remove `begin_func', `end_func',
2983         `func_aux' members.  Add `aux', `trns_case', `sink_case',
2984         `cases_written', `cases_analyzed' members.
2985         (global var compaction_necessary) Make static.
2986         (global var compaction_nval) Removed.
2987         (global var compaction_case) Removed.
2988         (static var case_count) Removed.
2989         (struct procedure_aux_data) Removed.
2990         (struct split_aux_data) Removed.
2991         (procedure) Remove begin_func, end_func parameters.  Rewrite.
2992         (static var not_canceled) Removed.
2993         (process_active_file) Removed.
2994         (process_active_file_write_case) Removed.
2995         (process_active_file_output_case) Removed.
2996         (prepare_for_writing) Moved into open_active_file().
2997         (arrange_compaction) Ditto.
2998         (setup_lag) Ditto.
2999         (open_active_file) Rewrote.
3000         (write_case) New function.
3001         [DEBUGGING] (index_to_varname) Removed.
3002         (execute_transformations) New function.
3003         (exclude_this_case) Renamed filter_case(), changed interface.
3004         (clear_case) Added struct ccase * parameter to interface.
3005         (close_active_file) Added struct write_case_data * parameter,
3006         rewrote.
3007         (disk_sink_create) Removed.
3008         (disk_sink_destroy) Removed.
3009         (disk_sink_make_source) Removed.
3010         (disk_sink_write) Removed.
3011         (disk_source_count) Removed.
3012         (disk_source_destroy) Removed.
3013         (disk_source_read) Removed.
3014         (global var disk_sink_class) Removed.
3015         (global var disk_source_class) Removed.
3016         (global var memory_sink_class) Removed.
3017         (global var memory_source_class) Removed.
3018         (memory_sink_create) Removed.
3019         (memory_sink_destroy) Removed.
3020         (memory_sink_make_source) Removed.
3021         (memory_sink_write) Removed.
3022         (memory_source_count) Removed.
3023         (memory_source_destroy) Removed.
3024         (memory_source_get_cases) Removed.
3025         (memory_source_read) Removed.
3026         (memory_source_set_cases) Removed.
3027         (struct disk_stream_info) Removed.
3028         (struct memory_sink_info) Removed.
3029         (struct memory_source_info) Removed.
3030         (write_active_file_to_disk) Removed.
3031         (destroy_storage_stream_info) New function.
3032         (global var null_sink_class) New var.
3033         (global var storage_sink_class) New var.
3034         (global var storage_source_class) New var.
3035         (open_storage_file) New function.
3036         (storage_sink_destroy) New function.
3037         (storage_sink_make_source) New function.
3038         (storage_sink_open) New function.
3039         (storage_sink_write) New function.
3040         (storage_source_count) New function.
3041         (storage_source_destroy) New function.
3042         (storage_source_get_cases) New function.
3043         (storage_source_on_disk) New function.
3044         (storage_source_read) New function.
3045         (storage_source_set_cases) New function.
3046         (storage_source_to_disk) New function.
3047         (storage_to_disk) New function.
3048         (struct storage_stream_info) New structure.
3049         (write_storage_file) New function.
3050         (procedure_write_case) Removed.
3051         (create_case_source) Add `struct dictionary *' parameter, all
3052         references updated.
3053         (create_case_sink) Ditto.
3054         (free_case_sink) New function.
3055         (struct split_aux_data) New structure.
3056         (procedure_with_splits) New function implementing what procedure()
3057         used to.
3058         (SPLIT_FILE_proc_func) Removed.
3059         (procedure_with_splits_callback) New function.
3060         (equal_splits) New function.
3061         
3062         * aggregate.c: Pass around a struct instead of using statics.
3063         (static var outfile) Remove.
3064         (enum type) Give it tag `missing_treatment'.
3065         (static var missing) Remove.
3066         (static var sort) Remove.
3067         (static var agr_first) Remove.
3068         (static var agr_next) Remove.
3069         (static var case_count) Remove.
3070         (static var prev_case) Remove.
3071         (static var buf64_1xx) Remove.
3072         (static var buf_1xx) Remove.
3073         (struct agr_proc) New structure incorporating the above.
3074         (cmd_aggregate) Use new struct.  Clean up error handling using
3075         agr_destroy().  Completely rewrite actual implementation of
3076         aggregation.
3077         (create_sysfile) Add struct agr_proc * parameter, modify
3078         accordingly.
3079         (parse_aggregate_functions) Ditto.
3080         (free_aggregate_functions) Ditto.  Rename agr_destroy().
3081         (aggregate_single_case) Add struct agr_proc * parameter, modify
3082         accordingly.
3083         (accumulate_aggregate_info) Ditto.
3084         (dump_aggregate_info) Ditto.
3085         (initialize_aggregate_info) Ditto.
3086         (agr_00x_trns_proc) Removed.
3087         (agr_00x_end_func) Removed.
3088         (agr_10x_trns_proc) Removed.
3089         (agr_10x_trns_free) Removed.
3090         (agr_10x_end_func) Removed.
3091         (agr_11x_read) Removed.
3092         (agr_11x_finish) Removed.
3093         [DEBUGGING] (debug_print) Removed.
3094         (write_case_to_sfm) Add struct agr_proc * parameter, modify
3095         accordingly.
3096         (agr_to_active_file) New function.
3097         (presorted_agr_to_sysfile) New function.
3098         (sort_agr_to_sysfile) New function.
3099
3100         * autorecode.c: (cmd_autorecode) Use procedure_with_splits().
3101
3102         * crosstabs.q: (internal_cmd_crosstabs) Ditto.
3103
3104         * descript.q: (cmd_descriptives) Ditto.
3105
3106         * dfm.c: (cmd_begin_data) Check for storage_source_class.  Adapt
3107         to new procedure() interface.
3108
3109         * command.c: (cmd_execute) Adapt to new procedure() interface.
3110
3111         * dictionary.c: (dict_compact_values) Also delete scratch
3112         variables.
3113         (dict_get_compacted_value_cnt) New function.
3114         (dict_get_compacted_idx_to_fv) New function.
3115
3116         * flip.c: (cmd_flip) Warn about and cancel TEMPORARY.
3117         (cmd_flip) Adapt to new procedure() interface.
3118         (flip_sink_write) Use sink->idx_to_fv.
3119
3120         * frequencies.q: (internal_cmd_frequencies) Use
3121         procedure_with_splits().
3122
3123         * get.c: (cmd_save_internal) Adapt to new procedure() interface.
3124         (static var mtf_sink) New static var.
3125         (static var mtf_case) New static var.
3126         (cmd_match_files) Warn about and cancel TEMPORARY.  Redo the way
3127         we actually implement the matching.
3128         (mtf_delete_file_in_place) Use mtf_case.
3129         (mtf_processing) Use mtf_case and mtf_sink.
3130         (cmd_export) Adapt to new procedure() interface.
3131
3132         * levene.c: (levene) Use procedure_with_splits().
3133
3134         * list.q: (cmd_list) Use procedure_with_splits().
3135
3136         * matrix-data.c: (read_matrices_without_rowtype) Adapt to new
3137         procedure() interface.
3138         (read_matrices_with_rowtype) Ditto.
3139
3140         * modify-vars.c; (cmd_modify_vars) Warn about and cancel
3141         TEMPORARY.  Adapt to new procedure() interface.
3142
3143         * rename-vars.c: Warn about and cancel TEMPORARY.
3144
3145         * sort.c: (cmd_sort_cases) Warn about TEMPORARY.
3146         (sort_cases) Use dict_get_compacted_value_cnt() instead of
3147         compaction_nval.  Adapt to new procedure() interface.  Use
3148         storage_source_to_disk().
3149         (do_internal_sort) Don't try to dump the cases to memory.
3150         (compare_case_lists) Pass null idx_to_fv.
3151         (struct initial_run_state) Add `idx_to_fv' member.  Remove
3152         `case_size' member.
3153         (write_initial_runs) Don't initialize irs->case_size.  Adapt to
3154         new procedure() interface.  Reset irs->idx_to_fv after calling
3155         procedure().
3156         (sort_sink_write) Set irs->idx_to_fv.  Use case_size from struct
3157         sort_cases_pgm.  Pass irs, not struct sort_cases_pgm to
3158         push_heap().
3159         (destroy_initial_run_state) Don't dereference irs after freeing
3160         it.
3161         (allocate_cases) Don't calculate case_size locally.
3162         (compare_record) Add idx_to_fv parameter.
3163         (compare_record_run) Change parameter from struct sort_cases_pgm *
3164         to struct initial_run_state *.  Pass irs->idx_to_fv to
3165         compare_record().
3166         (compare_record_run) Third parameter now a struct
3167         initial_run_state *.
3168         (output_record) No need for out_case anymore.  Pass irs, not
3169         struct sort_cases_pgm to pop_heap().  Use case_size from struct
3170         sort_cases_pgm.
3171         (merge) Use case_size from struct sort_cases_pgm.
3172         (merge_once) Use case_size from struct sort_cases_pgm.
3173         Pass null pointer to compare_record() as idx_to_fv.
3174         (global var sort_sink_class) Make static.
3175
3176         * t-test.q: (cmd_t_test) Use procedure_with_splits().
3177
3178         * temporary.c: Remove debugging crap.
3179
3180 Sat Mar 13 14:19:52 WST 2004 John Darrington <john@darrington.wattle.id.au>
3181
3182         * t-test.q, levene.c: Fixed up the handling of MISSING values
3183         int the T-TEST
3184
3185 Fri Mar 12 16:23:35 WST 2004 John Darrington <john@darrington.wattle.id.au>
3186
3187         * t-test.q, levene.c: Added support for T-TEST /GROUP where only 
3188         one value is given.
3189
3190 Wed Mar 10 23:25:13 2004  Ben Pfaff  <blp@gnu.org>
3191
3192         Change explicit variable name checks into use of
3193         dict_class_from_id().
3194
3195         * dictionary.c: (dict_create_var)  Change explicit variable name
3196         check into use of dict_class_from_id().
3197
3198         * get.c: (trim_dictionary) Ditto.
3199
3200         * sel-if.c: (cmd_filter) Ditto.
3201
3202         * sysfile-info.c: (cmd_display) Ditto.
3203
3204         * vars-prs.c: (parse_DATA_LIST_vars) Ditto.
3205
3206         * vfm.c: (arrange_compaction) Ditto.
3207
3208         * weight.c: (cmd_weight) Ditto.
3209
3210 Wed Mar 10 21:16:34 2004  Ben Pfaff  <blp@gnu.org>
3211
3212         * temporary.c: (cmd_temporary) When TEMPORARY was the first
3213         transformation following the input program, if any, for some
3214         reason we special-cased f_trns.  That's just wrong.  It should
3215         always be set to n_trns.
3216
3217 Tue Mar  9 23:44:40 2004  Ben Pfaff  <blp@gnu.org>
3218
3219         * format.c: (parse_format_specifier_name) Fix brown-bag bug
3220         introduced in last check-in.
3221
3222 Tue Mar  9 23:10:41 2004  Ben Pfaff  <blp@gnu.org>
3223
3224         * format.c: (global array translate_fmt[]) Removed.
3225         (translate_fmt) New function as replacement.
3226         (parse_format_specifier_name) Rewrite.
3227
3228         * pfm-read.c: (convert_format) Use translate_fmt() instead of
3229         translate_fmt[].
3230
3231         * sfm-read.c: (parse_format_spec) Ditto.
3232
3233         * postscript.c: (text) Fix handling of fonts with missing
3234         ligatures.
3235
3236         * sort.c: (struct external_sort) Add temp_name member.
3237         (destroy_external_sort) Free temp_dir, temp_name members.
3238         (init_external_sort) Allocate temp_name.
3239         (get_temp_file_name) Change prototype.
3240         (open_temp_file) Deal with change to get_temp_file_name().
3241         (close_temp_file) Ditto.
3242         (remove_temp_file) Ditto.
3243         (write_temp_file) Ditto.
3244         (read_temp_file) Ditto.
3245         (sort_sink_destroy) Removed.
3246         (sort_sink_class) Change destroy member to null.
3247
3248 Tue Mar  9 22:36:34 2004  Ben Pfaff  <blp@gnu.org>
3249
3250         Eliminate temp_case.
3251
3252         * aggregate.c: (cmd_aggregate) No need to save/restore temp_case
3253         anymore.  Use agr_11x_finish().
3254         (aggregate_single_case) Make first param const.
3255         (accumulate_aggregate_info) Ditto.
3256         (agr_00x_end_func) Use compaction_case, not temp_case.
3257         (agr_11x_func) Break into agr_11x_read(), agr_11x_finish().
3258
3259         * data-list.c: (struct data_list_pgm) Add `case_size' member.
3260         (cmd_data_list) Initialize case_size.
3261         (read_from_data_list_fixed) Add struct ccase * param, use instead
3262         of temp_case.
3263         (read_from_data_list_free) Ditto.
3264         (read_from_data_list_list) Ditto.
3265         (read_one_case) Rename data_list_trns_proc(), all references
3266         updated.  Add argument in calling above functions.  Use c
3267         argument instead of temp_case.
3268         (destroy_dls) Rename data_list_trns_free(), all references
3269         updated.
3270
3271         * expr-evl.c: (expr_evaluate) Make second parameter const.
3272
3273         * file-type.c: (struct file_type_pgm) Add `case_size' member.
3274         (cmd_end_file_type) Initialize `case_size'.
3275         (file_type_source_read) Add struct ccase * parameter.  Use instead
3276         of temp_case.
3277
3278         * flip.c: Rewritten.
3279
3280         * get.c: (struct get_pgm) New structure to keep track of
3281         case_size.
3282         (cmd_get) Initialize case_size.
3283         (cmd_import) Ditto.
3284         (get_source) Deal with struct get_pgm.
3285         (get_source_read) Add struct ccase * parameter, use instead of
3286         temp_case.
3287         (import_source_read) Ditto.
3288
3289         * get.c: Use a null pointer instead of temp_case to represent the
3290         "current case" in a struct mtf_file's input member.
3291         (mtf_processing_finish) Pass null to mtf_processing(), not
3292         temp_case.
3293         (mtf_read_nonactive_records) Don't set iter->input to temp_case.
3294         (mtf_compare_BY_values) Add extra arg, use instead of null input
3295         members.
3296         (mtf_processing) Use c parameter instead of temp_case.  Pass
3297         compaction_case to process_active_file_output_case().
3298         
3299         * glob.c: (global variable temp_case) Removed.
3300
3301         * inpt-pgm.c: (struct input_program_pgm) Add `case_size' member.
3302         (cmd_input_program) Initialize case_size.  Set
3303         vfm_source->value_cnt.
3304         (init_case) Add struct ccase * parameter, use instead of
3305         temp_case.
3306         (clear_case) Ditto.
3307         (input_program_source_read) Ditto.
3308
3309         * matrix-data.c: (matrix_data_read_without_rowtype) Ditto.
3310         (dump_cell_content) Ditto.
3311         (nr_output_data) Ditto.
3312         (read_matrices_without_rowtype) Ditto.
3313         (matrix_data_read_with_rowtype) Ditto.
3314         (wr_read_splits) Ditto.
3315         (wr_output_data) Ditto.
3316
3317         * sort.h: (struct sort_cases_pgm) New member `case_size'.
3318         
3319         * sort.c: (sort_cases) Initialize scp->case_size.
3320         (struct external_sort) Remove `case_size' member.
3321         (write_initial_runs) Only call vfm_sink->class_destroy if
3322         non-null.
3323         (struct sort_source_aux) New structure.
3324         (sort_source_read_helper) New function.
3325         (sort_source_read) Use sort_source_read_helper().
3326         (read_sort_output) Change interface to be more reasonable.
3327         (read_internal_sort_output) Ditto.
3328         (read_external_sort_output) Ditto.
3329
3330         * vars-prs.c: (dict_class_to_name) Pass return value through
3331         gettext.
3332
3333         * vfm.c: (struct procedure_aux_data) Add `trns_case' member.
3334         (procedure) Initialize trns_case.
3335         (procedure) Pass trns_case to vfm_source->class->read().
3336         Free trns_case.
3337         (process_active_file) Start using struct procedure_aux_data.
3338         (process_active_file_write_case) Pass trns_case to
3339         transformations, lag_case(), clear_case().
3340         (process_active_file_output_case) Add struct ccase * parameter.
3341         (create_trns_case) New function.
3342         (make_temp_case) Removed.
3343         (vector_initialization) Removed.
3344         (close_active_file) Only call make_source if non-null, otherwise
3345         set vfm_source to null pointer.  Don't free temp_case.
3346         (disk_source_read) Add struct ccase * parameter, use instead of
3347         temp_case.
3348         (memory_source_read) Ditto.
3349         (lag_case) Add const struct ccase * member.
3350         (procedure_write_case) Use trns_case instead of temp_case.
3351         (clear_case) Add struct ccase * member, use instead of temp_case.
3352         (exclude_this_case) Ditto.
3353         (create_case_source) Add struct dictionary * parameter, use to
3354         initialize source->value_cnt.
3355
3356         * vfm.h: (struct case_source) Add `value_cnt' member.
3357         (struct case_source_class) Add struct ccase * parameter to `read'
3358         member function pointer.
3359         (struct case_sink_class) Make struct ccase * parameter const in
3360         `write' member function pointer.
3361         
3362 Wed Mar  3 20:44:37 2004  Ben Pfaff  <blp@gnu.org>
3363
3364         Fix a lot of "possibly uninitialized variable" warnings.  Some of
3365         them are even real bugs.  A few of them make me wonder how the
3366         code ever worked.
3367
3368         * aggregate.c: (parse_aggregate_functions) Initialize `function.
3369
3370         * ascii.c: (output_lines) Add default case to switch.
3371
3372         * crosstabs.q: Remove static variable `expected' and all
3373         references to it.
3374         (display_crosstabulation) Always calculate expected value.
3375         (calc_chisq) Ditto.
3376         (output_pivot_table) Initialize `cmp'.
3377         (display_crosstabulation) New variable `last_row', which is
3378         initialized.
3379
3380         * data-in.c: (parse_numeric) Always initialize sign.  How did this
3381         work at all?!
3382
3383         * data-list.c: (repeating_data_trns_proc) Always initialize code.
3384         Always set info.ofs.  (How did this work?!)
3385
3386         * expr-opt.c: (optimize_tree) Always initialize `m'.
3387         (evaluate_tree) Always initialize `c'.  (How did this work?)
3388
3389         * frequencies.q: (frq_custom_variables) Always initialize min,
3390         max.
3391         (frq_custom_grouped) Always initialize `dl'.
3392
3393         * groff-font.c: (groff_read_font) Always initialize char_set.
3394
3395         * matrix-data.c: (nr_output_data) Initialize `split'.
3396         (wr_read_splits) Remove shadowing split_cnt declaration.
3397         (wr_output_data) Initialize `split'.
3398
3399         * output.c: (tokener) Skip add character on syntax error.
3400
3401         * pool.c: (pool_strndup) Always set `copy'.  (How did this work?!)
3402
3403         * postscript.c: (read_ps_encodings) Use line.string instead of
3404         uninitialized `bp'.
3405         (write_text) Add default case to switch.
3406         (text) Always initialize multiple variables.  Fix bug with
3407         ligatures.
3408
3409         * print.c: (fixed_parse_fortran) Initialize head.
3410         (alloc_line) Add default case to switch.
3411
3412         * recode.c: (parse_dest_spec) Handle case where nothing matches.
3413         (recode_trns_proc) Move variable declaration inward.  Add default
3414         case to switch.
3415
3416         * sfm-read.c: (read_header) Initialize skip_amt.
3417
3418         * sysfile-info.c: (display_variables) Always initialize pc.
3419
3420         * vars-prs.c: Initialized `included'.
3421
3422 Wed Mar  3 09:30:09 2004  Ben Pfaff  <blp@gnu.org>
3423
3424         * main.c: (main) sigaction()'s sa_flags member was uninitialized.
3425         Just use signal() instead.
3426
3427 Wed Mar  3 09:26:30 2004  Ben Pfaff  <blp@gnu.org>
3428
3429         Get rid of vfm_sink_info and vfm_source_info.
3430         
3431         * aggregate.c: (agr_00x_end_func) Don't increment
3432         sfm_sink_info.ncases.
3433
3434         * sort.c: (do_internal_sort) Get case count from
3435         vfm_source->class->count().
3436         (struct external_sort) Add `case_size' member.
3437         (do_external_sort) Initialize case_size.
3438         (struct initial_run_state) Add `case_size' member.
3439         (write_initial_runs) Initialize case_size.
3440         (sort_sink_write) Use case_size.
3441         (read_external_sort_output) Use case_size.  Get case_cnt from
3442         initial_runs.
3443
3444         * vfm.c: (struct write_case_data) Add underscores to existing arg
3445         names, all references updated.  Renamed `aux' as `func_aux', all
3446         references updated.  Added new `aux' member.
3447         (global var vfm_source_info) Removed.
3448         (global var vfm_sink_info) Removed.
3449         (struct procedure_aux_data) New.
3450         (struct split_aux_data) New.
3451         (procedure) Use `aux' fields for procedure_aux_data,
3452         split_aux_data.
3453         (process_active_file_write_case) Pass case_count + 1 to
3454         transformation procedures, exclude_this_case().
3455         (process_active_file_output_case) Don't increment
3456         vfm_sink_info.ncases.
3457         (prepare_for_writing) Don't initialize vfm_sink_info.  Don't try
3458         to send data to disk early.
3459         (make_temp_case) Don't use vfm_sink_info.case_size.
3460         (close_active_file) Don't initialize vfm_source_info.
3461         (struct disk_stream_info) New, to allow for case_cnt and case_size fields.
3462         (disk_sink_create) Initialize and/or update disk_stream_info.
3463         (disk_sink_write) Ditto.
3464         (disk_sink_destroy) Ditto.
3465         (disk_sink_make_source) Ditto.
3466         (disk_source_read) Ditto.
3467         (disk_source_destroy) Ditto.
3468         (global var disk_source_class) Add disk_source_count().
3469         (disk_source_count) New function.
3470         (struct memory_sink_info) Add `case_cnt', `case_size' members.
3471         (struct memory_source_info) Ditto.
3472         (memory_sink_create) Deal with case_cnt, case_size.
3473         (memory_sink_write) Ditto.
3474         (memory_sink_make_source) Ditto.
3475         (memory_source_read) Ditto.
3476         (memory_source_count) New function.
3477         (memory_source_class) Add memory_source_count().
3478         (procedure_write_case) Don't use vfm_sink_info.ncases.  Do use
3479         proc_aux->cases_written, and pass it to transformation procedures
3480         and exclude_this_case ().
3481         (exclude_this_case) Add case_num parameter.  Pass it to
3482         expr_evaluate().
3483         (SPLIT_FILE_procfunc) Use split_aux->prev_case instead of static
3484         variable.
3485
3486         * vfm.h: (struct case_source_class) Add `count' member.
3487
3488         * vfmP.h: (struct stream_info) Removed.
3489         (global variable vfm_source_info) Removed.
3490         (global variable vfm_sink_info) Removed.
3491         
3492 Tue Mar  2 23:38:17 2004  Ben Pfaff  <blp@gnu.org>
3493
3494         * var.h: (typedef trns_proc_func) New typedef.
3495         (trns_free_func) New typedef.
3496         (struct trns_header) Change `proc' to type trns_proc_func, `free'
3497         to type trns_free_func.  This only changes the actual type of
3498         trns_proc_func, adding a `case_num' parameter.  Updated all
3499         implementations to use the typedefs instead.
3500
3501         * compute.c: (compute_num) Pass case_num to expr_evaluate().
3502         (compute_num_vec) Ditto.
3503         (compute_str) Ditto.
3504         (compute_str_vec) Ditto.
3505
3506         * do-if.c: (do_if_trns_proc) Ditto.
3507
3508         * expr-evl.c: (expr_evaluate) Add new case_num parameter, use for
3509         OP_CASENUM.
3510
3511         * inpt-pgm.c: (input_program_source_read) Maintain case count,
3512         pass to transformation functions.
3513         (reread_trns_proc) Pass case_num arg to expr_evaluate().
3514
3515         * loop.c: (loop_1_trns_proc) Ditto.
3516         (loop_2_trns_proc) Ditto.
3517         (loop_3_trns_proc) Ditto.
3518
3519         * print.c: (print_space_trns_proc) Ditto.
3520
3521         * sel-if.c: (select_if_proc) Ditto.
3522
3523 Tue Mar  2 11:36:52 2004  Ben Pfaff  <blp@gnu.org>
3524
3525         * frequencies.q: (cleanup_freq_tab) Avoid memory leak by
3526         destroying hash table.
3527
3528         * glob.c: (read_active_file) Variable not referenced, removed.
3529         (cancel_input_pgm) Ditto.
3530
3531         * levene.c: Add #include <stdlib.h> needed to call free().
3532
3533         * aggregate.c: (parse_aggregate_functions) Make `function'
3534         variable const.
3535
3536 Tue Mar  2 11:30:56 2004  Ben Pfaff  <blp@gnu.org>
3537
3538         Start working to eliminate VFM dependence on static variables.
3539
3540         * command.c: (cmd_parse) Use case_source_is_class().
3541
3542         * data-list.c: Rewrite to eliminate use of static variables.
3543
3544         * dfm.c: (cmd_begin_data) Use case_source_is_class().
3545
3546         * file-handle.q: (fh_handle_name) Make parameter const.
3547
3548         * file-type.c: Rewrite to eliminate use of static variables.
3549
3550         * flip.c: Rewrite to eliminate use of static variables.
3551
3552         * format.c: (get_format_var_width) New function.
3553
3554         * get.c: Eliminate use of static variables.
3555
3556         * inpt-pgm.c: Eliminate use of static variables.
3557
3558         * matrix-data.c: Eliminate use of static variables.
3559
3560         * set.q: (set_max_workspace) New variable.
3561         (cmd_set) Use SET WORKSPACE to modify set_max_workspace.
3562
3563         * var.h: (struct case_list) Move here from vfmP.h.
3564
3565         * vars-atr.c: (discard_variables) Handle new vfm_source type.
3566
3567         * vfm.c: (vfm_source) Change type from struct case_stream to
3568         struct case_source.
3569         (vfm_sink) Change type from struct case_stream to struct
3570         case_sink.
3571         (static var paging) Rename workspace_overflow, all references
3572         updated.
3573         (procedure) Use new class structures.
3574         (process_active_file) Ditto.
3575         (process_active_file_write_case) Ditto.
3576         (prepare_for_writing) Use set_max_workspace.  Use new class
3577         structures.
3578         (close_active_file) Use new class structures.  Free old sink.
3579         (global var disk_source_file) Removed.
3580         (global var disk_sink_file) Removed.
3581         (disk_stream_init) Removed.
3582         (disk_stream_read) Removed.
3583         (disk_stream_write) Removed.
3584         (disk_stream_mode) Removed.
3585         (disk_stream_destroy_source) Removed.
3586         (disk_stream_destroy_sink) Removed.
3587         (global var vfm_disk_stream) Removed.
3588         (disk_sink_create) New function.
3589         (disk_sink_write) New function.
3590         (disk_sink_destroy) New function.
3591         (disk_sink_make_source) New function.
3592         (disk_sink_class) New static var.
3593         (disk_source_read) New function.
3594         (disk_source_destroy) New function.
3595         (global var vfm_source_class) New var.
3596         (global var memory_source_cases) Removed.
3597         (global var memory_sink_cases) Removed.
3598         (global var memory_sink_max_cases) Removed.
3599         (struct memory_sink_info) New struct.
3600         (memory_stream_init) Removed.
3601         (memory_stream_read) Removed.
3602         (memory_stream_write) Removed.
3603         (memory_stream_mode) Removed.
3604         (memory_stream_destroy_source) Removed.
3605         (memory_stream_destroy_sink) Removed.
3606         (global var vfm_memory_stream) Removed.
3607         (page_to_disk) Renamed write_active_file_to_disk().
3608         (memory_sink_create) New function.
3609         (memory_sink_write) New function.
3610         (memory_sink_destroy) New function.
3611         (memory_sink_make_source) New function.
3612         (memory_sink_class) New static var.
3613         (memory_source_read) New function.
3614         (memory_source_destroy) New function.
3615         (memory_source_get_cases) New function.
3616         (memory_source_set_cases) New function.
3617         (global var vfm_source_class) New var.
3618         (procedure_write_case) Use new class structures.
3619         (create_case_source) New function.
3620         (case_source_is_complex) New function.
3621         (case_source_is_class) New function.
3622         (create_case_sink) New function.
3623
3624         * vfm.h: (global variable reinit_sysmis) Not used, removed.
3625         (global variable reinit_blanks) Not used, removed.
3626         (global variable init_zero) Not used, removed.
3627         (global variable init_blanks) Not used, removed.
3628         (struct case_source) New struct.
3629         (struct case_source_class) New struct.
3630         (struct case_sink) New struct.
3631         (struct case_sink_class) New struct.
3632         (struct case_stream) Removed.
3633
3634         * vfmP.h: (struct case_list) Moved to var.h.
3635
3636 Tue Mar  2 11:28:30 2004  Ben Pfaff  <blp@gnu.org>
3637
3638         * algorithm.c: (count_equal) New function.
3639         (count_if) New function.
3640         (unique) Add assertions.
3641         (partition) Add assertions.
3642         (is_partitioned) New function.
3643         (copy_if) Add assertions.
3644         (remove_equal) Add assertions.
3645         (lexicographical_compare) Rename lexicographical_compare_3way.
3646         (sort) Add assertions.  Rephrase some code.
3647         (is_sorted) New function.
3648
3649 Sun Feb 29 23:24:57 2004  Ben Pfaff  <blp@gnu.org>
3650
3651         Rewrite SORT CASES.
3652
3653         * sort.c: Completely rewrite.
3654
3655         * sort.h: Expose interface via struct sort_cases_pgm, not via
3656         global variables.
3657
3658         * aggregate.c: (sort) New static var.
3659         (cmd_aggregate) Use sort.
3660         (create_sysfile) Ditto.
3661         (aggregate_single_case) Ditto.
3662         (dump_aggregate_info) Ditto.
3663         (agr_00x_end_func) Ditto.
3664         (debug_print) Ditto.
3665
3666         * var.h: (enum SRT_ASCEND) Removed.
3667         (enum SRT_DESCEND) Removed.
3668         (struct sort_cases_proc) Removed.
3669         (struct variable) Remove p.srt member.
3670
3671 Sun Feb 29 23:22:45 2004  Ben Pfaff  <blp@gnu.org>
3672
3673         Get rid of the old, crappy heap structure and replace it by a new,
3674         shiny, C++ STL-like heap structure.
3675         
3676         * Makefile.am: (pspp_SOURCES) Remove heap.c, heap.h.
3677
3678         * algorithm.c: (push_heap) New function.
3679         (heapify) Ditto.
3680         (pop_heap) Ditto.
3681         (make_heap) Ditto.
3682         (sort_heap) Ditto.
3683         (is_heap) Ditto.
3684         
3685         * heap.c: Removed.
3686
3687         * heap.h: Removed.
3688
3689 Sun Feb 29 23:21:53 2004  Ben Pfaff  <blp@gnu.org>
3690
3691         Increase warning level.
3692         
3693         * Makefile.am: (AM_CFLAGS) Remove -Wnouninitialized.
3694
3695 Sat Feb 21 17:38:58 WST 2004 John Darrington <john@darrington.wattle.id.au>
3696
3697         * main.c: Added a signal handler for SIGSEGV requesting a bug report.
3698          
3699 Fri Feb 20 23:22:14 2004  Ben Pfaff  <blp@gnu.org>
3700
3701         * dictionary.c: (dict_create_var) Fix root cause of bug worked
3702         around by previous change log entry.
3703         
3704         * compute.c: (lvalue_finalize) Remove workaround from previous
3705         change log entry.
3706
3707 Fri Feb 20 14:37:41 WAST 2004 John Darrington <john@darrington.wattle.id.au>
3708
3709         * compute.c: Fixed a bug where the Format was not getting set for 
3710           computed variables (thus causing a crash when SAVEing).
3711
3712         * Added a test to stop this bug ever coming back
3713
3714 Wed Feb 18 22:21:35 2004  Ben Pfaff  <blp@gnu.org>
3715
3716         Got rid of approx.h.  In general, replaced all references to
3717         approx_eq() by ==, approx_lt() by <, etc.  Other types of changes
3718         noted below.
3719
3720         * Makefile.am: (pspp_SOURCES) Removed approx.h.
3721
3722         * data-out.c: (try_F) Replaced test for approx_eq(number, 0.0) by
3723         test for mag < EPSILON.
3724
3725         * misc.h: Add definition of EPSILON.
3726
3727 Wed Feb 18 21:32:44 2004  Ben Pfaff  <blp@gnu.org>
3728
3729         * vfm.c: (procedure) Add check to prevent recursive call.
3730
3731 Wed Feb 18 21:48:54 WST 2004 John Darrington <john@darrington.wattle.id.au>
3732
3733         * Moved the declarations relating to values to their own header file
3734           (val.h)
3735
3736         * Added levene.c and levene.h
3737
3738         * vars-atr.c: Changed the signature of compare_values to 
3739         take const * arguments.
3740                 
3741         * t-test.q: Changed the structure of struct t_test_proc 
3742        variables now contain their own group statistics information.
3743        Eventually, t_test_proc might get renamed, because it'd be 
3744        applicable to other commands too.
3745
3746 Mon Feb 16 23:15:51 2004  Ben Pfaff  <blp@gnu.org>
3747
3748         * data-out.c: Clean up.  Changed interface of convert_*() to take
3749         either a `double' or a `const char *' instead of a `const union
3750         value *'.  Update all implementations of those interfaces.
3751         (data_out) Use switch statements instead of a table.
3752         (convert_AHEX) Rewrite.
3753
3754         * format.h: Update comment.
3755
3756 Mon Feb 16 22:14:36 2004  Ben Pfaff  <blp@gnu.org>
3757
3758         * q2c.c: (dump_header) Add an Emacs header line to output files
3759         that makes generated .c files read-only by default, to make it
3760         difficult to accidentally change generated files.
3761
3762 Mon Feb 16 22:12:07 2004  Ben Pfaff  <blp@gnu.org>
3763
3764         * frequencies.q: (compare_freq_numeric_a) Compare by frequency,
3765         not bogus a->v.c <=> b->v.c pointer compare.
3766         (compare_freq_alpha_a) Ditto.
3767         (compare_freq_numeric_d) Ditto.
3768         (compare_freq_alpha_d) Ditto.
3769         
3770 Mon Feb 16 22:00:53 2004  Ben Pfaff  <blp@gnu.org>
3771
3772         Changed data_out() to store string data directly into a `union
3773         value''s s member, not indirectly into c.
3774
3775         * crosstabs.q: (output_pivot_table) Use format_short() instead of
3776         data_out().
3777         (table_value_missing) Ditto.
3778         (float_M_suffix) Ditto.
3779         (format_short) New function.
3780
3781         * data-in.h: (data_in_finite_line) Remove inline definition.
3782
3783         * data-list.c: (destroy_dls_var_spec) New function.
3784         (destroy_dls) Rewrite in terms of destroy_dls_var_spec().
3785         (data_list_source_destroy_source) Avoid cast.
3786         (struct repeating_data_trns) New field `id_value'.  Update
3787         comments.
3788         (cmd_repeating_data) Initialize id_value.  Use new
3789         repeating_data_trns_free() for freeing REPEATING DATA
3790         transformations.
3791         (rpd_parse_record) Rewrite support for record ID to be less bogus.
3792         (repeating_data_trns_free) New function.
3793
3794         * data-out.c: (data_out) Change return type to `void' by replacing
3795         error returns by writing a message into the output buffer.
3796         (convert_A) Read from v->s instead of v->c.
3797         (convert_AHEX) Ditto.
3798
3799         * expr-evl.c: Update comment.
3800         (expr_evaluate) Add assertion in OP_STRING case.
3801
3802         * format.h: (macro MAX_FORMATTED_LEN) New macro.
3803
3804         * list.q: (list_cases) Update for new data_out() semantics.
3805
3806         * print.c: (print_trns_proc) Ditto.
3807
3808         * tab.c: (tab_value) Ditto.
3809         (tab_float) Avoid stupid cast.
3810
3811         * var.h: Update comments.
3812         (macro MAX_STRING) New macro.
3813         (macro MAX_ELEMS_PER_VALUE) New macro.
3814
3815         * vars-atr.c: (compare_values) New function.
3816
3817         * vfm.c: (dump_splits) Update for new data_out() semantics.
3818
3819 Mon Feb 16 21:45:47 2004  Ben Pfaff  <blp@gnu.org>
3820
3821         * crosstabs.q: (struct table_entry) Rename v[] to values[].  All
3822         references updated.
3823         (struct crosstab) Rename v[] to vars[].  All references updated.
3824         (hash_table_entry) Replace the hash algorithm and fix a bug at the
3825         same time, which caused the hash value to depend only on a single
3826         value, not all of the variables' values.
3827         
3828 Mon Feb 16 12:49:53 2004  Ben Pfaff  <blp@gnu.org>
3829
3830         Clean up struct dictionary's value_cnt usage.
3831
3832         * dictionary.c: Add a function comment to each function.
3833         (struct dictionary) Rename value_cnt to next_value_idx, which more
3834         accurately reflects its meaning.  All references updated.
3835         (dict_rename_vars) Add assertion.
3836         (dict_get_value_cnt) Rename dict_get_next_value_idx().  All
3837         references updated.
3838         (dict_get_case_size) New function.
3839
3840         * aggregate.c: (create_sysfile) Use dict_get_case_size().
3841
3842         * get.c: (mtf_read_nonactive_records) Ditto.
3843
3844         * sort.c: (allocate_cases) Ditto.
3845         (write_initial_runs) Ditto.
3846         (merge) Ditto.
3847         (merge_once) Ditto.
3848
3849         * vfm.c: (prepare_for_writing) Ditto.
3850         (setup_lag) Ditto.
3851         (lag_case) Ditto.
3852
3853 Mon Feb 16 00:17:55 2004  Ben Pfaff  <blp@gnu.org>
3854
3855         Make vfm.c slightly less grotesque.
3856
3857         * vfm.c: (filter_var) Removed.
3858         (filter_index) Removed.
3859         (FILTERED macro) Removed.
3860         (exclude_this_case) New function.
3861         (process_active_file_write_case) Use exclude_this_case() instead
3862         of FILTERED and inline tests.
3863         (procedure_write_case) Ditto.
3864         (setup_filter) Removed.
3865         (open_active_file) Don't call setup_filter().
3866         (close_active_file) Call dict_get_filter() instead of checking
3867         filter_var.
3868
3869 Mon Feb 16 00:01:53 2004  Ben Pfaff  <blp@gnu.org>
3870
3871         * var.h: (struct variable) Update comments.
3872
3873 Sun Feb 15 23:14:59 2004  Ben Pfaff  <blp@gnu.org>
3874
3875         New functions dict_create_var_assert(), dict_lookup_var_assert().
3876         Converted several dict_*_var()/assert pairs into a single
3877         dict_*_var_assert().
3878
3879         * dictionary.c: (dict_create_var_assert) New function.
3880         (dict_lookup_var_assert) New function.
3881
3882 Sun Feb 15 23:06:08 2004  Ben Pfaff  <blp@gnu.org>
3883
3884         Got rid of "struct long_vec", envector(), devector(), etc.  Added
3885         two members `init', `reinit' to struct variable as a substitute.
3886         
3887         * Makefile.am: (pspp_SOURCES) Removed cases.c, cases.h.
3888         
3889         * cases.c: Removed.
3890
3891         * cases.h: Removed.
3892
3893         * aggregate.c: (parse_aggregate_functions) destvar doesn't need
3894         init.
3895
3896         * autorecode.c: (cmd_autorecode) destvars don't need init.
3897
3898         * compute.c: (lvalue_finalize) Set reinit.
3899
3900         * data-list.c: (fixed_parse_compatible) Don't need init usually.
3901         (dump_fmt_list) Ditto.
3902         (parse_free) Ditto.
3903
3904         * descript.q: (run_z_pass) Don't need init for z-scores.
3905
3906         * dictionary.c: (dict_create_var) Initialize `init', `reinit'
3907         members.
3908         (dict_clone_var) Copy `reinit' member, initialize `init' member.
3909
3910         * glob.c: (init_glob) Remove vec_init() calls.
3911
3912         * inpt-pgm.c: (cmd_end_input_program) Use `reinit', not `left'.
3913         
3914         * loop.c: (internal_cmd_loop) Don't need to call envector().
3915
3916         * numeric.c: (cmd_numeric) Ditto.
3917         (cmd_string) Ditto.
3918         (cmd_leave) Ditto.  Set `init', `reinit' members.
3919
3920         * recode.c: (cmd_recode) Don't need to call envector().
3921
3922         * repeat.c: (internal_cmd_do_repeat) Ditto.
3923
3924         * var.h: (struct variable) Remove `left'.  Add `init', `reinit'.
3925         (force_create_variable) Removed prototype.
3926         (force_dup_variable) Ditto.
3927
3928         * vector.c: (cmd_vector) Don't need to call envector().
3929
3930         * vfm.c: (reinit_sysmis) Removed.
3931         (reinit_blanks) Removed.
3932         (init_zero) Removed.
3933         (init_blanks) Removed.
3934         (process_active_file_write_case) No need to deal with vectors.
3935         Call clear_temp_case().
3936         (vector_initialization) Rewrite to use `init', `reinit'.
3937         (close_active_file) No need to call vec_clear().
3938         (procedure_write_case) Call clear_temp_case().
3939         (clear_temp_case) New function.
3940
3941 Sun Feb 15 20:50:36 2004  Ben Pfaff  <blp@gnu.org>
3942
3943         * pfm-write.c: (bufwrite) Get rid of nasty cast that also invoked
3944         undefined behavior.
3945
3946 Thu Feb 12 23:35:15 2004  Ben Pfaff  <blp@gnu.org>
3947
3948         Add auxiliary argument to procedure() interface.  Associated small
3949         clean-ups of vfm interface.
3950         
3951         * Updated every caller of procedure() and process_active_file() to
3952         reflect modified interface.  Simple, ordinary changes not listed
3953         otherwise below.
3954
3955         * Updated every function that implements struct case_stream's
3956         `read' function to take a write_case_func and a write_case_data.
3957         Also updated every caller of write_case() to instead call them
3958         through these arguments.  In some cases this meant that the extra
3959         args had to be threaded through a couple of extra levels.  This
3960         wasn't difficult or interesting so the details won't be given.
3961
3962         * data-list.c: (struct repeating_data_trns) Add members
3963         `write_case', `wc_data' as kluge.
3964         (read_one_set_of_repetitions) Rename repeating_data_trns_proc and
3965         make non-static.
3966         (repeating_data_set_write_case) New function.
3967
3968         * data-list.h: New file to declare repeating_data_trns_proc() and
3969         repeating_data_set_write_case().
3970
3971         * inpt-pgm.c: (input_program_source_read) Call
3972         repeating_data_set_write_case() for all the REPEATING DATA
3973         transformations, so that they know where to send their cases.
3974         It's a big kluge.  Also kluge in END CASE.
3975         (end_case_trns_proc) Never called anymore, but we still need it,
3976         so just assert(0).
3977
3978         * sort.c: (read_sort_output) Update to match struct case_stream
3979         `read' member.
3980
3981         * vfm.c: (struct write_case_data) New structure.
3982         (proc_func) Removed.
3983         (virt_proc_func) Removed.
3984         (begin_func) Removed.
3985         (virt_begin_func) Removed.
3986         (end_func) Removed.
3987         (write_case) Removed.
3988         (procedure) Added an auxiliary parameter to each function pointer
3989         argument's prototype.  Added an auxiliary data parameter.
3990         Rewrote.
3991         (process_active_file) Ditto.
3992         (process_active_file_write_case) Pass aux data along.
3993         (close_active_file) Ditto.
3994         (procedure_write_case) Ditto.
3995         (SPLIT_FILE_procfunc) Ditto.
3996
3997         * vfm.h: (typedef write_case_data) New.
3998         (typedef write_case_func) New.
3999         (struct case_stream) Add parameters to `read' member prototype.
4000         
4001 Thu Feb 12 19:24:53 WST 2004 John Darrington <john@darrington.wattle.id.au>
4002
4003         * t-test.q:  Added calculations for independent samples. (But no Levene
4004         test yet!)
4005
4006         * Makefile.am: Moved q_sources_c into own variable 
4007
4008 Wed Feb 11 23:56:51 2004  Ben Pfaff  <blp@gnu.org>
4009
4010         Miscellaneous cleanups.
4011         
4012         * Change unused to UNUSED in many source files to reflect modified
4013         pref.h.  Change use of __WIN32__, __MSDOS, __DJGPP__,
4014         __CYGWIN32__, __unix__, and unix not to assume that they're
4015         defined to a nonzero value.  Change use of __attribute__ to use
4016         NO_RETURN or PRINTF_FORMAT instead.
4017         
4018         * alloc.h: Move definitions for local_alloc(), local_free() here
4019         from ../pref.h.orig and simplify.
4020
4021         * expr-evl.c: Instead of working differently based on PAGED_STACK,
4022         use a pool allocator unconditionally.
4023         (CHECK_STRING_SPACE) Removed.
4024         (ALLOC_STRING_SPACE) Removed.
4025         (expr_evaluate) Use e->pool instead of CHECK_STRING_SPACE and
4026         ALLOC_STRING_SPACE.
4027
4028         * expr-opt.c: (dump_expression) Allocate string pool.
4029
4030         * expr-prs.c: (expr_free) Free string pool.
4031
4032         * pool.c: (pool_destroy) This pool must be removed from its
4033         parent's list of gizmos, not from its own.  Use free_all_gizmos().
4034         (pool_clear) New function.
4035         (free_all_gizmos) New function.
4036         (pool_alloc) Use space in empty block after this one if any.
4037         (pool_release) Only empty out blocks, don't actually free() them.
4038
4039         * print.c: Get rid of PAGED_STACK special case by always
4040         dynamically allocating line buffers.
4041         (struct print_trns) Always include the `line' member.
4042         (internal_cmd_print) Always initialize the `line' member.
4043         (alloc_line) Always allocate memory for `line'.
4044         (print_trns_proc) Always initialize buf from `line' member.
4045         (print_trns_free) Always free `line' memory.
4046
4047         * sort.c: (allocate_file_handles) Special-case MS-DOS for mkdir()
4048         call.
4049         
4050 Wed Feb 11 20:33:18 2004  Ben Pfaff  <blp@gnu.org>
4051
4052         * flip.c: Fixed crash from FLIP when a numeric variable is
4053           specified on NEWNAMES and a large value is used, and a couple of
4054           other minor bugs besides.
4055           (struct varname) Make name a 9-character fixed-size array
4056           instead of a 1-character variable size array.
4057           (make_new_var) Allow digits in variable names.
4058           (flip_stream_write) Limit numeric values to 8 characters and
4059           format system missing and very large and small values more
4060           appropriately.
4061
4062 Thu Feb  5 13:19:06 WAST 2004 John Darrington <john@darrington.wattle.id.au>
4063
4064         * command.c: Fixed test on command return status for the correct 
4065           value,  which had been causing a crash under certain invalid input.
4066
4067 Wed Feb  4 15:34:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
4068
4069         * t-test.q: Added calculations for the one sample variant of the T-TEST
4070
4071 Tue Feb  3 20:09:54 2004  Ben Pfaff  <blp@gnu.org>
4072
4073         * tab.c: (render_strip) Fix bug that sometimes caused joined text
4074           in joined cells to be rendered outside box boundaries.
4075
4076 Tue Feb  3 18:56:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
4077
4078         * random.c (rng_create): Fixed seeding so that it gets reseeded after
4079         SET seed=xx has been called.
4080
4081 Mon Jan 19 14:08:09 2004  Ben Pfaff  <blp@gnu.org> 
4082
4083         * random.c (rng_get_double): Fix always-returning-zero bug in my
4084         preferred way, and at the same time make sure rounding doesn't
4085         bite us.
4086
4087 Thu Jan  1 23:16:41 2004  Ben Pfaff  <blp@gnu.org>
4088
4089         * html.c: (change_attributes) Dead code, removed.
4090         (escape_string) Eliminate code to call change_attributes() that
4091         never actually called it.
4092         (output_tab_table) Get rid of dependence on tab_hit
4093         and struct tab_joined_cell's hit member, which are abominations.
4094
4095         * tab.c: (tab_output_text) Don't call
4096         d->class->text_set_font_by_name if it's a null pointer.
4097         (macro UNROLL_LOOP) Eliminate.
4098         (macro UNROLL_3_LOOPS) Eliminate.
4099         (tabi_render) Rewrite not to use the above macros.
4100
4101 Thu Jan  1 23:09:07 2004  Ben Pfaff  <blp@gnu.org>
4102
4103         Start working on a new output driver system, one that doesn't suck
4104         so much, by adding a "device-independent" output driver.  The idea
4105         is to write out only a single output stream, then use separate
4106         processes to translate them into whatever formats we want.  This
4107         is similar to how "groff" works with its various output drivers
4108         (grops, grotty, grodvi, ...).
4109         
4110         * Makefile.am: (pspp_SOURCES) Add devind.c, devind.h.
4111
4112         * list.q: (write_all_headers) Stub out devind class.
4113         (clean_up) Ditto.
4114         (determine_layout) Ditto.
4115         (list_cases) Ditto.
4116
4117         * output.c: (outp_init) Add devind class.
4118
4119         * devind.c: New file.
4120
4121         * devind.h: New file.
4122
4123 Thu Jan  1 23:08:14 2004  Ben Pfaff  <blp@gnu.org>
4124
4125         * frequencies.q: (hash_value_alpha) Fixed up the previous change
4126         to use the proper string length.
4127
4128 Wed Dec 31 16:27:33 WAST 2003 John Darrington <john@darrington.wattle.id.au>
4129
4130         * Fixed bug where FREQ would crash on alpha values
4131
4132 Tue Dec 30 22:42:57 2003  Ben Pfaff  <blp@gnu.org>
4133
4134         * Removed bletcherous alloca() workarounds for AIX from top of
4135         many files.  AIX can use the alternative alloca() implementation
4136         instead.
4137
4138 Tue Dec 30 22:35:16 2003  Ben Pfaff  <blp@gnu.org>
4139
4140         * ascii.c: (ascii_option) Fix implementation of headers option.
4141
4142 Tue Dec 30 22:32:53 2003  Ben Pfaff  <blp@gnu.org>
4143
4144         * ascii.c: Add a "squeeze" option to the ASCII driver to squeeze
4145         multiple blank lines into one.
4146         (struct ascii_driver_ext) Add squeeze_blank_lines option.
4147         (ascii_preopen_driver) Initialize squeeze_blank_lines.
4148         (static var option_tab) Add squeeze entry.
4149         (ascii_option) Set squeeze_blank_lines.
4150         (output_lines) Implement squeezing blank lines.
4151
4152 Wed Dec 31 07:19:46 WST 2003 John Darrington <john@darrington.wattle.id.au>
4153
4154         * Removed redundant code from output.h
4155
4156 Sat Dec 27 22:17:52 2003  Ben Pfaff  <blp@gnu.org>
4157
4158         Dictionary classes: each variable is "ordinary", "system", or
4159         "scratch".
4160
4161         * var.h: (enum dict_class) New enum.
4162
4163         * vars-prs.c: (dict_class_from_id) New function.
4164         (dict_class_to_name) New function.
4165
4166 Sat Dec 27 22:16:06 2003  Ben Pfaff  <blp@gnu.org>
4167
4168         * var.h: (struct freq_tab_set) Removed (not used).
4169
4170 Sat Dec 27 22:15:21 2003  Ben Pfaff  <blp@gnu.org>
4171
4172         * value-labels.c: (val_labs_destroy) vls needs to be freed too.
4173
4174 Sat Dec 27 22:10:49 2003  Ben Pfaff  <blp@gnu.org>
4175
4176         * stats.c: (hypercube) Rename pow4().  All references updated.
4177
4178 Sat Dec 27 22:05:49 2003  Ben Pfaff  <blp@gnu.org>
4179
4180         * rename-vars.c: (cmd_rename_variables) Rewritten.
4181         (compare_name) Removed.
4182
4183 Sat Dec 27 22:03:51 2003  Ben Pfaff  <blp@gnu.org>
4184
4185         var_set feature, and code taking advantage of it.
4186         
4187         * crosstabs.q: (static var var_dict) Removed.
4188         (static var variables) New variable.
4189         (static var variables_cnt) New variable.
4190         (cmd_crosstabs) Free variables instead of var_dict.
4191         (internal_cmd_crosstabs) Initialize and use variables,
4192         variables_cnt instead of var_dict.
4193         (free_var_dict) Removed.
4194         (crs_custom_tables) Use var_set instead of a copied dictionary.
4195         (crs_custom_variables) Set up variables, variables_cnt instead of
4196         var_dict.
4197         [DEBUGGING] (debug_print) Ditto.
4198
4199         * means.q: (mns_custom_tables) Use var_set instead of a copied
4200         dictionary.
4201
4202         * vars-prs.c: (parse_vs_variable) New function.
4203         (parse_dict_variable) Rewritten.
4204         (parse_variable) Rewritten.
4205         (parse_variables) Renamed parse_var_set_vars(), rewritten.
4206         (parse_variables) New function in terms of parse_var_set_vars().
4207         Now requires its first argument to be non-null.  All references
4208         that passed a null pointer updated to pass default_dict instead.
4209         (macro id_dict) Removed.
4210         (parse_DATA_LIST_vars) Add assertions.
4211         (parse_mixed_vars) Ditto.
4212         (struct var_set) New structure.
4213         (var_set_get_cnt) New function.
4214         (var_set_get_var) New function.
4215         (var_set_lookup_var) New function.
4216         (var_set_destroy) New function.
4217         (dict_var_set_get_cnt) New function.
4218         (dict_var_set_get_var) New function.
4219         (dict_var_set_lookup_var) New function.
4220         (dict_var_set_destroy) New function.
4221         (var_set_create_from_dict) New function.
4222         (struct array_var_set) New structure.
4223         (array_var_set_get_cnt) New function.
4224         (array_var_set_get_var) New function.
4225         (array_var_set_lookup_var) New function.
4226         (array_var_set_destroy) New function.
4227         (var_set_create_from_array) New function.
4228
4229         * q2c.c: (dump_parser) Use parse_variables(default_dict, ...)
4230         instead of parse_variables(NULL, ...) in output code.
4231
4232 Sat Dec 27 21:38:53 2003  Ben Pfaff  <blp@gnu.org>
4233
4234         Change inp_init from a 2-bit vector to an ordinary array.
4235         Initialize it all in cmd_end_input_program() instead of in
4236         create_variable().
4237
4238         * inpt-pgm.c: (enum value_init_type) New enum.
4239         (global var inp_init) Change to `enum value_init_type *', make
4240         static.
4241         (inp_init_size) Removed.
4242         (inp_nval) Change to `size_t', make static.
4243         (cmd_input_program) Don't initialize inp_init or inp_init_size.
4244         (cmd_end_input_program) Initialize inp_init, inp_nval.
4245         (init_case) Rewrite.
4246         (clear_case) Rewrite.
4247
4248         * inpt-pgm.h: Removed.
4249
4250 Sat Dec 27 21:36:38 2003  Ben Pfaff  <blp@gnu.org>
4251
4252         * hash.c: (hsh_hash_bytes) Use Fowler-Noll-Vo hash instead of
4253         Colin Plumb hash.  It is simpler and should better resist
4254         collisions.
4255         (hsh_hash_string) Ditto.
4256
4257 Sat Dec 27 21:34:57 2003  Ben Pfaff  <blp@gnu.org>
4258
4259         * get.c: (export_write_case_func) Remove debug printing code.
4260
4261 Sat Dec 27 21:11:09 2003  Ben Pfaff  <blp@gnu.org>
4262
4263         * get.c: (cmd_save_internal) Rename parameter.  Use &t->h instead
4264         of cast.
4265         (save_write_case_func) Use &trns->h instead of cast.
4266         (cmd_export) Use &t->h instead of cast.
4267
4268 Sat Dec 27 20:57:42 2003  Ben Pfaff  <blp@gnu.org>
4269
4270         Moved vectors into the dictionary.
4271
4272         * var.h: (struct vector) Moved here from vector.h.  `index' member
4273         renamed `idx', `v' renamed `var', `nv' renamed `cnt'.  All
4274         references updated.
4275         
4276         * vector.h: Removed.
4277
4278         * vector.c: (global var vec) Removed.
4279         (global var nvec) Removed.
4280         (cmd_vector) Rewritten.
4281         (find_vector) Removed.
4282
4283         * dictionary.c: (dict_create_vector) New function.
4284         (dict_get_vector) New function, replaces reading global vec[]
4285         array.
4286         (dict_get_vector_cnt) New function, replaces reading global nvec
4287         variable.
4288         (dict_lookup_vector) New function, replaces find_vector().
4289         (dict_clear_vectors) New function.
4290
4291 Sat Dec 27 20:54:01 2003  Ben Pfaff  <blp@gnu.org>
4292
4293         Start to move away from `struct variable' p `union' member to void
4294         * aux member.
4295
4296         * var.h: (struct variable) Add `aux' member.
4297
4298 Sat Dec 27 20:36:25 2003  Ben Pfaff  <blp@gnu.org>
4299
4300         Get rid of struct variable `foo' member.
4301
4302         * frequencies.q: (internal_cmd_frequencies) Use p.frq.used instead
4303         of foo.
4304         (frq_custom_variables) Ditto.
4305         (frq_custom_grouped) Ditto.
4306
4307         * get.c: (struct save_trns) Change `var' member from `int *' to
4308         `struct variable **'.
4309         (cmd_save_internal) Use aux instead of foo.
4310         (save_trns_proc) Use revised `var' member.
4311         (static var mtf_seq_no) Renamed mtf_seq_num.
4312         (static var mtf_seq_nums) New static var.
4313         (cmd_match_files) Initialize mtf_seq_nums.
4314         (mtf_free) Free mtf_seq_nums.
4315         (mtf_processing) Use mtf_seq_nums instead of foo.
4316         (mtf_merge_dictionary) No need to initialize mv->foo.
4317         (cmd_export) Use aux instead of foo.  Use revised `var' member.
4318         (mns_custom_tables) Don't use foo to check for duplicates, that's
4319         what PV_NO_DUPLICATE is for.
4320
4321         * var.h: (struct variable) Remove `foo' member.
4322         (struct frequencies_proc) New member.
4323         
4324 Sat Dec 27 19:46:13 2003  Ben Pfaff  <blp@gnu.org>
4325
4326         Clean up COMPUTE and IF.
4327
4328         * compute.c: More or less rewrite the darn thing.
4329         (struct compute_trns) Rename and reorder and add and delete
4330         members.
4331         (cmd_compute) Rewrite.
4332         (compute_num) Make conditional on test expression.  Now used for
4333         both COMPUTE and IF.
4334         (compute_num_vec) Ditto.
4335         (compute_str) Ditto.
4336         (compute_str_vec) Ditto.
4337         (cmd_if) Rewrite.
4338         (if_num) Removed.
4339         (if_num_vec) Removed.
4340         (if_str) Removed.
4341         (if_str_vec) Removed.
4342         (parse_target_expression) Renamed parse_rvalue_expression(),
4343         rewritten.
4344         (new_trns) Renamed compute_trns_create(), rewritten.
4345         (delete_trns) Removed.
4346         (free_trns) Renamed compute_trns_free(), rewritten.
4347         (struct lvalue) New structure.
4348         (parse_var_or_vec) Renamed lvalue_parse(), rewritten.
4349         (lvalue_get_type) New function.
4350         (lvalue_is_vector) New function.
4351         (lvalue_finalize) New function.
4352         (lvalue_destroy) New function.
4353         
4354 Sat Dec 27 19:44:14 2003  Ben Pfaff  <blp@gnu.org>
4355
4356         * command.def: Disallow MODIFY VARS in input mode, so that
4357         variables can't get dropped and confuse cmd_end_input_program()'s
4358         attempt to fill inp_init[].
4359         
4360         * modify-vars.c: (static var forward_positional_ordering) New
4361         variable.
4362         (struct var_modification) Entirely changed.
4363         (rearrange_dict) Interface changed, rewritten.
4364         (cmd_modify_vars) Deal with modified struct var_modification, much
4365         rewritten.
4366         (struct var_renaming) New structure.
4367         (compare_var_renaming_by_new_name) New function.
4368         (validate_var_modification) New function.
4369
4370         * var.h: (struct modify_vars_proc) Removed.
4371         (struct variable) Removed member p.mfv.
4372
4373 Sat Dec 27 19:40:26 2003  Ben Pfaff  <blp@gnu.org>
4374
4375         Make EVALUATE a valid command whether we're debugging or not, so
4376         that `make check' can succeed regardless of whether debugging is
4377         turned on.
4378         
4379         * command.def: [GLOBAL_DEBUGGING] Drop the #if.
4380
4381         * compute.c: [GLOBAL_DEBUGGING] (cmd_evaluate) Drop the #if.
4382
4383 Sat Dec 27 19:34:40 2003  Ben Pfaff  <blp@gnu.org>
4384
4385         * apply-dict.c: (cmd_apply_dictionary) Replace a ghastly switch
4386         statement by a simple if test.
4387
4388         * dfm.c: (dfm_get_record) Add assertion.
4389
4390 Sat Dec 27 17:51:26 2003  Ben Pfaff  <blp@gnu.org>
4391
4392         For each file x.c, move #include "x.h" to the very top of the
4393         include list, to catch x.h failing to include the proper headers.
4394
4395 Sat Dec 27 17:50:19 2003  Ben Pfaff  <blp@gnu.org>
4396
4397         * algorithm.c: (find) New function.
4398         (remove_equal) New function.
4399         (set_difference) New function.
4400         (adjacent_find_equal) New function.
4401         [TEST_UNIQUE] Removed test case.
4402         (copy_if) Find end test.
4403
4404 Sat Dec 27 17:42:45 2003  Ben Pfaff  <blp@gnu.org>
4405
4406         * dictionary.c: (dict_get_case_weight) New convenience function.
4407
4408         * aggregate.c: (accumulate_aggregate_info) Use
4409         dict_get_case_weight().
4410
4411         * frequencies.q: (calc_general) Ditto.
4412         (calc_integer) Ditto.
4413         (calc) Ditto.
4414
4415         * t-test.q: (groups_calc) Ditto.
4416         (z_calc) Ditto.
4417
4418 Sat Dec 27 17:29:45 2003  Ben Pfaff  <blp@gnu.org>
4419
4420         * glob.c: (global var default_dict) Change from `struct
4421         dictionary' to `struct dictionary *'.  All references changed.
4422         (init_glob) Initialize default_dict with dict_create().
4423
4424 Sat Dec 27 17:06:06 2003  Ben Pfaff  <blp@gnu.org>
4425
4426         struct dictionary now made opaque.  All related functions:
4427
4428         * get.c: (rename_variables) Removed.
4429         (dict_delete_run) Removed.
4430         
4431         * temporary.c: (copy_variable) Removed.
4432         (new_dictionary) Removed.
4433         (save_dictionary) Removed.
4434         (restore_dictionary) Removed.
4435         (free_dictionary) Removed.
4436
4437         * vars-atr.c: (clear_default_dict) Removed.
4438         (find_variable) Removed.
4439         (find_dict_variable) Removed.
4440         (create_variable) Removed.
4441         (delete_variable) Removed.
4442         (common_init_stuff) Removed.
4443         (init_variable) Removed.  Updating of inp_init moved into
4444         cmd_end_input_program().
4445         (replace_variable) Removed.
4446         (rename_variable) Removed.
4447         (clear_variable) Removed.
4448         (dup_variable) Removed.
4449
4450         * vars-prs.c: (is_varname) Removed.
4451         (is_dict_varname) Removed.
4452         (fill_all_vars) Removed.
4453
4454         * vector.c: (find_vector) Removed.
4455
4456         * weight.c: (stop_weighting) Removed.
4457
4458         * dictionary.c: New file.
4459         (dict_create) New, replaces new_dictionary().
4460         (dict_clone) New, replaces save_dictionary() and
4461         restore_dictionary().
4462         (dict_clear) New, replaces clear_default_dict().
4463         (dict_destroy) New, replaces free_dictionary().
4464         (dict_get_var_cnt) New function, replaces references to
4465         dict->nvar.
4466         (dict_get_var) New function, replaces references to dict->var[i].
4467         (dict_get_vars) New function, replaces fill_all_vars().
4468         (dict_create_var) New, replaces create_variable().  Interface
4469         drops `type' parameter, using a zero `width' to designate numeric.
4470         (dict_clone_var) New, replaces dup_variable().
4471         (dict_rename_var) New, replaces rename_variable().
4472         (dict_lookup_var) New, replaces find_variable(),
4473         find_dict_variable(), is_varname().
4474         (dict_contains_var) New function.
4475         (compare_variable_dblptrs) New function.
4476         (dict_delete_var) New function, replaces clear_variable().
4477         (dict_delete_vars) New function, replaces dict_delete_run().
4478         (dict_reorder_vars) New function.
4479         (dict_rename_vars) New function, replaces rename_variables().
4480         (dict_get_weight) New function, replaces reading dict->weight_var.
4481         (dict_set_weight) New function, replaces writing dict->weight_var
4482         or calling stop_weight(dict).
4483         (dict_get_filter) New function, replaces reading dict->filter_var.
4484         (dict_set_filter) New function, replaces writing dict->filter_var.
4485         (dict_get_case_limit) New function, replaces reading dict->N.
4486         (dict_set_case_limit) New function, replaces writing dict->N.
4487         (dict_get_value_cnt) New function, replaces reading dict->nval.
4488         (dict_compact_values) New function, replaces a loop that was
4489         replicated in several places.
4490         (dict_get_split_vars) New function, replaces reading dict->splits.
4491         (dict_get_split_cnt) New function, replaces reading
4492         dict->n_splits.
4493         (dict_set_split_vars) New function, replaces writing dict->splits.
4494         (dict_get_label) New function, replaces reading dict->label.
4495         (dict_set_label) New function, replaces writing dict->label.
4496         (dict_get_documents) New function, replaces reading
4497         dict->documents.
4498         (dict_set_documents) New function, replaces writing
4499         dict->documents.
4500         
4501         All references to above functions updated.
4502         
4503         * aggregate.c: (cmd_aggregate) Copy file label and documents from
4504         old dictionary to new by hand, because dict_create() can't do it
4505         itself.  Use dict_set_documents(), dict_set_split_vars().
4506
4507         * temporary.c: (cancel_temporary) Also set temp_dict to NULL after
4508         calling dict_destroy().
4509
4510         * data-list.c: (dls_var_spec) Remove `type' member, replace by
4511         `width'.
4512         (fixed_parse_compatible) Some slightly nontrivial changes for
4513         dict_create_var().
4514         (dump_fmt_list) Ditto.
4515         (parse_free) Ditto.
4516
4517         * file-type.c: (create_col_var) Ditto.
4518
4519         * get.c: (cmd_get) Use dict_compact_values() instead of a loop.
4520         (trim_dictionary) Use dict_delete_vars(), dict_reorder_vars().
4521         (rename_variables) Use dict_rename_vars().
4522         (mtf_merge_dictionary) Use dict_get_documents(),
4523         dict_set_documents(), dict_compact_values().
4524
4525         * pfm-read.c: (read_variables) Deal with changes to weighting.
4526
4527         * q2c.c: (dump_parser) Use dict_lookup_var() instead of
4528         is_varname() in output code.
4529
4530         * sfm-read.c: (read_header) Use dict_create(), dict_set_label(),
4531         other dictionary functions.
4532
4533         * title.c: (add_document_line) Use dict_get_documents(),
4534         dict_set_documents().
4535
4536         * vars-atr.c: (discard_variables) Use dict_clear(default_dict),
4537         reset default_handle by hand.  dict_clear() will clear vectors so
4538         there's no need for that by hand.
4539
4540         * vfm.c: (close_active_file) Move call to finish_compaction()
4541         earlier, so that we can do the compaction as a single step using
4542         dict_compact_values().  Use dict_clear_vectors().
4543         (finish_compaction) Use dict_delete_var(), dict_compact_values().
4544                 
4545         Some functions don't have replacements:
4546
4547         * vars-atr.c: (force_create_variable) Removed.  All references
4548         updated to dict_create_var() followed by an assertion.
4549         (force_dup_variable) Removed.  All references updated to
4550         dict_clone_var() followed by an assertion.
4551         
4552         * weight.c: (update_weighting) Removed.  No longer necessary, so
4553         all references removed.
4554
4555 Sat Dec 27 16:43:01 2003  Ben Pfaff  <blp@gnu.org>
4556
4557         Clean up AGGREGATE.
4558         
4559         * aggregate.c: Eliminate separation of weighted and unweighted
4560         case.  It made the code too obscure and I doubt it was actually
4561         faster.  Instead, all code uses the "weighted" code, because
4562         that's a generalization of the "unweighted" code.
4563         (FWEIGHT) Removed.
4564         (FOPTIONS) Ditto.
4565         (parse_aggregate_functions) No need to set FWEIGHT.
4566         (accumulate_aggregate_info) Get rid of FWEIGHT cases.
4567         (dump_aggregate_info) Ditto.
4568         (initialize_aggregate_info) No need for special plain_function
4569         that gets rid of FWEIGHT option.
4570
4571         * aggregate.c: Get rid of approximations.
4572         (accumulate_aggregate_info) Don't use approx_gt(), approx_lt(),
4573         approx_in_range().
4574         (aggregate_single_case) Don't use approx_ne().
4575
4576 Sat Dec 27 16:19:36 2003  Ben Pfaff  <blp@gnu.org>
4577
4578         * ascii.c (ascii_line_width): Dead code, removed.
4579
4580         * postscript.c (ps_line_width): Ditto.
4581
4582         * q2c.c (xrealloc): Ditto.
4583
4584         * count.c (internal_cmd_count): Ditto.
4585
4586         * means.q (validate_dependent_endpoint): Ditto.
4587
4588         * set.q: (cmd_gset) Ditto.
4589
4590         * weight.c: [0] (weight_trns_proc) Ditto.
4591
4592 Sat Dec 27 16:18:16 2003  Ben Pfaff  <blp@gnu.org>
4593
4594         Make the code -Wmissing-prototypes clean.
4595
4596         * Makefile.am (version.c): Add #include "version.h".
4597         
4598         * ascii.c: (ascii_open_global) Make static.
4599         (ascii_close_page) Ditto.
4600         (ascii_font_sizes) Ditto.
4601         (ascii_postopen_driver) Ditto.
4602         (ascii_close_driver) Ditto.
4603         (ascii_option) Ditto.
4604         (ascii_open_page) Ditto.
4605         (ascii_line_horz) Ditto.
4606         (ascii_line_vert) Ditto.
4607         (ascii_line_intersection) Ditto.
4608         (ascii_box) Ditto.
4609         (ascii_polyline_begin) Ditto.
4610         (ascii_polyline_point) Ditto.
4611         (ascii_polyline_end) Ditto.
4612         (ascii_text_set_font_by_name) Ditto.
4613         (ascii_text_set_font_by_position) Ditto.
4614         (ascii_text_set_font_by_family) Ditto.
4615         (ascii_text_get_font_name) Ditto.
4616         (ascii_text_get_font_family) Ditto.
4617         (ascii_text_set_size) Ditto.
4618         (ascii_text_get_size) Ditto.
4619         (ascii_text_metrics) Ditto.
4620         (ascii_text_draw) Ditto.
4621         (ascii_close_page) Ditto.
4622
4623         * cmdline.h: New header for parse_command_line().  Used where
4624         needed.
4625
4626         * command.c: Move prototypes for cmd_*() functions to command.h.
4627
4628         * command.h: Prototypes for cmd_*() functions moved here from
4629         command.c.
4630
4631         * crosstabs.q: (gamma_int) Ditto.
4632
4633         * file-handle.h: Add fh_init_files() prototype.
4634         
4635         * getline.c: (welcome) Ditto.
4636
4637         * glob.h: New header for init_glob().  Used where appropriate.
4638
4639         * hash.c: (comparison_helper) Ditto.
4640
4641         * html.c: (html_open_global) Ditto.
4642         (html_close_global) Ditto.
4643         (html_preopen_driver) Ditto.
4644         (html_postopen_driver) Ditto.
4645         (html_close_driver) Ditto.
4646         (html_option) Ditto.
4647         (html_open_page) Ditto.
4648         (html_close_page) Ditto.
4649         (html_submit) Ditto.
4650
4651         * inpt-pgm.c: (input_program_source_read) Ditto.
4652
4653         * output.c: (find_defn_value) Ditto.
4654         (destroy_list) Ditto.
4655
4656         * pfm-read.c: (read_int) Ditto.
4657
4658         * postscript.c: (ps_open_global) Ditto.
4659         (ps_close_global) Ditto.
4660         (ps_font_sizes) Ditto.
4661         (ps_preopen_driver) Ditto.
4662         (ps_postopen_driver) Ditto.
4663         (ps_close_driver) Ditto.
4664         (ps_option) Ditto.
4665         (ps_open_page) Ditto.
4666         (ps_close_page) Ditto.
4667         (ps_line_horz) Ditto.
4668         (ps_line_vert) Ditto.
4669         (ps_line_intersection) Ditto.
4670         (ps_box) Ditto.
4671         (ps_polyline_begin) Ditto.
4672         (ps_polyline_point) Ditto.
4673         (ps_polyline_end) Ditto.
4674         (ps_text_set_font_by_name) Ditto.
4675         (ps_text_set_font_by_position) Ditto.
4676         (ps_text_set_font_family) Ditto.
4677         (ps_text_get_font_name) Ditto.
4678         (ps_text_get_font_family) Ditto.
4679         (ps_text_set_size) Ditto.
4680         (ps_text_get_size) Ditto.
4681         (ps_text_metrics) Ditto.
4682         (ps_text_draw) Ditto.
4683
4684         * q2c.c: (finish_up) Ditto.
4685         (xmalloc) Ditto.
4686         (xstrdup) Ditto.
4687         (get_buffer) Ditto.
4688         (st_lower) Ditto.
4689         (st_upper) Ditto.
4690         (skip_ws) Ditto.
4691         (get_line) Ditto.
4692         (add_symbol) Ditto.
4693         (find_symbol) Ditto.
4694         (lex_get) Ditto.
4695         (force_id) Ditto.
4696         (force_string) Ditto.
4697         (match_id) Ditto.
4698         (match_token) Ditto.
4699         (skip_token) Ditto.
4700         (parse) Ditto.
4701         (parse_setting) Ditto.
4702         (parse_specifier) Ditto.
4703         (parse_specifiers) Ditto.
4704         (parse_subcommand) Ditto.
4705         (dump_specifier_vars) Ditto.
4706         (is_keyword) Ditto.
4707         (make_identifier) Ditto.
4708         (dump_declarations) Ditto.
4709         (dump_specifier_init) Ditto.
4710         (dump_vars_init) Ditto.
4711         (make_match) Ditto.
4712         (dump_specifier_parse) Ditto.
4713         (dump_subcommand) Ditto.
4714         (dump_parser) Ditto.
4715         (dump_header) Ditto.
4716         (dump_free) Ditto.
4717         (recognize_directive) Ditto.
4718
4719         * recode.c: (string_to_long) Ditto.
4720
4721         * repeat.c: (find_DO_REPEAT_substitution) Ditto.
4722
4723         * repeat.h: New header for perform_DO_REPEAT_substitutions, used
4724         where appropriate.
4725
4726         * sort.c: (sort_stream_read) Ditto.
4727         (sort_stream_mode) Ditto.
4728         
4729 Fri Dec 19 23:35:04 2003  Ben Pfaff  <blp@gnu.org>
4730
4731         * algorithm.c (binary_search): Fix comparison.
4732
4733 Fri Dec 19 23:27:45 2003  Ben Pfaff  <blp@gnu.org>
4734
4735         * algorithm.c: (binary_search) Fix assertion.
4736
4737 Fri Dec 19 21:31:48 2003  Ben Pfaff  <blp@gnu.org>
4738
4739         * sysfile-info.c: (compare_vectors_by_name) Rewrite.
4740
4741 Fri Dec 19 21:30:24 2003  Ben Pfaff  <blp@gnu.org>
4742
4743         * sort.c: (compare_case_lists) Rewrite.
4744
4745 Fri Dec 19 16:44:22 2003  Ben Pfaff  <blp@gnu.org>
4746
4747         * quicksort.c: Removed (not used).
4748
4749         * quicksort.h: Removed (not used).
4750
4751         * sort.c: Removed blp_quicksort() prototype.
4752
4753 Fri Dec 19 16:42:13 2003  Ben Pfaff  <blp@gnu.org>
4754
4755         * postscript.c: (int_2_compare) Rewrite.
4756         (compare_line) Rewrite.
4757
4758 Fri Dec 19 16:38:35 2003  Ben Pfaff  <blp@gnu.org>
4759
4760         * matrix-data.c (compare_factors) Use lexicographical_compare()
4761         algorithm.
4762         (compare_doubles) New function.
4763         
4764         * algorithm.c: (lexicographical_compare) New algorithm.
4765
4766 Fri Dec 19 16:23:45 2003  Ben Pfaff  <blp@gnu.org>
4767
4768         * matrix-data.c (compare_variables_by_mxd_vartype): Rewrite.
4769
4770 Fri Dec 19 15:54:45 2003  Ben Pfaff  <blp@gnu.org>
4771
4772         * expr-prs.c: (cmp_func) Removed.
4773         (parse_function) Use binary_search() algorithm.
4774         (compare_functions) New function.
4775         (init_func_tab) Use sort() algorithm.
4776
4777         * algorithm.c: (binary_search) New algorithm.
4778
4779 Fri Dec 19 15:50:45 2003  Ben Pfaff  <blp@gnu.org>
4780
4781         * descript.q: (display) Use sort() algorithm instead of qsort().
4782         (compare_func) Removed.
4783         (descriptives_compare_variables) New function.
4784
4785 Fri Dec 19 15:08:38 2003  Ben Pfaff  <blp@gnu.org>
4786
4787         Get rid of AVL trees.  Hashes are more appropriate for everything
4788         PSPP does.
4789
4790         * Makefile.am: (pspp_SOURCES) Remove avl.c, avl.h.
4791         
4792         * avl.c: Removed.
4793
4794         * avl.h: Removed.
4795
4796 Fri Dec 19 14:33:31 2003  Ben Pfaff  <blp@gnu.org>
4797
4798         Much code can be clarified by using C++ STL-like algorithms.  Not
4799         all uses of these algorithms are listed below, only the ones where
4800         the change to an algorithm was the only change of interest.
4801         
4802         * Makefile.am: (pspp_SOURCES) Add algorithm.c, algorithm.h.
4803         
4804         * algorithm.c: New file.
4805
4806         * algorithm.h: New file.
4807
4808         * modify-vars.c: (static var forward) Removed.
4809         (static var positional) Removed.
4810         (compare_variables) Removed.
4811         (struct ordering) New.
4812         (cmd_modify_vars) Use sort() algorithm.
4813         (compare_variables_given_ordering) New function.
4814         (rearrange_dict) Use sort() algorithm.
4815
4816         * sysfile-info.c: (cmd_display) Use sort() algorithm.
4817         (cmp_var_by_name) Removed.
4818
4819 Fri Dec 19 14:26:17 2003  Ben Pfaff  <blp@gnu.org>
4820
4821         Make file handles use a hash table.
4822         
4823         * file-handle.q: (files) Change to hash table, make static.
4824         (cmd_file_handle) Use hash table functions.
4825         (fh_get_handle_by_filename) Ditto.
4826         (fh_get_handle_by_name) Ditto.
4827         (hash_file_handle) New function.
4828         (cmp_file_handle) Rewrite.
4829         (fh_init_files) Use hash table functions.
4830
4831 Fri Dec 19 14:24:38 2003  Ben Pfaff  <blp@gnu.org>
4832
4833         Clean up FREQUENCIES.
4834         
4835         * Makefile.am: (pspp_SOURCES) Remove frequencies.g.
4836
4837         * frequencies.q: Remove a lot of old #if'd out code at the end.
4838         (internal_cmd_frequencies) Use calc() instead of calc_no_weight()
4839         or calc_weight().  Initialize percentile_values.
4840         (calc) New function based on calc_weight() from frequencies.g.
4841         (precalc) Use hash functions.
4842         (static var comparison_func) Removed.
4843         (static var comparison_param) Removed.
4844         (comparison_helper) Removed.
4845         (get_freq_comparator) New function.
4846         (not_missing) New function.
4847         (add_freq) Removed.
4848         (postprocess_freq_tab) Use hash table functions, algorithms,
4849         get_freq_comparator().  Rewrite.
4850         (cleanup_freq_tab) Rephrase.
4851         (add_percentile) Clean up spacing.
4852         (hash_value_numeric) New function.
4853         (hash_value_alpha) New function.
4854         (compare_value_numeric_a) Rewrite.
4855         (compare_value_alpha_a) Rewrite.
4856         (compare_value_numeric_d) Rewrite.
4857         (compare_value_alpha_d) Rewrite.
4858         (compare_freq_numeric_a) Rewrite.
4859         (compare_freq_alpha_a) Rewrite.
4860         (compare_freq_numeric_d) Rewrite.
4861         (compare_freq_alpha_d) Rewrite.
4862         (calc_stats) Clean up mode, percentiles, max.
4863         (dump_statistics) Clean up spacing.
4864         
4865         * frequencies.g: Removed.
4866
4867         * var.h: (struct freq_tab) Change `data' to hash table.
4868
4869 Fri Dec 19 14:15:46 2003  Ben Pfaff  <blp@gnu.org>
4870
4871         * file-handle.h: Remove declaration of global variable `files',
4872         which wasn't used anywhere.
4873
4874         * postscript.c: (add_encoding) Remove superfluous cast.
4875         (line) Ditto.
4876
4877         * sfm-read.c: [linux] (bswap_int32) Drop ntohl() non-portable
4878         version.
4879
4880         * temporary.c: [0] (display_tree) Removed.
4881
4882 Fri Dec 19 14:13:04 2003  Ben Pfaff  <blp@gnu.org>
4883
4884         Implement a new random number generator based on the alleged RC4
4885         algorithm.
4886
4887         * expr-evl.c: (expr_evaluate) Use rng_get_double_normal() instead
4888         of rand_normal().
4889
4890         * random.c: [!HAVE_GOOD_RANDOM] (real_rand) Removed.
4891         [!HAVE_GOOD_RANDOM] (real_srand) Removed.
4892         (macro k) Removed.
4893         (static var V[]) Removed.
4894         (static var Y) Removed.
4895         (static var X2) Removed.
4896         (setup_randomize) Removed.
4897         (shuffle) Removed.
4898         (rand_uniform) Removed.
4899         (rand_normal) Removed.
4900         (struct rng) New structure.
4901         (rng_create) New function.
4902         (rng_destroy) New function.
4903         (swap_byte) New static function.
4904         (rng_seed) New function.
4905         (rng_get_bytes) New function.
4906         (rng_get_int) New function.
4907         (rng_get_unsigned) New function.
4908         (rng_get_double) New function.
4909         (rng_get_double_normal) New function.
4910         (pspp_rng) New function.
4911
4912         * random.h: Sync up to random.c.
4913
4914         * sample.c: (struct sample_trns) Make `frac' unsigned and a
4915         fraction of UINT_MAX, not 65536.
4916         (cmd_sample) Use rng_get_unsigned(), rng_get_double(), UINT_MAX
4917         fraction.
4918
4919         * vfm.c: (open_active_file) No need to call setup_randomize() any
4920         longer.
4921
4922 Fri Dec 19 12:05:56 2003  Ben Pfaff  <blp@gnu.org>
4923
4924         Change dictionary name indexes to use hash tables instead of AVL
4925         trees.
4926
4927         * crosstabs.q: (free_var_dict) Use hash tables.
4928         (crs_custom_tables) Ditto.
4929         (calc_general) Ditto.
4930         (compare_table_entry) Rewrite.
4931         (enum_var_values) Reorder parameters.  All references updated.
4932         Rewrite.
4933
4934         * get.c: (rename_variable) Use hash tables.
4935         (mtf_merge_dictionary) Ditto.
4936
4937         * glob.c: (init_glob) Use hash tables.
4938         (cmp_variable) Removed.
4939
4940         * means.q: (mns_custom_tables) Use hash tables.
4941
4942         * modify-vars.c: (rearrange_dict) Use hash tables.
4943
4944         * rename-vars.c: (cmd_rename_variables) Use hash tables.
4945
4946         * sfm-read.c: (read_header) Use hash tables.
4947         (read_variables) Ditto.
4948
4949         * temporary.c: (new_dictionary) Use hash tables.
4950         (save_dictionary) Ditto.
4951         (restore_dictionary) Ditto.
4952
4953         * var.h: (struct dictionary) Change AVL tree `var_by_name' into
4954         hash table `name_tab'.
4955
4956         * vars-atr.c: [DEBUGGING] (dump_one_var_node) Removed.
4957         [DEBUGGING] (dump_var_tree) Removed.
4958         (find_variable) Use hash tables.
4959         (find_dict_variable) Ditto.
4960         (common_init_stuff) Ditto.
4961         (rename_variable) Ditto.
4962         (clear_variable) Ditto.  Also, remove debug code.
4963         (dup_variable) Use hash tables.
4964
4965         * vars-prs.c: (fill_all_vars) Use hash tables.
4966         (is_dict_varname) Ditto.
4967         (parse_dict_variable) Ditto.
4968         
4969 Fri Dec 19 11:46:23 2003  Ben Pfaff  <blp@gnu.org>
4970
4971         Change value labels to use hash tables instead of AVL trees, and
4972         change value labels into an ADT.
4973
4974         * Makefile.am: (pspp_SOURCES) Add value-labels.c, value-labels.h.
4975         
4976         * value-labels.c: New file.
4977
4978         * value-labels.h: New file.
4979
4980         * apply-dict.c: (cmd_apply_dictionary) Use value label ADT.
4981         Get rid of a stupid use of goto.
4982
4983         * autorecode.c: (compare_alpha_value) Rewrite.
4984         (hash_alpha_value) Ditto.
4985         (compare_numeric_value) Rewrite.
4986         (hash_numeric_value) Ditto.
4987
4988         * frequencies.q: (dump_full) Use value label ADT.
4989
4990         * pfm-read.c: (read_value_label) Use value label ADT.
4991
4992         * pfm-write.c: (write_value_labels) Use value label ADT.
4993
4994         * sfm-read.c: (read_variables) Use value label ADT.
4995         (read_value_labels) Rewrite.
4996
4997         * sfm-write.c: (write_value_labels) Rewrite.
4998
4999         * sysfile-info.c: (cmd_sysfile_info) Use value label ADT.
5000         (display_variables) Ditto.
5001         (describe_variable) Ditto.
5002
5003         * t-test.q: (print_t_groups) Use value label ADT.
5004
5005         * temporary.c: (copy_variable) Use value label ADT.
5006         (free_dictionary) Ditto.
5007
5008         * val-labs.c: (verify_val_labs) Use value label ADT.
5009         (get_label) Ditto.
5010         (debug_print) Ditto.
5011         (val_lab_cmp) Removed.
5012         (inc_ref_count) Removed.
5013         (copy_value_labels) Removed.
5014
5015         * var.h: (struct value_label) Removed.
5016         (struct variable) Change AVL tree `val_lab' into hash table
5017         `val_labs'.
5018
5019         * vars-atr.c: (init_variable) Use value label ADT.
5020         (clear_variable) Ditto.
5021         (free_value_label) Removed.
5022         (free_val_lab) Removed.
5023         (get_val_lab) Removed.
5024         (compare_variables) New function.
5025         (hash_variable) New function.
5026
5027         * vfm.c: (dump_splits) Use value label ADT.
5028
5029 Fri Dec 19 11:18:11 2003  Ben Pfaff  <blp@gnu.org>
5030
5031         Add to the hash table interface.
5032
5033         * hash.c: (hsh_hash_bytes) Add assertion.
5034         (hsh_hash_string) Ditto.
5035         (hsh_clear) Ditto.
5036         (hsh_rehash) Ditto.
5037         (hsh_probe) Ditto.
5038         (hsh_create) Ditto.  Also make minimum `size'.
5039         (hsh_destroy) Rephrase.
5040         (sort_nulls_last) Removed.
5041         (not_null) New function.
5042         (hsh_data) Ditto.
5043         (comparison_helper) Ditto.
5044         (hsh_sort) Rewritten.
5045         (hsh_data_copy) New function.
5046         (hsh_sort_copy) Ditto.
5047         (hsh_insert) Ditto.
5048         (hsh_replace) Ditto.
5049         (hsh_hash_double) Ditto.
5050         (hsh_delete) Fix stupid bug.
5051         
5052 Thu Dec 18 12:27:03 WAST 2003 John Darrington <john@darrington.wattle.id.au>
5053         * added a calculation of the mode to FREQUENCIES
5054
5055 Wed Dec 17 12:53:01 WAST 2003 John Darrington <john@darrington.wattle.id.au>
5056
5057         * moved (un)defs of DEBUGGING to config.h
5058
5059 Mon Dec 15 21:35:59 2003  Ben Pfaff  <blp@gnu.org>
5060
5061         * groff-font.c: (add_kern) Fix indentation.
5062         (add_kern) Use & instead of % to take power-of-2 modulus.
5063         (font_get_kern_adjust) Likewise.
5064
5065 Fri Dec 12 23:54:37 2003  Ben Pfaff  <blp@gnu.org>
5066
5067         * autorecode.c: (recode) Replace stupid use of memcpy() by
5068         memberwise copy.
5069         (hash_alpha_value) Use hsh_hash_bytes().  Get rid of nasty casts.
5070         (hash_numeric_value) Ditto.
5071         (autorecode_proc_func) pool_strdup() was wrong here because the
5072         source string was not null-terminated.  Use new pool_strndup()
5073         instead.
5074
5075         * crosstabs.q: (enum_var_values) Remove superfluous and bizarre
5076         use of hsh_iterator_init().
5077
5078         * data-in.c: (parse_N) Initialize i->v->f.
5079
5080         * flip.c: (cmd_flip) Use memmove(), not memcpy(), to copy
5081         overlapping arrays.
5082
5083         * groff-font.c: Use power-of-2 hash table sizes, not prime.
5084         (groff_read_font) Don't call hsh_next_prime().  Don't call
5085         fclose(NULL).
5086         (static var hash) Remove `size_p', `max_used' members.
5087         (font_char_name_to_index) Don't call hsh_next_prime().  Use
5088         hsh_hash_string() instead of hashpjw(), & instead of %.
5089         (default_font) Don't call hsh_next_prime().
5090
5091         * pool.c: (pool_strndup) New function.
5092         (pool_strdup) Reimplement in terms of pool_strndup.
5093
5094         * postscript.c: (hash_font_entry) Use hsh_hash_string().  Get rid
5095         of nasty casts.
5096         (hash_ps_encoding) Use hsh_hash_string().
5097         (hash_ps_combo) Use hsh_hash_string(), hsh_hash_int().
5098         (hash_filename2font) Use hsh_hash_string().
5099
5100         * som.c: Add #include <stdlib.h>.
5101
5102         * tab.c: (tab_destroy) Don't set t->container after freeing `t'
5103         (by destroying its pool).
5104         
5105 Fri Dec 12 23:18:59 2003  Ben Pfaff  <blp@gnu.org>
5106
5107         Miscellaneous hash table code cleanup:
5108         
5109         * hash.h: (struct hsh_table) Moved into hash.c.
5110         (hsh_count) Ditto, and transformed into function.
5111         (hsh_compare_func) New typedef, used for defining otherwise-long
5112         function types here and in hash.c
5113         (hsh_hash_func) Ditto.
5114         (hsh_free_func) Ditto.
5115         
5116         * hash.c: (struct hsh_table) Renamed `n' to `used', `m' to `size',
5117         `table' to `entries'.  Removed `mp'.  All references updated.
5118         (hsh_clear) Don't shrink entries array; if the hash was this big
5119         once, it probably will be again.
5120         (hsh_rehash) Made static.
5121         (force_hsh_insert) Renamed hsh_force_insert.
5122         (force_hsh_find) Renamed hsh_force_find.
5123
5124         Made hash table sizes powers of 2, because that's fine with any
5125         reasonable hash function and because taking a power-of-2 modulus
5126         is faster than any other:
5127         
5128         (hsh_prime_tab) Removed;
5129         (hsh_next_prime) Ditto.
5130         (next_power_of_2) New function.
5131         (hsh_create) Use next_power_of_2.
5132         (hsh_rehash) Use & instead of %.
5133
5134         Cleaned up hsh_sort:
5135         
5136         (internal_comparison_fn) Removed.
5137         (sort_nulls_last) New function.
5138         (hsh_sort) Removed second parameter, switched to using the new
5139         quicksort() function from quicksort.h to avoid using nasty need
5140         for static variables with qsort().  All references updated.
5141
5142         Changed the hash functions offered, because there are better hash
5143         functions than the ones we had, and cleaned up the names to boot:
5144         
5145         * hash.c: (hashpjw_d) Removed.
5146         (hashpjw) Ditto.
5147         (hsh_hash_bytes) New function.
5148         (hsh_hash_string) New function.
5149         (hsh_hash_int) New function.
5150
5151         Improved the hash table iteration interface:
5152         
5153         * hash.h: (hsh_iterator_init) Removed.
5154         (struct hsh_iterator) Removed `init' member, change `next' to
5155         size_t.
5156
5157         * hash.c: (hsh_foreach) Removed.  All references updated to use
5158         hsh_first/hsh_next instead.
5159         (hsh_first) New function.  Notably, unlike hsh_foreach() it does
5160         not treat a null pointer as an empty hash table.
5161         (hsh_next) New function.
5162
5163         Made deletion possible, though slow:
5164
5165         * hash.c: (locate_matching_entry) New function.
5166         (hsh_find) Use locate_matching_entry().
5167         (hsh_delete) New function also using locate_matching_entry().
5168         (hsh_force_delete) New function.
5169
5170 Fri Dec 12 23:16:10 2003  Ben Pfaff  <blp@gnu.org>
5171
5172         * quicksort.c: New file implementing a sort routine with a
5173         interface better than qsort() because it passes a user-provided
5174         parameter to the sort routine.
5175
5176         * Makefile.am: Add quicksort.c, quicksort.h.
5177
5178 Fri Dec 12 13:31:58 2003  Ben Pfaff  <blp@gnu.org>
5179
5180         * All source files: Get rid of nasty special cases for Checker,
5181         which is pretty obsolete now.
5182
5183 Thu Dec 11 21:38:24 WST 2003 John Darrington <john@darrington.wattle.id.au>
5184
5185         * Fixed a bug apparent when using the FREQUENCIES command with the
5186         html driver.  The html driver was incorrectly trying to display 
5187         empty cells.
5188
5189 Sun Jan  2 21:40:13 2000  Ben Pfaff  <blp@gnu.org>
5190
5191         * Makefile.am: Reorganized.  Put locale dir in version.c instead
5192         of passing it to each compile command.  Only put local gmp libs in
5193         LD_ADD if not installed on system.  Remove `boast' target.
5194
5195         * All source files: struct and union typedefs eliminated.
5196         `sizeof type' replaced by `sizeof object' where practical.  Moved
5197         `unused' qualifiers from start to end of declarations for gcc
5198         2.7.2 compatibility.  Change `while (1)' to `for (;;)'.  Made
5199         assertions on pointers strictly compliant.  Removed _ prefixes on
5200         some function parameter names.
5201
5202         * alloc.c: New source file, containing these external linkage
5203         functions removed from common.c: xmalloc, xcalloc, xrealloc,
5204         xstrdup.
5205
5206         * arena.c: Removed.
5207         
5208         * arena.h: Removed.
5209
5210         * ascii.c: Migrated from arenas to pools.
5211         (struct ascii_driver_ext) ops[], box[], fonts[] changed from
5212         c_string to len_string.  All references changed.
5213         (ascii_option) Signature changed to comply to new output.c
5214         interface.
5215         (count_fancy_chars) Removed.
5216         (delineate) Removed support for rich text.
5217         (ascii_text_metrics) Ditto.
5218         (text_draw) Ditto.
5219         (output_shorts) Change `box', `off', `on' from c_string to
5220         len_string.  Change `remaining' from int to size_t.
5221         (ascii_close_page) Make page numbering less haphazard.
5222
5223         * autorecode.c: Migrate from arenas to pools.
5224
5225         * avl.c: Migrate from arenas to pools.  Synch from libavl 1.4.0.
5226
5227         * bitvector.h: New file containing these macros from misc.h:
5228         SET_BIT, CLEAR_BIT, SET_BIT_TO, TEST_BIT, BIT_INDEX.
5229
5230         * command.c: (struct command) cmd1, cmd2, cmd3 members changed to
5231         word[3].  ncmd removed.
5232         (var empty_string) Removed.
5233         (var cmd_table) Declaration updated.
5234         (var cmdtab) Removed.
5235         (cmp_command) Removed.
5236         (split_words) Rewritten to use strtok_r().
5237         (init_cmd_parser) Renamed cmd_init().  Rewritten.
5238         (find_command) Removed.
5239         (FILE_TYPE_okay) Rewritten.
5240         (cmd_parse) Rewritten.  Semantics of the return value of command
5241         handlers has changed: they must now return one of the new CMD_*
5242         enumerals, rather than a magic value.  This meant that all
5243         commands had to be modified, and they were.
5244         (figure_out_command) New function.
5245
5246         * command.def: Add CORRELATIONS, PEARSON CORRELATIONS.  Add
5247         #defines for INIT, INPU, etc.
5248
5249         * command.h: New CMD_* enum series.
5250         (cur_proc) Make const char *, not char *.
5251         (cmd_init) Prototype.
5252         (cmd_parse) Ditto.
5253
5254         * common.c: Removed.
5255
5256         * common.h: Removed.
5257
5258         * correlations.q: New file.
5259
5260         * crosstabs.q: Migrate from arenas to pools.  Migrate to new-style
5261         q2c.
5262         (custom_tables) Renamed crs_custom_tables().
5263         (custom_variables) Renamed crs_custom_variables().
5264         (calc_integer) Add in some `const' qualifiers.
5265         (table_value_missing) Change from a_string to len_string.
5266         (float_M_suffix) Change from a_string to len_string.
5267
5268         * data-in.c: Rewritten.  All references to
5269         parse_string_as_format() changed to data_in().
5270
5271         * data-in.h: New file.
5272
5273         * data-list.c: Change DLS_* from #define's to enums.  Move from
5274         rpd_msg() to tmsg().
5275         (RPD_ERR) New #define.
5276         (do_reading) Change dfm_push_cust() to dfm_push(), pop_cust() to
5277         dfm_pop().
5278         (read_from_data_list_fixed) Change from old
5279         parse_string_as_format() to new data_in().
5280         (read_from_data_list_free) Ditto.
5281         (read_from_data_list_list) Ditto.
5282         (cmd_repeating_data) Modify approach to checking for end of
5283         command.
5284         (rpd_msg) Removed.
5285         (rpd_parse_record) Change from old parse_string_as_format() to new
5286         data_in().  Change from old convert_format_to_string() to new
5287         data_out().
5288         (read_one_set_of_repetitions) Change dfm_push_cust() to
5289         dfm_push(), pop_cust() to dfm_pop().
5290
5291         * data-out.c: Rewritten.  All references to
5292         convert_format_to_string() changed to data_out().
5293
5294         * descript.q: Migrate to new q2c.
5295         (cmd_descriptives) Removed.
5296         (internal_cmd_descriptives) Renamed cmd_descriptives ().
5297         (custom_variables) Renamed dsc_custom_variables().
5298
5299         * dfm.c: (struct dfm_fhuser_ext) `ln' removed.  All references
5300         removed.
5301         (open_file_r) Initialize h->where.line_number.  Migrate to new
5302         struct string.
5303         (open_file_w) Initialize h->where.line_number.
5304         (read_record) Change from ext->ln to h->where.line_number.
5305         Migrate to struct string.
5306         (dfm_put_record) Rephrased.
5307         (dfm_push_cust) Renamed dfm_push(), rewritten.
5308         (dfm_pop) New function.
5309
5310         * error.c: All references updated.
5311         (glob var error_count) Renamed err_err_count.
5312         (glob var warning_count) Renamed err_warning_count.
5313         (glob var error_already_flagged) Renamed err_already_flagged.
5314         (glob var verbosity) Renamed err_verbosity.
5315         (glob var cust_fn) Removed.
5316         (glob var cust_ln) Removed.
5317         (static var file_loc) New.
5318         (static var nfile_loc) New.
5319         (static var mfile_loc) New.
5320         (tmsg) New function.
5321         (push_cust) Removed.
5322         (pop_cust) Removed.
5323         (msg) Rewritten.
5324         (static var terminating) Removed.
5325         (failure) Renamed err_failure().
5326         (hcf) Renamed err_hcf().
5327         (err_push_file_locator) New function.
5328         (err_pop_file_locator) New function.
5329         (err_location) New function.
5330         (check_error_count) Renamed err_check_count().
5331         (vmsg) Renamed err_vmsg().  Interface changed.
5332         (verbose_msg) Removed.
5333         (err_cond_fail) New function.
5334         (error_break) Renamed err_break().
5335
5336         * error.h: All references updated.
5337         (enum MSG_CLASS_COUNT) Renamed ERR_CLASS_COUNT.
5338         (enum ERR_CLASS_MASK, ERR_VERBOSITY_SHIFT, ERR_VERBOSITY_MASK)
5339         New.
5340         (struct file_locator) New.
5341         (struct error) New.
5342         (macro verbose_msg) Removed.
5343         (macro cond_fail) Removed.
5344
5345         * expr-opt.c: (evaluate_tree) sizeof(char) == 1.
5346
5347         * expr-prs.c: Reorganized.  All references updated.
5348         (exprtypename) Renamed expr_type_name().
5349         (typename) Renamed type_name().
5350         (free_expression) Renamed expr_free().
5351         (parse_expression) Renamed expr_parse().  Uses new type_check()
5352         function.
5353         (init_functab) Renamed init_func_tab().
5354         (type_check) New function.
5355         (parse_or) Rewritten to use new allocate_nonterminal() and
5356         append_nonterminal_arg() functions.
5357         (parse_and) Ditto.
5358         (parse_not) Ditto.
5359         (parse_rel) Ditto.  Also simplified logic.
5360         (parse_add) Ditto.
5361         (parse_mul) Ditto.
5362         (parse_neg) Ditto.
5363         (parse_exp) Ditto.
5364         (SYSMIS_func) Ditto.
5365         (VALUE_func) Rephrased.
5366         (CONCAT_func) Fix memory leak by replacing free by free_node on
5367         lossage.
5368         (generic_str_func) Ditto.
5369         (parse_function) Ditto.  Also rephrasings.  Uses bsearch() to find
5370         function.
5371         (allocate_nonterminal) New function.
5372         (append_nonterminal_arg) New function.
5373         (static func_tab[]) Now at file level.
5374         (cmp_func) Moved.
5375         (init_func_tab) Moved.  Now just uses qsort() to sort func_tab[].
5376
5377         * expr.h: (enum series OP_*) Moved to exprP.h.
5378         (OP_* defines) Ditto.
5379         (struct op_desc) Ditto.
5380         (global ops[]) Ditto.
5381         (struct num_con_node) Ditto.
5382         (struct str_con_node) Ditto.
5383         (struct var_node) Ditto.
5384         (struct lag_node) Ditto.
5385         (struct casenum_node) Ditto.
5386         (struct nonterm_node) Ditto.
5387         (union any_node) Members renamed.
5388         (struct sys_node) Removed.
5389         (struct val_node) Removed.
5390         (operator typedef) Removed.
5391         (typedef exprtype) Removed.
5392         (enum series EX_*) Moved to exprP.h.
5393         (struct expression) Ditto.  Also renamed a lot of the members.
5394         (PXP_* defines) Changed to enums.
5395         (free_node prototype) Moved to exprP.h.
5396
5397         * file-handle.h: (struct file_handle) New member `where'.
5398
5399         * file-handle.q: Migrated to new q2c format.
5400         (prepend_current_directory) Removed (dead code).
5401         (cmd_file_handle) Incorporated all of internal_cmd_file_handle().
5402         (fh_get_handle_by_filename) Removed dead code.
5403         Set new `where' member.
5404
5405         * file-type.c: (file_type_source_read) References to
5406         parse_string_as_format() changed to data_in().
5407         dfm_push_cust()/pop_cust() changed to dfm_push()/dfm_pop().
5408
5409         * filename.c: All references updated.
5410         (init_filename) Renamed fn_init().
5411         (expand_line) Removed.
5412         (macro EXPAND_LINE) Removed.
5413         (interp_vars) Renamed fn_interp_vars().  Now uses st_*() instead
5414         of custom functions.
5415         (gnu_getcwd) Renamed fn_get_cwd(), rewritten.
5416         (tilde_expand) Renamed fn_tilde_expand(), uses ds_*().
5417         (normalize_filename) Renamed fn_normalize().
5418         (search_path) Renamed fn_search_path(), rewritten.
5419         (prepend_dir) Renamed fn_prepend_dir().
5420         (blp_getenv) Renamed fn_getenv().
5421         (blp_dirname) Renamed fn_dirname().
5422         (fn_basename) New function, not used.
5423         (absolute_filename_p) Renamed fn_absolute_p().
5424         (is_special_filename) Renamed fn_special_p().
5425         (file_exists) Renamed fn_exists_p().
5426         (readlink_malloc) Renamed fn_readlink().
5427         (getenv_default) Renamed fn_getenv_default().
5428         (open_file) Renamed fn_open().
5429         (close_file) Renamed fn_close().
5430         (open_file_ext) Renamed fn_open_ext().
5431         (close_file_ext) Renamed fn_close_ext().
5432
5433         * font.h: Migrate from arenas to pools.
5434
5435         * format.c: (parse_format_specifier_name) Deal with ds_* strings.
5436
5437         * frequencies.g: Migrate from arenas to pools.
5438
5439         * frequencies.q: Migrate to new q2c version.  Migrate from arenas
5440         to pools.
5441
5442         * getline.c: All references updated.
5443         (global getl_buf) Changed from char * to struct string.
5444         (static getl_include_path) Ditto.
5445         (global getl_buf_len) Removed.
5446         (global getl_buf_size) Removed.
5447         (getl_include_path) Deal with new getl_buf, getl_include_path.
5448         (getl_uninitialize) New function.
5449         (getl_get_current_directory) Rewritten.
5450         (getl_clear_include_path) Rewritten.
5451         (getl_add_include_dir) Rewritten.
5452         (getl_add_file) Assertion fixed.
5453         (getl_add_virtual_file) Change initial value of `remaining_loops'
5454         from 2 to 1.
5455         (welcome) Rewritten.
5456         (handle_line_buffer) Make static.  Change logic to make
5457         getl_add_virtual_file() change sensible.  Use ds_*() strings.
5458         (getl_read_line) Use ds_*() strings.  Implement SET ECHO.
5459         (getl_close_file) Moved.
5460         (getl_location) New function.
5461
5462         * getline.h: All references updated.
5463         (macro curln) Removed.
5464         (macro curfn) Removed.
5465         (macro am_interactive) Renamed getl_am_interactive.
5466         (macro am_reading_script) Renamed getl_reading_script.
5467
5468         * glob.c: (global fmt_parse_ignore_error) Removed.
5469         (init_glob) Use locale_dir not LOCALEDIR.  Use feholdexcept() on
5470         systems that support it (C99).  Turn off SET ECHO by default.  No
5471         necessary julcal initialization anymore.
5472
5473         * groff-font.c: Migrate from arenas to pools.
5474         (groff_read_font) Use err_push_file_locator().
5475         (groff_read_DESC) Ditto.
5476         (font_msg) Use tmsg().
5477
5478         * hash.c: (hsh_sort) Fix debug code.
5479         [GLOBAL_DEBUGGING] Include stdio.h.
5480
5481         * hash.h: (macro force_hsh_insert) Rephrase.
5482
5483         * heap.c: Rewritten.
5484         
5485         * heap.h: Rewritten.
5486
5487         * html.c: (html_option) Change from outp_value to struct string.
5488         (postopen) Change from curfn to getl_location().
5489         (escape_string) Remove rich-text code.  Signature changed.
5490         (output_tab_table) Switch from a_string to struct len_string.
5491         Remove rich text support.
5492
5493         * lexer.c: All references updated.  Largely rewritten.  Major
5494         changes listed below.  Removed tagged quote support.  Adapted to
5495         struct string tokstr.
5496         (global tokstr) Changed to struct string.
5497         (global tokstr_size) Removed.
5498         (global tokstr_len) Removed.
5499         (global tokid) New.
5500         (global tokint) Removed.
5501         (global toklongstr) Removed.
5502         (C* defines) Removed.
5503         (static tbl[]) Removed.
5504         (static id[]) Removed.
5505         (static une[]) Removed.
5506         (discard_line) Renamed lex_discard_line().
5507         (get_entire_line) Renamed lex_entire_line().
5508         (get_rest_of_line) Renamed lex_rest_of_line().
5509         (get_dotted_rest_of_line) Merged into lex_rest_of_line().
5510         (make_hexit) Removed.
5511         (syntax_error) Renamed lex_error().  Return value removed.
5512         (get_token_representation) Renamed lex_token_representation().
5513         (putback) Renamed lex_put_back().
5514         (putfwd) Renamed lex_put_forward().
5515         (convert_negative_to_dash) Renamed lex_negative_to_dash().
5516         (set_prog) Renamed lex_set_prog().
5517         (init_lex) Renamed lex_init().
5518         (reset_eof) Renamed lex_reset_eof().
5519         (lookahead) Renamed lex_look_ahead().
5520         (check_id) Rewritten.
5521         (yylex) Renamed lex_get(), rewritten.
5522         (lex_end_of_command) New function.  Many commands were rephrased
5523         using this.
5524         (lex_integer_p) New function.  Replaces compare of tokint against
5525         NOT_LONG.
5526         (lex_integer) New function.  Replaces tokint.
5527         (match_tok) Renamed lex_match().
5528         (match_id) Renamed lex_match_id().
5529         (match_int) Renamed lex_match_int().
5530         (force_match_id) Renamed lex_force_match_id(), added return value.
5531         (force_match) Renamed lex_force_match(), added return value.
5532         (force_string) Renamed lex_force_string(), added return value.
5533         (force_int) Renamed lex_force_int(), added return value.
5534         (lex_id_match_len) New function.
5535         (id_match) Renamed lex_id_match(), rewritten.
5536         (get_line) Renamed lex_get_line().
5537         (preprocess_line) Renamed lex_preprocess_line().
5538         (tokname) Renamed lex_token_name().
5539         (bin_value_func) Removed.
5540         (oct_value_func) Removed.
5541         (hex_value_func) Removed.
5542         (unexpected_eof) New function.
5543         (convert_numeric_string_to_char_string) New function.
5544         (parse_string) Rewritten, signature changed.
5545         (add_tokstr_char) Removed.
5546         (add_tokstr_unsigned) Removed.
5547         (add_tokstr_string) Removed.
5548         (parse_tagged_quote) Removed.
5549         (skip_comment) Renamed lex_skip_comment().
5550
5551         * lexer.h: All references updated.
5552         (macro is_id1) Renamed CHAR_IS_ID1.
5553         (macro is_idn) Renamed CHAR_IS_IDN.
5554         (token names ID, NUM, STRING, STOP, ... WITH, EXP) Renamed with
5555         prefix T_: T_ID, T_NUM, T_STRING, T_STOP, ... T_WITH, T_EXP.
5556         (macro get_token) Removed.
5557         (macro id_match) Removed.
5558         (macro force_match_id) Removed.
5559         (macro force_match) Removed.
5560         (macro force_string) Removed.
5561         (macro force_int) Removed.
5562         (macro force_num) Removed.
5563         (macro force_id) Removed.
5564
5565         * lexerP.h: Removed.
5566
5567         * list.q: Migrated to new q2c format.
5568         (write_line) Deal with struct len_string.
5569         (write_varname) Ditto.
5570         (write_fallback_headers) Ditto.
5571
5572         * magic.c: New file, incorporating the following global variables
5573         previously in other files: endian, second_lowest_value.  And both
5574         of those are conditional on #define's.
5575
5576         * magic.h: New file, incorporating the following global variable
5577         declarations: endian, second_lowest_value, and the following macro
5578         declarations: NOT_DOUBLE, NOT_LONG, NOT_INT.
5579
5580         * main.c: Added declarations of pgmname, finished, curdate,
5581         start_interactive.
5582         (main) Call new parse_script() function.
5583         (parse_script) New function.
5584         (execute_command) New function.
5585         (dump_token) Removed.
5586         (handle_error) New function.
5587
5588         * matrix.c: New file.
5589
5590         * matrix.h: New file.
5591
5592         * matrix-data.c: Migrated from arenas to pools.
5593         (mget_token) Change from parse_string_as_format() to data_in().
5594
5595         * means.q: Migrate to new q2c.
5596         (custom_tables) Renamed mns_custom_tables().
5597         (custom_crossbreak) Renamed mns_custom_crossbreak().
5598         (custom_variables) Renamed mns_custom_variables().
5599
5600         * mis-val.c: (static var width) Changed from `int' to `size_t'.
5601         (parse_varnames) Prototype.
5602         (parse_numeric) Rephrasings.
5603         (parse_alpha) Adapt to new struct string tokstr.
5604
5605         * misc.c: (intlog10) Rewritten.
5606         (spacing) Removed.
5607         (ansi_rand) Renamed real_rand(), moved into random.c.
5608         (ansi_srand) Renamed real_srand(), moved into random.c.
5609         (setup_randomize) Moved to random.c.
5610         (rand_uniform) Ditto.
5611         (rand_normal) Ditto.
5612         (rand_simple) Ditto.
5613         (get_config_line) Removed.
5614         (reverse) Removed (dead code).
5615
5616         * misc.h: (macro SET_BIT) Moved to bitvector.h.
5617         (macro CLEAR_BIT) Ditto.
5618         (macro TEST_BIT) Ditto.
5619         (macro SET_BIT_TO) Ditto.
5620         (macro BIT_INDEX) Ditto.
5621
5622         * output.c: (outp_read_devices) Move to err_push_file_locator()
5623         from push_cust().  Use struct string.
5624         (expand_op_tokstr) Removed.
5625         (static var op_tokstr) Changed to struct string.
5626         (static var op_tokstr_size) Removed.
5627         (tokener) Rephrasings.  Use struct string.
5628         (parse_options) Use struct string.
5629         (destroy_driver) Fix assertion.
5630         (outp_get_paper_size) Move to err_push_file_locator().
5631         [0] Removed dead code.
5632         (outp_string_width) Move to len_string.
5633
5634         * output.h: Comment fixes.
5635         (TAG_* enum series) Removed.
5636         (struct outp_value) Removed.
5637         (enum OUTP_T_FANCY) Removed.
5638         (struct outp_text) `s' changed from a_string to len_string.
5639         (struct outp_class) `option' change arg 3 from outp_value to
5640         struct string.
5641
5642         * pfm-read.c: (corrupt_msg) Rewritten.
5643
5644         * pfm-write.c: (bufwrite) Fix assertion.
5645
5646         * pool.c: New file, reference version.
5647
5648         * pool.h: New file, reference version.
5649
5650         * postscript.c: (ps_font_sizes) Fix assertion.
5651         (ps_option) Change arg 3 from outp_value to struct string.
5652         Adapt to struct string.
5653         (macro output_line) Removed.
5654         (macro add_string) Removed.
5655         (output_encodings) Adapted to struct string.  Moved to
5656         err_push_file_locator().
5657         (find_encoding_file) Fix assertion.
5658         (read_ps_encodings) Move to err_push_file_locator().
5659         (postopen) Use getl_location() instead of curfn.
5660         (out_text_plain) Move to len_string.
5661         (text) Ditto.  Remove rich text support.
5662
5663         * print.c: (cmd_print) Remove now-unneeded resource cleanup code.
5664         (cmd_print_eject) Ditto.
5665         (cmd_write) Ditto.
5666         (internal_cmd_print) Now cleans up after itself.  Uses
5667         fh_parse_file_handle() now.
5668         (cmd_print_space) Use PXP_NUMERIC to type-check.
5669
5670         * q2c.c: Overhauled.  Removed _("") i18n support.  All references
5671         updated.  All output functions updated to handle structures rather
5672         than local or static variables.  Adapt to new PSPP lex_*()
5673         functions.
5674         (macro _) Removed.
5675         (macro N_) Removed.
5676         (macro MAX_N_SBC) Removed.
5677         (global bare) Removed.
5678         (enum STRING) Renamed T_STRING.
5679         (enum ID) Renamed T_ID.
5680         (get_buffer) Buffer size increased.
5681         (strlower) Renamed st_lower(), rephrased.
5682         (strupper) Renamed st_upper(), rephrased.
5683         (skip_ws) New function.
5684         (get_line) Don't special-case any types of lines (like those
5685         beginning with ! or $, for instance).
5686         (get_token) Renamed lex_get().  Rephrased.
5687         (static var `prefix') New.
5688         (parse) New function.
5689         (parse_setting) Minor rephrasing.
5690         (dump_specifier_vars) Ditto.
5691         (make_identifier) Put null terminator on identifier, duh.
5692         (dump_vars) Renamed dump_declarations().  Never indent.  Never
5693         static.  Output changed entirely.
5694         (dump_specifier_init) Rephrase.
5695         (dump_vars_init) No index variable needed.  Other modifications.
5696         (dump_parser) Don't parse command name.  Do dump functions instead
5697         of just code fragments.
5698         (dump_free) Dump function instead of code fragment.
5699         (recognize_directive) New function.
5700         (main) Use recognize_directive().  Don't rely on magic $ line
5701         beginning: instead, parse comments.  Update list of headers.
5702
5703         * random.c: New file, containing the following functions:
5704         real_rand(), real_srand(), setup_randomize, shuffle, rand_uniform,
5705         rand_normal, rand_simple.
5706
5707         * random.h: New file.
5708
5709         * recode.c: (cmd_recode) Merge internal_cmd_recode() into this
5710         function.  `max_src_width', `max_dst_width' changed to size_t.
5711         (internal_cmd_recode) Removed.
5712         (parse_dest_spec) Merge similar cases.
5713         (parse_src_spec) Add assertion.
5714
5715         * repeat.c: (recognize_keyword) New function.
5716         (internal_cmd_do_repeat) Parse and handle PRINT keyword on END
5717         REPEAT.  Improve recognition of END REPEAT (use
5718         recognize_keyword()).  Move from curfn to getl_location().  Use
5719         struct string.
5720                 
5721         (perform_DO_REPEAT_substitutions) Adapt to struct string.
5722
5723         * set.q: Adapt to new q2c.
5724         (cmd_set) Range-check some values better.
5725         (custom_blanks) Renamed stc_custom_blanks().
5726         (custom_length) Renamed stc_custom_length().
5727         (custom_results) Renamed stc_custom_results().
5728         (custom_seed) Renamed stc_custom_seed().
5729         (custom_width) Renamed stc_custom_width().
5730         (custom_format) Renamed stc_custom_format().
5731         (custom_journal) Renamed stc_custom_journal().
5732         (custom_color) Renamed stc_custom_color().
5733         (custom_listing) Renamed stc_custom_listing().
5734         (custom_disk) Renamed stc_custom_disk().
5735         (custom_log) Renamed stc_custom_log().
5736         (custom_rcolor) Renamed stc_custom_rcolor().
5737         (custom_viewlength) Renamed stc_custom_viewlength().
5738         (custom_workdev) Renamed stc_custom_workdev().
5739
5740         * settings.h: Not necessary to include format.h any longer.
5741
5742         * sfm-read.h: (macro bswap_int32) Moved here from sfmP.h.
5743         (corrupt_msg) Rewritten.
5744
5745         * sort.c: Adapt to rewritten heap ADT.
5746
5747         * str.c: (aa_strcpy) Removed.
5748         (ab_strcpy) Removed.
5749         (ac_strcpy) Removed.
5750         (ba_strcpy) Removed.
5751         (bb_strcpy) Removed.
5752         (ca_strcpy) Removed.
5753         (aa_strdup) Removed.
5754         (aa_strdupcpy) Removed.
5755         (ba_strdup) Removed.
5756         (sa_strdup) Removed.
5757         (memrev) Renamed mm_reverse().
5758         (memrmem) Renamed mm_find_reverse().
5759         (cmp_str) Renamed st_compare_pad().
5760         (strmaxcpy) Removed.
5761         (strbarepadcpy) Renamed st_bare_pad_copy(), signature changed.
5762         (strbarepadlencpy) Renamed st_bare_pad_len_copy(), signature
5763         changed.
5764         (strpadcpy) Renamed st_pad_copy(), signature changed.
5765         (blpstrset) Removed.
5766         (ds_create) New function.
5767         (ds_init) New function.
5768         (ds_replace) New function.
5769         (ds_destroy) New function.
5770         (ds_clear) New function.
5771         (ds_extend) New function.
5772         (ds_shrink) New function.
5773         (ds_truncate) New function.
5774         (ds_length) New function.
5775         (ds_size) New function.
5776         (ds_value) New function.
5777         (ds_end) New function.
5778         (ds_concat) New function.
5779         (ds_concat_buffer) New function.
5780         (ds_printf) New function.
5781         (ds_putchar) New function.
5782         (ds_getline) New function.
5783         (ds_get_config_line) New function derived from the old
5784         misc.c:get_config_line().
5785         (ls_create) New function.
5786         (ls_create_buffer) New function.
5787         (ls_init) New function.
5788         (ls_shallow_copy) New function.
5789         (ls_destroy) New function.
5790         (ls_null) New function.
5791         (ls_null_p) New function.
5792         (ls_empty_p) New function.
5793         (ls_length) New function.
5794         (ls_value) New function.
5795         (ls_end) New function.
5796
5797         * str.h: Reformatted.
5798         (struct a_string) Removed.
5799         (struct b_string) Removed.
5800         (struct c_string) Removed.
5801         (struct len_string) New.
5802         (struct string) New.
5803         (macro as_streq) Removed.
5804         (macro bs_streq) Removed.
5805         (macro cs_streq) Removed.
5806         (macro sa_streq) Removed.
5807         (macro sb_streq) Removed.
5808         [__GNUC__] (inline function ds_putchar) New function.
5809         [__GNUC__] (inline function ds_length) New function.
5810         [__GNUC__] (inline function ds_value) New function.
5811         [__GNUC__] (inline function ds_end) New function.
5812
5813         * sysfile-info.c: (cmd_sysfile_info) Rephrased.
5814         (display_vectors) Fix missing i18n.
5815
5816         * t-test.q: Migrate to new q2c.
5817
5818         * tab.c: Migrate from arenas to pools.
5819         (tab_create) Use struct len_string.
5820         (tab_realloc) Ditto.
5821         (text_format) Ditto.
5822         (tab_joint_text) Ditto.
5823         (tab_natural_width) Remove rich text support.
5824         (tab_natural_height) Ditto.
5825         (tab_output_text) Handle TAT_FIX.
5826         (tab_raw) Change arg from a_string to len_string.
5827         (tabi_driver) Fix assertion.  Use struct len_string.
5828         (render_strip) Use struct len_string.  Remove rich text support.
5829         Add `const' qualifiers.
5830
5831         * tab.h: (enum TAB_RICH) Remove.
5832         (enums TAB_COL_NONE, TAB_COL_DONE) New.  Where appropriate,
5833         SOM_COL_* updated to read TAB_COL_*.
5834         (struct tab_table) Change arena to pool.  Change a_string to
5835         len_string.
5836
5837         * temporary.c: (restore_dictionary) Rewrite Checker code.
5838
5839         * var.h: (macros MAX_SHORT_STRING, MIN_LONG_STRING, SYSMIS,
5840         LOWEST, HIGHEST) Moved here from common.h.
5841         (typedef any_trns) Removed.  All references changed to `struct
5842         trns_header'.
5843
5844         * vars-atr.c: (force_create_variable) Fix assertion.
5845         (force_dup_variable) Fix assertion.
5846         
5847 Thu Jun  3 18:40:42 1999  Ben Pfaff  <blp@gnu.org>
5848
5849         Using alphanumeric variables in functions under AGGREGATE
5850         segfaulted.  Fixed.  Thanks to Dr. Dirk Melcher
5851         <BZN-mdksh@t-online.de> for reporting this bug.
5852         
5853         * aggregate.c: (parse_aggregate_functions) When setting the
5854         FSTRING bit, also allocate memory for the `string' member of
5855         agr_next.
5856         (free_aggregate_functions) Free iter->string.  Don't use the
5857         non-function bits when indexing the array of functions.
5858         [DEBUGGING] (debug_print) Don't use the non-function bits when
5859         indexing the array of functions.        
5860
5861 Sun May 30 00:00:54 1999  Ben Pfaff  <blp@gnu.org>
5862
5863         Under certain circumstances, the final case would be omitted from
5864         the results of an AGGREGATE operation.  Fixed.  Thanks to Dr. Dirk
5865         Melcher <BZN-mdksh@t-online.de> for reporting this bug.
5866         
5867         * aggregate.c (agr_00x_end_func): Increment number of cases in
5868         sink before writing case.  For streams that keep track of how many
5869         cases there are based on this value, this means that the last case
5870         will be read in on the next stream read.
5871
5872 Sat May 29 22:03:31 1999  Ben Pfaff  <blp@gnu.org>
5873
5874         Undefined behavior was invoked by referencing a freed pointer.
5875         
5876         * vfm.c (memory_stream_write): Free pointer *after* checking for
5877         non-null status.
5878
5879 Sat May 29 22:02:22 1999  Ben Pfaff  <blp@gnu.org>
5880
5881         A wrong record size was displayed when paging the active file to
5882         disk.
5883         
5884         * vfm.c: (memory_stream_write) Fix off-by-one error.
5885
5886 Sat May 29 21:50:26 1999  Ben Pfaff  <blp@gnu.org>
5887
5888         Not having enough temporary space for sorting caused a core dump.
5889         Fixed.
5890         
5891         * sort.c: (allocate_cases) Initialize i.
5892
5893 Sat May 29 21:40:54 1999  Ben Pfaff  <blp@gnu.org>
5894
5895         Syntax errors in function descriptions on AGGREGATE caused core
5896         dumps.  Fixed.
5897         
5898         * aggregate.c (cmd_aggregate): Don't free agr_dict after calling
5899         free_aggregate_functions(), since that function already frees
5900         agr_dict.
5901         
5902 Sat May 29 21:06:10 1999  Ben Pfaff  <blp@gnu.org>
5903
5904         A null pointer was dereferenced, causing a core dump, when
5905         PERCENTILES was specified on FREQUENCIES.  This fixes the problem,
5906         but PSPP still doesn't calculate percentiles.  Thanks to Regnor
5907         Jernsletten <rjernsle@eunet.no> for reporting this problem.
5908         
5909         * arena.c: (arena_malloc) If the arena hasn't been initialized
5910         already, initialize it.
5911
5912 Sat May 29 20:47:29 1999  Ben Pfaff  <blp@gnu.org>
5913
5914         * Makefile.cygwin: New file supplied by Hankin <hankin@dunno.com>
5915         for compilation with Cygnus Windows B20.  Not used by other
5916         systems.
5917
5918 Sat May 29 20:36:04 1999  Ben Pfaff  <blp@gnu.org>
5919
5920         SORT always sorted in ascending order.  Fixed.  Thanks to Dr. Dirk
5921         Melcher <BZN-mdksh@t-online.de> for reporting this bug.
5922
5923         * sort.c: (compare_case_lists) Reverse sense of comparison if
5924         sorting in descending order.
5925         (compare_record) Ditto.
5926
5927 Tue Mar  9 13:18:54 1999  Ben Pfaff  <blp@gnu.org>
5928
5929         SPLIT FILE with a string variable caused a core dump.  Fixed.
5930
5931         * vfm.c: If the variable is a string then make a temporary value
5932         struct pointing to it.  The underlying problem is a lot bigger
5933         than this (see TODO) but this is a stopgap for the simple case at
5934         least.
5935         
5936 Tue Mar  9 13:15:53 1999  Ben Pfaff  <blp@gnu.org>
5937
5938         Nested INCLUDEs didn't work.  Fixed.
5939
5940         * getline.c: (getl_include) Set first_line to NULL in allocated
5941         structure.
5942
5943 Tue Mar  9 13:13:46 1999  Ben Pfaff  <blp@gnu.org>
5944
5945         The MATCH FILES procedure set the values of variables not present
5946         to 0.  It should have been SYSMIS.  This is now fixed.
5947
5948         * get.c: (mtf_delete_file_in_place) Replace 0.0 by SYSMIS.
5949
5950 Tue Mar  9 12:52:23 1999  Ben Pfaff  <blp@gnu.org>
5951
5952         The REMARK command was too aggressive about skipping lines.  It
5953         didn't like being the last command in a file.
5954
5955         * command.c: (cmd_remark) Call get_entire_line() instead of
5956         get_line().
5957
5958 Tue Mar  9 12:48:05 1999  Ben Pfaff  <blp@gnu.org>
5959
5960         Comment parsing wasn't consistent with the rest of the code in its
5961         idea of where one command ends and another starts.  This meant
5962         that sometimes commands would be mysteriously ignored.  Thanks to
5963         Dr. Dirk Melcher <BZN-mdksh@t-online.de> for reporting this bug.
5964          
5965         * command.c: (parse_cmd) Hand off comment parsing to new function
5966         skip_comment() in lexer.c.
5967         * lexer.c: (skip_comment) New function.
5968
5969 Wed Jan 20 20:22:07 1999  Ben Pfaff  <blp@gnu.org>
5970
5971         The TABLE subcommand on MATCH FILES worked only erratically at
5972         best.  This fixes it.  Thanks to Dr. Dirk Melcher
5973         <BZN-mdksh@t-online.de> for reporting this bug.
5974
5975         * get.c: (mtf_compare_BY_values) When comparing string values, a
5976         difference of 1 is still a difference :-)
5977         (mtf_processing) Inverted TABLE reading logic fixed.  Also don't
5978         advance TABLE files automatically when matched.  Comment fixes.
5979
5980 Tue Jan 19 22:32:31 1999  Ben Pfaff  <blp@gnu.org>
5981
5982         VARIABLE LABELS rejected a slash before the first variable
5983         specification, contradicting the documentation.  Thanks to Walter
5984         M. Gray <graywm@northernc.on.ca> for reporting this bug.
5985
5986         * var-labs.c: (cmd_variable_labels) Ignore a leading slash in
5987         command specification.
5988
5989 Tue Jan 19 22:29:54 1999  Ben Pfaff  <blp@gnu.org>
5990
5991         Because of an incorrect optimization in memory allocation,
5992         CROSSTABS sometimes segfaulted when asked to output multiple
5993         tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
5994         reporting this bug.
5995
5996         * crosstabs.q: (postcalc) New variables maxcols, maxcells, which
5997         are passed to output_pivot_table() for its use.
5998         (output_pivot_table) Instead of assuming the number of columns is
5999         constant, keep track with maxcols.  In general mode, use maxcells
6000         to determine whether more matrix cells need to be allocated.    
6001
6002 Tue Jan 19 22:27:46 1999  Ben Pfaff  <blp@gnu.org>
6003
6004         CROSSTABS didn't display value labels for column and row
6005         variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
6006         reporting this bug.
6007
6008         * crosstabs.q: (table_value_missing) If the specified value has a
6009         value label for this variable, then show it instead of the raw
6010         value.
6011         (display_dimensions) Delegate display of value_labels to
6012         table_value_missing.
6013
6014 Mon Jan 18 20:04:06 1999  Ben Pfaff  <blp@gnu.org>
6015
6016         WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
6017         <BZN-mdksh@t-online.de> for reporting this bug.
6018
6019         * print.c: (print_trns_proc) Write (CR/)LF if PRINT is used _or_
6020         if the file isn't declared as binary.
6021
6022 Mon Jan 18 19:56:45 1999  Ben Pfaff  <blp@gnu.org>
6023
6024         MATCH FILES corrupted memory and dumped core on some syntax
6025         errors.  Fixed.
6026
6027         * get.c: (cmd_match_files) Set file->handle to NULL before
6028         jumping to lossage.
6029         (mtf_free_file) Don't free a null dictionary.   
6030
6031 Mon Jan 18 19:27:57 1999  Ben Pfaff  <blp@gnu.org>
6032
6033         MATCH FILES should set numeric values not available to the
6034         system-missing value, not to 0.  Thanks to Dr. Dirk Melcher
6035         <BZN-mdksh@t-online.de> for reporting this bug.
6036
6037         * get.c: (mtf_processing) Set unused records to system-missing,
6038         not 0.
6039
6040 Mon Jan 18 15:06:46 1999  Ben Pfaff  <blp@gnu.org>
6041
6042         KEEP didn't work properly on the SAVE procedure.  Fixed.  Thanks
6043         to Ralf Geschke <ralf@kuerbis.org> for reporting this bug.
6044
6045         * temporary.c: (save_dictionary) Initialize var_by_name AVL tree
6046         in newly created dictionary, and add each copied variable to the
6047         tree.
6048  
6049 Mon Jan 18 15:04:48 1999  Ben Pfaff  <blp@gnu.org>
6050
6051         Memory leak fix.
6052         
6053         * get.c: (trim_dictionary) Free variable list for KEEP after
6054         finishing with it.
6055
6056 Mon Jan 18 12:57:36 1999  Ben Pfaff  <blp@gnu.org>
6057
6058         Some systems didn't like the way open_file was coded.  Thanks to
6059         Hankin <hankin@rogue.consultco.com> for pointing this out.
6060
6061         * filename.c: (open_file) Don't try to store stdin, stdout,
6062         stderr as part of an array, because that doesn't always work.
6063
6064 Mon Jan 18 12:53:27 1999  Ben Pfaff  <blp@gnu.org>
6065
6066         The SAVE procedure didn't save long string variables properly.
6067         Fixed by this patch.  Thanks to Hankin
6068         <hankin@rogue.consultco.com> for this patch.
6069         
6070         * sfm-write.c: (write_variable) Fix off-by-one error in writing
6071         out variable pad records.
6072
6073 Tue Jan  5 14:29:27 1999  Ben Pfaff  <blp@gnu.org>
6074
6075         Previously, if PRINT SPACE were given a negative argument, it
6076         would report an error, then spin in an (almost) infinite loop.
6077         This fixes that behavior.
6078
6079         * print.c: (print_space_trns_proc) After reporting a negative
6080         argument, set number of lines to print to 1.
6081
6082 Tue Jan  5 13:59:55 1999  Ben Pfaff  <blp@gnu.org>
6083
6084         SPSS 8.0 outputs some new record types in its system files, and it
6085         allows longer value labels.  Accept these system files.
6086
6087         * sfm-read.c: (sfm_read_dictionary) Ignore record type 7 subtype
6088         11 emitted by SPSS 8.0.
6089         
6090 Tue Jan  5 13:55:50 1999  Ben Pfaff  <blp@gnu.org>
6091
6092         The LIST procedure was too conservative in allocating space for
6093         buffers, which caused a bug that only showed up with very long
6094         output variables.  Thanks to Hankin <hankin@dunno.com> for this
6095         bug report.
6096
6097         * list.q: (determine_layout) Allocate 1022 bytes instead of 256.
6098
6099 Tue Jan  5 13:34:34 1999  Ben Pfaff  <blp@gnu.org>
6100
6101         Typo meant string format specifiers weren't checked properly.  I
6102         think that Hankin <hankin@dunno.com> sent me this report, but I'm
6103         willing to be corrected on this point.
6104  
6105         * format.c: (check_string_specifier) Fix obvious typo.  
6106
6107 Tue Jan  5 12:50:42 1999  Ben Pfaff  <blp@gnu.org>
6108
6109         Using $CASENUM in an expression didn't work.  Here's a fix.
6110         Thanks to Dirk Melcher <BZN-mdksh@t-online.de> for reporting this
6111         bug.
6112          
6113         * expr-evl.c: (evaluate_expression) Add OP_CASENUM case.
6114
6115         * expr-opt.c: (dump_node) OP_CASENUM is acceptable.
6116
6117 Tue Jan  5 12:47:48 1999  Ben Pfaff  <blp@gnu.org>
6118
6119         The changes in 0.2.1 to fix DATA LIST FREE parsing broke some
6120         other behavior, *sigh*.  This patch hopefully fixes that.  This
6121         time I've actually tested it.
6122
6123         Thanks to Hankin <hankin@dunno.com> for reporting this bug.
6124
6125         * data-list.c: (read_from_data_list_free,
6126         read_from_data_list_list) Call parse_string_as_format() directly
6127         without mucking around with the field width.
6128
6129 Tue Jan  5 12:31:19 1999  Ben Pfaff  <blp@gnu.org>
6130
6131         Occasionally, you may encounter a script that wants to be
6132         interpreted in interactive mode.  Make -i emulate this behavior to
6133         allow such scripts to be executed with PSPP.
6134
6135         Thanks to Hankin <hankin@dunno.com> for reporting this behavior.
6136
6137         * cmdline.c: (pre_syntax_message[]) Update -i description.
6138
6139         * lexer.c: (preprocess_line) When getl_interactive is 2 (i.e.,
6140         when -i is given on the command line) don't treat unindented lines
6141         as starting a new command.
6142
6143 Tue Jan  5 12:30:10 1999  Ben Pfaff  <blp@gnu.org>
6144
6145         In conjunction with egcs 1.1.1, Checker emits some bogus warnings,
6146         mostly caused by local initialized aggregates.  After egcs is
6147         fixed upstream these can be removed, but for now they're not a big
6148         deal.
6149         
6150         * ascii.c: (ascii_postopen_driver) Checker chokes on local
6151         initialized arrays.  Avoid this.
6152
6153         * sfm-write.c: (sfm_write_dictionary) Don't use a local
6154         initialized struct.
6155
6156 Tue Jan  5 12:07:24 1999  Ben Pfaff  <blp@gnu.org>
6157
6158         egcs 1.1.1 has some new warnings relative to gcc 2.8.1, which the
6159         following changes avoid.  Currently I compile sources with egcs
6160         1.1.1 and gcc 2.7.2.3 before sending them out.
6161
6162         * apply-dict.c: (apply_dict) Use new avl_traverser_init() macro.
6163         
6164         * ascii.c: (option_tab[]) Initialize all struct members.
6165
6166         * avl.h: (avl_traverser_init) New macro.
6167         
6168         * command.c: (DEFCMD, UNIMPL macros, cmd_table[]) Initialize all
6169         struct members.
6170
6171         * crosstabs.q: (enum_var_values) Use new hsh_iterator_init()
6172         macro.
6173
6174         * hash.c: Comment fix.
6175
6176         * hash.h: (hsh_iterator_init) New macro.
6177
6178         * html.c: (option_tab[]) Initialize all struct members.
6179
6180         * pfm-write.c: (write_value_labels) Use new avl_traverser_init()
6181         macro.
6182
6183         * postscript.c: (option_tab[]) Initialize all struct members.
6184         (output_encodings, preclose, dump_lines) Use new
6185         hsh_iterator_init() macro.
6186
6187         * sfm-write.c: (write_value_labels) Use new avl_traverser_init()
6188         macro.
6189
6190         * sysfile-info.c: (describe_variable) Use new avl_traverser_init()
6191         macro.
6192
6193 Thu Nov 19 12:32:45 1998  Ben Pfaff  <blp@gnu.org>
6194
6195         * data-in.c: Examined each of the parsing functions to make sure
6196         that they wouldn't dump core if they were passed a string of the
6197         wrong length, since now the DATA LIST FREE/LIST routines don't
6198         check for field width before passing it to the data parser.
6199         (parse_RBHEX, parse_AHEX) Reject odd length input.
6200         (parse_string_as_format) Reject input that's too short or too
6201         long.
6202
6203         * data-list.c: Before, the DATA LIST FREE/LIST routines would pad
6204         a field to its entire declared output width then pass it to the
6205         data-in parsing routines.  This contradicted the documented
6206         behavior.  This is fixed in these changes.  Thanks to Mark H. Wood
6207         <mwood@IUPUI.Edu>.  In addition, this fixes a few more details of
6208         free-format parsing that differed from SPSS.
6209         (cut_field) Commas and spaces are treated identically.  Returns
6210         the proper column instead of a fixed 1 value.
6211         (parse_field) Removed.
6212         (read_from_data_list_free, read_from_data_list_list) Call
6213         parse_string_as_format directly instead of parse_field.
6214
6215         * heap.c: (heap_delete) Stylistic fixes.
6216
6217 Sun Aug  9 11:12:13 1998  Ben Pfaff  <blp@gnu.org>
6218
6219         * loop.c: (loop_2_trns_proc) Formatting fix.
6220
6221         * sel-if.c: (cmd_filter) Set FILTER_before_TEMPORARY.
6222
6223         * var.h: (glob var FILTER_before_TEMPORARY) New global var.
6224
6225         * vfm.c: (macro FILTERED) New.
6226         (static var filter_var) New.
6227         (process_active_file_write_case) Use FILTERED.
6228         (setup_filter) Set filter_var.
6229         (close_active_file) Delete the filter if not
6230         FILTER_before_TEMPORARY.
6231         (procedure_write_case) Use FILTERED.
6232
6233 Sat Aug  8 00:20:14 1998  Ben Pfaff  <blp@gnu.org>
6234
6235         * crosstabs.q: Changed /PIVOT={ON,OFF} to /FORMAT={PIVOT,NOPIVOT}.
6236
6237         * data-in.c: (parse_day_count) Message fix.
6238         (parse_month) Style fix.
6239
6240         * data-list.c: (struct data_list_pgm) New member eof.
6241         (cmd_data_list) Init eof to 0.
6242         (do_reading) Implement the /END subcommand and read-past-eof
6243         checking.
6244
6245         * do-if.c: Include stdio.h when debugging.
6246         (cmd_else_if) Make sure the command is .-terminated.
6247
6248         * glob.c: (init_glob) Capitalize the command prompt.
6249
6250         * inpt-pgm.c: (end_case_trns_proc) Debugging message.
6251         (end_file_trns_proc) Debugging message.
6252
6253         * loop.c: (internal_cmd_loop) Make it work when there's no loop
6254         index!
6255         (loop_2_trns_proc) Enable MXLOOPS (why was this disabled?)
6256
6257         * main.c: (dump_token) Make kwtab[] const.
6258
6259         * set.q: Spelling, comment fixes.
6260
6261         * sysfile-info.c: (cmd_display) DISPLAY VECTORS not DISPLAY
6262         VECTOR.
6263
6264         * vars-prs.c: (fill_all_vars) Style fix.
6265
6266         * vfm.c: (index_to_varname) Return const.
6267
6268 Tue Aug  4 23:49:23 1998  Ben Pfaff  <blp@gnu.org>
6269
6270         * Changes in many source files for partial -ansi -pedantic and
6271         no-debugging compliance: Remove trailing common in enum
6272         declarations; add `unused' attributes; insert some appropriate
6273         casts.
6274
6275         * cmdline.c: (parse_command_line) Add new --testing-mode flag.
6276
6277         * command.c: (shell) Make static.
6278         (run_command) Make static.
6279
6280         * data-list.c: (dump_fixed_table) Remove use of local_strdup().
6281
6282         * dfm.c: (cmd_begin_data) I18n fix.
6283
6284         * error.c: (verbose_msg) Define if __STRICT_ANSI__.
6285
6286         * error.h: (macro verbose_msg) Define if __STRICT_ANSI__.
6287
6288         * expr-opt.c: (evaluate_tree) Don't initialize local arrays if
6289         __STRICT_ANSI__.
6290
6291         * file-handle.q: Don't prepend the source file directory name to
6292         the data file name.  (Ongoing issue.)
6293         (prepend_current_directory) Comment out.
6294         (internal_cmd_file_handle) Don't call prepend_current_directory().
6295         (fh_get_handle_by_filename) Ditto.
6296
6297         * filename.c: Append zero byte to readlink() return value.
6298
6299         * getline.c: (getl_read_line) I18n fix.
6300
6301         * lexer.h: Don't use gcc features if __STRICT_ANSI__.
6302
6303         * misc.h: Don't use gcc features if __STRICT_ANSI__.
6304
6305         * pfm-write.c: (bufwrite) Don't try to increment a void * pointer
6306         directly.
6307
6308         * postscript.c: (output_encodings) Don't use local_strdup().
6309         (postopen) Ditto.
6310
6311         * print.c: Don't use gcc features if __STRICT_ANSI__.
6312
6313         * q2c.c: (dump_vars) Don't put a , at the end of the last enum.
6314
6315         * recode.c: (parse_src_spec) Fully brace nested if's.
6316
6317         * set.q: (global var set_testing_mode) New var.
6318
6319 Wed Jul 29 22:01:44 1998  Ben Pfaff  <blp@gnu.org>
6320
6321         * ascii.c: Add some more `unused' attributes that only come into
6322         play when NDEBUG is defined.
6323         (ascii_close_page) Set s_len when reallocating s.
6324         
6325         * crosstabs.q: (delete_missing) New function.
6326         (output_pivot_table) Call delete_missing() if /MISSING=REPORT.
6327         (make_summary_table) Create summary table reallocable.
6328
6329         * postscript.c: Add more `unused' attributes as above.
6330
6331         * tab.c: (tab_create) [GLOBAL_DEBUGGING] Set reallocable member.
6332         (tab_realloc) [GLOBAL_DEBUGGING] Assert that table is reallocable.
6333          
6334         * tab.h: (struct tab_table) [GLOBAL_DEBUGGING] New `reallocable'
6335         member.
6336
6337         * var.h: (macro force_dup_variable) [!GLOBAL_DEBUGGING] Remove
6338         gratuitous space between parameter definition.
6339
6340         * vars-atr.c: Changed some assert(0)'s to abort()'s to prevent
6341         complaints about running off the end of functions with NDEBUG
6342         enabled.
6343
6344 Sun Jul  5 00:17:25 1998  Ben Pfaff  <blp@gnu.org>
6345
6346         * Several source files: Removed some PORTME notes when reflection
6347         revealed that ANSI forbids that sort of breakage.  Also, added
6348         lots of `unused' qualifiers here and there.
6349
6350         * aggregate.c: (accumulate_aggregate_info) Remove local var
6351         weighting that turned out not to be used.
6352
6353         * avl.c: Update to version 1.1.0.  Add unused specifier.
6354         (avl_destroy) Initialize ab to 0.  Comment fixes.  Cast return
6355         value to void *.
6356         (avl_probe) Replace some instances of 1 with +1 where appropriate.
6357         (avl_find) Cast return value to void *.
6358         (avl_delete) q doesn't need to be initialized at the beginning of
6359         the function.  Replace some instances of 1 with +1.
6360         (force_avl_delete) Renamed avl_force_delete, all references changed.
6361         (compare_ints) `param' marked unused.
6362         (print_int) `param' marked unused.
6363         (recurse_tree) Replace some instances of 1 with +1.
6364
6365         * avl.h: Update to version 1.1.0.  Only declares avl function
6366         types if not already declared.
6367         (AVL_MAX_HEIGHT) Only define if not already defined.
6368         (struct avl_node) New unused member char pad[2].
6369         [GLOBAL_DEBUGGING] Change conditionalization to NDEBUG instead.
6370         (force_avl_insert) Renamed avl_force_insert.
6371         (force_avl_delete) Renamed avl_force_delete.
6372
6373         * crosstabs.q: (struct table_entry) Put `freq' into a union with
6374         new member `data'.
6375         (struct crosstab) Add new member `ofs'.
6376         (glob var int_tab) Removed.
6377         (custom_tables) In integer mode, assign v[i] properly through the
6378         indirect var_dict.
6379         (custom_variables) Now p.crs.max == max + 1.
6380         [DEBUGGING] (debug_print) p.crs.min and p.crs.max are now ints.
6381         (precalc) Implement integer mode.
6382         (calc_integer) Implement integer mode.
6383         (compare_table_entry) Remove unused local variable `comparing'.
6384         (make_summary_table) Implement integer mode.
6385         (macro ns_rows) Implemented as static variable now.
6386         (several variables) Made static, from global.
6387         (output_pivot_table) Use table_value_missing() for column heads.
6388         Remove several unused local variables.  Implement integer mode
6389         table summing.  Count up ns_rows.
6390         (crosstabs_dim) Make columns wider when /MISSING=REPORT requested.
6391         (find_pivot_extent) Moved into find_pivot_extent_general; now just
6392         calls that function or find_pivot_extent_integer.
6393         (find_pivot_extent_integer) New function.
6394         (enum_var_values) Implemented for integer mode.
6395         (table_value_missing) New function.
6396         (display_dimensions) Call table_value_missing() for heads.
6397         (float_M_suffix) New function.
6398         (display_crosstabulation) Call table_value_missing() for row
6399         heads.  Handle missing values in /MISSING=REPORT mode.
6400         (calc_fisher) Remove unused var N.
6401         (calc_r) Remove unused var fact.
6402
6403         * data-list.c: (dump_fixed_table) Fix table dimensioning.
6404         (read_one_set_of_repetitions) Remove unused vars var_spec, column.
6405
6406         * data-out.c: (insert_commas) Remove unused var cp.
6407         (convert_CCx) Remove unused vars save_set_decimal,
6408         save_set_grouping.
6409
6410         * descript.q: (dump_z_table) Fix table dimensioning.
6411         (pre_calc) Remove unused var j.
6412         (display) Remove unused vars title, s.  Fix table dimensioning.
6413
6414         * expr-evl.c: Comment fixes.
6415
6416         * frequencies.q: (full_dim) New function.
6417         (dump_full) Fix table dimensioning.
6418         (condensed_dim) New function.
6419         (dump_condensed) Fix table dimensioning.
6420
6421         * get.c: (cmd_match_files) Remove unused var n_val.  Remove unused
6422         label winnage.
6423
6424         * html.c: (html_close_drive) Remove unused var i.
6425         (postopen) Remove unused vars title, curfn_len, cp.
6426         (preclose) Remove unused vars this, x.
6427
6428         * lexer.c: Comment fixes.
6429
6430         * matrix-data.c: (cmd_matrix_data) Remove unused var index.
6431
6432         * means.q: (custom_tables) Remove unused var m_dim.
6433
6434         * mis-val.c: Format fix.
6435
6436         * modify-vars.c: (cmd_modify_vars) Remove unused var new_dict.
6437
6438         * output.c: (outp_get_paper_size) Remove unused var cp.
6439
6440         * pfm-read.c: (read_float) Remove unused var save, unused label
6441         underflow.
6442         (read_variables) Remove unused vars cp, j.
6443         (read_value_label) Remove unused var j.
6444
6445         * pfm-write.c: (bufwrite) Remove unused var i.
6446
6447         * postscript.c: (ps_postopen_drive) Remove unused vars dev_info,
6448         fn.
6449         (output_encodings) Remove unused vars char_cp, n_output.
6450         (read_ps_encodings) Remove unused var ep.
6451         (postopen) Remove unused var title.
6452         (preclose) Remove unused var fp.
6453         (ps_open_page) Remove unused vars true, false, orientation,
6454         mirror_horz, mirror_vert, width, length.
6455         (ps_text_metrics) Remove unused var x.
6456
6457         * q2c.c: (find_symbol) Remove unused var y.
6458         (parse_setting) Remove unused parameter sbc, all references
6459         changed.
6460         (dump_parser) Remove unused var cp.
6461         (dump_free) Remove unused var i.
6462
6463         * set.q: (static vars args, n) Removed.
6464         (internal_cmd_gset) Removed.
6465
6466         * sfm-read.c: (sfm_read_dictionary) Removed unused var i.
6467         (read_machine_flt64_info) Removed unused var file_endian.
6468         (read_documents) Removed unused var i.
6469         (read_compressed_data) Removed unused parameter dict, all
6470         references changed.
6471
6472         * sfm-write.c: (bufwrite) Removed unused var i.
6473         (sfm_write_case) Removed unused var i.
6474
6475         * sort.c: (merge_once) Remove unused var t.
6476         (write_separate) #if 0 out as dead code.
6477
6478         * split-file.c: (cmd_split_file) Remove unused var i.
6479
6480         * sysfile-info.c: (sysfile_info_dim) New function.
6481         (cmd_sysfile_info) Fix table dimensioning.
6482         (variables_dim) New function.
6483         (display_variables) Fix table dimensioning.
6484         (describe_variable) Remove unused var prev_r.
6485
6486         * t-test.q: (z_postcalc) Removed.
6487         (pairs_calc) Remove unused var bad_weight.
6488         (postcalc) Remove unused vars dfn, dfd.
6489
6490         * tab.c: (tab_create) Set t->dim to NULL.
6491         (tab_dim) Make sure t->dim is NULL first.
6492         (tab_natural_width) Remove parameter `clamp'.
6493         (tab_value) Remove duplicate assertion for table.
6494         (tab_raw) New function.
6495         (nowrap_dim) New function.
6496         (wrap_dim) New function.
6497         (tab_output_text) Fix table dimensioning.
6498
6499         * tab.h: (tab_raw) New macro.
6500
6501         * val-labs.c: (get_label) Remove unused var type.
6502         (copy_value_labels) Remove unused var trav.
6503
6504         * var.h: (struct crosstab_proc) Completely changed.
6505
6506         * vars-prs.c: (parse_dict_variable) Remove unused var v.
6507
6508         * vfm.c: (open_active_file) Remove unused vars i, lp.
6509
6510         * weight.c: (weight_trns_proc) #if 0 out as dead code.
6511         
6512 Tue Jun  2 23:37:21 1998  Ben Pfaff  <blp@gnu.org>
6513
6514         * Makefile.am: Add apply-dict.c, flip.c.
6515
6516         * apply-dict.c: New file.
6517         
6518         * command.c: (struct command) Make cmd[] larger for CLEAR
6519         TRANSFORMATIONS command name.
6520         (parse_cmd) Make sure we're in a valid state before using it as an
6521         index.  Discard variables and reset state on invalid transitions.
6522         (cmd_clear_transformations) New function.
6523
6524         * command.def: Add APPLY DICTIONARY, CLEAR TRANSFORMATIONS, FLIP.
6525         Add unimplemented PRESERVE, RESTORE.
6526
6527         * file-handle.h: Include stddef.h.
6528
6529         * flip.c: New file.
6530         
6531         * pfm-read.c: (parse_value) Pad value label values with spaces,
6532         not nulls.
6533
6534         * sfm-read.c: (struct sfm_fhuser_ext) Add reference count.
6535         (sfm_close) Decrement reference count, make sure it's zero.
6536         (sfm_maybe_close) New function.
6537         (sfm_read_dictionary) Handle reference counts.
6538
6539         * vars-atr.c: (clear_default_dict) New function.
6540         (discard_variables) Use clear_default_dict().
6541
6542 Sun May 31 00:58:05 1998  Ben Pfaff  <blp@gnu.org>
6543
6544         * Makefile.am: Add pfm-write.c.
6545         (LDADD) Add the libgmp2 libraries.
6546
6547         * command.def: Define EXPORT.
6548
6549         * get.c: (cmd_export) New function.
6550         (export_write_case_func) New function.
6551
6552         * pfm-read.c: (static spss2ascii[]) Make it const.
6553
6554         * pfm-write.c: New file.
6555
6556         * sfm-write.c: Formatting, comment fixes.
6557
6558         * var.h: Comment fix.
6559
6560 Fri May 29 21:44:12 1998  Ben Pfaff  <blp@gnu.org>
6561
6562         * Makefile.am: Add pfm.h, pfm-read.c.
6563
6564         * command.def: IMPORT is now implemented.
6565
6566         * format.c: (glob var translate_fmt[]) New var.
6567
6568         * get.c: (enum GTSV_NONE) Renamed GTSV_OPT_NONE.
6569         (cmd_import) New function.
6570         (import_source_read) New function.
6571         (glob var import_source) New var.
6572
6573         * pfm-read.c: New file.
6574
6575         * pfm.h: New file.
6576         
6577         * sfm-read.c: (parse_format_spec) Local variable translate_fmt[]
6578         moved in format.c.
6579         (dump_dictionary) Disabled printing a couple of items.
6580
6581 Mon May 25 12:42:37 1998  Ben Pfaff  <blp@gnu.org>
6582
6583         * crosstabs.q: (postcalc) Call make_summary_table().
6584         (make_summary_table) New function.
6585         (insert_summary) New function.
6586         (display_dimensions) Remove some unnecessary arguments, all
6587         references changed.
6588         (output_pivot_table) Fix lots of problems with the risk table
6589         setup.
6590         (submit) Don't display an empty table.
6591         (display_risk) Fix order of arguments to calc_risk().
6592
6593         * glob.c: Always include assert.h and stdlib.h.
6594
6595         * output.h: (enum OUTP_T_JUST_FULL) Removed, all references
6596         removed.
6597
6598         * tab.c: (tab_create) Cosmetic changes.
6599
6600         * tab.h: (enum TAB_JUSTIFY) Removed, all references removed.
6601
6602 Sun May 24 22:39:23 1998  Ben Pfaff  <blp@gnu.org>
6603
6604         * tab.def: Removed.
6605
6606         * crosstabs.q: (output_pivot_table) Headers drawing and submission
6607         code simplified, moved into new function submit().
6608         (submit) New function.
6609         (crosstabs_dim) New function.
6610         (display_directional) Substitute variable names for %s where
6611         appropriate.
6612         (somers_d_v[], somers_d_ase[], somers_d_t[]) New static vars.
6613         (calc_symmetric) Initialize parameters only if non-NULL.
6614         Calculate Somers' d.
6615         (calc_directional) Calculate Somers' d (or copy it, really).
6616         Calculate eta.
6617
6618         * output.c: (outp_string_width) New function.
6619
6620         * postscript.c: (postopen) Calculate font widths based on the
6621         width of the zero '0' character, not the width of the space
6622         character.  Set paper-width and paper-length based on points, not
6623         device units.
6624         (ps_open_page) Fix page setup string for landscape mode.
6625
6626         * som.h: (struct som_dimension) Removed.
6627         (struct som_table_class) height, width members take int * not
6628         som_dimesion * now.
6629
6630         * tab.c: Many functions now have added parameter validation.
6631         (tab_height, tab_width) These functions were removed and merged
6632         into a single function tab_resize(), and all references changed.
6633         (tab_dim) Rewritten since the interface changed; reduced from
6634         hundreds of lines to two.  All callers were changed.  Currently
6635         most of them just use tab_natural_dimensions as their callback and
6636         await detailed translation of functionality.
6637         (tab_natural_width) New function.
6638         (tab_natural_height) New function.
6639         (tab_natural_dimensions) New function.  This is a callback
6640         function, not something that you'd want to call directly.
6641         (tab_nat_dim) Removed.
6642         (tabi_table) Allocates t->w and t->h.
6643         (tabi_driver) Inlined sum_columns()'s functionality.  Calls the
6644         dimensions callback.
6645         (evaluate_dimensions) Removed.
6646         (sum_columns) Removed.
6647
6648         * tab.h: (enum TAL_1THIN) Removed.
6649         (enum series t_*) Removed.
6650         (struct tab_table) Members trh, trv changed to unsigned char *
6651         from int *.  Member dim changed to a function pointer from a
6652         unsigned char *.  Member max_stack_height removed.  New members
6653         hr_tot, vr_tot.
6654         (macros tab_l, tab_r, tab_t, tab_b) New.
6655
6656 Sat May 23 23:22:13 1998  Ben Pfaff  <blp@gnu.org>
6657
6658         * ascii.c: (delineate) Assign last_space_nchars before skipping
6659         spaces, to fix right justification.
6660
6661         * crosstabs.q: (static vars risk, direct) New vars.
6662         (static var pearson_r) Removed.
6663         (glob var chisq_fisher) Made static.
6664         (static vars row_tot[], col_tot[]) Don't include grand total
6665         anymore.
6666         (static var grand_total) Renamed W, all references changed.
6667         (output_pivot_table) Only make `table' if num_cells != 0.  Make
6668         risk and directional tables.  Deal with grand total no longer part
6669         of col_tot[].  Free rows and cols after we're done with them.
6670         (display_risk) New function.
6671         (display_directional) New function.
6672         (clac_r) Rewritten so that it stores all its results into its
6673         arguments, so it can be used for Spearman's correlation too.
6674         (calc_symmetric) Added a t[] argument, all references changed.
6675         Calculates ASEs for tau-b, tau-c, gamma.  Calculates Spearman's r,
6676         Pearson's r, Cohen's kappa.
6677         (calc_risk) New function.
6678         (calc_directional) New function.
6679
6680         * som.c: (som_submit) Improved debugging code.
6681
6682         * stats.c: (hypercube) New function.
6683         (cube) New function.
6684         (sqr) New function.
6685         (normal_sig) Went back to old implementation, which actually
6686         worked.
6687
6688         * stats.h: (macros square, cube, hypercube) Removed.  The
6689         equivalent functions in stats.c are inlined here; all references
6690         to square changed to sqr.
6691
6692 Fri May 22 00:03:41 1998  Ben Pfaff  <blp@gnu.org>
6693
6694         * crosstabs.q: (N_SYMMETRIC) New define.
6695         (postcalc) Disable debug printing.
6696         (static vars chisq_fisher, pearson_r) New.
6697         (output_pivot_table) Add support for symmetric measures.  Add
6698         chi-square output of exact sigs.
6699         (display_chisq) Rewritten.
6700         (display_symmetric) New function.
6701         (gamma_int) New function.
6702         (Pr) New function.
6703         (swap) New function.
6704         (calc_fisher) New function.
6705         (calc_chisq) Check boundary conditions better. Calculate Yates,
6706         Fisher, Mantel-Haenszel tests.
6707         (calc_r) New function.
6708         (calc_symmetric) New function.
6709
6710         * stats.c: (normal_sig) Rewritten with new algorithm.  Renamed
6711         from calc_normal.
6712         (chisq_sig) Better boundary conditions.  Renamed from
6713         calc_significance.
6714
6715         * tab.h: (struct tab_table) New member cf.
6716
6717         * tab.c: (tab_create) Set cf.
6718         (tab_width) New function.
6719         (tab_realloc) Handle cf.
6720         (tab_vline) Handle cf.
6721         (tab_hline) Handle cf.
6722         (tab_box) Handle cf.
6723         (tab_value) Handle cf.
6724         (tab_float) Handle cf.
6725         (tab_text) Handle cf.
6726         (tab_joint_text) Handle cf.
6727         (tab_offset) Handle cf.
6728         (tab_next_row) Handle cf.
6729         (evaluate_dimensions) Handle cf.
6730         (render_strip) Handle cf.
6731
6732 Wed May 20 00:03:59 1998  Ben Pfaff  <blp@gnu.org>
6733
6734         * crosstabs.q: (postcalc) New vars row_tot, col_tot, pass them to
6735         output_pivot_table().
6736         (output_pivot_table) Moved lots of local variables outside and
6737         made them static.  Add beginnings of chi-square statistic
6738         support.  Now column and row totals aren't in the main matrix.
6739         Always zero out any leftover rows & columns after we're done with
6740         the table entries.  Move all output stuff into
6741         display_dimensions(), display_crosstabs(), display_chisq().
6742         (display_dimensions) New function.
6743         (display_crosstabulation) New function.
6744         (display_chisq) New function.
6745         (calc_chisq) Implemented Pearson and likelihood-ratio chisquares.
6746
6747         * frequencies.q: (dump_full, dump_condensed) Remove tab_null()
6748         references, simplify logic.
6749
6750         * postscript.c: Remove scale, translate-x, translate-y,
6751         mirror-horz, mirror-vert, rotate-180 options.
6752         (struct ps_driver_ext) Remove scale, translate_x, translate_y.
6753         All references deleted.
6754         (macro YT) New macro.
6755         (array option_tab[]) Removed options.
6756         (ps_option) Removed options.
6757         (ps_open_page) Write page setup explicitly to output file, without
6758         using now-deleted BP function.
6759         (macro dump_line) Use YT().
6760         (macro dump_thick_line) Use YT().
6761         (draw_headers) Use YT().
6762         (switch_font) Reorder arguments to SF function.
6763         (write_text) Use YT().
6764
6765         * sfm-read.c: (sfm_read_case) Don't attempt to read variables that
6766         have get.fv == -1.
6767
6768         * sysfile-info.c: (describe_variables) Don't use tab_nulls().
6769
6770         * tab.c: (tab_create) Initialize t->ct to zeros.  Remove
6771         null-debugging code.
6772         (tab_realloc) Remove null-debugging code.  Initialize new regions
6773         of t->ct to zeros.
6774         (tab_vline) Support offsets.
6775         (tab_hline) Support offsets.
6776         (tab_box) Support offsets.
6777         (tab_null) Removed.
6778         (tab_nulls) Removed.
6779         (tab_row) Removed.
6780         (tab_col) Removed.
6781         (evaluate_dimensions) Remove null-debugging code.  Understand
6782         TAB_EMPTY attribute.  Assert that text.s.s is always non-NULL if
6783         TAB_EMPTY not present.
6784
6785         * tab.h: New cell attribute TAB_EMPTY.
6786         (macros tab_nr, tab_nc, tab_row, tab_col) New.
6787
6788         * vars-atr.c: (init_variable) Set get.fv to -1 so that GET doesn't
6789         try to read them from system files.
6790
6791         * vfm.c: (dump_splits) Don't call tab_null().   
6792
6793 Sat May 16 19:36:55 1998  Ben Pfaff  <blp@gnu.org>
6794
6795         * crosstabs.q: (struct crosstab) Added `missing' member.
6796         (custom_tables) Init missing.
6797         (calc_general) Handle missing values.
6798         (calc_chisq) New function.
6799         (output_pivot_table) Start work on chi-square output.  Update for
6800         new tab offset support functions.  Shorten statistic names.
6801
6802         * Several files: add in more `const's to placate gcc's warnings.
6803
6804         * tab.h: (struct tab_table) Add col_ofs, row_ofs members.  Comment
6805         fixes.
6806
6807         * tab.c: (tab_height, tab_realloc, tab_vline, tab_hline, tab_box,
6808         tab_null, tab_nulls, tab_value, tab_float, tab_text,
6809         tab_joint_text) Add col_ofs and row_ofs support.
6810         (tab_offset) New function.
6811         (tab_next_row) New function.
6812         (tab_row) New function.
6813         (tab_col) New function.
6814         (tabi_table) Add col_ofs and row_ofs support.
6815
6816         * vars-atr.c: (is_system_missing) New function.
6817
6818 Tue May 12 16:14:30 1998  Ben Pfaff  <blp@gnu.org>
6819
6820         * crosstabs.q: Expanded subcommand names RESID --> RESIDUAL, etc.
6821         (static var no_cells) Removed.
6822         (static var num_cells) New.
6823         (static var expected) New.
6824         (static var cells[]) New.
6825         (internal_cmd_crosstabs) Deal with new variables.
6826         (postcalc) Removed most of the meat and put it in new function
6827         output_pivot_table().
6828         (output_pivot_table) Calculates and outputs an entire pivot table.
6829
6830         * postscript.c: (postopen) Fix problems with free()ing addresses
6831         not obtained from malloc().
6832
6833         * som.c: (som_submit) Add assertion.
6834
6835         * sysfile-info.c: (describe_variable) Use new tab_nulls()
6836         function.
6837
6838         * tab.c: (static var tab_names[]) New.
6839         (tab_realloc) -1 for nc or nr indicates no change.
6840         (tab_nulls) New function.
6841         (tab_dim) Use tab_names[].
6842         (tabi_cumulate) Don't include bottom or right headers.  Furrfu.
6843         (evaluate_dimensions) Don't terminate on uninited cells, just put
6844         an X in them and emit a notice.  Use tab_names[].
6845
6846         * tab.h: Move bits into tab.def.
6847
6848         * tab.def: New.  Don't try to declare tab_table_class because then
6849         som.h has to be included.       
6850         
6851 Thu May  7 22:55:04 1998  Ben Pfaff  <blp@gnu.org>
6852
6853         * command.def: New file, contains all the command definitions
6854         previously included bodily in command.c.
6855
6856         * format.def: New file, contains all of the format definitions
6857         previously split across format.h, format.c, and sfm-write.c.
6858
6859         * lexer.h: Renamed from tokens.h in order to match corresponding
6860         .c file name.
6861
6862         * lexerP.h: Moved some rarely used functions exported by lexer.c
6863         into here.
6864
6865         * Makefile.am: Commemorate renamed files.
6866         (EXTRA_DIST) Add command.def, format.def.
6867
6868         * command.c: [0] (walk_cmdtable_func) Removed.
6869
6870         * crosstabs.q: (postcalc) Made it work and print out matrices
6871         proving it.
6872         (enum_column_values) Renamed enum_var_values, generalized for any
6873         variable.
6874
6875         * format.h: (struct fmt_desc) New member `spss'.
6876
6877         * q2c.c: (main) Generated code includes lexer.h instead of
6878         tokens.h.
6879
6880         * sfm-write.c: (write_format_spec) Use new spss member of fmt_spec
6881         instead of an independent translation table.
6882
6883 Tue May  5 13:19:03 1998  Ben Pfaff  <blp@gnu.org>
6884
6885         * Lots of source files: Added const to declarations.
6886
6887         * aggregate.c: (parse_aggregate_function) Rename inner i to j.
6888         
6889         * arena.c: (arena_clear) Set prev pointer to null when done.
6890
6891         * ascii.c: (ascii_option) Rename index as indx.
6892
6893         * avl.c: This is now a separate library called libavl.
6894         (xmalloc) Make static.
6895         (avl_probe) Step A7 can use the cache instead of an explicit
6896         compare.
6897         (avl_delete) Don't maintain a q pointer because it's always
6898         available in the pointer stack.  Comment fix.
6899
6900         * avl.h: This is now a separate library called libavl.
6901
6902         * command.c: (cmd_table[]) Remove spurious trailing "".
6903
6904         * common.h: Only include random() fix if this system needs it.
6905
6906         * crosstabs.q: Include alloca headers.
6907         (n_sorted_tab) New global var.
6908         (postcalc) Mostly rewritten.
6909         (find_pivot_extent) Rewritten.
6910         (enum_column_values) Rewritten.
6911
6912         * data-out.c: (convert_F) Rename inner n as n_spaces.
6913
6914         * error.c: (dump_message) Don't have an outer var i.
6915
6916         * file-handle.q: (static var f) Removed.  All references removed.
6917         (internal_cmd_file_handle) Uses a local variable instead of f.
6918
6919         * get.c: (trim_dictionary) Change scope of i, i1, i2.
6920         (cmd_match_files) Don't strcpy tokstr into sbc (why was this ever
6921         done?)
6922
6923         * getline.h: Declare getl_history as extern.  Reported by
6924         palme@uni-wuppertal.de (Hubert Palme).
6925
6926         * postscript.c: (postopen) Some large mods for constness.
6927
6928         * recode.c: Remove spurious copyrights since PSPP is owned by FSF
6929         anyway.
6930
6931 Fri Apr 24 12:52:47 1998  Ben Pfaff  <blp@gnu.org>
6932
6933         * Makefile.am: Rename BUILT_SOURCES to q_sources, all references
6934         changed.  Add avl.c, avl.h to pspp_SOURCES.  Remove avllib from
6935         LDADD.
6936
6937         * avl.c, avl.h: New files.  These form a clean-room
6938         reimplementation of avllib.  Iterative algorithms are used in
6939         place of recursive ones, so there is no resemblance in the code.
6940
6941         * Lots of headers: Don't include other headers by default.
6942
6943         * Lots of source files: Explicitly include all needed headers.
6944
6945         * arena.c: (arena_clear) New function.
6946
6947         * crosstabs.q: (ROW_VAR, COL_VAR) New enums.
6948         (static var ar) Removed.
6949         (staitc vars ar_tc, ar_col) New.
6950         (cmd_crosstabs) Destroy the arenas.
6951         (internal_cmd_crosstabs) Create the arenas.
6952         (precalc) Don't need a free function for the hash.
6953         (calc_general) Make sure to zero out the trailer on the key data
6954         before inserting.
6955         (print_table_entries) Updated.
6956         (postcalc) Worked on actually implementing.
6957         (find_pivot_extent) New function.
6958         (compare_value) New function.
6959         (enum_column_values) New function.
6960
6961         * data-in.c: (parse_month) Make local array `static const'.
6962         
6963         * data-out.c: (convert_date) Make local array `static const'.
6964         (convert_WKDAY) Same.
6965         (convert_MONTH) Same.
6966
6967         * frequencies.q: (postprocess_freq_tab) avl_walk_inorder() has
6968         been renamed to avl_walk().
6969         
6970         * hash.c: Rewritten more efficiently.
6971
6972         * hash.h: Add attribute const to hsh_next_prime declaration.
6973
6974         * lexer.c: (id_match) Make arguments const.
6975
6976         * postscript.c: (ps_postopen_driver) Make default fonts the
6977         Helvetica family.
6978
6979         * q2c.c: (main) Generated code needs stdlib.h.
6980
6981         * sfm-write.c: (write_value_labels) An avl_traverser needs to be
6982         initialized to 0 now, not to NULL.  All other references to
6983         avl_traverser were updated in the same way.
6984
6985         * tokens.h: Macro version of id_match updated to use const
6986         properly.
6987
6988         * val-labs.c: (inc_ref_count) New function.
6989         (copy_value_labels) Simply through use of new avl_copy() function.
6990
6991 Wed Apr 15 13:01:58 1998  Ben Pfaff  <blp@gnu.org>
6992
6993         * crosstabs.q: Probably doesn't compile.  New PIVOT subcommand.
6994         (postcalc) Worked on this.
6995
6996         * postscript.c: (OPO_DOUBLE_LINE) New enum.
6997         (struct ps_driver_ext) New line_width_thick member.
6998         (ps_preopen_drive) Init line_width_thick.
6999         (option_tab[]) Add line-* options.
7000         (ps_option) Parse line-* options.
7001         (postopen) Add line_width_thick support.  Strip leading spaces on
7002         prologue output lines.
7003         (ps_open_page) Include line_width_thick in output.
7004         (macro dump_thick_line) New.
7005         (dump_fancy_line) Support thick lines as well as double lines.
7006
7007 Tue Apr 14 00:50:08 1998  Ben Pfaff  <blp@gnu.org>
7008
7009         * Makefile.am: Add crosstabs.c to BUILT_SOURCES.  Add crosstabs.q
7010         to pspp_SOURCES.  Add crosstabs.q to EXTRA_DIST.
7011
7012         * Many source files: Rename `options' to `pv_opts' as appropriate.
7013
7014         * command.c: (static var cmd_table[]) Add CROSSTABS command.
7015
7016         * common.c: (xcalloc) New function.
7017
7018         * crosstabs.q: New file.  Not finished yet, though.
7019                 
7020         * data-list.c: Comment fix.
7021
7022         * error.c: Remove some old Checker cruft.
7023
7024         * frequencies.q: (dump_full) Cumulate valid percent instead of
7025         regular percent.
7026
7027         * getline.c: Comment fix.
7028
7029         * hash.c: Comment fixes.
7030
7031         * hash.h: (struct hsh_table) Make hash functions return unsigned
7032         instead of int to avoid problems with taking the modulo of
7033         negative return values.  All references changed.
7034
7035         * misc.c: (intlog10) Make its table static const instead of auto.
7036
7037         * sfm-read.c: (read_header) Make `prefix' static const instead of
7038         auto.
7039
7040         * var.h: (union value) Add member `hash'.
7041         (struct variable) Rename prv_index as `foo'--all references
7042         changed.  Reorder.
7043         (typedef pv_opts) Removed.  All references changed.
7044
7045         * vars-prs.c: (parse_variables) Message fixes.
7046         
7047 Mon Mar  9 15:35:08 1998  Ben Pfaff  <blp@gnu.org>
7048
7049         * get.c: (cmd_match_files) Don't reverse the order of FILEs as
7050         they are being inserted.  Don't check for BY variables of
7051         different types.  Discard variables if the active file isn't
7052         included in the merge.
7053         (mtf_processing) Essentially rewritten.
7054         (mtf_merge_dictionary) Check for master/slave variables of
7055         different types/widths.
7056
7057         * vfm.c: (static var not_canceled) New var.
7058         (process_active_file) Don't call vfm_source->read() if
7059         there's no vfm-source.  Initialize not_canceled.
7060         (process_active_file_write_case) Honor and update not_canceled.
7061         (prepare_for_writing) Rollback changes from yesterday, they were
7062         wrong.
7063         (close_active_file) Don't destroy vfm_source unless it exists.
7064         
7065 Mon Mar  9 00:56:16 1998  Ben Pfaff  <blp@gnu.org>
7066
7067         * Lots of source files: Added { } around nested if/else constructs
7068         to avoid new gcc 2.8 warnings.
7069
7070         * data-in.c: (parse_Z) Declare `int' type explicitly.
7071         (convert_Z) Ditto.
7072
7073         * get.c: (struct mtf_file) Add prev, next_min, by, input members.
7074         (cmd_match_files) Initialize mtf_by_values.  Manage by, input,
7075         prev members.  Put TABLEs at the end of the chain and FILEs at the
7076         beginning.  Don't allow the active file in STATE_INIT.  Use proper
7077         `seen' value for the active file.  Fill out the by members and
7078         make sure they're of consistent type.  Do the actual merge
7079         operation.
7080         (mtf_processing_finish) New function.
7081         (var_type_description) New function.
7082         (mtf_free_file) New function.
7083         (mtf_free) Rewritten.
7084         (mtf_delete_file_in_place) New function.
7085         (mtf_read_nonactive_records) New function.
7086         (mtf_compare_BY_values) New function.
7087         (static var mtf_seq_no) New var.
7088         (mtf_processing) New function.
7089         (mtf_merge_dictionary) Assign nval members for the system file
7090         dictionary.  Assign fv values for its variables.  Point each slave
7091         variable to the corresponding master variable.
7092
7093         * hash.c: Include str.h.
7094
7095         * mis-val.c: (copy_missing_values) src arg is const.
7096
7097         * misc.c: (spacing) Make `max' var explicitly int.
7098
7099         * sfm-read.c: (dump_dictionary) Message reformatting.
7100         (sfm_read_case) Add assertion.
7101
7102         * sort.c: Esthetic fixes.
7103
7104         * var.h: (struct match_files_proc) New struct.
7105         (struct variable) Add private data match_files_proc.
7106
7107         * vars-atr.c: (delete_variable) Implement.  Add argument for the
7108         dictionary that owning the variable.
7109         (dup_variable) Add assertion.
7110
7111         * vfm.c: Comment fixes, hopefully the comments are correct now.
7112         (process_active_file) New function.
7113         (process_active_file_write_case) New function.
7114         (process_active_file_output_case) New function.
7115         (prepare_for_writing) Use temp_dict->nval for vfm_info, not
7116         default_dict.nval.
7117         (write_case) Renamed procedure_write_case().  Now write_case is a
7118         pointer to a function.  Style fixes.
7119         
7120 1998-03-05  Ben Pfaff  <blp@gnu.org>
7121
7122         * Makefile.am: (q2c) Link with libmisc.
7123         (version.c) Define default_config_path, include_path,
7124         groff_font_path.
7125
7126         * ascii.c: (ascii_postopen_driver) When the default newline string
7127         is requested, open file in text mode.  Suggested by
7128         palme@uni-wuppertal.de (Hubert Palme).
7129         (static vars line_buf, line_p) Change from char * to unsigned char
7130         *.
7131         (ascii_close_page) char * to unsigned char *.
7132
7133         * cmdline.c: (parse_command_line) Implement -r option by
7134         prepending ~/.pspp/rc to the list of files to process.
7135
7136         * command.c: (cmd_remark) Reset getl_prompt to the standard prompt
7137         before pulling in a final line.
7138         (null_func, null_int_func) Removed (dead code).
7139
7140         * descript.q: (display) Calculate width of variable name column
7141         properly.  Calculate number of valid cases properly.  Reported by
7142         palme@uni-wuppertal.de (Hubert Palme).
7143
7144         * filename.c: (init_filename) Use default_config_path instead of
7145         now obsolete CONFIG_PATH.
7146
7147         * getline.c: (getl_initialize) Use include_path instead of now
7148         obsolete INCLUDE_PATH.
7149         (getl_add_file) New argument `where'.  All references changed.
7150
7151         * groff.c: (find_font_file) Use groff_font_path instead of now
7152         obsolete GROFF_FONT_PATH.
7153         
7154         * postscript.c: (find_ps_file) Use groff_font_path instead of now
7155         obsolete GROFF_FONT_PATH.  Copy through temporary variable to
7156         avoid problems with constness.
7157
7158         * str.h: (macro cs_streq) New macro.
7159
7160         * version.h: (glob var default_config_path, include_path,
7161         groff_font_path) New vars.
7162         
7163 1998-02-23  Ben Pfaff  <blp@gnu.org>
7164
7165         * Many source files: Change verbose_msg() priority levels and
7166         messages.
7167
7168         * aggregate.c: Include debug-print.h.
7169
7170         * cmdline.c: (parse_command_line) Add --safer/-s and --command/-c
7171         options.
7172         (static var pre_syntax_message) Document --safer/-s and
7173         --command/-c.
7174
7175         * command.c: (cmd_erase, cmd_host) Disable if set_safer is set.
7176
7177         * dfm.c: (open_inline_file) [__CHECKER__] Zero out ext->file,
7178         because it's not used but it's still copied.
7179         (open_file_r) Remove gratuitous debug message.
7180
7181         * filename.c: (safety_violation) New function.
7182         (open_file) Remove gratuitous debug messages.  Don't allow pipe
7183         files if set_safer is set.
7184
7185         * get.c: Turn off debugging.
7186
7187         * getline.c: (getl_add_virtual_file) New function.
7188         (getl_read_line) Add verbose_msg() call for opening new syntax
7189         file.
7190         (getl_perform_delayed_reset) Add a return value describing whether
7191         any action was taken.  Call reset_eof().
7192
7193         * getline.h: Comment fix.
7194
7195         * groff-font.c: (groff_read_font) Use `goto next_iteration' in
7196         place of incorrect `continue'.  Use strtok_r() instead of
7197         strtok().  Always check strtok_r() return value.
7198         (groff_read_DESC) Use strtok_r() instead of strtok().
7199
7200         * lexer.c: (reset_eof) New function.
7201
7202         * main.c: (parse) Get a token after performing a delayed reset
7203         action; allow empty syntax files.
7204
7205         * postscript.c: (output_encodings) Use strtok_r() instead of
7206         strtok().
7207
7208         * q2c.c: (dump_parser) Use strtok_r() instead of strtok().
7209
7210         * set.q: Comment fixes.
7211         (glob var set_safer) New var.
7212         (internal_cmd_set) Support SAFER.
7213
7214         * str.h: [!HAVE_STRTOK_R] Declare strtok_r() prototype.
7215
7216         * temporary.c: (free_dictionary) Set d->splits to NULL after
7217         freeing.
7218
7219         * vars-atr.c: (clear_variable) Decrement dict->n_splits if
7220         variable deleted, not if it *isn't* deleted.
7221
7222 1998-02-16  Ben Pfaff  <blp@gnu.org>
7223
7224         * command.c: (array cmd_table[]) Add MATCH FILES.
7225
7226         * common.c: Comment fixes.
7227
7228         * data-list.c, dfm.c, error.c, filename.c, list.q, matrix-data.c,
7229         modify-vars.c, postscript.c, sfm-read.c, sfm-write.c, tab.c:
7230         Include alloca.h.  Problem reported by palme@uni-wuppertal.de
7231         (Hubert Palme).
7232
7233         * expr-opt.c: Include str.h.  Problem reported by
7234         palme@uni-wuppertal.de (Hubert Palme).
7235
7236         * get.c: (cmd_get) [DEBUGGING] Update v->p.get to v->get.
7237         (static var mtf_by) Change from char ** to variable **.
7238         (static var mtf_master) New var.
7239         (mtf_merge_dictionary) New function.
7240         (cmd_match_files) Init mtf_master.  Parse mtf_by according to new
7241         var type.  Reorder tests properly.  Initialize file->dict.  Detect
7242         TABLE= without BY=.  Read file dictionaries and merge them.  Give
7243         subcommand name with IN, LAST, FIRST error messages.  Create IN,
7244         LAST, FIRST variables.  Comment fixes.
7245         (mtf_free) Don't free default_dict.  Free mtf_master.
7246
7247         * getline.c: Define getl_mode.  Change getl_buf_size to size_t
7248         from int.
7249         (handle_line_buffer) Cast int to size_t in comparison to avoid
7250         warning.
7251
7252         * getline.h: Declare getl_mode extern.
7253
7254         * groff-font.c: (groff_read_font) Type-fix calls to getline.
7255         (groff_read_DESC) Make line_size a size_t.
7256         (match_tok) Parenthesize name to avoid macro expansion.
7257
7258         * mis-val.c: (copy_missing_values) New function.
7259
7260         * postscript.c: (postopen) Make buf_size a size_t.
7261
7262         * sfm-read.c: (dump_dictionary) Make global from static.  Print
7263         variable info in parts for easier debugging with Checker.
7264
7265         * temporary.c: (copy_variable) Use copy_value_labels().
7266         (new_dictionary) New arg: whether to copy file label, documents.
7267
7268         * val-labs.c: (copy_value_labels) New function.
7269
7270         * var.h: (enums MISSING_*) Add MISSING_COUNT.
7271
7272         * vars-atr.c: [GLOBAL_DEBUGGING] (force_dup_variable) New
7273         function.
7274         (dup_variable) Set prv_index, get.fv, get.nv.
7275
7276 Fri Feb 13 15:38:36 1998  Ben Pfaff  <blp@gnu.org>
7277
7278         * Makefile.am: (pspp_SOURCE) Add htmlP.h.
7279
7280         * Many source files: For ANSI-compliance, add empty statement
7281         after label.  Reported by palme@uni-wuppertal.de (Hubert Palme)
7282         and Micah Altman <maltman@www-vdc.fas.harvard.edu>.
7283
7284         * data-in.c: (parse_numeric) Some header files break on
7285         -DBL_MIN_10_EXP because they get a --; add () for safety.
7286         Reported by palme@uni-wuppertal.de (Hubert Palme).
7287
7288         * dfm.c: Idea by Dr Eberhard W Lisse <el@linux.lisse.na>.
7289         (struct dfm_fhuser_ext) Change `file' from FILE * to file_ext.
7290         (dfm_close) Use close_file_ext.
7291         (open_inline_file) Set file.file to NULL, not file.
7292         (open_file_r, open_file_w) Initialize file.file; fill in file_ext
7293         struct and use open_file_ext().
7294         (read_record) Use file.file.
7295
7296         * file-handle.q: (prepend_current_directory) Pass through special
7297         filenames.
7298
7299         * filename.c: Only include unistd.h if HAVE_UNISTD_H.
7300         (normalize_filename) Pass through special filenames.
7301         (open_file, close_file) Accept pipe| and |pipe syntaxes as
7302         equivalent.
7303         (dirname) Rename blp_dirname() because of name conflict on some
7304         OS.  All references changed.  Reported by palme@uni-wuppertal.de
7305         (Hubert Palme).
7306         (is_special_filename) New function.
7307
7308         * get.c: (GTSV_OPT*) Add GTSV_OPT_MATCH_FILES.
7309         (trim_dictionary) Conditionalize some of the options on whether
7310         GTSV_OPT_MATCH_FILES is in *options.
7311         (rename_variables) Don't allow variables to be renamed as scratch
7312         variables.
7313         (MTF_*) New enum series.
7314         (struct mtf_file) New struct.
7315         (static vars mtf_head, mtf_tail, mtf_by, mtf_n_by, mtf_free) New
7316         vars.
7317         (cmd_match_files, mtf_free) New functions.
7318
7319         * lexer.c: (match_int) Needed parentheses around name to escape
7320         macro expansion.  Reported by Micah Altman
7321         <maltman@www-vdc.fas.harvard.edu>.
7322
7323         * print.c: Needed to include alloca.h.  Reported by Micah Altman
7324         <maltman@www-vdc.fas.harvard.edu>.
7325
7326         * recode.c: (convert_to_double) Parenthesize -DBL_MIN_10_EXP to
7327         -(DBL_MIN_10_EXP).  Reported by palme@uni-wuppertal.de (Hubert
7328         Palme).
7329         
7330         * str.h: Include stdarg.h.  Reported by palme@uni-wuppertal.de
7331         (Hubert Palme) and Micah Altman <maltman@www-vdc.fas.harvard.edu>.
7332
7333 Thu Feb  5 00:18:21 1998  Ben Pfaff  <blp@gnu.org>
7334
7335         * html.c: (struct html_driver_ext) Move into htmlP.h.
7336         (html_preopen_driver) Initialize cp_x, cp_y.
7337         (html_submit) Implement as call to output_tab_table().
7338         (change_attributes) New function.
7339         (escape_string) New function.
7340         (output_tab_table) New function.
7341
7342         * list.q: (write_all_headers) Add code for writing headers for the
7343         html driver.
7344         (clean_up) Write out the html close-table tag.
7345         (determine_layout) Ignore html driver.
7346         (list_cases) Write html data.
7347
7348         * som.c: (som_submit) Move more of the code into output_table().
7349
7350         * tab.c: (static var hit) Make a global var and rename tab_hit.
7351         (static var tab_table_class) Make a global var.
7352
7353         * htmlP.h: New file.
7354
7355 Tue Feb  3 16:12:18 1998  Ben Pfaff  <blp@gnu.org>
7356
7357         * dump-sysfile.c: Removed.
7358
7359         * html.c: (preclose) Change comment in emitted code.
7360
7361         * matrix-data.c: Debugging off by default.  Comment fixes.
7362         (static var container) New var.
7363         (cmd_matrix_data) Create and destroy container.  Initialize
7364         is_per_factor[] to 0s.  Move code into new function
7365         string_to_content_type().  Require split values to be present in
7366         the data when ROWTYPE_ is explicit.  Call specific function, not
7367         general read_matrices().
7368         (string_to_content_type) New function.
7369         (context) Exclude all whitespace, not just spaces.
7370         (mget_token) A dot is a number.  Add assertion.
7371         (static var data) Renamed nr_data.
7372         (static var factor_values) Renamed nr_factor_values.
7373         (read_matrices) Renamed read_matrices_without_rowtype().  Handle
7374         only specific case.  Close data_file before exit.
7375         (fill_matrix) New function.
7376         (read_data_lines) Renamed nr_read_data_lines().  Remove debug
7377         printing.  Style fixes.  Message fixes.  Move code into
7378         fill_matrix().
7379         (read_matrices_without_rowtype) Rename
7380         matrix_data_read_without_rowtype().  Fix off-by-one error on
7381         loops.  Allocate nr_data[] memory from arena.
7382         (read_matrices_with_rowtype) Removed.
7383         (read_splits) Renamed nr_read_splits().  Style fixes.
7384         (read_factors) Renamed nr_read_factors().
7385         (dump_cell_content) Comment fixes.  Arguments changed.  Change
7386         debug printing.  All references changed.
7387         (output_data) Renamed nr_output_data().
7388         (static var wr_content) New var.
7389         (struct factor_data) New struct.
7390         (static var wr_data) New var.
7391         (static var wr_current) New var.
7392         (matrix_data_source_destroy_source) Removed.
7393         (read_matrices_with_rowtype) New function.
7394         (matrix_data_read_with_rowtype) New function.
7395         (wr_read_splits) New function.
7396         (compare_factors) New function.
7397         (wr_output_data) New function.
7398         (wr_read_rowtype) New function.
7399         (wr_read_factors) New function.
7400         (wr_read_indeps) New function.
7401         (glob var matrix_data_source) Make destroy_source member NULL as
7402         well.
7403
7404 Fri Jan 23 00:09:08 1998  Ben Pfaff  <blp@gnu.org>
7405
7406         * lexer.c: (syntax_error) Give better error message when at end of
7407         file.
7408
7409         * matrix-data.c: (var content_names[]) Fix PROX spelling.  Change
7410         N_SCALAR to output as plain N.
7411         (mdump_token) Change output format.
7412         (context) Fix message output interaction with spaces in input.
7413         (another_token) New function.
7414         (force_eol) Improved error message.
7415         (static var max_cell_index) New var.
7416         (read_matrices) Init `cells'.  factor_values is now per-cell.
7417         Init max_cell_index.
7418         (read_data_lines) Replace `compare' local with new `compare' arg.
7419         Debugging messages changed.  Only read factors if per_factor.
7420         Propagate error return from read_factors(), force_eol().
7421         Copy N_SCALAR values across the N vector.
7422         (read_matrices_without_rowtype) Don't init `cells'.  Don't need to
7423         check parentheses manually since we now have is_per_factor[].
7424         Call read_data_lines() with new args.  Check for end of data after
7425         looping, using another_token().
7426         (read_factors) Arguments changed.  Use max_cell_index to determine
7427         whether to read or compare factors.  Message fixes.
7428         (dump_cell_content) New function.
7429         (output_data) Completely rewritten because content types were
7430         supported to be nested inside factor values, not vice versa.
7431         
7432 Thu Jan 22 00:26:38 1998  Ben Pfaff  <blp@gnu.org>
7433
7434         * lexer.c: (syntax_error) Support formatted varargs messages.
7435
7436         * matrix-data.c: Turn debugging on by default.
7437         (static content_type[]) New array.
7438         (static content_names[]) New array.
7439         (static rowtype_, varname_) New vars.
7440         (static is_per_factor[]) New array.
7441         (static split_values) Moved declaration.
7442         (static n_continuous, first_continuous) New var.
7443         (cmd_matrix_data) Don't init split_values.  Assign ROWTYPE_ to
7444         rowtype_.  Simplify SPLIT code.  Init is_per_factor[].  Assign
7445         VARNAME_ to varname_.  Initialize first_continuous, n_continuous.
7446         Check for continuous variables.
7447         [DEBUGGING] (debug_print) Remove content_names[].
7448         (mdump_token) New macro.
7449         (mget_token_dump) New function.
7450         (mdump_token) New function.
7451         (context) New function.
7452         (mget_token) Fix messages.
7453         (static var data, split_values, factor_values) New vars.
7454         (read_matrices) Manage split_values, factor_values.
7455         (read_data_lines) New function.
7456         (read_matrices_without_rowtype) Implemented.
7457         (read_splits) Message fixes.  Uses `just_read'.
7458         (read_factors) New function.
7459         (output_data) New function.
7460         (matrix_data_source_destroy_source) Close the file handle.
7461         (glob var matrix_source) Change name from "DATA LIST" to "MATRIX
7462         DATA".
7463
7464         * str.c: (strpadcmp) Removed.
7465
7466         * vfm.c: (dump_splits) Initialize i; fix test for end of splits.
7467
7468 Sun Jan 18 00:30:59 1998  Ben Pfaff  <blp@gnu.org>
7469
7470         * Lots of source files: Add cast to unsigned character to calls to
7471         tolower() and toupper().
7472
7473         * aggregate.c: Set default_dict.splits to NULL.
7474
7475         * command.c: (static variable tab[]) Add MATRIX DATA.
7476
7477         * data-in.c: Add debugging defines.  Formatting fixes.
7478
7479         * expr-opt.c: Formatting fixes.
7480
7481         * lexer.c: (syntax_error) Message fixes.
7482
7483         * matrix-data.c: New enum series.
7484         (static vars fmt, section, diag, explicit_rowtype, signle_split,
7485         split_values, n_factors, factors, cells, pop_n, contents,
7486         n_contents) New vars.
7487         (cmd_matrix_data) Finished implementation.
7488         (compare_variables_by_mxd_vartype) New function.
7489         [DEBUGGING] (debug_print) New function.
7490         (static vars mtoken, mtokstr, mtoklen, mtokval) New vars.
7491         (read_matrices) New function.
7492         (read_matrices_without_rowtype) New function.
7493         (read_matrices_with_rowtype) New function.
7494         (read_splits) New function.
7495         (mget_token) New function.
7496         (force_eol) New function.
7497         [0] (test_tokenizer) New function.
7498         (matrix_data_source_destroy_source) New function.
7499         (glob var matrix_data_source) New var.
7500
7501         * misc.h: Include ieeefp.h if present.
7502
7503         * split-file.h: (cmd_split_file) Changes corresponding to struct
7504         dictionary changes.
7505
7506         * str.h: Fix memmem prototype.
7507
7508         * temporary.c: (save_dictionary, restore_dictionary,
7509         free_dictionary) Changes corresponding to struct dictionary
7510         changes.
7511
7512         * var.h: (MXD_* enums) New enum series.
7513         (struct matrix_data_proc) New struct.
7514         (struct split) Removed.
7515         (struct dictionary) Changed `splits' member from `split *' to
7516         `variable **'.
7517         (macro force_create_variable) New macro.  Replaced lots of
7518         create_variable()/assert() calls with calls to this macro.
7519
7520         * vars-atr.c: (discard_variables) Changed assertion.
7521         [GLOBAL_DEBUGGING] (force_create_variable) New function
7522         called by the macro of the same name.
7523         (clear_variable) Changes to delete splits from the dictionary
7524         corresponding to struct dictionary changes.
7525
7526         * vars-prs.c: (parse_variables) [GLOBAL_DEBUGGING] Check for
7527         corrupted variable `index' values in the dictionary passed in
7528         every time this function is called.
7529
7530         * vfm.c: (dump_splits, SPLIT_FILE_procfunc) Changes corresponding
7531         to struct dictionary changes.
7532
7533 Tue Jan 13 23:45:02 1998  Ben Pfaff  <blp@gnu.org>
7534
7535         * Makefile.am: (pspp_SOURCES) Add matrix-data.c.
7536
7537         * command.c: New includes.
7538         (static array cmd_table[]) Add ERASE, HOST, NEW FILE.
7539         (cmd_erase) New function.
7540         [unix] (shell) New function.
7541         (run_command) New function.
7542         (cmd_host) New function.
7543         (cmd_new_file) New function.
7544
7545         * expr-prs.c: (parse_primary) Message fix.
7546
7547         * inpt-pgm.c: Formatting fix.
7548         (cmd_reread) Implement the FILE subcommand.
7549
7550         * matrix-data.c: New file.
7551
7552         * q2c.c: (dump_header) Change output commenting style.
7553
7554         * weight.c: Comment fix.
7555
7556 Tue Jan 13 00:53:39 1998  Ben Pfaff  <blp@gnu.org>
7557
7558         * aggregate.c: (buf64_10x) Renamed buf64_1xx, all references
7559         changed.
7560         (buf_10x) Renamed buf_1xx, all references changed.
7561         (cmd_aggregate) Implemented cases 010, 011, 110, and 111 (all
7562         cases now implemented).
7563         (create_sysfile) New function.
7564         (agr_11x_func) New function.
7565
7566         * data-in.c: (parse_numeric) Work properly if there's an
7567         explicitly coded decimal point in the data and decimal places are
7568         specified on DATA LIST.  Bug reported by Dr Eberhard W Lisse
7569         <el@linux.lisse.na>.
7570
7571         * get.c: (cmd_get, cmd_save_internal) Allow extraneous slash
7572         before file specification on GET, SAVE, XSAVE.  Bug reported by Dr
7573         Eberhard W Lisse <el@linux.lisse.na>.
7574
7575         * q2c.c: [!HAVE_STRERROR] Include misc/strerror.c, not
7576         strerror.c.  Bug reported by Alexandre Oliva
7577         <oliva@dcc.unicamp.br>.
7578
7579         * sort.c: Include sort.h.  Comment fixes.  A few esthetic fixes.
7580         (static var separate_case_tab) New var.
7581         (cmd_sort_cases) Cancel temporary transformations here.  Free
7582         v_sort before return.
7583         (sort_cases) Run an EXECUTE procedure if SEPARATE is nonzero and
7584         we're reading from a sort stream.  Don't cancel temporary
7585         transformations.  Offload internal sorting to do_internal_sort().
7586         (do_internal_sort) New function.  Handles internal sorting even
7587         when SEPARATE is nonzero.  Doesn't free v_sort.
7588         (do_external_sort) Take new arg SEPARATE.  Only destroy `x' if
7589         it's non-NULL.
7590         (write_initial_runs) Take new arg SEPARATE.  Only destroy the old
7591         sink if SEPARATE is zero.
7592         (read_output_cases) Renamed read_sort_output(), all references
7593         changed.  Now uses separate_case_tab when it exists.
7594         (write_separate) New function.
7595
7596         * vfm.c: (page_to_disk) Destroy memory_source_cases, not
7597         memory_sink_cases.  Don't redundantly call
7598         vfm_source->destroy_source().
7599         (memory_stream_mode) After switching over, set memory_sink_cases
7600         to NULL.
7601
7602 Sat Jan 10 23:35:51 1998  Ben Pfaff  <blp@gnu.org>
7603
7604         * aggregate.c: (struct agr_var) Expand dbl[] array from 2 to 3
7605         elements.
7606         (static var prev_case) New, moved out of aggregate_single_case()
7607         local scope.
7608         (static var buf64_10x, buf_10x) New.
7609         (cmd_aggregate) Initialize prev_case.  Comment fixes.  Implement
7610         the 000, 001, 100, and 101 cases.  Free prev_case.
7611         (parse_aggregate_functions) Disallow scratch variables.
7612         (free_aggregate_functions) Only free agr_dict if non-null.  Use
7613         iter->function to determine numeric/string type, not
7614         iter->src->type.
7615         (aggregate_single_case) Don't manage prev_case.  Initialize
7616         aggregate info after dumping it.
7617         (accumulate_aggregate_info) Fix sum, weighted sum, mean, weighted
7618         mean, stddev, weighted stddev definitions.
7619         (dump_aggregate_info) Implemented.
7620         (initialize_aggregate_info) Renamed from
7621         initialize_aggregate_functions().  Initializes dbl[2].
7622         (agr_00x_trns_proc, agr_00x_end_func, write_case_to_sfm,
7623         agr_10x_trns_proc, agr_10x_trns_free, agr_10x_end_func) New.
7624
7625         * cases.c: (alloc_val) Removed.
7626
7627         * get.c: (cmd_save_internal) Initialize new `dict' member.
7628
7629         * sfm-write.c: (sfm_write_dictionary, write_header,
7630         write_variable, write_value_labels, write_documents) Reorganize,
7631         simplify for new parameter structure.
7632         (write_variable) Only one variable * argument now.
7633
7634         * sfm.h: (struct sfm_write_info) Removed `pri', `sec', and
7635         replaced by new `dict' member.
7636
7637         * temporary.c: (new_dictionary) Initialize n_documents.
7638
7639         * vars-atr.c: (dup_variable) Allocate `value's from dict into
7640         v->fv manually.
7641         (init_variable, replace_variable) Eliminate usage of alloc_val().
7642
7643         * vars-prs.c: (parse_DATA_LIST_vars) Accept PV_NO_SCRATCH option.
7644
7645         * vfm.c: (arrange_compaction) Allow `temporary' value of 2 to
7646         signal that AGGREGATE is to be used for forming final cases.
7647         (close_active_file) Call end_func before stopping lagging.  Cancel
7648         temporary after finishing compaction.
7649         (write_case) Comment fixes.  Cleaned up.
7650         (compact_case) Let AGGREGATE handle compaction when `temporary' is
7651         2.
7652
7653 Sat Jan 10 02:10:47 1998  Ben Pfaff  <blp@gnu.org>
7654
7655         * Makefile.am: (BUILT_SOURCES) Add means.c.
7656         (pspp_SOURCES) Add means.c.
7657         (EXTRA_DIST) Add means.q.
7658
7659         * command.c: (array cmd_table[]) Add MEANS.
7660
7661         * common.h: Esthetic fixes.  Comment fixes.  Test for
7662         MAX_SHORT_STRING greater than 8.
7663         (macros LOWEST, HIGHEST) New.
7664
7665         * data-in.c, data-list.c, recode.c: Comment fixes.
7666
7667         * means.q: New file, base version.
7668
7669         * mis-val.c: (parse_num_or_range, parse_numeric) Replace -DBL_MAX
7670         with LOWEST, DBL_MAX with HIGHEST.
7671
7672         * q2c.c: (dump_vars) Add an enum to array types giving the number
7673         of values for the enum.
7674
7675         * sfm-read.c: (sfm_read_dictionary, read_machine_flt64_info)
7676         Replace second_lowest_value with second_lowest_flt64.
7677
7678         * sfm-write.c: (write_variable, write_rec_7_34) Replace
7679         second_lowest_value with second_lowest_flt64.
7680
7681         * t-test.q: Comment fix.
7682
7683         * temporary.c: (restore_dictionary) Esthetic fix.
7684
7685         * tokens.h: (force_match_id, force_match, force_string, force_int,
7686         force_num, force_id) Replace msg() with syntax_error().
7687
7688         * var.h: (struct means_proc) New.
7689         (struct variable) Add mns member to `p' union.
7690
7691         * vars-prs.c: (parse_variable, parse_dict_variable,
7692         parse_variables, parse_DATA_LIST_vars) Replace msg() with
7693         syntax_error().
7694
7695 Thu Jan  8 22:28:41 1998  Ben Pfaff  <blp@gnu.org>
7696
7697         * Makefile.am: (pspp_SOURCES) Add tab.h.
7698
7699         * Most source files: Added a cast to unsigned char in usages of
7700         the ctype is*() functions.  Replaced `end of command expected'
7701         calls to msg() with calls to syntax_error().
7702
7703         * frequencies.q: (dump_condensed) Fix tab_dim() column reference.
7704
7705         * lexer.c: (hex_val) Removed (was dead code).
7706         (idmatch) Parenthesize function name to avoid macro expansion.
7707
7708         * postscript.c: Comment fixes.
7709         (ps_preopen_driver) Change default font size to 10pt.
7710
7711         * sfm-read.c: (read_variables) Byteswap sv.print, sv.write as
7712         int32s.
7713         (parse_format_spec) Change system-file format spec argument type
7714         to int32.  Parse the format spec with bitwise operators.
7715
7716         * sfmP.h: (struct sysfile_format) Removed.
7717         (struct sysfile_variable) Changed print, write members from
7718         sysfile_format to int32.
7719
7720         * tokens.h: Esthetic fixes.
7721         [__GNUC__] (macro id_match) New macro to hopefully speed up
7722         identifier matching.
7723         (macros match_id, match_tok, match_int) Implemented in
7724         compiler-independent manner; no longer GNU C only.
7725
7726         * vfm.h: Include time.h.
7727
7728 Mon Jan  5 11:06:15 1998  Ben Pfaff  <blp@gnu.org>
7729
7730         * data-list.c: (dump_fixed_table) Change tab_dim().
7731
7732         * dump-sysfile.c: (open_sysfile) Fix mmap() call.
7733
7734         * error.c: Include command.h.
7735
7736         * frequencies.g: Formatting fixes.
7737
7738         * frequencies.q: Add tab_dim() calls.  Make the total cell a
7739         joined cell.
7740
7741         * glob.c: Include command.h.
7742
7743         * sfm-read.c: (struct sfm_fhuser_ext) New members sysmis, highest,
7744         lowest.
7745         (sfm_read_dictionary) Initialize sysmis, highest, lowest.
7746         (sfm_read_machine_flt64_info) Update sysmis, highest, lowest.
7747         (read_variables) Byteswap sv.type; byteswap sv.print, sv.write as
7748         the other elements (is this right?).
7749         (read_variables) Use lowest, highest members.
7750         (parse_format_spec) New arg `vv' for more stringent checking.
7751         (dump_dictionary) Byteswaps nonexplicit data.
7752         (sfm_read_case) Byteswap numeric data.
7753
7754         * som.c: Initialize table_num to 1.
7755         (render_segments) Remember to increment y_index after each table
7756         segment.
7757
7758         * sysfile-info.c: (cmd_sysfile_info) Change tab_dim().  Don't call
7759         avl_count() on a NULL tree.  No title for the second table.
7760         (cmd_display) Handle DISPLAY VECTORS by calling display_vectors().
7761         Handle AS_SCRATCH as AS_NAMES.  Warn if no variables.  Re-enable;
7762         fix call to display_variables().
7763         (display_variables) Default to 4 columns, not 3.  Set up headers.
7764         Column title is Variable, not Name.  Fix index column.
7765         Add joint text.  Add tab_dim().  Handle value labels properly.
7766         Handle DISPLAY LABELS properly.  Draw boxes correctly.
7767         (describe_variable) Value labels don't need titles.  Don't clear
7768         nonexistent index column.
7769         (compare_vectors_by_name) New function.
7770         (display_vectors) New function.
7771
7772         * tab.c: (tab_height) Add assertion.
7773         (tab_null) Add debug code.
7774         (evaluate_dimensions) Add debug code.
7775
7776         * var.h: (struct variable) get_proc data is sometimes used
7777         simultaneously with other per-procedure info, therefore it was
7778         removed from the union.  All references changed.        
7779
7780 Sun Jan  4 18:13:33 1998  Ben Pfaff  <blp@gnu.org>
7781
7782         * ascii.c: (ascii_close_page) Put title on second line of headers
7783         if there is no subtitle.
7784
7785         * command.c: (glob var cur_proc) Move definition here, from
7786         common.c.
7787         (cmd_remark) Emit blank line before remarks.
7788
7789         * command.h: (glob var cur_proc) Move declaration here, from
7790         common.h.
7791
7792         * data-list.c: (dump_fixed_table) Fix messages.
7793         (dump_free_table) Call tab_nat_dim().
7794
7795         * descript.q: (dump_z_table) Modify tab_dim() call.
7796
7797         * frequencies.q: (dump_condensed, dump_statistics) Add tab_dim()
7798         call.
7799         (dump_statistics) Don't output header.
7800
7801         * groff-font.c: Minor format fix.
7802
7803         * html.c: Comment fix.
7804
7805         * list.q: (write_varname) Indent after advancing page.
7806
7807         * output.h: Minor reordering.
7808
7809         * postscript.c: Comment fixes.  Many places, '\n' was replaced by
7810         a reference to eol[].
7811         (struct ps_driver_ext) New member eol[].
7812         (ps_preopen_driver) Initialize eol[].
7813         (ps_postopen_driver) Fix sense of text for text_opt, line_opt
7814         defaults.  Handle headers.  Fix test for minimum page length.
7815         (static var option_tab[]) Add `line-ends'.
7816         (ps_option) Handle line-ends to change eol[].
7817         (postopen) Scale prop_em_width and fixed_width properly.  Set the
7818         prologue title to outp_title if applicable.  Replace the prologue
7819         line ends with eol[].  Call draw_headers() if headers are enabled.
7820         (text_width) New function.
7821         (out_text_plain) New function.
7822         (draw_headers) New function.
7823
7824         * print.c: (dump_table) Call tab_nat_dim().
7825
7826         * som.c: (som_blank_line) Only advance a line if not at the top of
7827         a page.
7828         (som_submit) Move several informational table calls here.
7829         Increment subtable_num if SOMF_NO_TITLE not set.
7830         (output_table) Advance a line if SOMF_NO_SPACING not set.
7831         (render_columns, render_segments, render_simple) Handle spacing
7832         between tables.  Handle table titles.  Remove debug output.
7833
7834         * som.h: (SOMF_*) New enum series.
7835         (struct som_table_class) New member `flags'.
7836
7837         * sysfile-info.c: (cmd_sysfile_info) Calls tab_nat_dim().  No
7838         headers or spacing.
7839         (display_variables) Calls tab_nat_dim().
7840         (describe_variable) Remove restriction on number of value labels.
7841         Make value labels separated by thin lines.
7842
7843         * tab.c: (tab_create) Default `flags' to none.
7844         (tab_float) New arg `w'.  All references changed.
7845         (tab_nat_dim) New function.
7846         (tab_output_text) No title or spacing.
7847         (tab_flags) New function.
7848         (tabi_flags) New function.
7849         (tabi_title) New function.
7850         (strip_height) Removed.
7851         (tabi_render) Skip title when necessary.
7852         (static var tab_tab_class) Add tabi_flags, tabi_title.
7853         (evaluate_dimensions) Disable display of column, row size.
7854         (sum_columns) Add title height to top header.
7855         (render_strip) Moved within file.
7856
7857         * tab.h: (struct tab_table) New member `flags'.
7858
7859         * vfm.c: (dump_splits) Calls tab_nat_dim().  No title.
7860
7861 Sat Jan  3 16:55:44 1998  Ben Pfaff  <blp@gnu.org>
7862
7863         * Most source files: Add `const' attribute in all appropriate
7864         places.
7865         
7866         * sysfile-info.c: (cmd_sysfile_info) Add tab_dim() call, add a
7867         column to the variables table for use by describe_variable().
7868         (cmd_display) Disable for the present.
7869         (display_documents) Don't wrap documents.
7870         (display_variables) Table has four columns now.
7871         (describe_variable) Table has four columns now.  Don't use a
7872         subtable, use joined cells instead.
7873
7874         * tab.c: (tab_create) Don't set `join'.
7875         (tab_realloc) ct array is not made up of a_string's.
7876         Reallocate trh, hrh, h arrays, initialize trh array.  Initialize
7877         cell contents on GLOBAL_DEBUGGING, not DEBUGGING.
7878         (text_format) New function.
7879         (tab_title) Rewritten, uses text_format().
7880         (tab_text) Rewritten, uses text_format().
7881         (tab_joint_text) New function.
7882         (tab_join) Removed.
7883         (static var hit) New variable.
7884         (render_strip) New args r1, r2.  Implement joined cells that fit
7885         on a single page.
7886         (tabi_render) Increment hit.  Pass new args to render_strip().
7887         (evaluate_dimensions) [GLOBAL_DEBUGGING] Check for uninitialized
7888         cells.  For t_naw and t_nah, ignore joined cells and null cells in
7889         calculations.
7890         
7891         * tab.h: (struct tab_join_rect) Removed.
7892         (struct tab_table) Removed `join'.
7893         (TAB_JOIN_MAIN) Removed.
7894         (struct tab_joined_cell) New struct.
7895         (TAT_NOWRAP) New enum.
7896
7897 Fri Jan  2 01:39:58 1998  Ben Pfaff  <blp@gnu.org>
7898
7899         * ascii.c: (ascii_postopen) Replace ASCII_* macros with their
7900         expansions.
7901         (ascii_postopen_driver) Fix initialization of *_spacing so that
7902         the TAL_0 bit doesn't count.
7903
7904         * data-list.c: (dump_fixed_table) Use natural width for Format
7905         column.
7906
7907         * glob.c: (rerange) Removed.
7908         (get_date) Formatting fixes.  Internationalization fix.
7909
7910         * html.c: (html_postopen_driver) Replace HTML_DEFAULT_OUTPUT_FILE
7911         with "pspp.html".
7912
7913         * postscript.c: (ps_postopen_driver) Replace
7914         PS_DEFAULT_OUTPUT_FILE with "pspp.ps".
7915
7916         * som.c: (som_submit) Don't eject page before every table.
7917         (output_table) Fix order of arguments on call to area().
7918         (render_columns) Fix calculation of max_len.
7919         
7920         * tab.c: (tabi_cumulate) Minor change to increase elegance.
7921         (render_strip) New function.
7922         (strip_height) New function.
7923         (tabi_render) Rewrite as calls to render_strip().
7924
7925         * tab.h: (TAT_* enums) Removed TAT_RICH, all references removed.
7926         Renumbered TAT_PRINTF, TAT_TITLE, TAT_FIX to correspond better
7927         with the TAB_* and OUTP_T_* constants.
7928         
7929 Thu Jan  1 11:53:52 1998  Ben Pfaff  <blp@gnu.org>
7930
7931         * Makefile.am: Formatting fixes.
7932
7933         * ascii.c: (ascii_postopen_driver) Initialize *_line_spacing[],
7934         *_line_width[].
7935
7936         * data-list.c: (dump_fixed_table) Add tab_dim() call.
7937
7938         * descript.q: (dump_z_table, display) Add tab_dim() calls.
7939
7940         * dump-sysfile.c: (glob var length) Make type off_t.
7941         (usage) Fix arguments.
7942         (main) Return 0.
7943
7944         * output.h: (OUTP_T_*) Change constants' value to match tab.h.
7945         Now right-justification is the default so many references had to
7946         change.
7947         (struct outp_class) Removed line_width, all references changed.
7948         (OUTP_DEV_*) Add OUTP_DEV_DISABLED.
7949         (struct outp_driver) Add elements horiz_line_width,
7950         vert_line_width, horiz_line_spacing, vert_line_spacing.  Remove
7951         som element.
7952
7953         * postscript.c: (outp_encodings) Formatting fixes.  Fix garbage
7954         collection.
7955         (postopen) Initialize all the informational members of
7956         outp_driver.
7957
7958         * som.c: (som_blank_line) New function, renamed from blank_line(),
7959         all references changed.
7960         (som_submit) Disables drivers whose pages can't be opened.
7961         (render_columns, render_simple, render_segments) Add debug output.
7962         (render_columns) Fix loop range.
7963         (render_simple) Don't try to render the headers, they're taken
7964         care of automatically.  Advance cp_y past the table when done.
7965         (render_segments) Fix loop ranges.
7966
7967         * tab.c: Initialize new members of tab_table.
7968         (tab_vline) Handle trv[]; don't set style for spacing-only lines.
7969         (tab_hline) Handle trh[]; don't set style for spacing-only lines.
7970         (tab_box) Handle trh[], trv[]; don't set style for spacing-only
7971         lines.
7972         (set_expr) Removed.
7973         (tab_dim) New function.
7974         (tab_col_width) Removed.
7975         (tab_row_height) Removed.
7976         (tab_output_text) Call tab_dim().
7977         (tabi_driver) Call evaluate_dimensions(), sum_columns().
7978         (tabi_area) Implemented.
7979         (tabi_cumulate) Implemented.
7980         (tabi_render) Partially implemented, but broken.
7981         (var tab_table_class) Made static.
7982         (evaluate_dimensions) New function.
7983         (sum_columns) New function.
7984
7985         * tab.h: (enum t_*) Now start at t_end.  New: t_ptw, t_nr, t_nc,
7986         t_nah, t_naw, t_neg, t_xch, t_dup, t_lbl, t_jnz, t_sac, t_sar,
7987         t_scr, t_srr, t_sentinel.  Removed: t_nat.
7988         (struct tab_table) New: wl, wr, ht, hb, trh, hrh, trv, wrv, dim,
7989         max_stack_height, w, h.  Removed: ce, re.
7990         (macro blank_line) Removed.
7991         (glob var zero_length) Removed.
7992
7993 Fri Dec 26 15:44:31 1997  Ben Pfaff  <blp@gnu.org>
7994
7995         * Most source files: include some of the new include files broken
7996         out of var.h.
7997         
7998         * Makefile.am: (pspp_SOURCES) Add all the new source files to the
7999         list.
8000
8001         * aggregate.c: (glob var outfile) Make static.
8002
8003         * command.c: (glob var pgm_state) Move here.
8004
8005         * common.c: (glob vars endian, second_lowest_value, pgmname,
8006         finished, curdate, cur_proc, start_interactive, history_file) Move
8007         here.
8008
8009         * descript.q: (structs dsc_z_score, descriptives_trns) Move here.
8010
8011         * file-handle.q: (glob vars files, inline_file) Move here.
8012
8013         * glob.c: Lost lots of glob vars, detailed in individual file
8014         entries.
8015         (init_glob) set_printer, set_screen were obsolete, deleted.
8016         set_cprompt has fewer spaces because pspp has fewer letters than
8017         fiasco.
8018
8019         * inpt-pgm.c: (glob vars inp_init, inp_init_size) Move here.
8020         (inp_nval) Made static.
8021
8022         * lexer.c: (glob vars token, tokval, tokstr, tokstr_size,
8023         tokstr_len, toklongstr, tokint) Move here.
8024
8025         * misc.c: Lost several vars and functions.
8026
8027         * set.q: (all the set_* variables) Move here.
8028
8029         * str.c: (strmaxcpy, strbarepadcpy, strbarepadlencpy, strpadcpy,
8030         blpstrset, strpadcmp, memrev, memrmem, cmp_str) Move here from
8031         misc.c.
8032
8033         * tab.c: (set_expr, tab_col_width, tab_row_height) New functions.
8034
8035         * tab.h: (enum series t_*) New enums.
8036         (struct tab_table) Use arena struct tag.  New members ce, re.
8037
8038         * tokens.h: Comment fixes.
8039
8040         * var.h: Move lots of enums and variables and functions and
8041         structures to other files.  Use and declare a lot more union and
8042         struct tags.  Comment fixes.  
8043
8044         * vector.c: (glob vars vec, nvec) Move here.
8045
8046         * vfm.c: (glob vars reinit_sysmis, reinit_blanks, init_zero,
8047         init_blanks, last_vfm_invocation) Move here.
8048
8049         * cases.h: New file.
8050         (struct long_vec) Move here.
8051         (vec_init, vec_clear, vec_insert, vec_delete, devector, envector)
8052         Move here.
8053
8054         * command.h: New file.
8055         (STATE_* enums) Move here.
8056         (glob var pgm_state) Move here.
8057
8058         * format.c: New file.
8059         (glob var formats) Move here.
8060         (parse_format_specifier_name, fmt_to_string,
8061         check_input_specifier, check_output_specifier,
8062         check_string_specifier, convert_fmt_ItoO, parse_format_specifier)
8063         Move here.
8064
8065         * format.h: New file.  Move functions now in format.c here.
8066         (FMT_* enums) Move here.
8067         (struct fmt_desc) Move here.
8068         (FCAT_* enums) Move here.
8069         (struct fmt_spec) Move here.
8070         (glob vars formats, fmt_parse_ignore_error) Move here.
8071
8072         * inpt-pgm.h: New file.
8073         (INP_* enums) Move here, make #defines into enums.
8074         (glob vars inp_init, inp_init_size) Move here.
8075
8076         * sort.h: New file.
8077         (glob vars v_sort, nv_sort) Move here.
8078         (sort_cases, read_sort_output) Move here.
8079
8080         * vector.h: New file.
8081         (struct vector) Move here, add struct tag.
8082         (glob vars vec, nvec) Move here.
8083         (find_vector) Move here.
8084
8085         * New file.
8086         (glob vars last_vfm_invocation, temp_case, reinit_sysmis,
8087         reinit_blanks, init_zero, init_blanks) Move here.
8088         (struct case_stream) Move here.
8089         (glob vars vfm_source, vfm_sink, vfm_memory_stream,
8090         vfm_disk_stream, sort_stream, data_list_source,
8091         input_program_source, file_type_source, get_source, n_lag) Move
8092         here.
8093         (procedure, write_case, lagged_case, compact_case, page_to_disk)
8094         Move here.
8095                 
8096 Wed Dec 24 22:40:42 1997  Ben Pfaff  <blp@gnu.org>
8097
8098         * Makefile.am: (pspp_SOURCES) Added html.c, som.c, som.h.
8099         (LDADD) Add libdcdflib.
8100
8101         * ascii.c: Comment and formatting fixes.  Almost every external
8102         function had an assert added, checking driver_open and page_open.
8103         (ascii_init_driver) Broken into ascii_preopen_driver,
8104         ascii_postopen_driver, ascii_close_driver.  Manages driver_open.
8105         (ascii_open_page) Sets page_open.
8106         (ascii_close_page) Clears page_open.
8107
8108         * html.c: Comment and formatting fixes.  Almost every external
8109         function had an assert added, checking driver_open and page_open.
8110         (html_init_driver) Broken into html_preopen_driver,
8111         html_postopen_driver, html_close_driver.  Manages driver_open.
8112         (html_open_page) Sets page_open.
8113         (html_close_page) Clears page_open.
8114         (html_submit) Disabled.
8115
8116         * lexer.c: (parse_string) Remove debugging printf.
8117
8118         * list.q: (determine_layout) Open a page if one is not yet open.
8119
8120         * output.c: Comment fixes.
8121         (add_class) Set the class member of the new list element.
8122         (parse_options) Don't handle device type.
8123         (colon_tokenize) New function.
8124         (configure_driver) New four-field format with a field for device
8125         type.  Now initialize driver_open, page_open, next, and prev
8126         fields.  Use new colon_tokenize() function.  Don't do a memory
8127         copy to replace a driver, it doesn't work; instead delete the old
8128         driver and insert a new one.
8129         (destroy_driver) Don't call som_destroy_driver().  Close the page
8130         if it's open.  Find the class in the list of classes and decrement
8131         that reference count.  Remove the driver from the global driver
8132         list.
8133         (outp_iterate_enabled_drivers) Renamed outp_drivers().  All
8134         references changed.  Rewritten.  Don't return a driver that's not
8135         enabled.
8136         (outp_eject_page) All references to som_internal_eject_page()
8137         changed to use this.  Sets cp_x to 0 as well as cp_y.
8138
8139         * output.h: (OUTP_I_* enums) Removed.
8140         (struct som_submission_form) Removed.
8141         (struct outp_class) init_driver broken into preopen_driver,
8142         postopen_driver, and close_driver.  submit changed to take a
8143         som_table argument.
8144
8145         * postscript.c: Comment and formatting fixes.  Almost every
8146         external function had an assert added, checking driver_open and
8147         page_open.
8148         (ps_init_driver) Broken into ps_preopen_driver,
8149         ps_postopen_driver, ps_close_driver.  Manages driver_open.
8150         (ps_open_page) Sets page_open.
8151         (ps_close_page) Clears page_open.
8152
8153         * som.c: New file, base implementation.
8154         
8155         * som.h: (struct som_table) Add struct tag.
8156         (enum SOM_COL_ACROSS) Removed.
8157         (SOM_ROWS, SOM_COLUMNS) New enums.
8158         (struct som_table_class) Add member `cumulate'.  Remove `segment';
8159         change `render' arguments.
8160         (struct som_point, struct som_rect) Removed.
8161         (som_submit_table) Fixed typo, should have been som_submit.
8162
8163         * sysfile-info: (describe_variable) Don't try to insert a
8164         subtable; just destroy it for now.
8165
8166         * t-test.q: Include dcdflib/cdflib.h instead of cdflib.h.  Fix
8167         references to value labels.
8168
8169         * tab.c: (tab_destroy) New function.
8170         (tab_columns) Change argument.
8171         [0] (tab_submit) Remove dead code.
8172         (tab_title) Allocate string from the table's arena.
8173         (tab_output_text) Only free the buffer if we allocated it.
8174         (tab_submit) New function.
8175         (static vars t, d) New static vars.
8176         (tabi_table, tabi_driver, tabi_count, tabi_area, tabi_columns,
8177         tabi_headers, tabi_cumulate, tabi_render) New functions.
8178         (glob var tab_table_class) New global var.
8179
8180         * tab.h: (struct tab_join_rect) Don't use a som_rect; directly
8181         encapsulate the rectangle.  All references changed.
8182         
8183 Sun Dec 21 16:18:58 1997  Ben Pfaff  <blp@gnu.org>
8184
8185         * All header files updated to use struct tags in addition to
8186         typedefs for all structures.  Don't use word `struct' in struct
8187         tags.
8188         
8189         * Makefile.am: (pspp_SOURCES) Remove html.c.
8190         (INCLUDES) Replace the lib/* includes with a single lib/ include;
8191         all references updated.
8192
8193         * command.c: (parse_cmd) Remove call to som_check_workspace.
8194         (output_line) Update to new som.
8195
8196         * data-in.c: (parse_numeric) A single dot is not an error; it is
8197         the system-missing value.
8198
8199         * data-list.c: (dump_fixed_table, dump_free_table) Update to new
8200         som.
8201
8202         * data-out.c: Added `const' as appropriate to many prototypes.
8203         (convert_E, convert_F, convert_CCx) Take double argument instead
8204         of value * argument.
8205         (convert_format_to_string) Call changed functions appropriately.
8206         Instead of modifying the caller's value for FCAT_SHIFT_DECIMAL,
8207         make a local copy of the value.
8208
8209         * descript.q: Remove custom_variables() prototype now provided by
8210         q2c.  
8211         (custom_variables) Don't increment sbc_variables, the caller does
8212         this.
8213         (dump_z_table, display) Update to new som.
8214
8215         * error.c: (vmsg) Add const to prototype.  Remove code to handle
8216         `too many errors' condition.
8217         (check_error_count) New function.
8218         (msg) Add const to prototype.
8219
8220         * filename.c: (open_file) Rewrite for elegance.
8221
8222         * frequencies.q: Remove custom_*() prototypes now provided by q2c.
8223         (dump_full, dump_condensed, dump_statistics) Update for new som.
8224
8225         * list.q: Don't include somP.h.  Change all references to
8226         som_driver_ext to refer to the new members of som_driver.  Change
8227         som_internal_eject_page() references to outp_eject_page().
8228
8229         * main.c: (parse) Rewrite for elegance.  Add call to
8230         check_error_count().
8231
8232         * output.c: (add_class, outp_list_classes, outp_configure_driver)
8233         Rewrite or revise for new outp_driver_class_list structure.
8234         (outp_iterate_enabled_drivers) Fix comparison between disabled
8235         devices and current device type.
8236         (outp_eject_page) New function.
8237
8238         * output.h: Comment fixes.
8239         (struct outp_driver) New members driver_open, page_open, cp_x,
8240         cp_y, font_height, prop_em_width, fixed_width.  Deleted members
8241         ref_count, next.
8242         (struct outp_driver_class_list) New struct.
8243         (outp_class_list) Changed to type outp_driver_class_list; all
8244         references updated.
8245
8246         * print.c: (dump_table, print_trns_proc) Updated for new som.
8247
8248         * q2c.c: (dump_vars) Simplify array subcommand code.  Declare
8249         prototypes for custom subcommands.
8250         (dump_subcommand) Always include the `else'.
8251         (dump_parser) Fix comments in output code.
8252
8253         * set.q: Reordered functions.
8254
8255         * som-frnt.c, som-high.c, som-low.c, somP.h: Removed.
8256         
8257         * som.h: Rewritten from scratch.
8258
8259         * str.h: Remove dead code.
8260
8261         * tab.c, tab.h: New files, base implementation.
8262
8263         * sysfile-info.c: (cmd_sysfile_info, describe_variable) Update to
8264         new som.
8265
8266         * t-test.q: New code from John Williams
8267         <johnr.williams@stonebow.otago.ac.nz>.  Include math.h, cdflib.h.
8268         Many many new static vars and defines.
8269         (precalc, postcalc, g_postcalc, z_postcalc, t_pairs, t_groups,
8270         groups_calc, pairs_calc, z_dev_calc, z_calc) New functions.
8271         (struct value_list) New struct.
8272         (variance, covariance, pooled_variance, oneway, pearson_r, f_sig,
8273         t_crt, t_sig, print_t_groups) New functions.
8274         (cmd_t_test) Implemented.
8275
8276         * temporary.c: (cancel_temporary) Only free the temp_dict if it's
8277         non-NULL.
8278
8279         * vfm.c: (dump_splits) Update to new som.
8280
8281 Thu Dec  4 23:02:22 1997  Ben Pfaff  <blp@gnu.org>
8282
8283         * Makefile.am: (fiasco_SOURCES) Add html.c.
8284
8285         * aggregate.c: Base source.
8286
8287         * ascii.c: (postopen, preclose) Reformat.
8288
8289         * data-out.c, expr-evl.c: Comment fixes.
8290         
8291         * filename.c: (open_file) When opening a file for writing, use
8292         line buffering instead of full buffering for better interactive
8293         performance.  Suggested by Valerio Aimale
8294         <valerio@svpop.com.dist.unige.it>.  Also, recognize special file
8295         names `stdin', `stdout', `stderr'.
8296
8297         * groff-font.c: Comment fixes.
8298
8299         * html.c: New file; base version.
8300
8301         * list.q: (write_all_headers, clean_up, determine_layout,
8302         list_cases) Ignore `special' devices for now.  Needs to be fixed
8303         later.
8304
8305         * output.c: (outp_init) Add html driver to list; reverse list
8306         order.
8307
8308         * output.h: (struct outp_class_struct) New members `special',
8309         `submit'; comment fixes.  All references changed.
8310
8311         * postscript.c: (ps_init_driver) Make defaults for text_opt,
8312         line_opt depend on whether the OUTP_DEV_SCREEN bit is set on the
8313         device.
8314         (postopen) Comment fix.
8315         (preclose) Comment fixes, formatting fixes.  Change x->file.file
8316         references to more proper f->file.
8317
8318         * som-high.c: (som_submit_table) Special classes use their own
8319         renderers.
8320
8321         * som.h: Comment fixes.
8322
8323         * temporary.c: (new_dictionary) Don't try to xstrdup() a NULL
8324         string.
8325         
8326 Tue Dec  2 14:36:07 1997  Ben Pfaff  <blp@gnu.org>
8327
8328         * Makefile.am: (fiasco_SOURCES) Add aggregate.c back in.
8329
8330         * aggregate.c: Still working on this.
8331
8332         * command.c: (cmd_table[]) Add AGGREGATE back in.
8333         (split_words) Make '-' a legal word separator as well as ' '.
8334
8335         * main.c: Comment fixes.
8336
8337         * q2c.c: (dump_parser) Don't require the procedure's full name to
8338         be present, in the generated source.
8339
8340         * t-test.q: Change name to `t-test' from `t test'.  Let PAIRS be
8341         multiply specified and let it be default; let MISSING, CRITERIA,
8342         FORMAT be multiply specified.
8343         (cmd_t_test) Parse command name.  [DEBUGGING] Call debug_print().
8344         (custom_groups) Fix defaults.
8345         (custom_pairs) Check whether this is a PAIRS subcommand before
8346         attempting to parse.  Better garbage collection.  Proper storage
8347         allocation.
8348         [DEBUGGING] (debug_print) New function.
8349
8350         * temporary.c: Comment fixes.
8351         (copy_variable) Don't copy variable name and index.
8352         (save_dictionary) Copy variable name and index by hand.
8353
8354         * vars-atr.c: Comment fixes.
8355         (create_variable) New dictionary argument.  All references
8356         changed.
8357         (common_init_stuff) New dictionary argument.  All references
8358         changed.
8359         (init_variable) New dictionary argument.  All references changed.
8360         (dup_variable) New function.
8361
8362         * vars-prs.c: (parse_variables) If there are any errors, we always
8363         return 0.  Previously, it was possible for some types of errors to
8364         be ignored.
8365         
8366 Sat Nov 22 01:20:59 1997  Ben Pfaff  <blp@gnu.org>
8367
8368         * Makefile.am: (fiasco_SOURCES) For 0.1.5 release, remove
8369         aggregate.c.
8370
8371         * command.c: (cmd_table[]) Comment out AGGREGATE; add T TEST.
8372
8373         * list.q, t-test.q: Remove ALL option from VARLIST declaration in
8374         grammar rules.
8375
8376         * q2c.c: Comment fixes.
8377         (SBC_* enums) Remove SBC_VARLIST_ALL; all references removed.
8378         
8379         * t-test.q: (cmd_list) Rename cmd_t_test.
8380
8381         * temporary.c: (new_dictionary) Don't declare as static.
8382         
8383 Fri Nov 21 00:03:06 1997  Ben Pfaff  <blp@gnu.org>
8384
8385         * aggregate.c: Changes, still not finished.
8386
8387         * file-handle.q, frequencies.q, list.q, set.q: Comment fixes.
8388
8389         * q2c.c: Comment fixes.  Now its output is internationalized.
8390         (get_token) Fix parsing of escapes within literal strings.
8391         (main) Fix bad #line directives in output.
8392
8393         * t-test.q: Base implementation.
8394
8395         * temporary.c: (new_dictionary) New function.
8396         (restore_dictionary) [__CHECKER__] Change fill character to *
8397         (from @).
8398         
8399 Sun Nov 16 01:29:57 1997  Ben Pfaff  <blp@gnu.org>
8400
8401         * Makefile.am: (BUILT_SOURCES, fiasco_SOURCES) Add t-test.c
8402
8403         * aggregate.c: Changes, still not finished.
8404
8405         * descript.q, list.q: Comment fixes.
8406
8407         * q2c.c: Almost completely rewritten.
8408
8409         * t-test.q: New file, not complete.
8410
8411 Fri Nov 14 00:14:48 1997  Ben Pfaff  <blp@gnu.org>
8412
8413         * aggregate.c: Changes, still not finished.
8414
8415         * sort.c: (sort_cases) Call cancel_temporary() instead of doing it
8416         by hand.
8417
8418         * temporary.c: (cancel_temporary) New function.
8419
8420         * vars-atr.c: (discard_variables) Call cancel_temporary() instead
8421         of doing it by hand.
8422
8423         * vfm.c: (close_active_file) After restoring a TEMPORARY
8424         dictionary, set temp_dict to NULL.  Cancel TEMPORARY through
8425         cancel_temporary().
8426         (SPLIT_FILE_procfunc) Comment fix.
8427
8428 Tue Oct 28 16:08:45 1997  Ben Pfaff  <blp@gnu.org>
8429
8430         * Makefile.am: (fiasco_SOURCES) Add aggregate.c.
8431
8432         * aggregate.c: New file, not finished yet.
8433
8434         * command.c: (cmd_table) Add AGGREGATE.
8435
8436         * common.h: (pgm_state) Move declaration to var.h.
8437
8438         * lexer.c: (bin_value_func, oct_value_func, hex_value_func) i18n
8439         fixes.
8440         (parse_string) Message fix.
8441
8442         * recode.c: Comment fix.
8443
8444         * sfm-read.c: (read_variables) Code esthetic fixes.
8445         (write_header) Default date is `Jan', not `JAN'.
8446
8447         * sfmP.h: (bswap_int32) [!__linux__] Fix off-by-one errors.
8448
8449         * sort.c: (cmd_sort_cases) Farm the work out to new function
8450         parse_sort_variables().
8451         (parse_sort_variables) New function.
8452         (sort_cases) New function.  Cancels temporary transformations,
8453         which sorting didn't do previously.
8454         (cmd_sort_cases) Better garbage collection on error.  Uses
8455         do_external_sort().
8456         (write_initial_runs, merge_once) Improved code esthetics.
8457         (sort_stream_read) Reduced to one call to read_output_cases().
8458         (read_output_cases) New function.
8459
8460         * var-labs.c: (cmd_variable_labels) Re-enabled truncation of
8461         variable labels to 120 characters.
8462
8463         * var.h: Comment fixes.
8464         (glob var pgm_state) From common.h.
8465
8466         * vars-atr.c: (discard_variables) Set pgm_state to STATE_INIT.
8467
8468         * vars-prs.c: (parse_DATA_LIST_vars) Support PV_SINGLE in
8469         options.  Set *names to NULL on error.
8470
8471         * vfm.c: (memory_stream_init) Assert compaction_nval != 0.
8472
8473 Thu Oct  9 09:59:49 1997  Ben Pfaff  <blp@gnu.org>
8474
8475         * sfm-write.c, vfm.c: [HAVE_UNISTD] #include <unistd.h>, needed by
8476         SunOS4.  From Alexandre Oliva <oliva@dcc.unicamp.br>.
8477
8478 Wed Oct  8 18:55:24 1997  Ben Pfaff  <blp@gnu.org>
8479
8480         * vfm.c: (page_to_disk) Added missing local variables.
8481
8482 Tue Oct  7 20:23:17 1997  Ben Pfaff  <blp@gnu.org>
8483
8484         * get.c: Comment fix.
8485
8486         * sort.c: (cmd_sort_cases) Attempt to perform internal sort if the
8487         source is anything other than a disk stream, not just if it's in a
8488         memory stream.  Call page_to_disk() before external sort.
8489         (allocate_cases) Message fix.
8490
8491         * vfm.c: (prepare_for_writing) Warn user when paging workspace to
8492         disk.
8493         (page_to_disk) New function.
8494
8495 Sun Oct  5 15:56:14 1997  Ben Pfaff  <blp@gnu.org>
8496
8497         * Makefile.am: (INCLUDES) Include .. instead of $(top_srcdir).
8498
8499         * common.h: (macro strerror) Remove.  From Alexandre Oliva
8500         <oliva@dcc.unicamp.br>.
8501
8502         * get.c: (dict_delete_run) The number of variables to delete is
8503         not necessarily the number of variables that need to be shifted
8504         up.
8505         (trim_dictionary) Don't set *options to 0.  Fix bug that caused
8506         too many variables to be deleted.
8507
8508         * postscript.c: Comment fix.
8509
8510         * q2c.c: Include strerror.c.  From Alexandre Oliva
8511         <oliva@dcc.unicamp.br>.
8512
8513         * set.q: #undef ON and OFF.  From Alexandre Oliva
8514         <oliva@dcc.unicamp.br>.
8515
8516         * sfm-read.c: (sfm_read_dictionary) Don't set the file class too
8517         early, otherwise errors cause a bad free().
8518
8519         * str.h: (macro nvsprintf) s/FORMATS/FORMAT/ typo.  From Alexandre
8520         Oliva <oliva@dcc.unicamp.br>.
8521
8522         * temporary.c: (save_dictionary) Don't allocate memory if
8523         n_documents is 0.
8524
8525         * vfm.c: (memory_stream_write) Message fix.
8526
8527 Sat Oct  4 16:20:43 1997  Ben Pfaff  <blp@gnu.org>
8528
8529         * command.c: (static var cmd_table[]) Define REPEATING DATA
8530         command.
8531
8532         * common.h: Added support for broken systems that are missing
8533         EXIT_SUCCESS, EXIT_FAILURE, RAND_MAX, and/or strerror().
8534
8535         * Many source files: Replace syntax error messages via msg() with
8536         call to syntax_error().
8537
8538         * data-list.c: (dump_fixed_table) Add support for dumping table
8539         for REPEATING DATA as well as DATA LIST FIXED.
8540         (cmd_repeating_data) Allows and requires `/' between subcommands.
8541         Does proper thing with allowing rpd.starts_end to stay 0.  Allows
8542         CONTINUED specifications to be omitted.  Forces CONTINUED to be
8543         specified if ID is.  Calculates starts_end, cont_end from logical
8544         record length as reported by fhp.  Calls dump_fixed_table() if
8545         requested.  Fixed length of record copied by memcpy.
8546         (parse_num_or_var) Sets `num' to 0, not NOT_INT, for variables.
8547         Message fix.
8548         (realize_value) Returns sensible value for out-of-range variable
8549         values.
8550         (rpd_parse_record) New argument `ofs'.  Fixed confusion between
8551         length of occurrences and length of line.  Added warning for
8552         fields that exceed the line length.  Fixed infinite loop.
8553         (read_one_set_of_repetitions) Numerous minor changes for more
8554         complete SPSS compliance.  Message fixes.
8555
8556         * dfm.c: (dfm_close) If the file being closed is the inline file,
8557         read all the remaining data before closing it.
8558         (dfm_get_record) Don't close the file on lossage, as either it
8559         has been closed already or it doesn't belong to us.
8560
8561         * error.c: (puts_stdout) New function.
8562         (vmsg) Use puts_stdout instead of puts.
8563
8564         * file-handle.q: (fh_record_width) New function.
8565
8566         * inpt-pgm.c: (init_case) Fixed buffer overrun when inp_nval % 4
8567         == 0.
8568         (clear_case) Ditto.
8569         (input_program_source_read) Made an old kluge an approved method.
8570
8571         * lexer.c: (syntax_error) New function.
8572
8573         * misc.c: [BROKEN_RAND] (ansi_rand, ansi_srand; static var next)
8574         New.
8575
8576         * output.c: (oupt_get_paper_size) Message fix.
8577
8578         * q2c.c: Numerous fixes to formatting of generated code made to
8579         conform to GNU coding standards.  Uses syntax_error() in generated
8580         code.  Other miscellaneous generated message fixes.  Added support
8581         for broken systems that are missing EXIT_SUCCESS, EXIT_FAILURE,
8582         RAND_MAX, and/or strerror().
8583
8584 Sat Oct  4 02:09:56 1997  Ben Pfaff  <blp@gnu.org>
8585
8586         * data-in.c: Comment fixes.
8587
8588         * data-list.c: (struct repeating_data_trns) New member `id_spec'.
8589         (find_variable_input_spec) New function.
8590         (cmd_repeating_data) Initializes id_spec.
8591         (rpd_parse_record) Implemented.
8592         (read_one_set_of_repetitions) Returns -3 by default in order to
8593         kluge out some potential bugs.
8594
8595         * data-out.c: Comment fixes.
8596
8597         * file-type.c: (internal_cmd_record_type) Message fix.
8598
8599         * inpt-pgm.c: (input_program_source_read) Special temporary kluge
8600         for handling -3 return value.
8601
8602 Sat Sep 20 23:58:15 1997  Ben Pfaff  <blp@gnu.org>
8603
8604         * data-list.c: Comment fixes.
8605         (struct dls_var_spec) Reordered members.
8606         (read_from_data_list_fixed) Restructured.
8607         (struct repeating_data_trns) Reordered members.  Renamed `starts'
8608         as `starts_beg', `ends' as `starts_end'.
8609         (cmd_repeating_data) Calculates length of repeated data if
8610         necessary and possible.
8611         (parse_num_or_var) Don't allow string variables.
8612         (realize_value) New function.
8613         (rpd_msg) New function.
8614         (rpd_parse_record) New function.  Currently stubbed out.
8615         (read_one_set_of_repetitions) Implemented.
8616
8617         * inpt-pgm.c: (input_program_source_read) Comment fix.
8618
8619 Thu Sep 18 21:34:57 1997  Ben Pfaff  <blp@gnu.org>
8620
8621         * command.c: (cmd_end_repeat_p) Removed.
8622         (init_cmd_parser) Doesn't set cmd_end_repeat_p.
8623         (parse_cmd_name) Removed.
8624
8625         * data-list.c: Comment fixes.
8626         (data_list_pgm) Removed `eof' member.
8627         (static var first) New var.
8628         (cmd_data_list) Sets `first'.  Ensures that DATA LIST uses the
8629         FILE TYPE file inside FILE TYPE structures.
8630         (append_var_spec) Appends to *first, not dls.spec.
8631         (parse_fixed) Message fixes.
8632         (struct rpd_num_or_var) New.
8633         (struct repeating_data_trns) New.
8634         (static var rpd) New.
8635         (cmd_repeating_data) New function.
8636         (parse_num_or_var) New function.
8637         (parse_repeating_data) New function.
8638         (read_one_set_of_repetitions) New function.
8639
8640         * file-type.c: (cmd_file_type) Message fixes.  Always
8641         default_handle to FILE TYPE file handle.
8642         (internal_cmd_record_type) Message fixes.
8643
8644 Wed Aug 20 14:22:03 1997  Ben Pfaff  <blp@gnu.org>
8645
8646         * repeat.c: Comment fix.  Disable debugging.
8647
8648         * temporary.c: (restore_dictionary) Sets splits to NULL and
8649         n_splits to 0 before destroying the variables because now doing
8650         this tries to remove split variables.
8651
8652         * vars-atr.c: (discard_variables) Asserts that n_splits is 0 after
8653         destroying the dictionary.
8654         (clear_variable) Removes a variable from splits after destroying
8655         it.
8656
8657 Mon Aug 18 18:06:55 1997  Ben Pfaff  <blp@gnu.org>
8658
8659         * cmdline.c: (set_compat) Removed.
8660         (pick_compat) Removed.
8661         (parse_command_line) Removed -c option.
8662         (pre_syntax_message) Removed -c option.
8663         (usage) Remove compatibility code.
8664
8665         * common.h: (macros VER_PC, VER_WND, VER_X) Removed.
8666         (glob var compat) Removed.
8667
8668         * compute.c: (type_check) Fixed messages about type mismatches.
8669
8670         * data-list.c: (cmd_data_list) Removed compatibility code.
8671         (fixed_parse_compatible) Calls convert_negative_to_dash().
8672         Fixed bug where it only set the variable in fx.spec if it created
8673         the variable itself.
8674         (dump_fmt_list) Spelling fix.
8675         (cut_field) Removed compatibility code.
8676
8677         * dfm.c: (cmd_begin_data) Don't require a command terminator on
8678         BEGIN DATA command.
8679
8680         * expr-evl.c: (evaluate_expression) Implement LAG.
8681
8682         * expr-prs.c: (parse_add) Calls convert_negative_to_dash().
8683         (parse_neg) Calls convert_negative_to_dash().
8684         (LAG_func) Increases n_lag to the lag requested.  Fixed assignment
8685         bug.
8686
8687         * expr.h: (struct expression_struct) Removed member max_lag.
8688
8689         * file-type.c: (parse_col_spec) Calls convert_negative_to_dash().
8690         (internal_cmd_record_type) Removed special handling to produce
8691         negative numbers from dash tokens.
8692
8693         * getline.c: (static var DO_REPEAT_level) New var.
8694         (getl_add_DO_REPEAT_file) Increments DO_REPEAT_level.
8695         (handle_line_buffer) Copies the line into getl_buf; doesn't call
8696         copy_with_DO_REPEAT_substitutions().
8697         (getl_read_line) Maintains value of getl_mode.  Calls
8698         perform_DO_REPEAT_substitutions() whenever DO_REPEAT_level is
8699         positive.
8700         (getl_close_file) Decrements DO_REPEAT_level when appropriate.
8701
8702         * getline.h: (getl_mode) New glob var.
8703
8704         * glob.c: Comment fixes.
8705         (init_glob) Restructured.  Sets set_seed.
8706         (init_compat_dependent) Removed.  All references removed.
8707         (get_date) Format changed from MM/DD/YY to DD MMM YYYY.
8708         (__htonl, __htons) Removed.  (What were these for?)
8709
8710         * lexer.c: (static var tbl) Dash set to class CNUM.
8711         (make_hexit) New function from data-out.c.
8712         (get_token_representation) Rewritten.
8713         (convert_negative_to_dash) New function.
8714         (lex_init_compat_dependent) Removed.
8715         (yylex) A dash is parsed as part of a number if it is followed by
8716         a digit.  The ASCII representation of a number is copied to
8717         tokstr.  String parsing farmed out to parse_string().  Comment
8718         fixes.
8719         (bin_value_func, oct_value_func, hex_value_func, parse_string) New
8720         functions.
8721         (preprocess_line) Line processing depends on interactive/batch
8722         mode, not on compatibility mode.  Removed PC+ compatibility code.
8723
8724         * loop.c: (loop_3_trns_proc) Comment fix.
8725
8726         * main.c: Remove dead code.
8727         (main) Remove call to init_compat_dependent().
8728
8729         * misc.c: (convert_fmt_ItoO) Make E format conversion more
8730         conformant.
8731
8732         * print.c: (parse_string_argument) Calls
8733         convert_negative_to_dash().
8734         (fixed_parse_compatible) Calls convert_negative_to_dash().
8735
8736         * repeat.c: (RPT_* defines) Removed.
8737         (struct rpt_numeric) Removed.
8738         (struct repeat_entry) New member type, changed `replacement' from
8739         char * to char **.
8740         (clean_up) Deallocation adapted to new repeat_entry.
8741         (internal_cmd_do_repeat) `type' defaults to 0.  Remove lookahead()
8742         usage.  Creates vars for `type' of 1.
8743         (parse_ids) Sets type of 1.  Adapted to new repeat_entry.
8744         (store_numeric) Rewritten, new interface.
8745         (parse_numbers) Rewritten.
8746         (parse_strings) Rewritten.
8747         (find_DO_REPEAT_substitution) New function.
8748         (perform_DO_REPEAT_substitutions) New function.
8749         (copy_with_DO_REPEAT_substitutions) Removed.
8750         (debug_print) Rewritten.
8751
8752         * set.q: Comment fix.
8753         (custom_results) Removed compatibility code.
8754         (internal_cmd_set) Removed SET EMULATION subcommand.  Removed
8755         compatibility code.
8756
8757         * sysfile-info.c: (cmd_display) Removed compatibility code.
8758
8759         * tokens.h: Comment fixes.
8760         (token types enum) Removed `toktype' typedef name for this int
8761         type.  Removed SUBST.  Restructured.
8762
8763         * vars-atr.c: (discard_variables) Sets n_lag to 0.
8764
8765         * vars-prs.c: Comment fix.
8766
8767         * vfm.c: Comment fixes.
8768         (glob var n_lag) New var.
8769         (static vars lag_count, lag_head, lag_queue) New vars.
8770         (procedure) Removed argument nlag.
8771         (setup_lag) New function.
8772         (close_active_file) Discards lagging state.
8773         (lag_case) New function.
8774         (lagged_case) New function.
8775         (write_case) Lags a case if lagging.
8776
8777         * weight.c: (cmd_weight) Removed compatibility code.
8778         
8779 Sun Aug 17 22:34:40 1997  Ben Pfaff  <blp@gnu.org>
8780
8781         * getline.h: (struct getl_script) New members loop_index, macros.
8782
8783         * getline.c: (getl_add_file) Sets first_line field to NULL.
8784         (getl_add_DO_REPEAT_file) New function.
8785         (handle_line_buffer) When the current line's length is negative,
8786         set the filename and line number.  Increment line number after
8787         reading line.  Pass the line to
8788         copy_with_DO_REPEAT_substitutions() for processing.
8789         (getl_close_file) Free DO REPEAT lines before freeing the
8790         filename, and just set the filename to NULL when doing this,
8791         because otherwise the filename gets freed twice.
8792
8793         * glob.c: (glob var queuing) Removed.  All references removed.
8794
8795         * lexer.c: Comment fixes.
8796         (get_token_representation) New function.
8797
8798         * repeat.c: Comment fixes.
8799         (struct repeat_entry) Replaced type and v union members with a
8800         simple string.
8801         (append_record) New function.
8802         (internal_cmd_do_repeat) Started reforming it for the new
8803         repeat_entry struct.  Properly records filename changes in the
8804         getl_line_buf.  Fixed improper use of = for ==.  Fixed sense of
8805         strncasecmp() result usage.  Uses append_record() to simplify.
8806         Properly discards END REPEAT line.  Calls getl_add_DO_REPEAT_file
8807         to add in the file.
8808
8809         (copy_with_DO_REPEAT_substitutions) Started coding.
8810
8811         [DEBUGGING] (debug_print_lines) New function.
8812
8813         * set.q: (custom_results, internal_cmd_set) s/VER_PCP40/VER_PC/;
8814
8815         * tokens.h: (macro is_id1, is_idn) New macros.
8816
8817 Sat Aug 16 10:57:41 1997  Ben Pfaff  <blp@gnu.org>
8818
8819         * cmdline.c: (static var pre_syntax_message) Changed `win'
8820         compatibility mode to `wnd'.
8821
8822         * data-list.c: (fixed_parse_spss) Renamed
8823         fixed_parse_compatible().
8824
8825         * glob.c: (init_glob) Excise unused code for
8826         program_invocation_short_name.
8827
8828         * lexer.c: (preprocess_line) Leading indentors are ignored in Wnd
8829         as well as in X.
8830
8831         * print.c: (fixed_parse_spss) Renamed fixed_parse_compatible().
8832
8833         * set.q: `win' compatibility renamed `wnd'.
8834
8835 Thu Aug 14 22:11:12 1997  Ben Pfaff  <blp@gnu.org>
8836
8837         * filename.c: [__WIN32__] Change the included Windows header files
8838         (again).
8839         (absolute_filename_p) [__MSDOS__] A filename with a colon as the
8840         second character is absolute.
8841         (dirname) Fix logic error.  Don't printf() the results.
8842         (prepend_dir) Don't printf() the results.
8843
8844         * getline.c: (handle_line_buffer) New function.
8845         (getl_read_line) Reads line with handle_line_buffer() when
8846         appropriate.
8847         (getl_close_file) Discard line buffer data.
8848
8849         * getline.h: Comment fixes.
8850         (struct getl_line_list) New struct.
8851         (getl_script_struct) Added line buffer members.  These are hooks
8852         for use by DO REPEAT to allow it to insert virtual source code
8853         into the program.
8854
8855         * glob.c: (init_glob) [__DJGPP__ || (__WIN32__ && __BORLANDC__)]
8856         Override Borland C++ stupidity that claims Windows has a console
8857         window size of 0x3.
8858
8859         * repeat.c: This is in the process of being restructured from
8860         using a token-buffering approach to the DO REPEAT facility to
8861         using the more flexible approach of a line-buffering approach in
8862         conjunction with the getline module.  Comment fixes.
8863         (struct tok_struct) Removed.
8864         (static vars queue_index, queue_head, queue) Removed.
8865         (static vars line_buf_head, line_buf_tail) New vars.
8866         (internal_cmd_do_repeat) Instead of queuing tokens, queue lines.
8867         Not complete.
8868         (pull_queue, destroy_queue) Removed.
8869         [DEBUGGING] (debug_print_tokens) Removed.
8870
8871 Tue Aug  5 13:57:58 1997  Ben Pfaff  <blp@gnu.org>
8872
8873         * file-handle.q: (prepend_current_directory) New function.
8874         (internal_cmd_file_handle, fh_get_handle_by_filename) Prepends
8875         current directory before normalizing filename.
8876
8877         * filename.c: (gnu_getcwd) New function.
8878         (absolute_filename_p) New function.
8879         (search_path) New argument, PREPEND.  All references changed to
8880         pass NULL except those explicitly mentioned.  Uses
8881         absolute_filename_p().  Prepends PREPEND before trying the
8882         filename.
8883         (dirname, prepend_dir) New functions.
8884
8885         * getline.c: (getl_get_current_directory) New function.
8886         (getl_include) Passes getl_get_current_directory() as PREPEND arg
8887         to search_path().
8888                 
8889 Sun Aug  3 11:42:36 1997  Ben Pfaff  <blp@gnu.org>
8890
8891         * In several source files, the term `script' was replaced with
8892         `syntax file' inside error messages.  Usage of the term `script'
8893         in the sense of a syntax file is now deprecated.
8894
8895         * cmdline.c: (static vars pre_syntax_message, post_syntax_message)
8896         Updated messages.
8897
8898         * dump-sysfile.c: (usage) Update message.
8899
8900         * getline.c: (getl_read_line) Ignore lines beginning with `#!'.
8901
8902         * getline.h: (glob var getl_include_path) Declare extern.
8903
8904         * list.q: Define EXTERN as extern before #including somP.h.
8905
8906         * var.h: Remove declaration of `disptype' variable.
8907
8908         * vfm.c: (close_active_file) After switching the data sink to a
8909         data source, set vfm_sink to NULL, because it doesn't exist any
8910         more.
8911
8912 Thu Jul 17 21:41:44 1997  Ben Pfaff  <blp@gnu.org>
8913
8914         * glob.c: [__BORLANDC__] Include math.h.  Define _matherr() and
8915         _matherrl() to ignore all math errors.
8916
8917         * sfm-read.c: (read_value_labels) When reading the labels from
8918         disk, read the little parts separately instead of as a struct;
8919         this avoids alignment problems.
8920
8921         * sfm-write.c: (struct sfm_fhuser_ext) New member `elem_type'.
8922         (sfm_write_dictionary) Sets elem_type and frees it on lossage.
8923         (write_header) Allocates and initializes elem_type.
8924         (sfm_write_case) Uses elem_type to determine how to handle each
8925         flt64 element.
8926         (sfm_close) Frees elem_type.
8927
8928         * sfmP.h: Comment fix.
8929         [__BORLANDC__] Uses #pragma -a to adjust structure member
8930         alignment.
8931         
8932 Thu Jul 17 01:55:12 1997  Ben Pfaff  <blp@gnu.org>
8933
8934         * Makefile.am: (fiasco_SOURCES) Remove display.c.
8935
8936         * common.c: Fix typo.
8937
8938         * dfm.c: (read_record) Remove strncasecmp() emulation and fix the
8939         sense of the condition.
8940
8941         * expr-evl.c: (macro ALLOC_STRING_SPACE) [!PAGED_STACK] Add
8942         line-continuation backslash.
8943
8944         * filename.c: [__WIN32__] Include <windef.h> before <winbase.h>.
8945
8946         * frequencies.q: (custom_grouped, add_percentile) Don't use a
8947         non-constant expression as an argument to sizeof.
8948
8949         * glob.c: [__WIN32__ && __BORLANDC__] When including <conio.h>,
8950         undefine gettext macro because that's a conio function.
8951
8952         * hash.h: (hsh_prime_tab declaration) Remove.
8953
8954         * list.q: (write_fallback_headers) Move `leader' allocation out of
8955         main loop.  Change to local_alloc() allocation.
8956
8957         * output.h: Formatting fixes.  Put __attribute__ in right place on
8958         function prototypes.
8959
8960         * sfm-read.c: (read_machine_flt64_info, read_variables) Change
8961         incorrect `SECOND_LOWEST_VALUE' references to proper
8962         `second_lowest_value'.
8963
8964         * som-frnt.c: (EXTERN macro) Define as `extern' instead of null
8965         value.  This way 2 out of 3 of the som files define the vars
8966         extern, the correct way, that actually works under BC++.
8967         (som_set_float) Don't use nonconstant initializers for a struct.
8968
8969         * som-high.c: Add the standard alloca() header.
8970         (replicate_table) Add prototype.
8971
8972         Merged DISPLAY routine.
8973         * sysfile-info.c: (AS_*) New enum series.
8974         (cmd_sysfile_info) Gutted.  Calls describe_variable() to do the
8975         dirty work.
8976         (cmd_display, display_macros, display_documents,
8977         display_variables) Stolen from defunct display.c.
8978         (describe_variable) New function.
8979
8980         * temporary.c: [0] (display_tree) New debug function.
8981         (copy_variable) Performs shallow copy of value labels instead of
8982         deep copy; i.e., just copys the AVL tree and increments the
8983         reference counts.
8984
8985         * val-labs.c: Comment fixes.
8986         (do_value_labels) Optionally skip leading forward slash.
8987         (get_label) Creates only a single value label instead of many
8988         copies of one, and sets the reference count.
8989
8990         * display.c: Removed.
8991
8992         * dump-sysfile.c: New file, not yet complete.
8993
8994 Fri Jul 11 23:02:18 1997  Ben Pfaff  <blp@gnu.org>
8995
8996         For lots of source files I added more verbose_msg's.  These aren't
8997         listed below as they have tested as being benign.  In some cases
8998         these replaced debug_printf() calls.
8999
9000         * output.c: (outp_read_devices) Message fix.
9001
9002         * postscript.c: (output_encodings) Message fix.  Reports errors on
9003         fclose().
9004         (postopen) Message fix.
9005         
9006 Fri Jul 11 14:09:40 1997  Ben Pfaff  <blp@gnu.org>
9007
9008         * dfm.c: (dfm_close) Don't call fclose() for a NULL FILE.
9009
9010         * filename.c: (close_file_ext) Set f->file to NULL *after* closing
9011         it.
9012
9013         * main.c: Remove <malloc.h> #include.
9014
9015         * mis-val.c: (parse_numeric) Set .f member for each missing[]
9016         instead of trying to just set the missing[] itself, which is a
9017         gcc-specific idiom.
9018
9019         * sfm-read.c: (read_variables) Same.
9020
9021         * str.h: Add memmem() prototype.
9022
9023         * val-labs.c, var-labs.c: Replace <malloc.h> with <stdlib.h>.
9024
9025 Thu Jul 10 22:13:53 1997  Ben Pfaff  <blp@gnu.org>
9026
9027         * Makefile.am: (q2c) Don't include any libraries in the link.
9028
9029         * dfm.c: (force_line_buffer_extension) New macro.
9030         (count_tabs) New function.
9031         (tabs_To_spaces) New function.
9032         (read_record) Calls tabs_to_spaces() on the line being processed.
9033
9034         * q2c.c: Disabled i18n for this proglet so that libintl.a doesn't
9035         have to be compiled twice (once for CC, once for LOCAL_CC).
9036  
9037 Sun Jul  6 19:14:33 1997  Ben Pfaff  <blp@gnu.org>
9038
9039         * Makefile.am: (INCLUDES) Add intl directory; fix directories.
9040         (LDADD) Add @INTLLIBS@.
9041         (q2c) Add LIBS, @INTLLIBS@ to link step.
9042
9043         * inpt-pgm.c: Turn off debugging.
9044
9045         * postscript.c: (postopen) Format fix.  local_free() blocks
9046         returned by local_alloc(); don't free() them.
9047
9048 Sat Jul  5 23:44:51 1997  Ben Pfaff  <blp@gnu.org>
9049
9050         * data-in.c: (parse_string_as_format) Comment fix.  Fix check for
9051         string length.
9052
9053         * data-list.c: (read_from_data_list_fixed) Pass proper value for
9054         LEN arg, not simply the full string length.
9055
9056         * sort.c: (allocate_file_handles) Check SPSS compatible temp file
9057         directories before generic temp file directories.
9058
9059         * vfm.c: Disable debugging.
9060
9061 Fri Jul  4 13:26:41 1997  Ben Pfaff  <blp@gnu.org>
9062
9063         * get.c: Comment fix.
9064         (cmd_save_internal) Always passes GTSV_OPT_SAVE option.
9065
9066 Wed Jun 25 22:52:28 1997  Ben Pfaff  <blp@gnu.org>
9067
9068         * expr-prs.c: (debug_print_postfix) Conditionally included on
9069         GLOBAL_DEBUGGING.  Removed out_header() reference.
9070
9071         * exprP.h: Removed #undef GLOBAL_DEBUGGING.
9072
9073 Sun Jun 22 22:00:28 1997  Ben Pfaff  <blp@gnu.org>
9074
9075         * ascii.c: Removed obsolete ascii_close_page() prototype.
9076
9077         * command.c: (output_line) Comment fix.
9078
9079         * data-in.c: Formatting fix.
9080         (parse_string_as_format) Now the `fc' argument is used only for
9081         the purpose of error messages; it is not an index into the string
9082         passed.  All references changed.
9083
9084         * data-list.c: Comment fix.
9085         (cut_field) Comment fix.  Now returns the column number of the
9086         position of the field cut out on success.
9087         (parse_field) Added `column' argument.  Puts the column numbers in
9088         the error message.
9089         (read_from_data_list_free, read_from_data_list_list) Record the
9090         column number returned by cut_field(), pass it to parse_field().
9091
9092         * dfm.c: Comment fix.
9093
9094         * do-ifP.h: Comment fix.
9095
9096         * expr-prs.c: (SYSMIS_func) Implemented string-type arguments for
9097         the SYSMIS function.
9098
9099         * expr.h, exprP.h: Comment fix.
9100
9101         * glob.c: (init_glob) Only calls setlocale() and family if
9102         ENABLE_NLS set.
9103
9104         * hash.h: Comment fix.
9105
9106         * include.c: Comment fix.
9107
9108         * output.c: Comment fix.
9109
9110         * postscript.c: (ps_line_intersection) Simplified assertion.
9111
9112         * repeat.c: Comment fix.
9113
9114         * vars-atr.c: Comment fix.
9115
9116         * vars-prs.c: Comment fix.
9117
9118         * vfm.c: (vector_initialization) [DEBUGGING] Fixed undefined
9119         behavior with usage of postincrement.
9120         (memory_stream_read) Discards cases as it goes. 
9121
9122 Sun Jun 15 16:45:17 1997  Ben Pfaff  <blp@gnu.org>
9123
9124         * Makefile.am: Cleans q2c, not just distcleans it.  Distcleans
9125         foo.
9126
9127         * Most source files: Includes debug-print.h, related comment
9128         fixes.
9129
9130         * cases.c: (alloc_val) Removed complex allocation code.  Merely
9131         increments default_dict.nval and returns the former value.
9132         (envector, devector) Removed references to lv member of struct
9133         variable.
9134
9135         * common.h: (macro VME) Replaced complex definition with simple
9136         one.
9137
9138         * data-list.c: (cmd_data_list) Sets vfm_source instead of
9139         read_active_file and cancel_input_pgm.
9140         (read_from_data_list, cancel_data_list) Removed.
9141         (data_list_source_read, data_list_source_destroy_source) New
9142         functions.
9143         (glob var data_list_source) New var.
9144
9145         * dfm.c: (open_file_r, open_file_w) Simplified debug output.
9146         (cmd_begin_data) Improved criteria for an input program accessing
9147         the inline file.  Still not perfect.
9148
9149         * do-if.c: (do_if_trns_proc) Simplified debug output.
9150
9151         * expr-prs.c: Comment fixes.
9152         [DEBUGGING] (debug_print_postfix) Simplified debug output.
9153
9154         * file-handle.q: (fh_close_handle) Simplified debug output.
9155
9156         * file-type.c: Comment fixes.
9157         (cmd_file_type) Sets vfm_source instead of read_active_file and
9158         cancel_input_pgm.
9159         (cmd_end_file_type) On failure, discards variables in place of
9160         just canceling the input program.
9161         (read_from_file_type) Renamed file_type_source_read.
9162         (cancel_file_type) Renamed file_type_source_destroy_source.
9163         (glob var file_type_source) New var.
9164
9165         * get.c: (GTSV_* enum series) New enums GTSV_OPT_SAVE, GTSV_NONE.
9166         (cmd_get) Initializes options to GTSV_NONE before passing to
9167         trim_dictionary().  Removed `lv' reference.  Sets vfm_source
9168         instead of read_active_file and cancel_input_pgm.
9169         (cmd_save_internal) Initializes options before passing to
9170         trim_dictionary().  Local var `nval' removed.
9171         (dict_delete_run) Comment fixes.
9172         (trim_dictionary) Comment fixes.  Disallows scratch variables if
9173         GTSV_OPT_SAVE set in options.
9174         (read_from_get) Renamed get_source_read.
9175         (cancel_get) Renamed get_source_destroy_source.
9176         (glob var get_source) New var.
9177
9178         * inpt-pgm.c: (cmd_input_program) Sets vfm_source instead of
9179         read_active_file and cancel_input_pgm.
9180         (read_from_input_program) Renamed input_program_source_read.
9181         Simplified debug output.
9182         (cancel_input_program) Renamed
9183         input_program_source_destroy_source.
9184         (glob var input_program_source) New var.
9185
9186         * loop.c: (loop_1_trns_proc) Simplified debug output.
9187
9188         * main.c: (dump_token) Made eof output more explicit.
9189
9190         * sfm-read.c: (read_variables, dump_dictionary) Removed `lv'
9191         references.
9192
9193         * sort.c: (cmd_sort_cases) Disallows scratch variables.  Removed
9194         code for always-memory or always-disk cases.  malloc's case-list
9195         based on vfm_source_info.ncases.  Explicit support for
9196         memory_stream via memory_source_cases.
9197         (do_external_sort) Sets vfm_source instead of read_active_file and
9198         cancel_input_pgm.
9199         (allocate_file_handles) The temporary directory permissions are
9200         set to 0700 instead of 0777.
9201         (allocate_cases) Formatting fixes.  Simplified debug output.
9202         (output_record) Compacts the case if necessary before writing it
9203         out.
9204         (close_handle, open_handle_w) Simplified debug output.
9205         (write_initial_runs) Destroys vfm_sink, then sets it to
9206         sort_stream.  Writes records to memory based on
9207         vfm_sink_info.case_size.
9208         (write_to_sort_cases) Renamed sort_stream_write().
9209         (merge) Simplified error handling.  Simplified debug output.
9210         Formatting fixes.
9211         (read_from_external_sort) Renamed sort_stream_read().
9212         Reads records based on vfm_source_info.case_size.
9213         (sort_stream_write) Writes records to memory based on
9214         vfm_sink_info.case_size.
9215         (sort_stream_mode) New function.
9216         (glob var sort_stream) New variable.
9217
9218         * temporary.c: (cmd_temporary) Simplified debug output.
9219         (copy_variable) Removed references to `lv'.
9220
9221         * title.c: (get_title) Simplified debug output.
9222
9223         * var.h: Comment fixes.
9224         (struct get_proc) Removed member `lv'.
9225         (struct variable) Removed member `lv'.  Comment fixes.
9226         (glob vars read_active_file, write_active_file, cancel_input_pgm)
9227         Removed.
9228         (struct case_stream) New.
9229
9230         * vars-atr.c: (discard_variables) Changed cancel_input_pgm,
9231         read_active_file references to use vfm_source.
9232         (init_variable, replace_variable) Removed references to `lv'.
9233
9234         * vfm.c: Comment fixes.
9235         (glob var vfm_source, vfm_sink, vfm_source_info, vfm_sink_info)
9236         New variables.
9237         (static var queue, qh, qt, n_lag) Removed.  All references
9238         removed.
9239         (glob var compaction_necessary, compaction_nval, compaction_case,
9240         paging) New variables.
9241         (record_case) Removed.
9242         (procedure) Comment fixes.  Calls vfm_source->read() instead of
9243         read_active_file().
9244         (lag) Removed.
9245         (prepare_for_writing, arrange_compaction, make_temp_case,
9246         vector_initialization, setup_filter) New function.
9247         (open_active_file) Most of the code moved into the abovementioned
9248         new functions.  Now sets temp_dict to &default_dict if there is no
9249         temporary dictionary, for convenience.  New debug output.
9250         (close_active_file) Deals with changing the sink to the source.
9251         Calls finish_compaction().  Frees compaction_case.  Mostly
9252         rewritten.
9253         (glob vars disk_source_file, disk_sink_file) New vars.
9254         (destroy_active_file, read_from_memory) Removed.
9255         (disk_stream_init, disk_stream_read, disk_stream_write,
9256         disk_stream_mode, disk_stream_destroy_source,
9257         disk_stream_destroy_sink) New functions.
9258         (glob var vfm_disk_stream) New var.
9259         (glob vars memory_source_cases, memory_sink_cases,
9260         memory_sink_iter, memory_sink_max_cases) New vars.
9261         (memory_stream_init, memory_stream_read, memory_stream_write,
9262         memory_stream_mode, memory_stream_destroy_source,
9263         memory_stream_destroy_sink) New functions.
9264         (glob var vfm_memory_stream) New var.
9265         (write_case) Local var `i' renamed `cur_trns'; local var `retval'
9266         named `more_cases'.  Simplified debug output.  Otherwise mostly
9267         rewritten.
9268         (record_case) Moved into the stream drivers.  Removed.
9269         (transform) Removed (was dead code).
9270         (SPLIT_FILE_procfunc) s/vfm_replacement/vfm_sink_info/.  In the
9271         common case that the splits don't change, we don't need to copy
9272         the case into prev_case again--pointless.
9273         (compact_case) New function.
9274         (finish_compaction) New function.
9275
9276         * vfmP.h: Comment fixes.
9277         (DEV_* enum series) Removed. 
9278         (struct storage) Renamed `stream_info'.  Removed variant record.
9279         Removed `device' member.
9280
9281         * debug-print.h: New file.
9282         
9283 Sun Jun  8 01:12:38 1997  Ben Pfaff  <blp@gnu.org>
9284
9285         * autorecode.c: Turned off debugging.
9286
9287         * data-list.c: (destroy_dls) Closes the associated file handle.
9288
9289         * descript.q: (custom_variables) Added PV_NO_SCRATCH to
9290         parse_variables() options.
9291
9292         * dfm.c: (open_file_r) Removed gratuituous argument to msg() call.
9293
9294         * display.c: (display_variables) Really fixed null cell bug.
9295
9296         * file-handle.q: (fh_close_handle) Changed debugging message.
9297
9298         * frequencies.q: (custom_variables) Added PV_NO_SCRATCH to
9299         parse_variables() options.
9300
9301         * list.q: Added PV_NO_SCRATCH in q2c varlist options.
9302         (cmd_list) Fails if no variables specified.
9303         (determine_layout) Writes blank lines manually.
9304
9305         * loop.c: (loop_1_trns_proc) Made debugging code only print
9306         messages if debugging.
9307
9308         * q2c.c: (dump_subcommand) Appends sbc->message to SBC_VARLIST
9309         parse_variables() arguments.
9310         (main) Parses optional parenthesized options to varlist
9311         subcommands into sbc->message.
9312
9313         * sfm-read.c: Format fix.
9314
9315         * var.h: (FV_*) New enum series.
9316         (PV_*) New enum PV_NO_SCRATCH.
9317
9318         * vars-prs.c: (find_var) Removed.
9319         (fill_all_vars) Takes FV_* enum instead of boolean third
9320         argument.  Rewritten to deal with scratch as well as system
9321         variables.
9322         (parse_variables) Error message on scratch variable if
9323         PV_NO_SCRATCH set.
9324
9325         * vfm.c: (static var virt_begin_func) New var.
9326         (procedure) Sets up virt_begin_func.
9327         (SPLIT_FILE_procfunc) For the first case, calls virt_begin_func()
9328         after dump_splits().  For succeeding groups changes, calls
9329         virt_begin_func() instead of begin_func().      
9330
9331 Fri Jun  6 22:42:23 1997  Ben Pfaff  <blp@gnu.org>
9332
9333         * count.c, data-out.c, file-handle.q, list.q, loop.c: Turned off
9334         debugging.
9335
9336         * dfm.c: Added some debugging messages, disabled by default.
9337         (open_file_r) Fixed error message.
9338         (read_record) On eof on inline_file, instead of calling
9339         fh_close_handle(), simply jump to eof label like a normal file.
9340         Message fixes.
9341
9342         * display.c: Thin lines between rows for certain kinds of
9343         listing.  Fixed `null cell' bug.
9344
9345         * error.c: (failure) Flush stdout, stderr before failing.
9346
9347         * file-handle.q: (fh_close_handle) Added debugging message.
9348
9349         * frequencies.q: (dump_full) Bottom line extends across entire
9350         table width.  Changed title formatting.
9351         (dump_condensed) Changed title formatting.
9352         (dump_statistics) Fixed title formatting.
9353
9354         * glob.c: (init_glob) Moved initialization of cur_proc out of #if.
9355         Sets default value of set_format.
9356
9357         * list.q: (cmd_list) Calls blank_line() before determine_layout().
9358         Passes write_all_headers() to procedure() as pre-group func.
9359         (write_all_headers) New function.
9360         (determine_layout) Removed calls to write_header().
9361         Calls blank_line() before and after write_fallback_headers().
9362
9363         * recode.c: (recode_trns_free) Only attempts to free head->map if
9364         non-NULL.
9365
9366         * sfm-read.c: (read_variables) Allows `#' at beginning of system
9367         file variable names but gives a warning.  Sets `left' based on
9368         first character being/not being `#'.  On lossage frees dict->var.
9369
9370         * som-high.c: (som_draw_title) Simplified title formatting.
9371
9372         * vfm.c: (dump_splits) Fixed and changed splits formatting.
9373
9374 Thu Jun  5 22:51:15 1997  Ben Pfaff  <blp@gnu.org>
9375
9376         * autorecode.c: (cmd_autorecode) Sets h_trans to NULL at
9377         beginning.  Frees v_src, v_dest on successful exit.  Frees
9378         h_trans[*], h_trans on lossage.
9379         (recode) Frees h_trans[*], h_trans.
9380
9381         * dfm.c: (dfm_close) Formatting change.
9382         (open_inline_file) Now passed a dfm_fhuser_ext to initialize; no
9383         longer allocates its own in inline_file.
9384         (open_file_r) Passes the local dfm_fhuser_ext to
9385         open_inline_file().
9386         (open_file_w) Message fix. 
9387         (read_record) Buffer reallocation strategy changed.  Frees
9388         ext->line even in inline_file to prevent leaks.
9389         (dfm_put_record) Fixed bug where `ext' was cached before the file
9390         was opened and thus it would be NULL when the file really was
9391         open.
9392         (cmd_begin_data) Sets up inline_file basics itself, then calls
9393         open_inline_file() for the dfm_fhuser_ext.  Formatting fix.
9394
9395         * list.q: (write_line) Formatting fix.
9396         (clean_up) Minor strategy change.  Sets proportional font after
9397         finishing cleanup.
9398         (determine_layout) Sets fixed font before writing regular headers,
9399         or after writing fallback headers.
9400
9401         * modify-vars.c: (cmd_modify_vars) Frees variable lists for DROP
9402         and KEEP vars after using them.
9403
9404         * postscript.c: (ps_init_driver) Frees x->family.
9405         (postopen) When loading fonts, free the temporary font name buffer
9406         after using it.
9407         (ps_text_set_font_by_position) Free temporary font name buffer
9408         after using it.
9409         (text) Fixed code that calculated `lig' so that `lig' always gets
9410         initialized.  Formatting fix.
9411
9412         * som-low.c: (get_cell_size, som_get_table_size) `prop_height' ->
9413         `font_height'.
9414         [GLOBAL_DEBUGGIGN] (check_table) Use arena_alloc() to allocate
9415         cells, not xmalloc(), so that the cells will get destroyed
9416         automatically.
9417
9418         * sysfile-info.c: (cmd_sysfile_info) Frees the dictionary after
9419         using it.
9420
9421 Tue Jun  3 23:33:22 1997  Ben Pfaff  <blp@gnu.org>
9422
9423         * ascii.c: (ascii_text_draw) Always sets metrics for strings that
9424         are drawn.
9425
9426         * dfm.c: Comment fix.
9427
9428         * list.q: Comment fixes.  Include somP.h.  Removed static vars
9429         table, n_columns, n_rows, part.  New struct list_ext.  New static
9430         var line_buf.
9431         (n_lines_remaining, n_chars_width, write_line) New functions.
9432         (cmd_list, list_cases) Rewritten.
9433         (begin_row, end_row, flush_table) Removed.
9434         (write_header, clean_up, write_varname, write_fallback_headers,
9435         determine_layout) New functions.
9436
9437         * output.c: (outp_iterate_enabled_drivers) Minor reformat.
9438
9439         * output.h: Comment fix.
9440
9441         * postscript.c: Comment fix.
9442         (struct ps_driver_ext) Removed prop_size, fixed_size members;
9443         added font_size.  All references changed.
9444         (ps_init_driver) Initializes font_size.  Simplified space checking
9445         code.
9446         (static var option_tab[]) Removed prop-size, fixed-size; added
9447         font-size.
9448         (ps_option) Handles font_size.
9449
9450         * som-high.c: Moved prototypes into somP.h.
9451         (som_init_driver) New function.
9452         (som_submit_table) Moved some code into new function
9453         som_init_driver().
9454         (build_target) Moved some code into new function
9455         som_internal_eject_page().
9456         (som_eject_page) Uses som_internal_eject_page().
9457         (som_internal_eject_page) New function.
9458
9459         * som-low.c: Moved prototypes into somP.h.
9460
9461         * som.h: Formatting fixes.
9462
9463         * somP.h: (struct som_driver_ext) Removed em_width;
9464         added prop_em_width, fixed_width.
9465
9466 Mon Jun  2 14:25:25 1997  Ben Pfaff  <blp@gnu.org>
9467
9468         * Makefile.am: Added `localedir' definition.  Added
9469         -DLOCALEDIR="..." to DEFS.  Added -I. to INCLUDES.
9470
9471         * ascii.c: (macro draw_line) Fixed capitalization.
9472
9473         * ascii.c, autorecode.c, cases.c, cmdline.c, command.c, common.c,
9474         compute.c, count.c, data-in.c, data-list.c, data-out.c,
9475         descript.q, dfm.c, display.c, do-if.c, error.c, expr-evl.c,
9476         expr-opt.c, expr-prs.c, file-handle.q, file-type.c, filename.c,
9477         formats.c, frequencies.q, get.c, getline.c, glob.c, groff-font.c,
9478         hash.c, heap.c, include.c, inpt-pgm.c, lexer.c, list.q, loop.c,
9479         main.c, mis-val.c, misc.c, modify-vars.c, numeric.c, output.c,
9480         postscript.c, print.c, q2c.c, recode.c, rename-vars.c, repeat.c,
9481         sample.c, sel-if.c, sfm-read.c, sfm-write.c, sfmP.h, som-frnt.c,
9482         som-high.c, som-low.c, sort.c, split-file.c, sysfile-info.c,
9483         temporary.c, title.c, tokens.h, val-labs.c, var-labs.c,
9484         vars-atr.c, vars-prs.c, vector.c, vfm.c, weight.c: Marked strings
9485         for internationlization.
9486
9487         * glob.c: [HAVE_LOCALE_H] Includes locale.h.
9488
9489 Sun Jun  1 23:31:18 1997  Ben Pfaff  <blp@gnu.org>
9490
9491         * do-if.c, sort.c, val-labs.c: Comment fixes.
9492
9493         * glob.c: (init_glob) Uncommented, updated i18n support.
9494         
9495         * arena.c, ascii.c, data-in.c, descript.q, error.c, expr-evl.c,
9496         expr-opt.c, expr-prs.c, filename.c, frequencies.q, groff-font.c,
9497         output.c, postscript.c, sfm-read.c, som-high.c, vars-prs.c: Made
9498         the declarations of macros taking arguments a lot nicer.
9499
9500 Sun Jun  1 17:22:04 1997  Ben Pfaff  <blp@gnu.org>
9501
9502         * error.h: Removed CE, CW aliases for SE, SW.
9503
9504         * q2c.c: Removed explicit streq() definition since it's duplicated
9505         in str.h.
9506         
9507         * approx.h, error.h, font.h, hash.h, misc.h, output.h, somP.h,
9508         stats.h, str.h, tokens.h: Made the declarations of macros taking
9509         arguments a lot nicer-looking of <pinard@iro.umontreal.ca>.
9510         Comment fixes.
9511
9512 Sun Jun  1 12:02:06 1997  Ben Pfaff  <blp@gnu.org>
9513
9514         * cmdline.c: Comment fixes.
9515         (pick_compat) Changed return type to int.  Now, instead of setting
9516         glob var `compat' to the emulation, returns the emulation.  All
9517         references changed.
9518         (parse_command_line) Added terminating null to end of
9519         `long_options' array definition.
9520         (pre_syntax_message) Fixes.
9521         (usage) Shows the default emulation in the syntax message by
9522         calling pick_compat().
9523
9524         * getline.c: (getl_add_include_dir) Separates paths with
9525         PATH_DELIMITER, not DIR_SEPARATOR.
9526
9527         * glob.c: (init_glob) Fixed references to DEFAULT_VER_PCP40,
9528         DEFAULT_VER_WIN61, DEFAULT_VER_X40.
9529
9530         * output.c: (outp_configure_macro) Make earlier definitions for a
9531         particular key override later ones for the same key.
9532         
9533 Fri May 30 19:40:49 1997  Ben Pfaff  <blp@gnu.org>
9534
9535         * ascii.c: Comment fixes.
9536
9537         * output.c: (outp_get_paper_size)
9538         s/STAT_OUTPUT_INIT_FILE/STAT_OUTPUT_PAPERSIZE_FILE/.
9539         
9540 Sun May 25 22:34:07 1997  Ben Pfaff  <blp@gnu.org>
9541
9542         * ascii.c, postscript.c, sfm-read.c, sfm-write.c, sort.c: Include
9543         <errno.h>.  GNU libc 2 enforces this!
9544
9545         * command.c: (parse_cmd) Fixed problem with `else' clause being
9546         paired with wrong `if'.  Comment fix.
9547
9548 Fri May  9 16:53:52 1997  Ben Pfaff  <blp@gnu.org>
9549
9550         * getline.c: [!HAVE_LIBREADLINE] (read_console) Changed
9551         blp_getline() to getline().
9552
9553         * output.c: (outp_eval_dimension) Changed the fix from last time;
9554         there was no variable `a'.
9555
9556         * q2c.c: (get_line) Fixed boundary condition overrun bug.
9557
9558 Mon May  5 21:58:22 1997  Ben Pfaff  <blp@gnu.org>
9559
9560         * output.c: (outp_evaluate_dimension) Fixed handling of negative
9561         numbers having fractional parts.  Added case of a fraction without
9562         a whole-number part.
9563
9564 Fri May  2 22:08:05 1997  Ben Pfaff  <blp@gnu.org>
9565
9566         * ascii.c: (ascii_text_get_font_position) Removed.
9567
9568         * expr.h, exprP.h: Disabled debugging.
9569
9570         * groff-font.c, postscript.c: Changed `groff' to `Groff' in
9571         several places.
9572
9573         * output.h: (struct outp_class_struct) Removed
9574         text_get_font_position method.  All references deleted.
9575
9576         * postscript.c: Big change here.  Fontmaps were completely
9577         eliminated because of a change in philosophy.  Comment fixes.
9578         (struct ps_fontmap, ps2dit_map, font_family, dit2family_map)
9579         Removed.
9580         (struct ps_driver_ext) `position', `fontmap', `prop_name',
9581         `fixed_name' members removed.  New members `prop_family',
9582         `fixed_family'.  `family' member changed to type char *.
9583         (static var ps_fontmaps) Removed.
9584         () Removed.
9585         (ps_init_driver) Removed obsolete references, updated.
9586         Initializes `translate_x', `translate_y', `scale'.  Doesn't read
9587         fontmap, of course.  Refers to font names through internal_name
9588         rather than subversive means.  Frees proper items.
9589         (static var option_tab[]) Removed `fontmap-file' option; renamed
9590         `fixed-font', `prop-font'.
9591         (ps_option) Corresponds to option_tab[].
9592         (read_fontmap, release_fontmap, ps_to_dit, compare_ps2dit,
9593         hash_ps2dit, compare_dit2family, hash_dit2family, compare_family,
9594         hash_family) Removed.
9595         (postopen) Generates font names from family names.  Gets
9596         PostScript font name properly.  New prologue file comment `!!!'
9597         style.
9598         (ps_open_page) Adds translate_x, translate_y to BP prologue
9599         function; gives SF argument floating-point format.
9600         (ps_text_set_font_by_name) Doesn't try to map PostScript->Groff
9601         font name.  Doesn't change font family.
9602         (ps_text_set_font_by_position) Generates Groff font name from font
9603         family name instead of through table lookup.
9604         (ps_text_set_font_by_family) Renamed `ps_text_set_font_family',
9605         all references changed.  Reduced to simple string assignment.
9606         (ps_get_font_name) Removed.
9607         (ps_get_font_family) Reduced to string return.
9608         (text) Doesn't save `position' since it no longer exists.  Ugly
9609         kluge to save font family--fix soon?
9610         (load_font) Removed PostScript name argument.
9611         
9612 Thu May  1 14:58:59 1997  Ben Pfaff  <blp@gnu.org>
9613
9614         * postscript.c: Comment fix.
9615         (ps_open_page) Puts scale factor in PostScript output.
9616         
9617 Sat Apr 26 11:49:32 1997  Ben Pfaff  <blp@gnu.org>
9618
9619         * Makefile.am: Distcleans q2c.
9620
9621 Wed Apr 23 21:33:48 1997  Ben Pfaff  <blp@gnu.org>
9622
9623         * ascii.c: (delineate) Sets text size even if width is zero.
9624
9625         * command.c: Comment fix.
9626         (static var cmd_table[]) Re-enabled EVALUATE command.
9627         (parse_cmd) Lotsa comment fixes.  Fixed infinite loop in parsing
9628         of comments in script files.  Now more liberal on criteria for
9629         performing a state transition--if *anything* happened correctly,
9630         not just if *everything* happened correctly.
9631
9632         * data-out.c: (convert_F) Comment fix.  Why in the fsck does
9633         Checker segfault on formatting large numbers and why in the fsck
9634         hadn't I noticed this before?
9635
9636         * expr.h, exprP.h: No longer turn off GLOBAL_DEBUGGING.
9637
9638         * list.q: (cmd_list) Commented out the actual output routine
9639         because of various problems.  Probably will abandon the idea of
9640         using the general `crushed tables' for the LIST procedure.
9641
9642         * temporary.c: (restore_dictionary) Sets var_by_name to NULL after
9643         clearing it.  Allocates a new var_by_name dictionary before trying
9644         to add members to it.
9645
9646         * vars-atr.c: [DEBUGGING] (dump_one_var_node) Removed argument
9647         `sib'.  Changed type of `node' argument.
9648         [DEBUGGING] (dump_var_tree) Replaced avlwalk() with
9649         avl_walk_inorder().
9650         (clear_variable) Only dumps the var tree if var_by_name non-NULL.
9651         [DEBUGGING] Only deletes the variable from var_by_name if that var
9652         non-NULL.
9653
9654 Fri Apr 18 16:48:41 1997  Ben Pfaff  <blp@gnu.org>
9655
9656         * Makefile.am: Added include files to SOURCES.  Added
9657         frequencies.q to EXTRA_DIST.  Removed include/ from INCLUDES.  Now
9658         includes rules for q2c.  Added `boast' target.
9659
9660 Fri Apr 18 15:42:22 1997  Ben Pfaff  <blp@gnu.org>
9661
9662         * Makefile.am: Maintainer-clean Makefile.in.
9663         
9664         * Makefile.am: Fixed redundant EXTRA_DIST line.
9665
9666         * ascii.c: Comment fixes.
9667         (ascii_line_vert) Fixed overly aggressive range check.
9668
9669         * display.c: Removed dead code.
9670
9671         * list.q: Turn debugging on.
9672         (flush_table) New debug code.
9673
9674         * sfm-read.c: (read_value_labels) malloc's the structure before
9675         trying to assign to its members.
9676
9677         * sfm-write.c: Comment fix.
9678
9679         * som-high.c: (som_submit_table) Sets som.t and som.d on each call
9680         to output_table().
9681         (output_table) No arguments anymore--gets them through `som'
9682         global.  New debug code.  In crushed tables, now sets `htv' as
9683         well as `hv' to avoid bad confusion later.
9684         (dump_crush_page) New debug code.
9685
9686         * som-low.c: (som_dump_crush_page) New debug code.
9687
9688 Thu Mar 27 01:11:29 1997  Ben Pfaff  <blp@gnu.org>
9689
9690         All source files: Broke long lines into multiple lines.
9691         
9692         * ascii.c: (ascii_close_page) Uses host_system var in place of
9693         HOST_SYSTEM constant.
9694
9695         * cmdline.c: (var syntax_message[]) Broke into
9696         pre_syntax_message[] and post_syntax_message[].
9697         (usage) Outputs both parts, separated by driver list.
9698
9699         * error.h: Fixed broken formatting.
9700
9701         * expr-opt.c: (str_search, str_rsearch) New functions.
9702
9703         * misc.c: (blp_getdelim) Removed.  All references changed to
9704         `getdelim'.
9705         (str_search, str_rsearch) Removed.
9706         (memrmem) New function.
9707
9708         * misc.h: (blp_getline) Removed.  All reference changed to
9709         `getline'.
9710
9711         * stat.h: New file.
9712
9713         * filename.c: Includes "stat.h", not <sys/stat.h>.
9714         (blp_getenv) Uses host_system var instead of HOST_SYSTEM constant.
9715
9716         * output.c: (outp_list_classes) Changed output formatting.
9717
9718         * sfm-write.c: (write_header) Uses host_system var instead of
9719         HOST_SYSTEM constant.
9720         (write_rec_7_34) Extracts version numbers from the version string.
9721         Untested.
9722
9723         * sort.c: Includes "stat.h", not <sys/stat.h>.
9724
9725         * str.c: (strcasecmp) Removed.
9726
9727         * title.c: (cmd_document) Uses host_system var instead of
9728         HOST_SYSTEM constant.
9729
9730         * version.c: Generated on-the-fly by the Makefile instead of being
9731         static.
9732
9733         * str.h: Comment fixes.  Doesn't substitute for missing memmove or
9734         memcpy.
9735         [!HAVE_STRNCASECMP] Declares strncasecmp().
9736
9737         * version.h: Removed stray character.  Comment fixes.
9738         (vars host_system, build_system) New vars.
9739
9740 Mon Mar 24 21:47:31 1997  Ben Pfaff  <blp@gnu.org>
9741
9742         * Most source files: Changed formatting of copyright notice; fixed
9743         FSF address; reformatted to better conform to GNU standards;
9744         comment fixes.  Added markups to prevent GNU indent from messing
9745         up my beautiful formatting :-).
9746         
9747         * q2c.c: (get_line) Ignores lines that begin with `/* *INDENT' so
9748         that GNU indent markups can be passed through without problems.
9749
9750 Wed Feb 19 21:30:31 1997  Ben Pfaff  <blp@gnu.org>
9751
9752         * get.c: Turned off debugging.
9753
9754         * glob.c: (init_glob) Turned on save-file compression by default.
9755
9756         * sfm-write.c: (sfm_write_case) Fixed bug which resulted in less
9757         compression than was possible in save files.
9758
9759 Sun Feb 16 20:57:20 1997  Ben Pfaff  <blp@gnu.org>
9760
9761         * data-out.c: (convert_F) Comment fixes.  Debug message fixes.
9762
9763         * frequencies.q: Removed Fiasco extensions.  Updated calculation
9764         algorithms.  Polished output format. 
9765         (struct frq_info_struct) Removed members `max_degree', `min_n',
9766         all references removed.
9767         (macro frq_extensions) Removed.
9768         (static vars min_n, max_degree) Removed, all references removed.
9769         (internal_cmd_frequencies) Doesn't handle extensions.  Doesn't
9770         calculate `min_n', `max_degree'.
9771         (postcalc) Passes new arg to dump_statistics().
9772         (dump_full) Honor NOLABEL option.  Buggy?  Adds variable name
9773         title.
9774         (dump_condensed) Adds variable name title.
9775         (sum_freqs) Removed.
9776         (calc_stats) Updated calculation algorithm.
9777         (dump_statistics) Removed warning for too-few observations.
9778         Changed table formatting.  Adds variable name title if passed new
9779         arg is nonzero.
9780
9781         * output.h: Comment fix.
9782
9783         * recode.c, sample.c, sort.c: Disabled debug code.
9784
9785         * som-frnt.c: (som_set_value, som_set_float, som_set_text)
9786         Improved debug code.
9787
9788         * var.h: (enum series frq_*) Removed Fiasco extensions.
9789
9790 Sat Feb 15 21:26:53 1997  Ben Pfaff  <blp@gnu.org>
9791
9792         * command.c: Added PROCESS IF to command table.
9793
9794         * Lots & lots of places, removed checks for NULLs preceding calls
9795         to free_expression(), which itself checks.
9796
9797         * descript.q: Removed Fiasco extensions.  Removed optimizations
9798         for non-weighted active files.  Implemented some options.
9799         Finished polishing output format.  Comment fixes.  Merged
9800         `descript.g'.
9801         (static vars n_glob_miss_list, n_glob_valid, n_glob_missing,
9802         max_degree, min_n) Removed.
9803         (macro dsc_extensions) Removed.
9804         (struct dsc_info_struct) Removed `min_n' member, all references
9805         fixed.
9806         (internal_cmd_descriptives) Removed calculation of min_n,
9807         max_degree.  Only deals with one `calc' routine instead of two
9808         flavors.
9809         (precalc) Eliminated redundancy.  Updated for changes to
9810         descriptives_proc structure.
9811         (calc) Moved here from `descript.g'.  Rewritten to calculate
9812         statistics via `moments about the mean' rather than by summing,
9813         summing squares, summing cubes, and so on.
9814         (postcalc) Rewritten for new-style statistical calculation.
9815         (display) Removed support for displaying variables across rows.
9816         No longer crushes the descriptives table.  Removed ancient code.
9817         Added display of N, by variable and listwise.
9818
9819         * descript.g: Removed; merged into `descript.q'.
9820
9821         * expr-evl.c: (evaluate_expression) Now returns a double.  For
9822         numeric results, it returns the result as well as storing it in
9823         the passed `value' structure if non-NULL.  For string results it
9824         just returns 0.0 and it must be passed non-NULL.  Many references
9825         to this function were optimized by use of this change, especially
9826         but not exclusively in `compute.c'.
9827
9828         * frequencies.g: Comment fix.
9829
9830         * glob.c: (glob var process_if_expr) New global var.
9831
9832         * postscript.c: (static var option_tab[]) Corrected entry for
9833         `fixed_size'.
9834         (postopen) Sets x->size to x->prop_size.
9835         (ps_text_set_font_by_name) Sets font size as well as typeface for
9836         PROP and FIXED fonts.
9837         
9838         * sel-if.c: (cmd_process_if) New function.
9839
9840         * sfm-write.c: (struct sfm_fhuser_ext) New member `n_cases'.
9841         (sfm_write_dictionary) Sets `n_cases' to 0.
9842         (sfm_write_case) Increments `n_cases'.
9843         (sfm_close) Attempts to seek the system file back to the header
9844         and write the number of cases in its proper slot.
9845
9846         * som-frnt.c: (som_insert_table) Masks off expansion options since
9847         only SOPT_X_NORM seems to work sensibly.
9848
9849         * som-low.c: (get_cell_size) Fixed bug when a table cell was sized
9850         with a `fixed' value of 2.
9851
9852         * sort.c: (cmd_sort_cases) Cancels PROCESS IF.
9853
9854         * sysfile-info.c: (cmd_sysfile_info) Doesn't display more than 10
9855         value labels; uses SOPT_NONE instead of SOPT_X_BOTH.
9856
9857         * var.h: (enum series dsc_*) Removed Fiasco extensions.
9858         (struct descriptives_proc) Removed `miss_noweight'; new members
9859         `X_bar', `M2', `M3', `M4', `min', `max'.
9860
9861         * vars-atr.c: (discard_variables) Cancels PROCESS IF.
9862
9863         * vfm.c: (close_active_file) Cancels PROCESS IF.
9864         (write_case) Doesn't process cases unselected by PROCESS IF.
9865
9866 Fri Feb 14 23:32:58 1997  Ben Pfaff  <blp@gnu.org>
9867
9868         * glob.c: (glob var err) Removed.
9869
9870         * sysfile-info.c: (cmd_sysfile_info) When adjusting table size,
9871         doesn't have to take into account number of value labels since
9872         they're in a subtable anyway.  Also, doesn't display more than 10
9873         value labels since we can't yet break pages in subtables.
9874
9875 Tue Feb  4 15:15:50 1997  Ben Pfaff  <blp@gnu.org>
9876
9877         * som-frnt.c: (som_change_table_size) Simple change for elegance
9878         that shouldn't change behavior.
9879         (som_set_value) Comment fix.
9880
9881         * som-high.c: (som_submit_table) Message fix.
9882
9883 Wed Jan 22 21:54:00 1997  Ben Pfaff  <blp@gnu.org>
9884
9885         * command.c: Added SYSFILE INFO to command table.
9886
9887         * file-handle.q: (fh_handle_filename) New function.
9888
9889         * get.c: (save_trns_proc) Fixed a bug in padding of output data
9890         with spaces.
9891
9892         * main.c: (parse) New return value for command functions, -3.
9893
9894         * misc.h: Comment fix.
9895
9896         * output.h: Comment fixes.
9897         (macro COMPONENTS) Removed.
9898
9899         * postscript.c: (write_text) Modified literal_chars[] so that `('
9900         and ')' are not written to the output in strings as literals.
9901
9902         * sfm-read.c: (sfm_read_dictionary) New argument.
9903         (read_header) New argument.  Sets the information structure's
9904         values from the header information.  
9905         (read_variables) [__CHECKER__] Redefines isalnum()--some sort of
9906         bizarre Checker problem, I guess.
9907         (read_variables) Proper cleanup on lossage.
9908
9909         * sfm.h: (struct sfm_read_info) New struct for use by
9910         sfm_read_dictionary().
9911
9912         * som-frnt.c: (som_create_table) New argument CREATE_FLAGS,
9913         currently used just for tables that can be dynamically resized and
9914         thus have to be allocated with arena_malloc() instead of
9915         arena_alloc().  All references changed.
9916         (som_change_table_size) New function.
9917         (som_insert_table) Bugfix: now inserts `cell', not `c'!
9918
9919         * som-high.c: [GLOBAL_DEBUGGING] (check_table) Moved to som-low.c.
9920         (som_submit_table) [GLOBAL_DEBUGGING] Doesn't call check_table()
9921         any more.
9922
9923         * som-low.c: (draw_cell) Calls draw_table_cell() for SCON_TABLE
9924         cells.
9925         (draw_intersection) Now takes an argument specifying the table in
9926         question.  All references changed.
9927         (draw_table_cell) New function.
9928         (som_get_table_size) [GLOBAL_DEBUGGING] Calls check_table().
9929         (som_get_table_size) Many nice new explanatory comments.
9930         [GLOBAL_DEBUGGING] (check_table) Moved here from som-high.c.
9931
9932         * som.h: New enum series SOM_CREATE_* for use as create flags with
9933         som_create_table().
9934
9935         * str.h: Moved a comment here from TODO.
9936
9937         * sysfile-info.c: New file.  Reference implementation.
9938
9939 Sun Jan 19 14:22:11 1997  Ben Pfaff  <blp@gnu.org>
9940
9941         * command.c: Added RENAME VARIABLES to table of commands.
9942
9943         * data-in.c: (dls_error) Sets `cust_field'.
9944         (parse_N) Message fix.
9945         (parse_day_count) New function.
9946         (to_roman) Never outputs VX as a `short form' of V.
9947         (parse_month) Fixed parsing of Roman numerals.
9948         (parse_trailer) Message fix.
9949         (parse_DATE, parse_ADATE, parse_EDATE, parse_SDATE, parse_JDATE,
9950         parse_QYR, parse_MOYR, parse_WKYR, parse_DTIME) Issue a message if
9951         the date is invalid.
9952         (parse_SDATE) Fixed swapped day, year.
9953         (parse_JDATE) Fixed bug for dates in 1582.
9954         (parse_DTIME) Allows days not between 1 and 31.
9955         (parse_numeric) Makes local copy of f.type for easier usage.
9956         FMT_DOLLAR fixed.
9957
9958         * data-out.c: (convert_F) When outputting as scientific, properly
9959         sets f.type as fp->type.
9960         (insert_commas) Fixed operator precedence problem with setting of
9961         nitems.  Changed strcpy to memcpy (no null terminator). 
9962         (convert_date) Fixed FMT_JDATE: added 1900 to year.
9963         (convert_CCx) Essentially rewritten, but now it works.
9964
9965         * display.c: (cmd_display) Added DISPLAY FILE LABEL (undocumented
9966         feature of Fiasco).
9967         (display_documents) Implemented.
9968
9969         * error.c: (glob var cust_field) New var.
9970         (vmsg) Displays cust_field as part of message classes DE and DW.
9971
9972         * formats.c: (debug_print) Fixed to compile under updated
9973         dictionary format.
9974
9975         * get.c: (cmd_get, cmd_save_internal) Close file handle on
9976         failure.
9977
9978         * misc.c: (parse_format_specifier) Formatting fix.
9979
9980         * modify-vars.c: (struct var_modification) Renamed `n_reorder' as
9981         `n_rename' for clarity.
9982         (cmd_modify_vars) Initializes `forward' and `positional' at
9983         appropriate times.  Frees lists of vars to rename on failure.
9984         Comment fix.  Frees memory on success.  
9985         (rearrange_dict) Simplified `for' loop condition.
9986
9987         * rename-vars.c: New file (reference implementation).
9988         
9989         * set.q: (internal_cmd_set) Fixed `emu' test condition.
9990
9991         * sfm-read.c: (read_header) File label is created only if file
9992         label in file is not blank.
9993         (read_variables) Initializes `dict' local variable.
9994         (read_documents) Proper behavior on lossage.
9995
9996         * sfm-write.c: (write_header) Doesn't blank out the file label
9997         (why was this here to begin with?!)
9998
9999         * temporary.c: (save_dictionary) File label is copied only if
10000         non-NULL.  Doesn't try to xstrdup() dictionary documents.
10001         Adapted so as to not irritate Checker.
10002         (free_dictionary) Only destroys var_by_name if non-NULL.
10003
10004         * title.c: (cmd_file_label) Doesn't skip FILE, LABEL tokens.
10005         (cmd_document) Doesn't skip DOCUMENT token.  Adds some header
10006         lines to the document, indents the document.  Also, it works now.
10007         (add_document_line) New function.
10008
10009         * var.h: (struct dictionary) Reordering.
10010
10011         * vars-prs.c: (parse_variables) On lossage, only local_free()'s
10012         bits if it was allocated to begin with.
10013
10014 Thu Jan 16 13:08:57 1997  Ben Pfaff  <blp@gnu.org>
10015
10016         * command.c: Added MODIFY VARS to list of commands.
10017
10018         * configure.in: Updated custom macros for autoconf 2.12.  Removed
10019         mmap reference; fixed termcap library reference.
10020
10021         * display.c: (display_variables) Fixed a few bugs although it's
10022         still not well written.
10023
10024         * error.c: [!__CHECKER__] (chkr_disp_call_chain) New function.
10025         (induce_segfault) Calls chkr_disp_call_chain() instead of
10026         inducing an actual SIGSEGV.
10027
10028         * expr-opt.c: (evaluate_tree) Swapped order of arguments to
10029         str_search() and str_rsearch().  Fixed tests for matches on
10030         OP_INDEX and OP_RINDEX.
10031
10032         * filename.c: (good_getcwd) Removed as the new libc for Checker
10033         doesn't contain this bug, apparently.
10034
10035         * misc.c: (str_search, str_rsearch) Changed order of arguments for
10036         consistency with GNU memmem.
10037         (blp_getdelim) Changed `len' from `int' to `size_t'.
10038
10039         * modify-vars.c: Reference implementation.
10040
10041         * som-frnt.c: (zero_length) New global var.
10042         (som_create_table) Message fix.
10043
10044         * som.h: Added gcc attributions to som_set_text(),
10045         som_output_text() prototypes.  blank_line() refers to
10046         zero_length[] instead of a literal null string to suppress gcc
10047         warnings.
10048
10049         * sort.c: (do_external_sort) Fixed fencepost error on lossage.
10050         (allocate_cases) Decrements x_max so the last element of x[] can
10051         be used by the algorithm.
10052
10053         * var.h: Changed minor details of `variable' declaration.  
10054         (struct modify_vars_proc) New struct.
10055         (struct variable) Added field p.mfv.
10056
10057         * vars-atr.c: Comment fix.
10058
10059         * vars-prs.c: (fill_all_vars) More optimal implementation.
10060
10061         * vfm.c: (dump_splits) Sets the last byte of temp_buf to a null
10062         character, which it shouldn't have to do but printf() seems to
10063         read the null byte even though I supply a maximum length...
10064
10065 Fri Jan 10 20:22:08 1997  Ben Pfaff  <blp@gnu.org>
10066
10067         * command.c: Removed command alias X for QUIT.
10068         (parse_cmd) Fixed comment parsing.
10069
10070         * dfm.c: (struct dfm_fhuser_ext) Fields `len', `size' are now of
10071         type size_t.
10072         (read_record) Fixed references to len, size.
10073         (dfm_get_record) Restructured.
10074
10075         * file-handle.h: (struct file_handle) Field `lrecl' now of type
10076         size_t.
10077
10078         * file-handle.q: (internal_cmd_file_handle) Checks for nonpositive
10079         record length.
10080
10081         * modify-vars.c: New file.  Not complete.
10082         
10083         * set.q: (set_ccx) Fixed operator precedence problem regarding ^
10084         and ==.
10085
10086         * sfm-read.c: (bswap_flt64, read_header, write_variable) Fixed
10087         problems caused by int/size_t differences.
10088
10089         * sort.c: (output_record, merge_once) Cast `size_t's to `int's in
10090         appropriate spots.
10091
10092         * str.c: (strcasecmp) Fixed bug that cropped up when the strings
10093         being compared were of equal length.
10094
10095 Thu Jan  2 19:08:23 1997  Ben Pfaff  <blp@gnu.org>
10096
10097         * command.c: Added DOCUMENT, DROP DOCUMENTS, FILE LABEL.
10098
10099         * lexer.c: (get_dotted_rest_of_line) New function.
10100
10101         * sel-if.c: (cmd_filter) Cannot choose string or scratch variables
10102         as filters.
10103
10104         * sfm-read.c: (sfm_read_dictionary) Calls read_documents() to read
10105         type 6 records.  Frees the dictionary properly.
10106         (read_header) Initializes the dictionary instead of letting
10107         read_variables() do it.  Sets the dictionary file label from the
10108         system file.
10109         (read_documents) New function.
10110
10111         * sfm-write.c: (sfm_write_dictionary) Calls write_documents() to
10112         write type 6 record if appropriate.
10113         (write_header) Writes file label from dictionary.
10114         (write_documents) New function.
10115
10116         * temporary.c: (save_dictionary, restore_dictionary,
10117         free_dictionary) Properly handle new fields in dictionary struct.
10118
10119         * title.c: (get_title) Returns after failure().
10120         (cmd_file_label, cmd_document, cmd_drop_documents) New functions
10121         for new commands FILE LABEL, DOCUMENT, DROP DOCUMENTS.  Untested.
10122
10123         * var.h: (struct dictionary) New fields `label', `n_documents',
10124         `documents'.
10125
10126 Wed Jan  1 22:08:10 1997  Ben Pfaff  <blp@gnu.org>
10127
10128         * command.c: Added FILTER to list of commands.
10129
10130         * frequencies.g: [WEIGHTING] Removed test for weighting!=-1 since
10131         it's always true.
10132
10133         * get.c: (cmd_save_internal) Removed weighting code since it's now
10134         handled by sfm-write.c.  Properly commented out debug code.
10135
10136         * glob.c: (glob var weighting) Removed.
10137
10138         * sel-if.c: Comment fixes.
10139         (cmd_filter) New function.
10140
10141         * sfm-read.c: (struct sfm_fhuser_ext) New field `weight_index'.
10142         (sfm_read_dictionary) Sets weighting variable direct in the
10143         created dictionary now.  (Apparently we previously didn't support
10144         weighting on GET?)
10145         (read_header) Sets weight_index field in sfm_fhuser_ext from
10146         header read from disk.
10147
10148         * sfm-write.c: (sfm_write_dictionary) Comment fix.
10149         (write_header) Now sets the weighting in the header from the
10150         passed primary dictionary instead of from the sfm_write_info.
10151
10152         * sfm.h: (struct sfm_write_info) Removed field `weight'.
10153
10154         * som-high.c: (dump_crush_table) Fixed a couple of assertions that
10155         broke on boundary conditions.
10156
10157         * var.h: (struct dictionary) New fields `weight_var',
10158         `weight_index', and `filter_var'.
10159         (glob var weighting) Removed.  This is now part of struct
10160         dictionary.  All references changed; the less mechanical changes
10161         are described above.
10162
10163         * vars-atr.c: (find_dict_variable) New function.
10164
10165         * vfm.c: (static var filter_index) New variable.
10166         (open_active_file) Initializes filter_index from default_dict.
10167         (write_case) Calls proc_func() only if the filter variable is
10168         nonzero; this implements FILTER behavior.
10169
10170         * weight.c: (static var weight_varname) Removed.
10171         (cmd_weight) Modified default_dict instead of glob vars.
10172         (update_weighting) Changed the signature to modify a dictionary
10173         instead of glob vars.  Now returns the weighting variable.
10174         (get_weighting_variable) Removed; its function is absorbed by
10175         update_weighting().
10176         (stop_weighting) Operates on a dictionary now.
10177
10178 Wed Jan  1 17:00:59 1997  Ben Pfaff  <blp@gnu.org>
10179
10180         * sort.c: Removed debugging info from messages.
10181         (do_external_sort) Cleans up after itself by deleting the
10182         temporary directory on failure.  (On success it is deleted by the
10183         input program.)
10184         (allocate_cases) Removed debug code.  Added clean up code.
10185         (output_record) Removed debug code.
10186         (merge) Added code to close all the input files that are currently
10187         open.  This is a likely location for bugs, because I'm not sure
10188         about boundary conditions.  Removed an unnecesary heap_delete().
10189         (merge_once) Removed input file "optimization" that in fact
10190         screwed up the rest of the code.  Message and comment fixes.
10191
10192 Sun Dec 29 21:36:48 1996  Ben Pfaff  <blp@gnu.org>
10193
10194         * error.c: [__CHECKER__] (induce_segfault) Flushes output streams.
10195
10196         * heap.c: (heap_delete) New argument.
10197
10198         * sort.c: Finished implementation of external sort.
10199
10200         * vfm.c: (read_from_disk) Returns after a disk error.
10201
10202 Sun Dec 22 23:10:39 1996  Ben Pfaff  <blp@gnu.org>
10203
10204         * sort.c: (static var state) Removed.
10205         (static vars max_handles, tmp_basename, tmp_extname,
10206         huffman_queue) New variables.
10207         (do_external_sort) Moved most code to new functions.
10208         Creates huffman_queue.
10209         (allocate_file_handles, allocate_cases) New functions.
10210         (static vars run_no, run_length, file_index, case_count) New
10211         variables. 
10212         (output_record) Returns success.  Now really writes to the output
10213         file.
10214         (begin_run, end_run) New functions.
10215         (write_initial_runs) Returns success.  Initializes run_no to -1.
10216         Calls begin_run(), end_run() at appropriate times.  Outputs debug
10217         messages.
10218         (write_to_sort_cases) Calls begin_run(), end_run() at appropriate
10219         times.
10220         (merge) New function.
10221
10222         * heap.c, heap.h: New files.  Hopefully in near-final form.
10223
10224 Sat Dec 21 21:51:04 1996  Ben Pfaff  <blp@gnu.org>
10225
10226         * glob.c: Added write_active_file to global vars.
10227
10228         * sort.c: Several new miscellaneous static variables.
10229         (cmd_sort_cases) Big comment fix.
10230         (perform_case_2) Renamed `do_external_sort' and completely
10231         rewritten.
10232         (case_2_proc_func) Removed.
10233         (output_record, write_initial_runs, write_to_sort_cases,
10234         compare_record) New functions.
10235
10236         * vfm.c: [DEBUGGING] (index_to_varname) Excised bit rot.
10237
10238 Tue Dec 17 18:57:59 1996  Ben Pfaff  <blp@gnu.org>
10239
10240         * sort.c: (perform_case_2) Changed the method for allocation of
10241         lots of memory--now allocates one case at a time in hopes that
10242         more cases can be allocated with heavily fragmented memory.
10243
10244         * var.h: (write_active_file) New global var.
10245
10246         * vfm.c: (procedure, close_active_file, write_case,
10247         SPLIT_FILE_procfunc) Now allow beginfunc, procfunc, and endfunc
10248         arguments to procedure() to be NULL.  All references to
10249         procedure() that made use of dummy functions were changed to NULL
10250         functions.
10251         (open_active_file) If write_active_file is non-NULL, the output
10252         device becomes DEV_PGM (a new enum).
10253         (close_active_file) Sets write_active_file to NULL.
10254         (read_from_memory) Comment fix.
10255         (record_case) Calls write_active_file() when the output device is
10256         DEV_PGM.
10257
10258 Sun Dec 15 15:32:16 1996  Ben Pfaff  <blp@gnu.org>
10259
10260         * sort.c: New file.
10261
10262         * autorecode.c: (cmd_autorecode) Fixed parsing of options.
10263         Fixed checking for duplicate varnames.
10264         (recode) xmalloc()'s the transformation instead of arena_alloc()'ing
10265         it.
10266         (autorecode_trns_free) Destroys hash tables for each recoding
10267         specification.
10268         (autorecode_proc_func) Compares NULL to *vpp instead of vpp.
10269
10270         * command.c: Added SORT CASES to cmd_table.
10271         (null_func, null_int_func) Prototyped.
10272
10273         * descript.g: (calc_weight, calc_noweight) Computes own case
10274         number now.
10275         
10276         * frequencies.q: (dump_statistics) Fixed problem with
10277         too-few-cases warning message.
10278
10279         * get.c: (cmd_save_internal) Handles weighting properly.
10280
10281         * hash.c: (hsh_dump) Output format changed.
10282         (force_hsh_insert) Actually works now, prototype changed.
10283
10284         * list.q: (static var case_num) New variable.
10285         (cmd_list) Initializes case_num.
10286         (list_cases) Increments case_num.
10287
10288         * var.h: Added definitions for SORT CASES.  Comment fixes.
10289
10290         * vfm.c: Some definitions moved to new file vfmP.h.  Comment
10291         fixes.  `active' renamed vfm_active, `rep' renamed
10292         vfm_replacement, all references changed.
10293         (procedure) The procfunc no longer receives a case number.  All
10294         references changed.
10295         (write_case) Subtle reordering.
10296         (SPLIT_FILE_procfunc) Counts cases differently.  Slightly less
10297         redundant.
10298
10299         * weight.c: (get_weighting_variable) New function.
10300
10301         * vfmP.h: New file with definitions from vfm.c.
10302
10303 Sat Dec 14 10:35:30 1996  Ben Pfaff  <blp@gnu.org>
10304
10305         * command.c: (FILE_TYPE_okay) Commented out some tests because
10306         they're clumsy and not yet needed.
10307
10308         * var.h: Most *_trns structures moved to their respective source
10309         files.  Some were moved into a new file, do-ifP.h.  Comment fixes.
10310         (union any_trns) Changed to a typedef for trns_header.
10311         (struct input_program_pgm) Removed.
10312
10313         * vars-prs.c: (parse_variables) Only local_free()'s bits if it
10314         was allocated in the first place.
10315
10316 Fri Dec 13 21:30:53 1996  Ben Pfaff  <blp@gnu.org>
10317
10318         * autorecode.c: New file.
10319         
10320         * command.c: Added AUTORECODE to command table; re-enabled SET.
10321
10322         * data-out.c: (convert_F) Handles infinities and NaNs properly.
10323
10324         * error.c: (vmsg) Comment fixes.
10325
10326         * hash.c: Comment fix.
10327         (hashpjw_d) New function.
10328         (hashpjw) Reimplemented as call to more general function
10329         hashpjw_d().
10330         (internal_comparison_fn) Initializes pointers properly.
10331         (hsh_sort) [GLOBAL_DEBUGGING] New debugging code.
10332         (force_hsh_insert, force_hsh_find) New debugging wrapper
10333         functions.
10334
10335         * main.c: (main) Message fix.
10336
10337         * output.c: (outp_read_devices) Message fix.
10338
10339         * set.q: Comment fixes.
10340         (custom_results) Implemented Wnd/X form of subcommand.
10341         (set_routing) New function.
10342         (internal_cmd_set) Implemented ERRORS, MESSAGES.
10343
10344         * settings.h: (SET_ROUTE_*) New enum series.
10345         (set_results) Renamed set_results_file, all references changed.
10346         (set_messages) Removed.
10347         (glob vars set_errors, set_messages, set_results) New vars.
10348
10349         * title.c: (get_title) Remembers to xstrdup() the result of
10350         get_rest_of_line().
10351
10352         * var.h: (arc_item, arc_spec, autorecode_trns) New structures for
10353         use by AUTORECODE.
10354         (union any_trns) New element `arc'.
10355
10356 Fri Dec  6 23:53:47 1996  Ben Pfaff  <blp@gnu.org>
10357
10358         * command.c: (output_line) Removed references to set_screen.
10359
10360         * error.c: (static var terminating) New var.
10361         (hcf) Sets terminating to 1.
10362         (vmsg) If terminating is nonzero, does not attempt to call hcf().
10363         This prevents an infinite loop if an error occurs within hcf().
10364
10365         * expr-evl.c: (evaluate_expression) [__CHECKER__] Replaced case
10366         statement circumlocution with `case 42000' trick.
10367         (evaluate_expression) New support for OP_STR_MIS.
10368
10369         * expr-opt.c: (evaluate_expression) [__CHECKER__] Replaced case
10370         statement circumlocution with `case 42000' trick.
10371         (dump_node) Handles OP_STR_MIS.
10372
10373         * expr-prs.c: (MISSING_func, SYSMIS_func) Rewrote to handle string
10374         variables exceptions.
10375         (parse_function) Message fix.
10376         (ops[]) Added OP_STR_MIS.
10377
10378         * expr.h: Added OP_STR_MIS to OP_* enum.  Comment fixes.
10379
10380         * exprP.h: [__CHECKER__] Removed case statement circumlocution.
10381
10382         * glob.c: Removed set_scrnfile glob var.
10383         (init_glob) set_errorbreak set to 0 by default.
10384
10385         * groff-font.c: Changed included files.
10386         (groff_read_font) Initializes font_arena local var correctly.
10387         (default_font) New function.
10388
10389         * output.c: Comment fixes.
10390         (glob var disabled_devices) New variable.
10391         [GLOBAL_DEBUGGING] (static var iterating_driver_list) New
10392         variable.
10393         [GLOBAL_DEBUGGING] (reentrancy) New function.
10394         [GLOBAL_DEBUGGING] (outp_read_devices, outp_done, find_driver,
10395         outp_iterate_enabled_drivers) Calls to reentrancy().
10396         (destroy_list) New function.
10397         (outp_done) Moved code to destroy_list().
10398         (parse_options) Parses `listing', `screen', `printer' options
10399         internally.
10400         (configure_driver) Sets new `device' member of driver.
10401         (outp_iterate_enabled_drivers, outp_enable_device) New functions.
10402
10403         * output.h: Comment fixes.  New enum series OUTP_DEV_*.
10404         (struct outp_driver_struct) New member `device'.
10405
10406         * postscript.c: (find_encoding_file) Doesn't display its own error
10407         messages.
10408         (default_encoding) New function.
10409         (switch_font) Calls default_encoding() if no encoding can be
10410         found.
10411         (text) Makes up a character metric if none exists for the desired
10412         character.
10413         (load_font) Properly copies a fallback filename.  Calls
10414         default_font() for a font if none at all are known.
10415
10416         * set.q: Comment fixes.  Removed OUTPUT subcommand.
10417         (custom_listing) Calls outp_enable_device() to enable/disable
10418         listing device.
10419         (turn_screen_on) Removed.
10420         (internal_cmd_set) Calls outp_enable_device() to enable/disable
10421         screen, printer devices.
10422
10423         * settings.h: Comment fixes.
10424         (glob vars set_output, set_printer, set_screen, set_scrnfile)
10425         Removed.
10426
10427         * som-high.c: (som_submit_table, som_eject_page) Use
10428         outp_iterate_enabled_drivers() instead of iterating
10429         outp_driver_list directly.
10430
10431 Wed Dec  4 21:34:17 1996  Ben Pfaff  <blp@gnu.org>
10432
10433         * data-in.c: (parse_EDATE, parse_SDATE) New functions.
10434         (parse_string_as_format) Handles new formats.
10435         (parse_numeric) Now handles DOT and PCT formats.
10436
10437         * data-out.c: (convert_E, convert_F, insert_commas) Handle DOT
10438         format now.
10439         (convert_date) Handle EDATE and SDATE formats.
10440         (convert_CCx) Now if there's not room for the currency characters,
10441         converts it as F format if it's positive instead of giving up
10442         quickly.  Also fixed save-and-restore bug with decimal point
10443         characters.  
10444         (convert_format_to_string) Handles new formats.
10445
10446         * misc.c: (formats[]) Added new formats.
10447         (convert_fmt_ItoO) Supports new formats.
10448
10449         * sfm-read.c: (parse_format_spec) Supports new formats.  Better
10450         data checking.  New argument, all references changed.
10451
10452         * sfm-write.c: (write_format_spec) Supports new formats.
10453
10454         * var.h: New formats FMT_DOT, FMT_PCT, FMT_EDATE, FMT_SDATE.
10455         Comment fixes.
10456
10457 Sun Dec  1 17:19:00 1996  Ben Pfaff  <blp@gnu.org>
10458
10459         * cmdline.c: Comment fixes.
10460         (parse_command_line) Changed return type to void.
10461
10462         * data-in.c: (parse_string_as_format) Added FMT_CCA...FMT_CCE to
10463         switch.
10464         (parse_numeric) Handles international numbers (comma as decimal
10465         point).  Some reformatting.
10466
10467         * data-list.c: (parse_free) Default output format is now
10468         set_format instead of hard-coded F8.2.
10469         (read_from_data_list_list) Emits error message on undefined data
10470         only if set_undefined is nonzero.
10471
10472         * data-out.c: (convert_E) Changes decimal point from period to
10473         comma if appropriate.  Restructured.  Better comments.
10474         (convert_F) Changes decimal point from period to comma if
10475         appropriate.
10476         (insert_commas) Major bug with handling of negative values fixed.
10477         Also, inserts periods instead of commas if appropriate.
10478         (convert_CCx) New function.
10479         (convert_format_to_string) Added FMT_CCA...FMT_CCE to switch.
10480         (num_to_string) Changed `.' to set_decimal.
10481
10482         * dfm.c: Comment fixes.
10483         (dfm_close) Frees ext->line even in inline_file.
10484         (open_inline_file) New function.
10485         (open_file_r) When opening the inline file: now properly
10486         recognizes `BEGIN DATA.' line, and calls open_inline_file() to
10487         finish up.
10488         (read_record) Calls fh_close_handle() instead of dfm_close() to
10489         close the inline file.  Makes a copy of the line getl_buf to avoid
10490         interlock problems.
10491         (dfm_get_record) Restructured.  Now checks the return value of
10492         open_file_r().
10493         (cmd_begin_data) Moved open code into open_inline_file().  Relaxed
10494         checking for use of inline file.  No longer tries to close inline
10495         file.
10496
10497         * error.c: (glob var error_already_flagged) New var.
10498         (vmsg) Message change.  Now checks max number of errors/warnings,
10499         acts on it.
10500
10501         * file-handle.q: (fh_handle_name) Now allows closing of
10502         inline_file.
10503         (fh_init_files) Reformatted.
10504
10505         * get.c: (trim_dictionary) Checks SCOMP option instead of COMP.
10506
10507         * getline.c: (getl_include) Fixed bug that popped up when called
10508         when file queue was empty.
10509         (read_console) Resets error_count, warning_count,
10510         error_already_flagged to zero.
10511
10512         * glob.c: Many changes to update list of variables.
10513         (init_compat_dependent) Now this function is called whenever
10514         `compat' changes.  It now sets set_seed only if it hasn't
10515         previously been referenced.  It now calls
10516         lex_init_compat_dependent().
10517
10518         * include.c: (cmd_include_at) Frees temporary buffer instead of
10519         line buffer.  
10520         (cmd_include) Doesn't make copy of include file name.
10521
10522         * lexer.c: Comment fixes.
10523         (init_lex) Moved some code into new function
10524         lex_init_compat_dependent().
10525         (lex_init_compat_dependent) New function.
10526         (hex_val) Simplified.
10527         (preprocess_line) Uses set_endcmd instead of hardcoding `.'.
10528
10529         * main.c: Comment fixes.
10530         (main) Reformatted.
10531
10532         * misc.c: (formats[]) Added FMT_CCA...FMT_CCE.
10533         (check_input_specifier) Disallows FMT_CCA...FMT_CCE.
10534         (convert_fmt_ItoO) Detects FMT_CCA...FMT_CCE.
10535         (setup_randomize) Sets set_seed_used.
10536
10537         * set.q: Comment fixes.
10538         (custom_results) Conditionalizes on `compat'.
10539         (custom_log) Calls custom_journal().
10540         (set_ccx) New function.
10541         (cmd_set) Calls init_compat_dependent() when `compat' changes.
10542         Calls set_ccx() to handle CCA...CCE.  Sets set_grouping
10543         when set_decimal changes.  Range-checks values for MITERATE,
10544         MNEST.  Message fixes.
10545
10546         * settings.h: Comment fixes.
10547         (struct set_cust_currency) New struct.
10548         (set_cc[], set_grouping, set_seed_used) New global vars.
10549
10550         * var.h: (FMT_CCA...FMT_CCE) New output formats.
10551         (FCAT_OUTPUT_ONLY) New FCAT_* constant.
10552
10553 Thu Nov 28 23:14:07 1996  Ben Pfaff  <blp@gnu.org>
10554
10555         * glob.c: Revised variables to correspond to settings.h.
10556         (init_glob) Initializes variables from settings.h properly.
10557
10558         * set.q: Began long-overdue major revision to correspond to new
10559         philosophy.  Most code changed. 
10560
10561         * settings.h: Mostly changed; reorganized, reordered, large new
10562         comment.
10563
10564 Thu Nov 28 19:46:10 1996  Ben Pfaff  <blp@gnu.org>
10565
10566         * get.c: (cmd_save_internal) No longer forces compression off.
10567
10568         * sfm-read.c: (read_compressed_data) If eof is reached when
10569         reading a new instruction octet, only signal error if we're in the
10570         middle of a case.
10571
10572         * sfm-write.c: (COMPRESSION_BIAS) New #define.
10573         (struct sfm_fhuser_ext) New member `end'.
10574         (write_header) Refers to COMPRESSION_BIAS instead of magic 100.0.
10575         (ensure_buf_space) New function.
10576         (sfm_write_case) Reimplemented in order to support compression.
10577         (sfm_close) Writes out the remaining contents of the compression
10578         buffer if any.
10579
10580 Wed Nov 27 23:18:35 1996  Ben Pfaff  <blp@gnu.org>
10581
10582         * command.c: Defined SAVE and XSAVE commands in command table.
10583
10584         * common.h: second_lowest_value is of type flt64, not double.
10585
10586         * file-handle.h: Comment fix.
10587
10588         * get.c: Comment fixes.
10589         (static var `trns') New.
10590         (save_write_case_func, save_trns_proc, save_trns_free, null_func,
10591         cmd_save_internal, cmd_save, cmd_xsave) New functions.
10592         (dict_delete_run) Clears the variables and frees them now.
10593         (trim_dictionary) Sets default for compression.
10594         On KEEP subcommand, frees deleted variables as well as clearing
10595         them.  Finally got the sense of the test for deleting all
10596         variables correct.
10597         [DEBUGGING] (dump_dict_variables) Message fix.
10598
10599         * glob.c: (init_glob) set_compression set to 1 by default.
10600
10601         * list.q: Properly #includes config.h.
10602
10603         * misc.h: New macro REM_RND_UP.
10604
10605         * settings.h: Comment fix.
10606
10607         * sfm-read.c: (structs sysfile_header, sysfile_format,
10608         sysfile_variable; inline function bswap_int32) Moved to new file
10609         sfmP.h.
10610         (corrupt_msg) [__CHECKER__] No longer induces segfault.
10611         (sfm_read_dictionary) Fixed bug caused by failing to initialize
10612         var_by_index.
10613         (read_machine_flt64_info) Fixed some problems caused by confusion
10614         between flt64 and double types.
10615         (read_header) Message fix.
10616         (read_variables) Fixed set of cases in which we byte-swap sv.print
10617         and sv.write.  Fixed confusion of flt64 and double.
10618
10619         * sfm.h: (struct sfm_write_info) New.
10620
10621         * som-high.c: (som_draw_title) Properly frees `s'.
10622
10623         * temporary.c: (save_dictionary) Comment fix.
10624
10625         * var.h: Comment fixes.  New FMT_* enum, FMT_NUMBER_OF_FORMATS.
10626         (struct trns_header) Formatting fix.
10627         (struct save_trns) New.
10628
10629         * vars-atr.c: (discard_variables) Comment fix.
10630
10631         * sfm-write.c: New file, baseline release.
10632
10633         * sfmP.h: New file, baseline release.
10634
10635 Sun Nov 24 14:53:53 1996  Ben Pfaff  <blp@gnu.org>
10636
10637         * cmdline.c: (parse_command_line) `--version' output updated.
10638         (glob var syntax_message[]) Added my e-mail address.
10639
10640         * file-handle.q, lexer.c, vfm.c: Changed many instances of
10641         `illegal' to `invalid'.
10642
10643         * sfm-read.c: (struct sfm_fhuser_ext) New fields used as
10644         uncompression buffer.
10645         (sfm_close) Frees decompression buffer.
10646         (sfm_read_dictionary) Initializes decompression buffer.
10647         (buffer_input, read_compressed_data) New functions.
10648         (sfm_read_case) Restructured; now calls read_compressed_data() to
10649         handle compressed system file data.
10650
10651         * var.h: Comment fix.
10652
10653 Mon Nov 11 15:34:09 1996  Ben Pfaff  <blp@gnu.org>
10654
10655         * dfm.c: (dfm_close) Does not set h->{ext,class} because the
10656         caller handles it.
10657          
10658         * get.c: New comments.  New static var `get_file'.
10659         (cmd_get) Now fully implemented.  Calls discard_variables();
10660         initializes fv and lv for all variables; new debug code; sets
10661         up the dictionary; sets up the input program.
10662         (read_from_get, cancel_get) New functions.
10663
10664         * sfm-read.c: Comment fixes.
10665         (sfm_close) New static function.
10666         (sfm_read_dictionary) Properly sets up the class of the
10667         file_handle.  No longer cares what size the data is in records of
10668         type 7.  Also, on failure, properly cleans up the file_handle and
10669         free()s some stuff.
10670         (read_variables) No longer thinks it knows `nval' of the
10671         dictionary.  Now sets p.get.fv, etc., instead of speculatively
10672         setting fv itself.
10673         (read_value_labels) Fixed off-by-one error in indexing of
10674         var_by_index[].
10675         (sfm_read_case) New function.
10676         (sfm_r_class) New static var.
10677
10678         * var.h: (get_proc) New struct.
10679         (struct variable) New member p.get.
10680
10681 Thu Nov  7 20:52:28 1996  Ben Pfaff  <blp@gnu.org>
10682
10683         * get.c: Removed GTSV_OPT_MAP because of a misinterpretation of
10684         the manual's meaning.
10685         (rename_variables) New function.
10686         (trim_variables) Doesn't try to parse MAP any more.  Removed debug
10687         code.  Now properly reorders the dictionary on the KEEP keyword.
10688
10689         * sfm-read.c: (read_value_labels) Fixed some bugs regarding
10690         garbage collection.
10691
10692         * vars-atr.c: (clear_variable) New argument `dictionary *'.
10693         (rename_variable) New function.
10694         (free_val_lab) Reformatted.
10695
10696 Thu Nov  7 17:29:16 1996  Ben Pfaff  <blp@gnu.org>
10697
10698         * var.h: Reindented entire file.  Comment fixes.
10699         (glob vars var, var_by_name, nvar, N, nval, n_splits, splits)
10700         Removed.
10701         (glob var default_dict) New.
10702         (struct indirect_dictionary) Removed.
10703
10704         * Many other source files were changed to add `default_dict.'
10705         before all references to the dictionary of the active file.
10706         
10707         * vars-atr.c: (make_indirect_dictionary) Removed.
10708
10709         * glob.c: Reindented all variable declarations.  Updated for
10710         changed var.h.  Comment fixes.
10711
10712         * temporary.c: (restore_dictionary, save_dictionary) Simplified
10713         because now we can mainly copy dictionary structs.
10714
10715         * vars-prs.c: (is_dict_varname, parse_dict_variable,
10716         parse_variables) Takes dictionary instead of indirect_dictionary
10717         first argument.
10718         (parse_variables) Instead of calling make_indirect_dictionary,
10719         just sets DICT to &default_dict if DICT is NULL.  Of course, lots
10720         of `*dict.' references had to be changed to `dict->'.  Removed
10721         debug code.
10722
10723 Thu Nov  7 15:48:52 1996  Ben Pfaff  <blp@gnu.org>
10724
10725         * get.c: Added GTSV_OPT_* series of enums.
10726         (trim_dictionary, dict_delete_run) New functions.
10727         [DEBUGGING] (dump_dict_variables) New function.
10728         (cmd_get) Calls trim_dictionary() to get dictionary fully set-up.
10729         [DEBUGGING] Calls dump_dict_variables() to display results.
10730
10731         * glob.c: (cmp_variable) Now a public function declared in var.h.
10732
10733         * sfm-read.c: Turned off debug code.  Comment fixes.
10734         (read_machine_int32_info, read_machine_flt64_info) New functions
10735         to parse type 7 records.
10736         (sfm_read_dictionary) Properly byteswaps several fields now.
10737         Calls read_machine_*_info() to parse type 7 subtypes 3 and 4
10738         records.  [DEBUGGING] Dumps dictionary.
10739         (read_variables) Sets `index' field of variables created properly.
10740         Constructs avl tree of variables in dictionary.  [DEBUGGING] No
10741         longer dumps dictionary.
10742         (read_value_labels) Properly byteswaps fields.  [DEBUGGING] New
10743         debug code.
10744         [DEBUGGING] (dump_dictionary) No longer stubbed out.
10745
10746         * temporary.c: (restore_dictionary) Destroys `var_by_name' glob
10747         var before destroying any variables just to save a little time.
10748
10749         * var.h: (struct variable) Reordered in order to make name[] the
10750         first member; this makes pointers to `variable' pointers to the
10751         variable name, simplifying avl trees, etc.
10752         (struct indirect_dictionary) New struct.
10753
10754         * vars-atr.c: (find_variable) Rewritten for efficiency.
10755         (make_indirect_dictionary, is_dict_varname, parse_dict_variable)
10756         New functions.
10757         (is_varname) Rewritten for efficiency.
10758         (parse_variables) New argument, which is a `dictionary *'.  All
10759         references changed.  This function now reads variable names from
10760         the dictionary passed, or from the default dictionary if NULL.
10761
10762 Tue Nov  5 18:34:59 1996  Ben Pfaff  <blp@gnu.org>
10763
10764         * misc.h: Added new macro DIV_RND_UP to perform integer division,
10765         rounding up.  Changed many references to ROUND_UP to use this
10766         instead.
10767
10768         * sfm-read.c: Includes avl.h.
10769         (corrupt_msg) Induces a segfault under Checker.
10770         (macro assertive_bufread) New.  Many references to bufread() now
10771         use this instead.
10772         (sfm_read_dictionary) Split up into several functions.  Added code
10773         to read dictionary records following the the type 2 records.  Not
10774         quite complete.  New variable `var_by_index'.
10775         (read_header, read_variables) New functions extracted from
10776         sfm_read_dictionary().
10777         (read_value_labels) New function.
10778         (bufread) Checks ferror() if fread() doesn't return the expected
10779         value; if ferror() is zero it's just EOF.
10780         (dump_dictionary) Stubbed out.
10781
10782         * BTW: The source code now exceeds 50000 lines!
10783         
10784 Mon Nov  4 22:03:28 1996  Ben Pfaff  <blp@gnu.org>
10785
10786         * command.c: Added GET to cmd_table[].
10787
10788         * list.q: Removed reference to alloca headers.
10789         (cmd_list) Gave prototype.
10790
10791         * sfm-read.c: Added DEBUGGING comments.
10792         (sfm_read_dictionary) Checks bias correctly.  Sets
10793         dict->var_by_name to NULL.  Calculates long_string_count
10794         correctly.  realloc's dict->var[] array to minimum size.
10795         [DEBUGGING] Calls dump_dictionary.
10796         [DEBUGGING] (dump_dictionary) New function.
10797
10798         * temporary.c: (save_dictionary) Sets var_by_name to NULL.
10799         (restore_dictionary) If the dictionary contains a non-NULL
10800         var_by_name, uses that instead of generating one.
10801         (free_dictionary) Destroys var_by_name.
10802
10803         * var.h: (struct dictionary) Added field `var_by_name'.
10804
10805         * get.c: New file, not complete.
10806
10807 Sun Nov  3 12:24:36 1996  Ben Pfaff  <blp@gnu.org>
10808
10809         * mis-val.c: New enums MV_NOR_*.  New struct num_or_range.
10810         (parse_num_or_range) New function.
10811         (parse_numeric) Reimplemented in order to support LOW THRU <n> and
10812         <n> THRU HIGH missing values.
10813
10814         * output.h: [__GNUC__>1 && __OPTIMIZE__] (width, height) Made
10815         __attribute__((const)).
10816
10817         * q2c.c: (get_token) Merged isdigit || isalpha into isalnum.
10818
10819         * sfm-read.c: Finished reference implementation.
10820
10821         * sfm.h: Includes var.h.
10822
10823         * var.h: Comment fixes.
10824         (struct `variable') Reordered some fields.
10825
10826         * vars-atr.c: (is_num_user_missing) Added support for MISSING_*
10827         constants added previously.
10828
10829 Wed Oct 30 17:13:08 1996  Ben Pfaff  <blp@gnu.org>
10830
10831         * common.h: Comment fixes.  Added declaration of
10832         `second_lowest_value' as variable or macro.  Made `compat_type',
10833         `pgm_state_type' into anonymous enums.
10834
10835         * display.c: Comment fix.
10836
10837         * glob.c: [ENDIAN==UNKNOWN] Added definition for `endian' global
10838         var.
10839         [!defined SECOND_LOWEST_VALUE] Added definition for
10840         `second_lowest_value' global var.
10841         (compat, pgm_state global vars) Changed types to `int'.
10842         (init_glob) Initializes `second_lowest_value'.
10843
10844         * sfm-read.c: Continued work, not complete.
10845
10846         * var.h: Added new MISSING_* constants to handle LOWEST and
10847         HIGHEST.
10848
10849 Sat Oct 26 23:06:06 1996  Ben Pfaff  <blp@gnu.org>
10850
10851         * sfm-read.c: New file, not complete.
10852
10853         * cases.c: (vec_insert) Changed vector expansion algorithm.
10854         (vec_delete) Fixed bug that screwed up deletion sometimes, it was
10855         mucking up the RECODE transformation in particular.
10856         (envector) Harmless change in notation.
10857
10858         dfm is now fairly well tested again.  
10859         * dfm.c: (dfm_get_record) Only returns ext->ptr if ext is
10860         non-NULL--duh.
10861         (cmd_begin_data) if(ext->line) replaced by if(ext && ext->line).
10862
10863         * recode.c: Comment fix.
10864
10865         * sfm.h: Interface should be fairly final now, or at least for a
10866         day or so...
10867
10868         * vfm.c: [DEBUGGING] (index_to_varname) New function.
10869         (open_active_file) [DEBUGGING] Translates ccase indices into
10870         variable names now to make it easier to understand what's really
10871         going on.
10872
10873 Sat Oct 26 20:46:31 1996  Ben Pfaff  <blp@gnu.org>
10874
10875         * data-in.c: Comment fix.
10876
10877         * data-list.c: Includes dfm.h.
10878         (do_reading) Uses new function dfm_push_cust().
10879
10880         * data-out.c: (convert_time, convert_WKDAY, convert_MONTH) Added
10881         `return 1;' at end.
10882
10883         * file-handle.h: Completely changed.  Some parts split off into
10884         new file dfm.h.  Implemented in file-handle.q.
10885         (enum FH_*) Removed.
10886         (struct fh_ext_class) New struct.
10887         (struct file_handle) Retained only these fields: name, norm_fn,
10888         fn, recform, lrecl, mode.  New fields class, ext.
10889         (get_handle_by_name, get_handle_by_filename, parse_file_handle,
10890         close_handle, handle_name) Added `fh_' prefix to name, all
10891         references changed.
10892
10893         * dfm.h: New file, implemented in dfm.c.
10894         (get_record, put_record, fwd_record, bkwd_record, set_record,
10895         get_cur_col) Functions moved from file-handle.h, now prefixed with
10896         `dfm_'.
10897         (dfm_push_cust) New function.
10898
10899         * sfm.h: New file.  Incomplete.
10900
10901         * dfm.c: All functions adjusted/rewritten for new dfm/fhp
10902         interface.  Functions reordered, comments changed.  Not well
10903         tested, probably full of bugs.
10904         (struct dfm_fhuser_ext) New struct.
10905         (dfm_close) New function.
10906         (open_file_r) Pickier about finding `BEGIN DATA.' line.
10907         (open_file_w) User messages changed.
10908         (get_record) Comment fixed.
10909         (read_record) Increments ext->ln even for inline_file.  Calls
10910         dfm_close() for inline_file when `END DATA.' encountered.
10911         (dfm_get_record) Experimental restructuring.
10912         (dfm_push_cust) New function.
10913         (cmd_begin_data) Detects whether the inline file was fully read by
10914         checking whether it is still open; detects whether it was read at
10915         all by checking whether the line number is greater than zero.
10916
10917         * file-handle.q: All functions adjust/rewritten for new dfm/fhp
10918         interface.  Functions reordered, comments changed.  Not well
10919         tested, probably full of bugs.
10920         (init_file_handle) Removed initializers for obsolete fields, added
10921         new fields.
10922         (fh_close_handle) Much simpler, now mainly calls the class
10923         function.
10924         (fh_init_files) Renamed inline file internal filename.
10925
10926         * file-type.c: Includes dfm.h.
10927         (read_from_file_type) Doesn't use dfm internal state anymore.
10928
10929         * inpt-pgm.c, print.c: Include dfm.h.
10930
10931         * recode.c: (internal_cmd_recode) Casts strlen() return value to
10932         int in comparison with other int.
10933
10934         * som-high.c: (build_target) Fixed operator precedence problem in
10935         if statement (& versus ==).
10936
10937 Sat Oct 26 10:39:25 1996  Ben Pfaff  <blp@gnu.org>
10938
10939         * dfm.c: (read_record) Can now read fixed-length records; not
10940         tested.
10941         (put_record) Can now write fixed-length records; not tested.
10942
10943         * file-handle.h: FH_* defines changed to enums.  New enum series
10944         FH_RF_*, FH_MD_*.
10945         (struct file_handle) New members recform, lrecl, mode.
10946
10947         * file-handle.q: Parser changed.
10948         (internal_cmd_file_handle) Added support for new /RECFORM, /MODE,
10949         /LRECL subcommands.  These are compatible with Windows.
10950         (init_file_handle) Initializes recform, mode fields.
10951
10952         * q2c.c: (get_line) When outputting `!' comment lines, now
10953         increments the output file line number so that `#line' directives
10954         are correct.
10955         (make_identifier) New function that converts an arbitrary string
10956         into a valid C identifier.
10957         (dump_vars) Calls make_identifier() in two places in order to
10958         suppress some errors for bad identifiers.
10959         (make_match) Allows TRUE as synonym for YES and FALSE as synonym
10960         for NO.  Allows numbers to be prefixed by underscores to make them
10961         acceptable C identifiers but still to be parsed as numbers by the
10962         Fiasco lexer.
10963
10964 Thu Oct 24 20:13:42 1996  Ben Pfaff  <blp@gnu.org>
10965
10966         * command.c: Re-enabled RECODE, SAMPLE, SELECT IF.
10967         
10968         * dfm.c: Comment fixes. (get_record) Gives error if file handle
10969         was opened for writing.
10970         (open_file_w) New function.
10971         (read_record) Uses strncasecmp if available.  Improved error
10972         messages, comments.
10973         (put_record) New function.
10974
10975         * file-handle.h: Moved function comments into dfm.c and
10976         file-handle.q.  Comment fixes.  Removed declarations of
10977         tilde_expand() and normalize_filename().
10978         (struct file_handle) Changed `open' from boolean to enumerated
10979         field to allow for three states--closed, open for reading, open
10980         for writing--all references changed.
10981
10982         * file-handle.q: Includes filename.h.
10983
10984         * print.c: (CMD_* enums) Renamed PRT_* and moved into var.h; all
10985         references changed.
10986         (alloc_line) Makes allowance for line terminator characters in
10987         calculations.
10988         (print_trns_proc) Now handles OUTFILE, WRITE differences.
10989         (print_space_trns_proc) Handles OUTFILE differences.
10990
10991         * recode.c, sample.c: Comment fixes.
10992
10993         * var.h: (struct print_trns) Changed boolean field `eject' to
10994         bitmapped field `options'; all references changed.  New enums
10995         PRT_* for use with this field.
10996
10997         * exception.h, test-exception.c: Removed.
10998
10999 Thu Oct 24 17:47:14 1996  Ben Pfaff  <blp@gnu.org>
11000
11001         * ascii.c: (delineate) Turned off debug output.
11002
11003         * common.c: [Checker and Linux] (__assert_fail, __eprintf) Moved
11004         to error.c.
11005
11006         * data-in.c: (parse_string_as_format) Sets the entire string value
11007         to spaces, not just the short string part of it.  Is this correct
11008         now? 
11009
11010         * data-out.c: (convert_date) Fixed DATETIME format problems with
11011         decimal places, removed debug code.
11012
11013         * dfm.c: (open_file_r) Fixed bug where an error would occur in the
11014         middle of parsing BEGIN DATA that would cause the lexer to read
11015         from a wild pointer `prog'; now calls new function
11016         preprocess_line() in lexer.c.
11017
11018         * error.c: [__CHECKER__] (hcf) Calls induce_segfault() on improper
11019         termination.
11020         [Checker and Linux] (__assert_fail, _eprintf) Moved from common.c.
11021         Now call induce_segfault() to induce the segfault.
11022         (induce_segfault) New function.
11023
11024         * expr-opt.c: Comment fix.
11025         (parse_sysvar) New function.
11026         (parse_primary) Added system variable support--calls
11027         parse_sysvar().
11028         (global var ops) Added OP_CASENUM operator.
11029
11030         * expr.h: Comment fixes.
11031         (OP_* enum) added OP_CASENUM operator.
11032         (struct casenum_node) New struct.
11033         (union any_union_union) New member `cas' of type `casenum_node'.
11034
11035         * glob.c: (global var last_vfm_invocation) New var.
11036         (init_glob) Initializes last_vfm_invocation.
11037
11038         * lexer.c: (lookahead) Fixed reversed condition on if statement.
11039
11040         * getline.c: (get_line) Split into get_line() and preprocess_line().
11041         (preprocess_line) New function.
11042
11043         * var.h: Declares last_vfm_invocation.
11044
11045         * vfm.c: (procedure) Sets last_vfm_invocation.
11046
11047 Wed Oct 23 21:53:43 1996  Ben Pfaff  <blp@gnu.org>
11048
11049         * command.c: (parse_cmd) Fixed bad assertion related to
11050         lookahead().
11051
11052         * data-in.c: (parse_month) Implemented to parse months according
11053         to full interpretation of standard.
11054         (to_roman) New function.
11055         (parse_wk_delimiter) Bug fix (forgot to skip `WK' in string).
11056         (parse_weekday) Bug fix (forgot to skip all the day name).
11057
11058         * data-list.c: (read_from_data_list_fixed) Fixed bug that screwed
11059         up parsing of multirecord data items.  Also fixed user message.
11060
11061         * data-out.c: Comment fix.
11062         (year2, year4, convert_date, convert_time, convert_WKDAY,
11063         convert_MONTH) New functions to support time & date output.
11064         (convert_format_to_string) Calls new time & date output routines.
11065
11066         * expr-prs.c: (nary_num_func) Found a bug, but didn't fix it yet.
11067
11068         * lexer.c: (lookahead) Noted a previously unnoticed caveat in
11069         comment.
11070
11071         * main.c: [DEBUGGING] (dump_token) Updated to handle getline.h.
11072
11073         * misc.c: (global var formats) Fixed declarations of DATETIME,
11074         TIME, DTIME.
11075
11076         * postscript.c: (text) Fixed a pair of bugs in the reallocation of
11077         the output_char buffer.
11078
11079         * vars-prs.c: (parse_DATA_LIST_vars) Fixed a failure to free
11080         memory bug.  Fixed user messages.
11081
11082 Tue Oct 22 17:27:04 1996  Ben Pfaff  <blp@gnu.org>
11083
11084         * Removed #pragma argsused from lots of places.
11085         
11086         * data-in.c: Implemented zoned decimal and time-date formats.
11087         Untested.  This is a huge chunk of code--maybe 1000 lines and 50
11088         new functions.
11089
11090         * data-out.c: Implemented zoned decimal format.
11091
11092         * expr.h: Moved yrmoda() declaration here from exprP.h.
11093
11094         * misc.c: (global var formats) Minor fixes--added
11095         FCAT_SHIFT_DECIMAL to formats N and Z.
11096         (convert_fmt_ItoO) Added support for format Z.
11097
11098         * som-frnt.c: (som_set_value) Fixed bug regarding string values.
11099
11100 Mon Oct 21 20:39:59 1996  Ben Pfaff  <blp@gnu.org>
11101
11102         * command.c: (parse_cmd) [GLOBAL_DEBUGGING] Inserted call to
11103         som_check_workspace() that is activated between commands.
11104
11105         * data-list.c: (dump_fixed_table, dump_free_table) Finished these
11106         for good, I hope.
11107
11108         * list.q: (begin_row) Changed title expansion style from
11109         SOPT_X_VERT to SOPT_X_SHSP.
11110
11111         * som-frnt.c: Now includes `somP.h'.
11112         (som_push_workspace, som_pop_workspace) New functions that, taken
11113         together, form a solution to the recursive table building problem
11114         mentioned yesterday.  Surrounded every table output routine
11115         throughout the program with calls to these functions.
11116         [GLOBAL_DEBUGGING] (som_check_workspace) New function.
11117         (som_create_table) Checks that there's an active workspace.
11118         (som_destroy_all_tables, som_crush) Removed.
11119
11120         * som-high.c: (global var som_preserve_tables) Removed, all
11121         references deleted.
11122         (som_submit_table) Checks that there's an active workspace.
11123         (dump_columnated_table) Doesn't columnate tables that would have
11124         just one row per column.
11125         (dump_crush_page, som_dump_crush_page) Removed debugging code.
11126         (som_dump_crush_page) Moved row number labels from left side of
11127         tables to right side.
11128         (som_get_table_size) Added support for SOPT_X_SHSP.
11129
11130         * som.h: New cell expansion type SOPT_X_SHSP.
11131
11132         * somP.h: (global vars arena_stack, n_arena_stack, m_arena_stack)
11133         New vars.
11134         (global var curtab_arena) Moved from som-frnt.c.
11135
11136 Sun Oct 20 13:45:28 1996  Ben Pfaff  <blp@gnu.org>
11137
11138         * ascii.c: [GLOBAL_DEBUGGING] (SUPPRESS_WARNINGS) New debug option
11139         that causes bad location warnings to be suppressed.
11140         (delineate) Saves current font when calling draw_text(); fixed
11141         handling of NULLs when backing up.  Also fixed line-wrapping bug.
11142
11143         * command.c: Re-enabled `LEAVE', `NUMERIC', `PRINT', `PRINT EJECT',
11144         `PRINT FORMATS', `PRINT SPACE', `STRING', `TITLE', `WRITE'.
11145
11146         * common.c: Added code to cause assertion failure to dump core
11147         when run under Checker.
11148
11149         * data-list.c: (dump_fixed_table) Fixed some inconsistencies, but
11150         there are still bugs.
11151
11152         * glob.c: (__eprintf) Removed.
11153
11154         * list.q: Inserted som_preserve_tables kluge that prevents tables
11155         from being thrown away due to recursive table building through
11156         som_output_line being called from a transformation during the LIST
11157         procedure invocation.  This is a general problem that must be
11158         solved in a better way since it applies to all procedures in
11159         general.
11160         (begin_row) Changed title options to SOM_X_VERT from SOM_X_BOTH.
11161         (flush_table) Removed SOM_TOPT_PRESERVE from submission options.
11162
11163         * numeric.c: Fixed several errors in the form of msg() calls.
11164
11165         * print.c: Updated for use of som.
11166         (dump_table) Reimplemented.
11167         (print_trns_proc) Calls som_eject_page() instead of eject_page().
11168         Calls som_output_text() instead of outs_line().
11169
11170         * som-frnt.c: (som_destroy_all_tables) Sets som_preserve_tables to
11171         0.
11172         (som_output_text) Function moved from som-low.c.  Interface
11173         changed.
11174
11175         * som-high.c: (som_preserve_tables) New global public variable
11176         declared in som.h.
11177         (som_submit_table) Destroys the tables only if som_preserve_tables
11178         is 0.
11179         (paginate_horizontally) Bugfix: sets som.mpw even if there's only
11180         one subrow per row.  Now labels subrows if there's more than one
11181         subrow per row.
11182         (dump_crush_table) Added wishlist comment.
11183         (som_eject_page) New public function declared in som.h.
11184
11185         * som-low.c: (som_dump_crush_page) Draws row labels if there's
11186         more than one subrow per row.
11187         (som_output_text) Moved to som-frnt.c.
11188
11189         * som.h: (SOM_TOPT_PRESERVE) Removed.
11190
11191         * title.c: (get_title) Changed interface.
11192         (cmd_title) Changed `title' to `outp_title'.
11193         (cmd_subtitle) Changed `subtitle' to `outp_subtitle'.
11194
11195 Sun Oct 20 09:04:15 1996  Ben Pfaff  <blp@gnu.org>
11196
11197         * list.q: (flush_table) Conforms to new partial options in
11198         som_submission_form.
11199
11200         * som-high.c: (paginate_horizontally) Changed form of subrow
11201         number labels.
11202         (build_target) Omits spacing before table if
11203         SOM_TOPT_PARTIAL_OMIT_TOP is selected.
11204         (dump_crush_page) Changed interface.  Only trims bottom rule if
11205         SOM_TOPT_PARTIAL_OMIT_BTM is not selected.
11206         (dump_crush_table) Handles partial tables.
11207         (output_row_label) New function.
11208         (som_dump_crush_page) Emits subrow number labels.  Draws vertical
11209         rule on the right edge of narrow subrows.
11210
11211         * som.h: Changed SOM_SUB_PARTIAL_* series of submission type
11212         constants to a series of SOM_TOPT_PARTIAL_* submission options.
11213         All references updated.
11214
11215 Fri Oct 18 19:46:49 1996  Ben Pfaff  <blp@gnu.org>
11216
11217         * misc.c: Comment fix.
11218
11219         * som-high.c: (examine_table) Treats crushed tables separates for
11220         purpose of determining header size.
11221         (paginate_horizontally) Allots space for line numbers in crushed
11222         tables with lots of subrows per row.  Calculates the `maximum page
11223         width', the width of the widest horizontal page.
11224         (build_target) Removed trim argument; all references changed.
11225         Stricter assertions.  (dump_crush_page) New function.
11226         (dump_crush_table) Reimplemented.
11227
11228         * som-low.c: (som_dump_page) Uses new RULE_ROW &c. constants.
11229         (som_dump_crush_page) Reimplemented, interface changed.
11230
11231         * somP.h: Many many new helper macros for use with crushed tables.
11232         (global var som) Removed `tv', `cum_y' members; all references
11233         removed.  New members `mpw', `digit_space'.
11234
11235 Sun Sep 29 19:37:03 1996  Ben Pfaff  <blp@gnu.org>
11236
11237         * arena.c: (arena_alloc) [!DISCRETE_BLOCKS] Removed `size'
11238         variable, changed to constant 1024.
11239         (arena_ca_strdup) Changed `sizeof(a_string)' to
11240         `sizeof(c_string)'.
11241         (arena_ca_strdup) [!DISCRETE_BLOCKS] Changed bad cast from
11242         `(c_string *)' to `(char *)'; this fixed some offset problems.
11243
11244         * filename.c: (readlink_malloc) Changed initial allocation from
11245         100 bytes to 128.
11246         (good_getcwd) Changed from xmalloc() to local_alloc(); removed
11247         comment.
11248
11249         * postscript.c: (read_fontmap) Fixed leak by changing &owner to
11250         &fm->owner in several places.
11251
11252         * som-high.c: (output_table) Changed interface to rest of world.
11253         (examine_crush_table) Removed.  Crushed tables are re-broken now,
11254         in preparation for rewrite.
11255
11256         * som.h: Comment fix.
11257
11258 Sat Sep 28 21:28:07 1996  Ben Pfaff  <blp@gnu.org>
11259
11260         * ascii.c: (ascii_init_driver) Disposes of x->file.filename and x
11261         itself in the cleanup stage.
11262
11263         * descript.q: (display) At least temporarily, changed the table
11264         format to a crushed table.
11265
11266         * list.q: (begin_row) At least temporarily, added horizontal lines
11267         between cases.
11268
11269         * som-high.c: (examine_crush_table) Sets som.hh to the width of
11270         the horizontal "headers," that is, to the width of the far left
11271         and far right rules.
11272         (justify_pagination) Sets som.th to the width of the widest row
11273         in the crushed table.  Fixed inner loop off-by-one error.
11274
11275         * som-low.c: (som_dump_crush_page) Added code to draw horizontal
11276         rules.
11277
11278         * somP.h: Comment fix.
11279
11280 Fri Sep 27 20:08:39 1996  Ben Pfaff  <blp@gnu.org>
11281
11282         * filename.c: (open_file_ext) Now, doesn't set f->file to NULL
11283         before closing it; also, opens the constructed filename `s'
11284         instead of f->filename.
11285
11286         * postscript.c: Moved initialization of x->loaded, x->prop,
11287         x->fixed, x->current, also the add_encoding() calls, into
11288         postopen().
11289         (preclose) Destroys x->combos; sets x->loaded, x->combos to NULL;
11290         sets x->last_font to NULL; sets x->next_combo to zero.
11291
11292         * som-high.c: (crushed_row_height) Moved definition farther up.
11293         (som_submit_table) Doesn't calculate line width, font size until
11294         after calling open_page(), to accomodate changes to PostScript
11295         driver.
11296         (vert_headers) Removed; equivalent functionality moved to
11297         examine_table(), examine_crush_table().
11298         (justify_pagination) Replaced with different algorithm.
11299         (dump_crush_table) Bugfix that caused tables to fail to be clipped
11300         at the bottom of the page.
11301
11302 Thu Sep 26 22:20:26 1996  Ben Pfaff  <blp@gnu.org>
11303
11304         * command.c: Added cmd_list back into cmd_table.
11305
11306         * freq.c, frequencies.q, repeat.c, list.q, vars-atr.c, vfm.c:
11307         Comment fix: `#define DEBUGGING' --> `#define DEBUGGING 1'.
11308
11309         * list.q: (flush_table) Updated to new som_submission_form format.
11310
11311         * som-frnt.c: Comment fix.
11312
11313         * som-high.c: Changed `#endif' to `#undef EXTERN'.
11314         (output_table) Calls som_get_table_size() directly; handles
11315         crushed tables.
11316         (examine_crush_table) New function; calls vert_headers().
11317         (examine_table) Moved some code into new function, vert_headers().
11318         (justify_pagination) New function.
11319         (dump_plain_table) Removed `static' from `cy'.
11320         (dump_crush_table) New function.
11321
11322         * som-low.c: (som_dump_crush_page) New function.
11323
11324         * som.h: Comment fixes.
11325         (enum SOM_TOPT_CRUSH) New.
11326         (SOM_SUB_PARTIAL_BEG, SOM_SUB_PARTIAL_MID, SOM_SUB_PARTIAL_END)
11327         Temporarily set to zero to make do with LIST procedure.
11328
11329         * somP.h: Re-ordering.
11330
11331 Wed Sep 25 19:36:11 1996  Ben Pfaff  <blp@gnu.org>
11332
11333         * som.c: Split into som-frnt.c, som-high.c, som-low.c.
11334
11335         * somP.h: New file for use by som-high.c, som-low.c.
11336
11337         * q2c.c: Added definition for VME.
11338         (get_line) Now dumps `!' comment lines to the output file
11339         verbatim.
11340
11341         * crosstabs.q, descript.q, file-handle.q, frequencies.q, list.q,
11342         set.q: Changed format of `!' comment lines.
11343
11344 Tue Sep 24 18:39:09 1996  Ben Pfaff  <blp@gnu.org>
11345
11346         * All source files: Added copyright notice.
11347
11348         * common.c: (xmalloc, xrealloc, xstrdup) Cast size_t's to unsigned
11349         longs in msg() calls.
11350
11351         * con32s.c: (xmalloc, xrealloc) Updated from common.c.
11352
11353         * q2c.c: (xmalloc, xrealloc, xstrdup) Updated from common.c.
11354
11355 Sat Sep 21 23:16:31 1996  Ben Pfaff  <blp@gnu.org>
11356
11357         * output.c: (outp_read_devices) Changed criteria for
11358         distinguishing different types of lines.
11359
11360 Fri Sep 20 22:52:28 1996  Ben Pfaff  <blp@gnu.org>
11361
11362         * cmdline.c: Changed syntax message.
11363
11364         * filename.c: (good_getcwd) Bug fix (?).
11365         (normalize_filename) [__BORLANDC__] Uses _fullpath() library
11366         function.
11367         (search_path) Appends DIR_SEPARATOR to directory name only if it
11368         does not already end with one.
11369
11370         * glob.c: Checks STAT_PAGER envvar before PAGER.
11371
11372         * output.c: Checks environment variables instead of just local
11373         macros.
11374
11375 Tue Sep 10 21:39:00 1996  Ben Pfaff  <blp@gnu.org>
11376
11377         * arena.c: (arena_destroy) Swatted a subtle bug that cropped up
11378         when the pointer passed to the function was within the arena
11379         itself, so that it couldn't properly be set to NULL _after the
11380         arena was freed_.
11381
11382         * command.c: Re-enabled DISPLAY.
11383
11384         * display.c: Rewritten to handle tables.  Untested.
11385
11386         * filename.c: (search_path) Fixed memory leak.
11387
11388         * frequencies.q: (cmd_frequencies) Frees v_variables.
11389         (postcalc) Calls cleanup_freq_tab() after displaying statistics.
11390         (cleanup_freq_tab) New function to garbage collect.
11391         (dump_full) Elegantized.
11392
11393         * main.c: New comment.
11394
11395         * output.h: New tag for tagged quotes: TAG_NEWLINE.
11396
11397         * postscript.c: Comment fix.
11398         (release_fontmap, free_font_entry) New functions.
11399         (ps_init_driver) Sets free_font_entry() as the freefunc for
11400         hashtable `loaded'.  Calls release_fontmap() when destroying a
11401         driver; also frees the output filename; also frees the
11402         ps_driver_ext block.
11403         (free_ps_encoding) Frees the filename as well as the encoding
11404         block.
11405         (output_encodings) Frees the line buffer and pops the msg-filename
11406         stack.
11407         (read_fontmap) Frees the fontmap filename and the line buffer.
11408         (postopen, preclose) Misc. garbage collection fixes.
11409         (ps_open_page) Destroys the `combos' hash table; sets `last_font'
11410         to NULL; this fixes some output problems.
11411         (text) Handles TAG_NEWLINE.  Untested.
11412
11413         * som.c: (cell_byte_size) Merged SCON_VALUE and SCON_TEXT cases.
11414         (som_set_string) Removed.  All references changed to
11415         `som_set_text'.
11416         (som_set_text) Rewritten.  New interface.  More general.
11417
11418         * som.h: Minor format changes.
11419         (struct som_value_cell) Removed; all references changed to
11420         `som_text_cell'.
11421         (enums SOT_*) Changed.
11422
11423 Mon Sep  9 21:43:13 1996  Ben Pfaff  <blp@gnu.org>
11424
11425         * command.c: Re-enabled SPLIT FILE.
11426
11427         * postscript.c: Comment fix.
11428
11429         * som.h: Added `SOT_NONE'.
11430
11431         * split-file.h: (cmd_split_file) Removed superfluous parenthesis.
11432
11433         * vfm.c: (dump_splits) Reimplemented.
11434
11435 Sat Sep  7 22:35:12 1996  Ben Pfaff  <blp@gnu.org>
11436
11437         * Compiled the project under gcc 2.7.2, which gave some new
11438         warnings.  This led to many additions of casts from unsigned to
11439         int sprinkled throughout the code.
11440         
11441         * arena.c: Many uses of `unsigned' changed to `size_t'.
11442
11443         * command.c: Added END FILE, END REPEAT to command table.
11444         (var cmd_end_repeat) Renamed cmd_end_repeat_p.
11445         (find_command, FILE_TYPE_okay) Not commented out anymore.
11446         (parse_cmd) Calls FILE_TYPE_okay again.
11447         (output_line) Added calls to som_output_text() to put the line
11448         in the output files.
11449
11450         * common.c: (macro VME) Format changes.
11451         (xstrdup) Asserts that its argument is not NULL.
11452         
11453         * data-list.c: Implemented dump_fixed_table().
11454         
11455         * inpt-pgm.c: Formatting changes.  Comment changes.
11456         (end_case_proc) Renamed end_case_trns_proc.
11457         (cmd_end_file, end_file_trns_proc) New functions.
11458
11459         * misc.c: Many uses of `int' and `unsigned' changed to `size_t'.
11460
11461         * misc.h: (local_strdup) New macro corresponding to strdup() but
11462         allocating its data through local_alloc() if possible--that is, if
11463         GNU C is in use.
11464
11465         * postscript.c: Comment changes.
11466         (quote_ps_name, quote_ps_string, output_encodings) New functions.
11467         (output_line, add_string) New macros supporting
11468         output_encodings().
11469         (postopen) Fixed contents of ${fixed-font} and ${prop-font}
11470         substitution vars.  Calls output_encodings() when a line
11471         consisting of `!encodings' is encountered.
11472         (preclose) Some code moved into quote_ps_string().
11473         (dump_line) Changed into macro supporting dump_fancy_line().
11474         (switch_font) Now outputs DSC "%%IncludeResource: font (...)"
11475         command when appropriate.
11476         (write_text) Fixed `literal_char' array (I think it's fixed, at
11477         least.)
11478         (text) Fixed bug when width was zero.  Now exits immediately on
11479         zero height_left.  Now, when executing `goto restart;', checks
11480         that cp<end, so that we don't read beyond end-of-string.  Also,
11481         outputs the correct code to the output file by outputting the code
11482         from the metric instead of the internal metric index.
11483
11484         * repeat.c: (cmd_end_repeat) New function.
11485
11486         * som.c: (var som) `headers' renamed `options' and semantics
11487         changed.  All references changed.
11488         (draw_title) `if(px!=-1 || px!=-1)' --> `if(px!=-1 || py!=-1)'.
11489         (build_target) Only inserts spacing if SOM_TOPT_SPACING not
11490         selected.
11491         (som_text_table) Removed.
11492         (som_output_text) New function.
11493
11494         * som.h: (struct som_submission_form) Removed `header', `reuse',
11495         replaced with bitmapped field `options'.
11496         (SOM_TOPT_*) New enum set for som_submission_form.options.
11497         (SOT_*) New enum set for som_output_text().
11498
11499         * temporary.c: (copy_variable) When copying the var label, only
11500         calls xstrdup() if it's non-NULL.
11501
11502         * var.h: (enum type `vartype') Removed; all references changed to
11503         `int'.
11504
11505         * vars-atr.c: (init_variable) Changed local var `nbytes' from
11506         `int' to `size_t'.
11507
11508 Thu Sep  5 22:05:56 1996  Ben Pfaff  <blp@gnu.org>
11509
11510         * font.h: Comment changes.
11511
11512         * groff-font.c: (groff_read_font) Initializes `name' field to
11513         NULL.  Handles `encoding' field.
11514
11515         * hash.c: (hsh_dump) [GLOBAL_DEBUGGING] Output formatting changes.
11516
11517         * postscript.c: (struct font_entry) Removed `position' field.
11518         (struct ps_font_combo) New struct.
11519         (struct ps_driver_ext) Removed field `next_position'.  New fields
11520         `combos', `next_combo'.  `last_font' field changed from
11521         `font_entry *' to `ps_font_combo *'.
11522         (ps_init_driver) Reformatted; handles new fields.  When
11523         OPO_AUTO_ENCODE is set, adds the two default fonts' encodings to
11524         the encoding list.
11525         (get_encoding, find_encoding_file) New functions.
11526         (add_encoding) Some code moved out into find_encoding_file().
11527         (postopen) Changed value for ${title}.
11528         (preclose) Sets `loaded' field to NULL after destroying the hash
11529         table.
11530         (ps_open_page) Added comment.  Inits the `combos' and `next_combo'
11531         fields.
11532         (ps_text_set_font_by_position) Figures out the current family if
11533         not known.
11534         (compare_ps_combo, hash_ps_combo, free_ps_combo) New functions.
11535         (switch_font) Implemented.
11536         (write_text) Calls switch_font() more often.  Format changes.
11537         #undefs its macros after they're no longer useful.
11538         (text) Changed `continue' at one point to a jump to the top of the
11539         loop because we don't want `separate' reset to 0 at that point.
11540         (load_font) No longer sets `position' in the font_entry created.
11541
11542 Wed Sep  4 21:45:35 1996  Ben Pfaff  <blp@gnu.org>
11543
11544         * font.h: (struct font_desc) New member `encoding', which is not
11545         properly handled yet.
11546
11547         * glob.c: (init_glob) Some new i18n code, which is probably
11548         screwed up.
11549
11550         * output.c: (outp_read_devices, outp_get_paper_size) Changed
11551         `size' local from `int' to `size_t'.
11552
11553         * postscript.c: New driver configuration parameter `auto-encode'.
11554         New enums OPO_AUTO_ENCODE, ODA_COUNT.
11555         (struct font_entry) New member `position'.
11556         (struct ps_driver_ext) Reordered.  New hash table member
11557         `encodings'; new members `next_position', `next_encoding',
11558         `last_font'.  Members `current', `prop', `fixed' changed from type
11559         `font_desc *' to `font_entry *'; all references changed.
11560         (struct ps_encoding) New struct.
11561         (read_ps_encodings, compare_ps_encoding, hash_ps_encoding,
11562         free_ps_encoding, add_encoding) New functions.
11563         (ps_init_driver) Added OPO_AUTO_ENCODE to default
11564         x->output_options.  Initializes new members of ps_driver_ext.
11565         Changed default value for prologue_fn, encoding_fn.  Calls
11566         read_ps_encodings after loading default fonts.
11567         (option_tab[], ps_option) Handle new configuration parameter.
11568         (switch_font) New function.
11569         (struct output_char) `font' member changed from `font_desc *' to
11570         `font_entry *'.  New member `separate'.
11571         (read_fontmap) Changed `size' from `int' to `size_t'.
11572         (output_line, put_number) New macros for write_text().
11573         (write_text) Optimizes text output by consolidating multiple
11574         calls to PostScript `show' operator.
11575         (text) Keeps track of when text arguments can't be consolidated by
11576         write_text(), and marks those spots in the output stream.
11577         (load_font) Sets `position' of the allocated font_entry to -1, cuz
11578         the font hasn't been switched to by switch_font(), which is where
11579         the position is important--the PostScript is what cares about the
11580         position.
11581
11582 Sat Aug 31 23:52:38 1996  Ben Pfaff  <blp@gnu.org>
11583
11584         * hash.c: (hsh_destroy) Ignores NULL argument.  Doesn't try to
11585         call a NULL free_func.
11586         (hsh_rehash) Elegantized.
11587         (hsh_probe) Fix bug that manifested when the table was expanded
11588         and thus had to change location in memory.  Good thing
11589         too--otherwise could have been much more subtle.
11590         (hsh_find) [GLOBAL_DEBUGGING] Not stubbed out anymore.
11591         (hsh_foreach) New function for hash table iteration.
11592
11593         * hash.h: (struct hsh_iterator) New.
11594
11595         * lexer.c: (parse_tagged_quote) Font and family name strings in
11596         tags are now null-terminated.
11597
11598         * output.c: (outp_evaluate_dimension) Fixed over-aggressive unit
11599         parsing.
11600         (internal_get_paper_size, outp_get_paper_size) Fixed; now work as
11601         documented.  (Never before tested?)
11602
11603         * output.h: Comment changes.
11604
11605         * postscript.c: New driver options `optimize-text-size',
11606         `optimize-line-size', `max-fonts-simult'.  New enum set for
11607         specing cached line types.  Comment fixes.
11608         (struct line_form) New struct.
11609         (struct ps_driver_struct) New members `text_opt', `line_opt',
11610         `max_fonts', `lines'.
11611         (ps_init_driver) Initializes new members of ps_driver_struct.
11612         (user option type enum set) New member `nonneg_int_arg'.
11613         (static var option_tab[]) Supports new options.
11614         (ps_option) Handles new options.
11615         (find_ps_file) Made static.  No longer calls hsh_dump().
11616         (ps_get_var) Made static.
11617         (preclose) Dumps out proper DSC trailer.
11618         (ps_open_page) Elegantized.
11619         (ps_close_page) Calls dump_lines() if appropriate.
11620         (ps_line_horz, ps_line_vert, ps_line_intersection) Reduced to
11621         wrappers around line().
11622         (int_2_compare, compare_line, dump_line, dump_fancy_line,
11623         dump_lines, hash_line, free_line, line) New functions for support
11624         of line caching.
11625         (write_text, text) Made static.
11626         (text) Added to font support, not finished.
11627
11628 Thu Aug 29 21:36:41 1996  Ben Pfaff  <blp@gnu.org>
11629
11630         * font.h: (struct font_desc) New members ascent, descent.
11631
11632         * groff-font.c: (groff_read_font) Calculates font ascent and
11633         descent from the ascent and descent of the `d' and `p' characters,
11634         respectively, as per a suggestion on comp.fonts.
11635
11636         * postscript.c: (ps_open_page, ps_close_page, ps_line_horz,
11637         ps_line_vert, ps_line_intersection) Rewritten to deal with changed
11638         prologue.
11639         (write_text) Handles text right-justification and centering (not
11640         full justification).  Still very inefficient.  (One output line
11641         per character?!)
11642         (struct output_char) Added fields for font and font size.
11643         (text) Many bugfixes.
11644
11645 Sat Aug 24 23:26:00 1996  Ben Pfaff  <blp@gnu.org>
11646
11647         * cmdline.c: (usage) Calls outp_list_classes().
11648
11649         * font.h: Comment fix.
11650
11651         * groff-font.c: New exported global var `space_index'.
11652         (groff_init) New function to initialize `space_index'.
11653         (hash_kern) Casts result to unsigned.
11654         (font_name_to_index) Renamed font_char_name_to_index.  All
11655         references changed.  Also, now returns the value of `space_index'
11656         when passed an ASCII space character as an argument.  Fixed
11657         handling of nulls.
11658         (font_get_kern_adjust) Changed i from `int' to `unsigned'.
11659         Handles passed NULL pointers properly.
11660
11661         * lexer.c: (parse_tagged_quote) Comment fix.  Better range
11662         checking.
11663
11664         * output.c: (outp_list_drivers) Removed.  Removed all references.
11665         
11666         * output.h: Comment fixes.
11667
11668         * postscript.c: (ps_open_global) Calls groff_init().
11669         (output_char) New structure.
11670         (write_text) New function.
11671         (text) No longer stubbed out!  Now the output is correct--with a
11672         few exceptions, one of them being that the page has to be held
11673         upside down into a mirror.
11674
11675 Sun Aug 11 21:31:22 1996  Ben Pfaff  <blp@gnu.org>
11676
11677         * font.h: Comment fix.
11678         
11679         * font.c: (name_to_index) Renamed font_name_to_index, made extern.
11680         All callers changed.
11681         (number_to_index) Renamed font_number_to_index, made extern.  All
11682         callers changed.
11683         (font_get_kern_adjust, font_get_char_metrics) New functions.
11684
11685         * output.h: New constant OUTP_T_INTERNAL_DRAW.
11686
11687         * postscript.c: Changed default line width back to 1/2 point.
11688         (ps_line_horz, ps_line_vert, ps_line_intersection) Now lines are
11689         in the center of the space allotted for them, not just a fixed
11690         offset from the edge of the space; this fixes some bugs.
11691         (ps_line_intersection) Now supports all command line styles.
11692         (ps_text_get_size) Bug fix in computation of em width.
11693         (text) New function, the meat behind ps_text_metrics and
11694         ps_text_draw.  Not complete.
11695         (ps_text_metrics, ps_text_draw) Removed the stub taken from
11696         ascii.c; call text().
11697
11698 Sat Aug 10 23:28:17 1996  Ben Pfaff  <blp@gnu.org>
11699
11700         * arena.c: (arena_free) Assert that the argument is non-NULL.
11701         
11702         * groff-font.c: (add_kern) Calls arena_free() for old_kern if and
11703         only if old_kern is non-NULL.
11704
11705         * postscript.c: (ps_init_driver) Changed default line width to 1
11706         point.
11707         (postopen) New prologue variables.
11708         (ps_line_horz, ps_line_vert, ps_line_intersection) Implements some
11709         more of the common line styles properly, but not all.
11710         (ps_text_metrics) Fixed problem with this stubbed out version that
11711         kept it from taking font sizes into account.
11712
11713 Thu Aug  8 22:31:11 1996  Ben Pfaff  <blp@gnu.org>
11714
11715         * arena.c: (arena_malloc) Bug fix.
11716         (arena_dump) [GLOBAL_DEBUGGING] New function.
11717
11718         * ascii.c: Comment fix.
11719         (count_fancy_chars, delineate) Now static functions.
11720         
11721         * filename.c: (interp_vars) Bug fixes.
11722
11723         * font.h: Comment fixes.
11724
11725         * glob.c: (init_glob) Sets set_viewwidth, set_viewlength at
11726         beginning in case we have an error message to display before
11727         initializing the display.
11728
11729         * groff-font.c: Comment fix.  Changed rehash threshold from 2/3
11730         full to 1/2 full.
11731         (groff_read_font) Bug fixes.
11732         (name_to_index) Increments hash.used.  Sets `name' field of hash
11733         entry properly.
11734         (add_kern) Sets kern_max_used after rehashing.  Other bug fixes.
11735
11736         * hash.c: Return type changed.
11737
11738         * postscript.c: Continued development.  Now marks lines on the
11739         paper, but very buggy.
11740
11741 Sat Aug  3 20:50:35 1996  Ben Pfaff  <blp@gnu.org>
11742
11743         * Changed comments in many source files from `/* xxx /* yyy */' to
11744         `/* xxx */ /* yyy */' for cleanliness.
11745
11746         * arena.c: (arena_sd_strdup) New function.
11747         
11748         * ascii.c: (struct ascii_driver_ext) New member `file'.
11749         (ascii_init_driver) Fills out member `file' for initing; uses
11750         close_file_ext for closing drivers.
11751         (ascii_option) Changed %.*s back to %s because the a_string's are
11752         always null-terminated.
11753         (postopen, preclose) New functions.
11754         (ascii_open_page) Uses new style of open_file_ext.
11755         (ascii_option, commit_line_buf, output_lines) Use ext->file.file
11756         instead of this->output.
11757         (__assert_fail) Removed.
11758
11759         * cmdline.c: Changed syntax_message[].
11760
11761         * error.c: #include's <readline/history.h> only if the history
11762         library is available, not if just the readline library is
11763         available.
11764
11765         * filename.c: (expand_line) Removed alloca() support.
11766         (interp_vars) No longer tilde-expands argument.  Limit on output
11767         length removed.
11768         (tilde_expand) Now treats argument as path rather than filename.
11769         [!unix] Now is a no-op function.
11770         (search_path) Better verbose message formatting.
11771         (open_file, close_file) Comment fixes.
11772         (close_file) [!unix] Doesn't bother with pipes.
11773         (open_file_ext) Completely rewritten, interface revamped.
11774         (close_file_ext) New function.
11775
11776         * font.h: Comment changes.
11777
11778         * frequencies.q: Removed AIX alloca support since it doesn't use
11779         alloca.
11780
11781         * hash.c: Comment changes & additions.
11782         (hsh_create) Initializes entire table instead of first M entries.
11783         (hsh_probe) Stupid bug fixed.  Now it works.
11784         (hsh_dump) [GLOBAL_DEBUGGING] New function.
11785
11786         * main.c: (parse) Detects EOF properly in token-eating loop.
11787         Should the STOP token have its value changed to 0?
11788
11789         * misc.c: (blp_getdelim) [HAVE_GETDELIM] Now it's a macro.
11790         (blp_getline) Now it's a macro.
11791
11792         * output.h: (struct outp_driver) Removed members output, filename.
11793         
11794         * output.c: (outp_init) [!NO_POSTSCRIPT] Installs PostScript
11795         drivers in driver table.
11796         (outp_read_devices) Frees buf.  Warns if there are no active
11797         output drivers.
11798         (outp_configure_clear) Sets outp_configure_vec to NULL after
11799         deleting its elements.
11800         (configure_driver, destroy_driver) Removed references to output,
11801         filename members of outp_driver.
11802         (outp_evaluate_dimension, internal_get_paper_size,
11803         outp_get_paper_size) New functions.
11804
11805         * postscript.c: Continued development.  Now links but doesn't make
11806         any marks on the page.  Lotsa bugs I suppose.
11807
11808         * str.c: (strcasecmp) [!HAVE_STRCASECMP] New function.
11809
11810         * str.h: Comment changes.
11811
11812 Sat Jul 27 22:32:38 1996  Ben Pfaff  <blp@gnu.org>
11813
11814         * Removed dependencies on non-nested comments in several files.
11815         Also removed references to (unix || __unix__) in #if's since
11816         prefh.orig makes those two equivalent.
11817         
11818         * ascii.c: (ascii_open_global) Creates ascii_arena.
11819         (ascii_close_global) Destroys ascii_arena.
11820         (ascii_init_driver) Doesn't create ascii_arena.
11821         (ascii_copy_driver) Removed.
11822         (ascii_option) Possible bugfix regarding %s vs. %.*s with a_string's.
11823         (outp_class ascii_class) Removed ascii_copy_driver reference.
11824
11825         * frequencies.q: Now can display all statistics except median.
11826         Still not finished.
11827
11828         * output.c: Handles outp_class.ref_count so output class
11829         destructors are called properly.
11830         (add_class) Sets ref_count to 0.
11831         (configure_driver) Initializes class if ref_count++ is 0.
11832         (destroy_driver) Destructs class if --ref_count is 0.  Frees the
11833         class output file name.
11834         
11835         * output.h: (struct outp_class) Removed copy_driver, inited.
11836         Added ref_count.
11837
11838         * postscript.c: Completely replaced but not finished.
11839         
11840 Tue Jul 23 21:48:36 1996  Ben Pfaff  <blp@gnu.org>
11841
11842         * approx.h: #includes <float.h>.
11843
11844         * arena.h, arena.c: Many functions changed to take an arena **
11845         instead of an arena *, for consistency.  All callers changed.
11846         (arena_alloc) Now creates a new arena if passed *A that is NULL.
11847         (arena_destroy) Sets *A to NULL.
11848         
11849         * ascii.c: (delineate) Implements OUTP_T_VERT correctly.  Removed
11850         assertion that `width' be positive.
11851
11852         * command.c: Removed #if's from cmd_table.
11853         (walk_cmdtable_func) [0] New function (debug code).
11854         (init_cmd_parser) [0] Dumps out cmd_table (debug code).
11855         (parse_cmd) Doesn't return failure for unimplemented commands.
11856
11857         * common.h: (SYSMIS) Changed from DBL_MAX to -DBL_MAX.
11858         (SYSCODE) New constant macro.
11859
11860         * descript.q: Checks for positive n_variables before performing
11861         analysis.
11862
11863         * file-handle.q: (get_handle_by_filename) Bug fix: passes &f to
11864         avl_find instead of &fp as arg 2.
11865
11866         * frequencies.g, frequencies.q: Continued updating; now compiles &
11867         works again, but not complete.
11868
11869         * main.c: Changes to user messages.
11870
11871         * misc.c: (reverse) [0] New function.
11872
11873         * settings.h: Comment removed.  #includes "common.h".
11874
11875         * som.c: (som_set_null) New function.
11876         (som_set_value, som_set_string, som_set_text) More detailing
11877         assertions.
11878         (som_set_float) Implemented function.
11879         (dump_columnated_table) Bug fix regarding page breaks.
11880         (draw_cell) Bug fix regarding text that spilled out of a cell.
11881         (draw_intersection, draw_horz_rule, draw_vert_rule) No longer draw
11882         null lines.
11883         (get_cell_size) Support SCON_EMPTY cells.
11884         (get_table_size) When calculating rules' widths and heights, mask
11885         out SLIN_SPACING bit.  Added SOPT_X_HLTL support.
11886         
11887         * som.h: (som_any_cell) New option SOPT_X_HTLT.  Removed
11888         SOPT_X_SHADE.
11889         (struct som_submission_form) New member `header'; all users
11890         changed.
11891
11892         * val-labs.c: (get_label) User messages changed.
11893
11894         * var.h: Changed FREQUENCIES structures.
11895
11896         * vars-atr.c: (is_num_user_missing, is_str_user_missing) Made
11897         inline.
11898         
11899 Fri Jul 19 19:11:13 1996  Ben Pfaff  <blp@gnu.org>
11900
11901         * approx.h: Definition of EPSILON now depends on system's
11902         DBL_EPSILON.  Removed GNU C specific code.
11903         (cmpapx) Renamed approx_compare.
11904
11905         * frequencies.g, frequencies.q: Continued updating; still doesn't
11906         compile.
11907
11908         * groff-font.c: (name_to_index) Fix bug that kept it from
11909         compiling.
11910
11911         * hash.c, hash.h: Completed work.
11912
11913         * var.h: Changes to freq_tab, frequencies_proc.
11914         
11915 Wed Jul 17 21:23:36 1996  Ben Pfaff  <blp@gnu.org>
11916
11917         New hashing code.
11918         * hash.c, hash.h: New files.  Not completed.
11919         * Makefile.am: Added hash.c to source file list.
11920         * font.h: (struct font_desc) New member kern_size_p.
11921         * groff-font.c: Uses hash.h.
11922         (hashpjw) Moved to hash.c.
11923         (next_prime_power) Rewrote, renamed hsh_next_prime, moved to
11924         hash.c.
11925         (static var hash) New member size_p.
11926         * var.h: Includes hash.h.
11927         (struct freq_tab) Changed AVL_TREE to hash_tab.
11928
11929         * vars-prs.c: Comment, formatting fixes.
11930
11931         * frequencies.g, frequencies.q: Continued updating.  Not yet
11932         working.
11933
11934         * formats.c: Bug fix.
11935
11936 Tue Jul 16 22:10:04 1996  Ben Pfaff  <blp@gnu.org>
11937
11938         Increasing parallelism between DESCRIPTIVES and FREQUENCIES.
11939         * descript.g: Comment fixes.
11940         * descript.q: Comment fixes.  Moved some declarations into var.h.
11941         Made dsc_info a static table.  Updated FIXMEs.
11942         (internal_cmd_descriptives) Beautified.
11943         
11944         * frequencies.q: Started updating into working order.
11945         * frequencies.g: New file analogous to descript.g.
11946         * var.h: Comment fixes.  Added structures for FREQUENCIES.
11947         
11948         * som.c: Removed vestiges of crushing and partial table support.
11949
11950 Sun Jul 14 15:45:31 1996  Ben Pfaff  <blp@gnu.org>
11951
11952         * Many more changes to som.c especially, but these will not be
11953         documented as I have resolved to remove them.  This patchlevel is
11954         being released solely so that I can fall back to it if I decide
11955         that removing the changes is not a good idea.
11956
11957 Sat Jul 13 09:58:44 1996  Ben Pfaff  <blp@gnu.org>
11958
11959         * som.c: (global var som) New member `cum_y'.
11960         (build_target) Properly handles titles for partial tables.
11961         (dump_partial_beg, dump_partial_mid, dump_partial_end)
11962         Merged into single new function dump_partial().  Fixed problem
11963         with titles on partial tables.
11964         (dump_table) Calls dump_partial() for all parts of partial tables.
11965         (dump_page) Criteria for drawing title changed.
11966         
11967 Fri Jul 12 22:03:36 1996  Ben Pfaff  <blp@gnu.org>
11968
11969         * command.c: (cmd_table) Added LIST, WEIGHT.
11970
11971         * command.c: (cmd_remark) No longer frees `s' since it's not
11972         dynamically allocated.
11973         
11974         * data-out.c: (convert_f) Now correctly handles the case where
11975         abs(v->f)<1 but v->f rounds to a value of 1.00 given the specified
11976         number of decimals.
11977         (som_destroy_all_tables) Removed argument.  All callers changed.
11978         (som_vline, som_hline) Argument validity checking corrected.
11979         (som_set_value) Implemented half-heartedly.
11980         (replicate_table) Copies tables piece-by-piece when using Checker.
11981
11982         * som.h: New line style SLIN_1THIN, currently equivalent to
11983         SLIN_0.  New enum set SOM_SUB_*.
11984         (struct som_submission_form) Removed `seq_no'.  Added `type'.
11985         
11986         * list.q: Newly working file; uses partial tables.
11987         
11988         * som.c: (som_reduce_table) Renamed som_set_table_height().
11989         (som_crush) Removed argument `group'.
11990         (global var som) Removed `nt', `seq_no'.  Added `type'.
11991         (som_submit_table) Arguments changed.
11992         (output_table) Removed partial table code.
11993         (build_target) New arg; partial table support added.  All callers
11994         changed.
11995         (dump_plain_table) Removed partial table code.
11996         (dump_partial_beg, dump_partial_mid, dump_partial_end) New functions.
11997         (dump_table) Supports partial tables.
11998         (dump_page) New argument to allow not drawing top and/or bottom
11999         headers.  All callers changed.  Supports partial tables.
12000
12001 Sat Jul  6 22:22:25 1996  Ben Pfaff  <blp@gnu.org>
12002
12003         * data-out.c: Changed `#include <approx.h>' to `#include
12004         "approx.h".
12005         (convert_F) Comment fix.  Now won't print `-.000', etc.
12006
12007         * descript.q: Now Z-scores work, although there appears to
12008         be a bug (which might actually be in data-out.c:convert_F()).
12009         (descriptives_trns_proc, descriptives_trns_free) New functions.
12010         (run_z_pass) Implemented.
12011         
12012         * var.h: Comment fixes.
12013         (dsc_z_score, descriptives_trns) New structs.
12014         (descriptives_trns) Added to any_trns as `dsc'.
12015
12016         * error.c, error.h: New error class, IS (Installation Script
12017         error), used in those instances where the error is in the
12018         installation, but there is a script file or installation file that
12019         can be usefully referred to.
12020         
12021         * output.c: Change many IE classes to IS classes.
12022
12023         * cases.c, command.c, common.c, crosstabs.q, expr-evl.c,
12024         frequencies.q, list.q, vars-prs.c, vfm.c: Removed reference to
12025         HAVE_MALLOC_H because Borland C++ alloca() is broken, so why
12026         include the corresponding header?
12027         
12028         * glob.c: (init_glob) Don't malloc term_buffer under Checker.
12029         Don't bail out if termcap can't be read.
12030
12031         * som.c: (som_destroy_table) Removed.
12032         (som_reduce_table, som_destroy_all_tables) New functions.
12033         (som_crush) New function, not implemented.
12034         
12035         * som.h: New table option STAB_CRUSH.  Comment fix.  New struct
12036         som_submission_form.  Function prototypes revised.
12037
12038         Outputting huge tables (1000s of rows) a few rows at a time
12039         is supported, though untested.  May even break everything.
12040         Actually, the code doesn't even compile right now.
12041         * som.c: (struct som) New fields htv, nt, seq_no.
12042         (som_submit_table) Multiple arguments changed to a single
12043         pointer to struct submission_form.  Only increments subtable_num
12044         if seq_no is zero.  Only destroys table if it's not going to
12045         be reused.
12046         (replicate_table) New function.
12047         (output_table) Comment fix.
12048         (examine_table) Changed inline code to code calling
12049         replicate_table().  Calculates htv.  Supports partial tables.
12050         (draw_title) Removed comment.
12051         (build_target) Only allows for title on first part of partial
12052         tables.
12053         (dump_plain_table) Only resets table chunk number on first part
12054         of partial tables; FIXME: doesn't work quite right.  Supports
12055         partial tables.
12056         (dump_page) Titles only on first part of partial tables.
12057
12058 Fri Jul  5 20:16:19 1996  Ben Pfaff  <blp@gnu.org>
12059
12060         * Thanks to an unreliable IDE hard drive, I have spent the last
12061         day reconstructing my Debian GNU/Linux installation and redoing
12062         the previous day's changes--somehow I managed to save every file
12063         except for output.c and output.h.  So the following changes could
12064         really be considered independent of the output.c, output.h changes
12065         from Jul 4.
12066
12067         * output.h, output.c: Moved the outp_configure_vec global var,
12068         outp_names struct, and enum set OUTP_S_* from output.h to output.c.
12069         outp_configure_vec is now static.
12070         
12071 Thu Jul  4 20:20:24 1996  Ben Pfaff  <blp@gnu.org>
12072
12073         * The entire philosophy behind configuration of the output drivers
12074         changed.  Now there is a termcap-type configuration where drivers
12075         to be read are determined beforehand, rather than parsing the
12076         entire output init file and storing it in memory & deciding what
12077         to actually use later.  Faster & more memory-efficient at the same
12078         time, cool.
12079         
12080         * output.c: Comment fix.  Removed outp_init_drivers global var.
12081         Removed all references to synonyms.  New structure outp_defn.  New
12082         global vars outp_macros, outp_configure_vec.
12083         (search_name, delete_name, add_name, check_configure_vec,
12084         expand_name, find_defn_value) New static functions.
12085         (outp_configure_clear, outp_configure_add, outp_configure_macro,
12086         outp_read_devices) New extern functions.
12087         (outp_init) Much functionality moved into outp_read_devices.
12088         (outp_read_devices) Format of output init file changed; name of
12089         file is `devices' rather than `output' to avoid Makefile
12090         conflicts.
12091         (outp_clear) Renamed outp_done.
12092         (outp_list_classes) Bug fix, cleaned up.
12093         (outp_list_drivers) Not implemented anymore.
12094         (outp_configure_driver) Now a static function; simplified; now
12095         interpolates macros; supports new structure.
12096         (outp_enable_driver, match_synonym) Removed; all references
12097         removed.
12098         (find_driver) First argument removed.
12099         
12100         * output.h: Global var outp_init_drivers removed; new structure
12101         outp_names; new enum set OUTP_S_*; new global var
12102         outp_configure_vec; function prototypes for output.c exports
12103         updated.
12104         
12105         * main.c: (main) Calls outp_read_devices() after parsing the
12106         command line.
12107         
12108         * cmdline.c: (parse_command_line) New option -v --verbose;
12109         --version changed to -V.  --device option changed syntax to just
12110         take a single device name.  Accepts key=value declaration of
12111         output init file macros.  Syntax message updated.
12112
12113         * filename.c: (expand_line) New function.
12114         (interp_environ_vars) Renamed interp_vars; no longer uses
12115         fixed-size buffer.
12116         (blp_getenv) Allows $ARCH and $VER pseudo-environment-vars to be
12117         overridden by real environment vars.
12118         (search_path) Uses verbose_msg() instead of #ifdef'd printf().
12119         * filename.h: interp_environ_vars() renamed interp_vars().
12120         
12121         * error.c, error.h: Added extern variable `verbosity', message
12122         class MM.
12123         
12124         * error.c: (vmsg) Support message class MM.
12125         (verbose_msg) New function.
12126
12127         * descript.q: (generate_z_varname) Bug fix in generation of
12128         Z-score varnames.
12129         (dump_z_table) Bug fix in column headers.
12130         
12131         * ascii.c: (ascii_init_driver) Changed minimum number of lines per
12132         page from 29 to 15.  Don't set a default for ops[OPS_INIT,
12133         OPS_DONE].  Writes the uninit string when the driver is closed.
12134         (ascii_open_page) Write the init string before the first page.
12135         (output_shorts) Form of main loop changed from `while' to `for'.
12136         Bug fix with overstrikes: the character is printed *after* the
12137         backspace.  Eliminated a lot of `& 0xff' modifiers.
12138         (advance_to_left_margin) New function.
12139         (return_carriage, output_lines) Handle left margin.
12140
12141 Thu Jul  4 00:35:59 1996  Ben Pfaff  <blp@gnu.org>
12142
12143         * ascii.c: New option `carriage-return-style'.
12144
12145         * ascii.c: (count_fancy_chars) New function.
12146         (delineate, text_metrics) Use new function; bug fixes regarding
12147         rich text strings.
12148         (text_draw) Bug fix with rich text.
12149         (output_string, output_shorts) Reordered.
12150         (output_shorts) Now handles boxchars and some overstrike font
12151         changes.
12152         (output_char, return_carriage) New functions.
12153         (output_lines) Now handles overstriking and font changes properly;
12154         some code moved to output_shorts.
12155
12156 Tue Jul  2 22:13:23 1996  Ben Pfaff  <blp@gnu.org>
12157
12158         [GLOBAL_DEBUGGING]
12159         * ascii.c: New member `debug' in ascii_driver_ext.
12160         (ascii_init_driver, delineate) Uses new member.
12161
12162         Now you can set a vertical height on writing text.
12163         * ascii.c: (delineate) Keeps track of vertical position.
12164         (text_draw) No longer considers fully justified text an internal
12165         error.
12166         
12167         * output.h: New flag OUTP_T_VERT; other OUTP_T_ values changed.
12168
12169         Tables' titles are drawn; they can have variable height.
12170         * som.c: `som' struct has new member, title_height.
12171         (draw_title) New argument.  Moved within file.  All caller
12172         changed.
12173         (build_target) New argument, amount of space needed for first row.
12174         Calculates height of title, takes that into account.  All callers
12175         changed.
12176         (dump_plain_table, dump_columnated_table) Took calculation of y1,
12177         y2 out of loop.
12178         (dump_columnated_table) [GLOBAL_DEBUGGING] Debugging code
12179         improved.
12180         (dump_columnated_table) Organized for readability.
12181         (dump_page) Makes use of som.title_height.
12182
12183         * som.c: Many comment bug fixes.
12184
12185         * descript.q: (try_name, generate_z_name) Bug fix regarding
12186         generation of Z-score variable names.
12187         * var.h: Removed num from descriptives_proc; all referents removed.
12188
12189 Mon Jul  1 22:13:39 1996  Ben Pfaff  <blp@gnu.org>
12190
12191         * ascii.c: (ascii_line_horz, ascii_line_vert,
12192         ascii_line_intersection) Added debugging code.
12193
12194         Added a descriptive line above each table to describe it.
12195         * command.c: (parse_cmd) Calls som_new_series.
12196         
12197         * som.c: New static vars table_num, subtable_num.  New `som'
12198         member `title'.
12199         (dump_page) New arguments.
12200         (som_submit_table) Handle new variables.
12201         
12202         * som.c, som.h: (som_submit_table) New arguments.  All callers
12203         changed.
12204         (som_new_series) New function.
12205         (build_target) Makes room for extra line.
12206         (draw_title) New function.
12207         (dump_page) Calls draw_title.  Bug fix: doesn't always set
12208         som.ext->cp to 0.
12209         
12210         Columnation of tables support.
12211         * som.h: Deleted fr, lr, ri from som_table.  Reorganized.
12212         
12213         * som.c: Deleted references to fr, lr, ri.
12214         (som_columnate) Bux fix: sets group member of table.
12215         (som_add_options) Function removed.
12216         (dump_table) Split into three functions; extensively reworked.
12217         
12218         * descript.q: (dump_z_table) Better output table formatting; added
12219         title support to correspond to som.h changes.
12220         (display) Title support.
12221
12222         * output.h: Added OUTP_T_NONE.
12223         
12224 Mon Jul  1 13:00:00 1996  Ben Pfaff  <blp@gnu.org>
12225
12226         * descript.q: Improved handling of Z scores; still not perfect.
12227         
12228         * output.h, ascii.c: Added hook for getting em width of current
12229         font.
12230         
12231         * som.c: Uses new em-width hook.  Added debugging code to
12232         several functions.
12233         (som_columnate) New argument.
12234         (som_add_options) Removed.
12235
12236 Jun 29 17:40:47 1996  Ben Pfaff  <blp@gnu.org>
12237
12238         * som.h, som.c, output.c, output.h, ascii.c: Updated to work with
12239         rules as a property of the table instead of as a property of the
12240         cells.
12241         
12242         * ascii.c: Added `header' to table of options.
12243         
12244         * descript.q: Added even shorter statistic names; modified to work
12245         with new som interface.
12246         
12247         * misc.c (blp_getdelim): Bug fix.
12248         
12249         * version.c: includes 'conf.h'.
12250         
12251 ----------------------------------------------------------------------
12252 Local Variables:
12253 mode: change-log
12254 version-control: never
12255 End: