Continue reforming procedure execution. In this phase, assert that
[pspp] / src / ChangeLog
1 Wed Apr 26 19:48:52 2006  Ben Pfaff  <blp@gnu.org>
2
3         Continue reforming procedure execution.  In this phase, assert
4         that add_transformation() is not called during procedure
5         execution.  Thanks to John Darrington for the suggestion.
6         
7         * procedure.c: (static var in_procedure) New var.
8         (internal_procedure) Get rid of recursive_call local var and
9         logic.
10         (open_active_file) Set in_procedure and make sure it wasn't
11         already set.
12         (close_active_file) Reset in_procedure and make sure it was
13         already set.
14         (add_transformation) Make sure we're not in a procedure.
15
16 Wed Apr 26 19:33:52 2006  Ben Pfaff  <blp@gnu.org>
17
18         Continue reforming procedure execution.  In this phase, break
19         procedure.c into multiple files.
20         
21         * procedure.c (vfm_last_invocation): Rename
22         time_of_last_procedure().  Update all references.
23         (struct storage_stream_info) Move to data/storage-stream.c.
24         (storage_sink_open) Ditto.
25         (destroy_storage_stream_info) Ditto.
26         (storage_sink_write) Ditto.
27         (storage_sink_destroy) Ditto.
28         (storage_sink_make_source) Ditto.
29         (var storage_sink_class) Ditto.
30         (storage_source_count) Ditto.
31         (storage_source_read) Ditto.
32         (storage_source_destroy) Ditto.
33         (storage_source_class) Ditto.
34         (storage_source_get_casefile) Ditto.
35         (storage_source_create) Ditto.
36         (null_sink_class) Move to data/case-sink.c.
37         (create_case_source) Move to data/case-source.c.
38         (free_case_source) Ditto.
39         (case_source_is_class) Ditto.
40         (create_case_sink) Move to data/case-sink.c.
41         (free_case_sink) Ditto.
42
43         * procedure.h: (struct case_source) Move to data/case-source.h.
44         (struct case_source_class) Ditto.
45         (struct case_sink) Move to data/case-sink.h.
46         (struct case_sink_class) Ditto.
47
48 Thu Apr 27 09:28:25 WST 2006 John Darrington <john@darrington.wattle.id.au>
49         
50         * automake.mk: Removed explicit dependencies for message.o, since
51         that module no longer exists.
52
53 Wed Apr 26 15:29:45 2006  Ben Pfaff  <blp@gnu.org>
54
55         Start reforming procedure execution.  In this phase, get rid of
56         function prototypes for never-defined functions.
57         
58         * procedure.h: Get rid of function prototypes for never-defined
59         functions.
60
61 Wed Apr 26 12:58:46 2006  Ben Pfaff  <blp@gnu.org>
62
63         Improve the way we handle the various parsing "states".  Until now
64         we've hard-coded the state transitions in the command definition
65         file, but that's error-prone and, worse, it's redundant--we can
66         figure out what state we're in anyhow.  We can cleanly handle
67         INPUT PROGRAM and FILE TYPE with a nested command-processing loop.
68         
69         * procedure.c (case_source_is_complex): Removed.
70         (discard_variables) No need to set pgm_state anymore.
71
72 Tue Apr 25 11:06:49 2006  Ben Pfaff  <blp@gnu.org>
73
74         Finish reforming error message support.  In this phase, move
75         message.c into libpspp.
76         
77         * message.c: Move to libpspp.
78
79 Tue Apr 25 10:47:37 2006  Ben Pfaff  <blp@gnu.org>
80
81         Continue reforming error message support.  In this phase, drop
82         actual message printing from core code, substituting a callback,
83         and add the callback to each UI.  Also, move verbose_msg() into
84         its own module.
85
86         * message.c: (var err_error_count) Renamed error_count and moved
87         to ui/terminal/msg-ui.c.
88         (var err_warning_count) Renamed warning_count and moved to
89         ui/terminal/msg-ui.c.
90         (err_check_count) Renamed check_msg_count() and moved to
91         ui/terminal/msg-ui.c.
92         (dump_message) Rewrote to take stream instead of function pointer
93         and moved to ui/terminal/msg-ui.c.
94         (msg_emit) Moved its guts to ui/terminal/msg-ui.c as handle_msg()
95         and rewrote to just pass message to callback.
96         
97         (var err_verbosity) Renamed "verbosity" and moved to
98         libpspp/verbose-msg.c.
99         (verbose_msg) Moved to libpspp/verbose-msg.c.
100         
101         (var err_already_flagged) Removed.
102         (puts_stdout) Removed.
103         
104         (var msg_handler) New static variable.
105         (msg_init) New function.
106         (msg_get_command_name) New function.
107         
108 Mon Apr 24 17:40:08 2006  Ben Pfaff  <blp@gnu.org>
109
110         Continue reforming error message support.  In this phase, rename
111         all the message functions and types to start with "msg", except
112         for the ones that will be moving to other modules anyway.
113
114         All references to the identifiers below were updated likewise.
115         
116         * message.c: (err_done) Renamed msg_done().
117         (err_push_file_locator) Renamed msg_push_msg_locator().
118         (err_pop_file_locator) Renamed msg_pop_msg_locator().
119         (err_location) Renamed msg_location().
120         (err_set_command_name) Renamed msg_set_command_name().
121
122 Mon Apr 24 14:11:33 2006  Ben Pfaff  <blp@gnu.org>
123
124         * message.c: Use exit.h from gnulib instead of checking for and
125         defining EXIT_SUCCESS and EXIT_FAILURE by hand.
126
127 Sun Apr 23 22:00:23 2006  Ben Pfaff  <blp@gnu.org>
128
129         Continue reforming error message support.  In this phase, get rid
130         of message "titles" and put the message text in `struct error'.
131         Now `struct error' encapsulates a message more properly.
132
133         * message.c: (tmsg) Removed.
134         (msg) Use err_msg() instead of err_vmsg().  Format message
135         ourselves.
136         (err_vmsg) Renamed err_msg().  Changed interface, dropping message
137         and va_list args which are now in the error struct.
138                 
139 Sun Apr 23 20:35:28 2006  Ben Pfaff  <blp@gnu.org>
140
141         Continue reforming error message support.
142
143         * message.c: Use linebreak module from gnulib instead of home-brew
144         line breaking.
145         (puts_stdout) Rewrote.
146         (dump_message) Rewrote.  Changed interface and updated all callers.
147         (compulsory_break) Removed.
148         (char_is_break) Removed.
149         (break_before) Removed.
150         (break_after) Removed.
151         (macro BREAK_LONG_WORD) Removed.
152
153 Sun Apr 16 20:41:10 2006  Ben Pfaff  <blp@gnu.org>
154
155         Continue reforming error message support.  In this phase, we
156         divide the classification of messages along "category" and
157         "severity" axes.
158
159         * message.c: (err_vmsg) Rewrite to deal with categories and
160         severities in a straightforward manner instead of mixing them into
161         classes.
162         [0] (puts_stderr) Removed (dead code).
163         (msg) Changed first argument from `int' to `enum msg_class'.
164         (tmsg) Ditto.
165
166 Sun Apr 16 18:53:12 2006  Ben Pfaff  <blp@gnu.org>
167
168         GNU standards require "file name" instead of "filename" in
169         documentation.  It's nice for our code to follow the convention
170         too.
171
172         Basically did search and replace in the whole source tree.  Major
173         changes in function names or struct member names have their own
174         change log entries.
175
176 Sun Apr 16 15:58:56 2006  Ben Pfaff  <blp@gnu.org>
177
178         Continue reforming error message support.  In this phase, we get
179         rid of VM() and the other msg() support for "verbosity", replacing
180         it by a new function verbose_msg().
181
182         * message.c: (verbose_msg) New function.
183         (err_vmsg) Remove support for verbosity levels.
184
185 Sun Apr 16 11:46:51 2006  Ben Pfaff  <blp@gnu.org>
186
187         Start reforming error message support.  In this phase, we get rid
188         of "installation errors" and change all uses of msg() in the
189         output drivers to uses of error() or error_at_line().
190
191         * message.c: (err_vmsg) Get rid of IE, IS support.
192
193 Sat Mar 11 14:17:47 WST 2006 John Darrington <john@darrington.wattle.id.au>
194
195         * automake.mk: Changed the pattern specific AM_CPPFLAGS to two target 
196           specific ones. Eventually there will be none at all.
197
198         * automake.mk: Moved the pspp binary to ui/terminal
199
200 Sat Mar  4 12:59:08 2006  Ben Pfaff  <blp@gnu.org>
201
202         * In many source files, #include "compiler.h" to get GCC attribute
203         definitions.
204
205 Sat Mar  4 12:28:09 2006  Ben Pfaff  <blp@gnu.org>
206
207         * In many source files, replace INT_DIGITS by
208         INT_STRLEN_BOUND(int) and include intprops.h.
209
210 John Darrington:
211         
212         * Replaced '_' with '-' in most filenames.
213
214         * Renamed files as follows:
215                 vfm.[ch] to procedure.[ch]
216                 error.[ch] to message.[ch]
217                 getl.[ch] to line-buffer.[ch]
218                 mkfile.[ch] to make-file.[ch]
219                 pfm-write.h to por-file-writer.h
220                 pfm-write.c to por-file-writer.c
221                 sfmP.h to sfm-private.h
222                 lex-def.c to identifier.c
223                 lex-def.h to identifier.h
224                 sfm-read.c to sys-file-reader.c
225                 sfm-read.h to sys-file-reader.h
226                 sfm-write.h to sys-file-writer.h
227                 sfm-write.c to sys-file-writer.c
228                 chart.[ch] to chart-geometry.[ch]
229                 val.h to value.h
230                 var.h to variable.h
231                 vars-atr.c to variable.c
232                 ctl-stack.c to control-stack.c
233                 ctl-stack.h to control-stack.h
234                 dfm-read.c to data-reader.c
235                 dfm-write.c to data-writer.c
236                 dfm-write.h to data-writer.h
237                 dfm-read.h to data-reader.h
238                 apply-dict.c to apply-dictionary.c
239                 mis-val.c to missing-values.c
240                 sysfile-info.c to sys-file-info.c
241                 modify-vars.c to modifiy-variables.c
242                 rename-vars.c to rename-variables.c
243                 val-labs.c to value-labels.c
244                 var-display.c to variable-display.c
245                 var-labs.c to variable-label.c
246                 format-prs.c to format-parser.c
247                 range-prs.c to range-parser.c
248                 range-prs.h to range-parser.h
249                 subclist.c to subcommand-list.c
250                 subclist.h to subcommand-list.h
251                 vars-prs.c to variable-parser.c
252                 descript.c to descriptives.c
253                 sort-prs.c to sort-criteria.c/sort-cases.c
254                 sort-prs.h to sort-criteria.h
255                 sel-if.c to select-if.c
256                 algorithm.c to array.c
257                 algorithm.h to array.h
258                 bitvector.h to bit-vector.h
259                 som.c to manager.c
260                 som.h to manager.h
261                 tab.h to table.h
262                 tab.c to table.c
263                 readln.c to read-line.c
264                 readln.h to read-line.h
265                 cmdline.c to command-line.c
266                 cmdline.h to command-line.h
267
268
269 Sat Feb 11 22:35:20 2006  Ben Pfaff  <blp@gnu.org>
270
271         General clean-ups and minor bug fixes.
272
273         * filename.h: Move DIR_SEPARATOR, PATH_SEPARATOR here from
274         pref.h.orig.
275
276         * lex-def.h: (macro CHAR_IS_ID1) Removed.  All references changed
277         to lex_is_id1().
278         (macro CHAR_IS_IDN) Removed.  All references changed to
279         lex_is_idn().
280         
281         * lex-def.c: (lex_is_id1) New function.
282         (lex_is_idn) New function.
283         (lex_skip_identifier) New function.
284         (lex_id_match_len) Return bool instead of int.
285         (lex_id_match) Ditto.
286
287         * command.c: (parse_command_name) Convert parsed words to
288         uppercase to make error messages easier to read.
289         (cmd_host) Fix return value.
290
291         * dfm-read.c: (read_inline_record) Use tokens to check for BEGIN
292         DATA, not specialized lexical analysis.
293
294         * print.c: (print_space_trns_proc) Count of lines should be `int',
295         otherwise we might never finish.
296         (print_space_trns_free) Close writer.
297
298         * lexer.c: (enum string_type) New enum.
299         (lex_get) Remove essentially unused local variable `cp'.
300         Use enum string_type values.  Use parse_id().
301         (parse_id) New function.
302         (lex_look_ahead) Recognize octal strings too.
303         (strip_comments) New function.
304         (lex_get_line) Rewrite.
305         (lex_preprocess_line) Removed.
306         (convert_numeric_string_to_char_string) Use enum string_type.
307         (parse_string) Ditto.
308
309         * autorecode.c: (recode) Clone correct number of bytes based on
310         source string width.
311
312 Sat Feb 11 22:34:38 2006  Ben Pfaff  <blp@gnu.org>
313
314         Reduce dependencies on getl, and of getl.
315
316         * data-in.c: (vdls_error) Don't output different message depending
317         on whether we're interactive.
318
319         * getl.h: (struct getl_line_list) Removed.
320         (struct getl_script) Removed.
321         (GETL_PRPT_*) Removed.
322         (GETL_MODE_*) Removed.
323         (GETL_PROMPT_FIRST, GETL_PROMPT_LATER, GETL_PROMPT_DATA,
324         GETL_PROMPT_CNT) New enums.
325
326         * settings.c: (static var prompt) Removed.
327         (static var cprompt) Removed.
328         (static var dprompt) Removed.
329         (settings_done) Don't initialize prompt, cprompt, dprompt.
330         (get_prompt) Removed.
331         (set_prompt) Removed.
332         (get_dprompt) Removed.
333         (set_dprompt) Removed.
334         (get_cprompt) Removed.
335         (set_cprompt) Removed.
336
337         * pfm-read.c: (corrupt_msg) Don't show filename and line number,
338         to get rid of getl_location().
339
340         * sfm-read.c: (corrupt_msg) Ditto.
341
342         * getl.c: (struct getl_source) New.
343         (static var cur_source) New.
344         (static var last_source) New.
345         (static var DO_REPEAT_level) Removed.
346         (global var getl_head) Removed.
347         (global var getl_tail) Removed.
348         (getl_initialize) Call init_prompts().
349         (getl_add_file) Removed.
350         (getl_include) Removed.
351         (getl_add_DO_REPEAT_file) Removed.
352         (getl_handle_line_buffer) Removed.
353         (getl_close_file) Removed.
354         (getl_close_all) Removed.
355         (getl_is_separate) Removed.
356         (getl_set_separate) Removed.
357         (getl_reading_script) Removed.
358         (append_source) New function.
359         (include_source) New function.
360         (create_source) New function.
361         (create_syntax_file_source) New function.
362         (create_filter_source) New function.
363         (create_function_source) New function.
364         (create_interactive_source) New function.
365         (getl_append_syntax_file) New function.
366         (getl_include_syntax_file) New function.
367         (getl_include_filter) New function.
368         (getl_include_function) New function.
369         (getl_append_interactive) New function.
370         (getl_abort_noninteractive) New function.
371         (getl_is_interactive) New function.
372         (close_source) New function.
373         (getl_location) Use new `cur_source' var.
374         (getl_uninitialize) Use close_source().  Call uninit_prompts().
375         (read_syntax_file) New function.
376         (read_line_from_source) New function.
377         (do_read_line) New function.
378         (getl_read_line) Rewrite.
379         (static var prompts) New.
380         (static var current_style) New.
381         (init_prompts) New function.
382         (uninit_prompts) New function.
383         (getl_get_prompt) New function.
384         (getl_set_prompt) New function.
385         (getl_set_prompt_style) New function.
386         (get_prompt) New function.
387
388         * command.c: Merge the EXIT (aka Q, aka QUIT) and FINISH commands,
389         and make EXIT undocumented.  EXIT was a PSPP extension that never
390         really entirely made sense.
391         (cmd_exit) Removed.
392         (cmd_finish) Return CMD_EOF unconditionally.
393         (cmd_clear_transformations) Drop requirement of interactivity.
394
395         * command.def: Merge the EXIT (aka Q, aka QUIT) and FINISH
396         commands.
397
398         * repeat.c: Major changes to match getl revision.
399         (struct line_list) New struct.
400         (enum repeat_entry_type) New.
401         (struct repeat_entry) Made `type' an enum repeat_entry_type.
402         (struct repeat_block) New.
403         (static var repeat_tab) Removed.
404         (static var count) Removed.
405         (static var line_buf_head) Removed.
406         (static var line_buf_tail) Removed.
407         (cmd_do_repeat) Rewritten.
408         (clean_up) Removed.
409         (append_record) Removed.
410         (recognize_keyword) New function.
411         (internal_cmd_do_repeat) Removed.
412         (parse_specification) New function.
413         (skip_indentor) New function.
414         (recognize_do_repeat) New function.
415         (recognize_end_repeat) New function.
416         (parse_lines) New function.
417         (create_vars) New function.
418         (parse_ids) Use enum repeat_entry_type.
419         (parse_strings) Ditto.
420         (find_DO_REPEAT_substitution) Renamed find_substitution(),
421         rewrote.
422         (perform_DO_REPEAT_substitutions) Renamed do_repeat_filter(),
423         rewrote.
424         (do_repeat_read) New function.
425         (do_repeat_close) New function.
426
427         * data-list.c: Don't need to keep track of eof from getl anymore,
428         because getl can tell us now.
429         (struct data_list_pgm) Removed `eof' member.
430         (cmd_data_list) Don't assign to `eof'.
431         (get_data_list_read_func) Renamed read_from_data_list(), changed
432         interface.
433         (read_from_data_list_fixed) Changed interface.
434         (read_from_data_list_free) Changed interface.
435         (read_from_data_list_list) Changed interface.
436         (data_list_trns_proc) Rewrote based on dfm_eof() and
437         dfm_reader_error().
438         (data_list_source_read) Check for dfm reader errors.
439
440         * dfm-read.c: (enum dfm_reader_flags) Removed DFM_EOF in favor of
441         new `eof_cnt' member in struct dfm_reader.
442         (struct dfm_reader) New `eof_cnt' member.
443         (dfm_close_reader) Check `eof_cnt', not DFM_EOF.
444         (dfm_open_reader) Initialize `eof_cnt'.
445         (read_inline_record) Set prompt style with
446         getl_set_prompt_style().  
447         (read_record) Rewrite.
448         (cmd_begin_data) Set prompt style with getl_set_prompt_style().
449
450         * include.c: (cmd_include) Use getl_include_syntax_file().
451
452         * set.q: (cmd_set) Use getl_set_prompt().
453
454         * html.c: (postopen) Remove "source-file" expansion variable, to
455         avoid use of getl_location().
456
457         * postscript.c: (postopen) Remove "source-file" expansion
458         variable, to avoid use of getl_location().
459
460         * cmdline.c: (parse_command_line) Drop -c command line option,
461         because it wasn't very useful.  -i command line option now calls
462         getl_append_interactive().  Use new getl function interfaces.
463         Drop support for clearing dictionary between syntax files and thus
464         the "+" command line syntax.
465         (static var pre_syntax_message) Remove description of now-gone -c
466         option.  Remove "+" command line syntax.
467
468         * main.c: (main) Only call handle_error() if the return value is
469         an error.
470         (execute_command) Use getl_set_prompt_style().  Drop support for
471         clearing dictionary between syntax files.
472         (handle_error) Handle CMD_CASCADING_FAILURE.  Don't call err_break().
473
474         * readln.c: Drop lots of #ifdefs.  Now that the Autoconf tests are
475         pickier, we can just use HAVE_READLINE.
476         (static var welcomed) Move into welcome().
477         (welcome) Make `welcomed' a local static var.  Check for and read
478         history file here.
479         (global var getl_mode) Removed.
480         (global var getl_interactive) Removed.
481         (global var getl_prompt) Removed.
482         (getl_read_line) removed.
483         (readln_read) New function.
484         (read_console) Removed.
485         
486
487 Sat Feb 11 22:16:21 2006  Ben Pfaff  <blp@gnu.org>
488
489         Try to reduce some of the nastier dependencies on the error
490         module, and at the same time make PSPP nicer to deal with, by
491         getting rid of fatal errors.  All the existing calls to msg (FE,
492         ...) or err_cond_fail() or err_failure() have been replaced by
493         propagating an error upward to the command-dispatch layer.
494         Unfortunately this propagation took a fair bit of extra mechanism,
495         because now a lot of functions can fail that couldn't before.
496
497         New command return value CMD_CASCADING_FAILURE which indicates to
498         the command processor that syntax file processing should be
499         abandoned.  Many commands were modified to return
500         CMD_CASCADING_FAILURE.  When this modification was trivial it
501         isn't mentioned in detail below.
502
503         Transformation procedures (trns_proc_func) and free functions
504         (trns_free_func) now have a `bool' return type, which is normally
505         true, but false when an I/O or other serious error occurs.  All
506         transformation functions were modified to have this return type.
507         When this modification was trivial it isn't mentioned in detail
508         below.
509
510         * pspp-error.h: (FE) Removed this error class.
511
512         * error.c: (err_failure) Removed.
513         (err_cond_fail) Removed.
514         (err_break) Removed (it was unused).
515         (err_check_count) Don't cause a fatal error--instead, stop reading
516         the syntax file.
517         (err_vmsg) Don't have FE anymore, so no need to call terminate().
518
519         * any-reader.c: (any_reader_error) New function.
520
521         * any-writer.c: (any_writer_write) Propagate
522         scratch_writer_write_case()'s new return value.
523         (any_writer_error) New function.
524         (any_writer_close) Propagate underlying function's new return
525         value.
526
527         * casefile.c: Add an "error state" to a casefile.  A casefile that
528         encounters an I/O error enters the error state, and afterward
529         reading and writing cases fails.
530         (struct casefile) Add `ok' member.
531         (casefile_create) Set `ok' to true.
532         (casefile_destroy) Use io_error().
533         (casefile_error) New function.
534         (casefile_sleep) Now returns bool to indicate success.
535         (casefile_append) Ditto.
536         (casefile_append_xfer) Ditto.
537         (casefile_to_disk) Ditto.
538         (write_case_to_disk) Don't do anything in error state.
539         (flush_buffer) Don't do anything in error state.  Use io_error().
540         (reader_open_file) Ditto.
541         (fill_buffer) Ditto.
542         (casereader_read) Don't do anything in error state.  Handle
543         errors.
544         (casereader_read_xfer_assert) Removed, because now an I/O error
545         can occur even if the caller knows a case exists.
546         (io_error) New function.
547
548         * mkfile.c: (make_temp_file) Make failure non-fatal.
549         (make_unique_file_stream) Ditto.
550
551         * pfm-read.c: Add an error state.
552         (struct pfm_reader) Add `ok' member to indicate error state.
553         (error) Set `ok' to false.
554         (pfm_open_reader) Set `ok' to true.  Make failure non-fatal.
555         (pfm_read_case) Don't do anything in error state.
556         (pfm_read_error) New function.
557
558         * pfm-write.c: Postpone most error checking in favor of checking
559         ferror() afterward.
560         (pfm_open_writer) Make failure non-fatal.  Check for write error
561         after writing header.
562         (buf_write) Don't do anything if error has occurred.  Postpone
563         error checking.  Change return type to void.
564         (write_float) Postpone error checking.  Change return type to
565         void.
566         (write_int) Ditto.
567         (write_string) Ditto.
568         (write_header) Ditto.
569         (write_version_data) Ditto.
570         (write_format) Ditto.
571         (write_value) Ditto.
572         (write_variables) Ditto.
573         (write_value_labels) Ditto.
574         (pfm_write_case) Don't do anything if error has occurred.
575         (pfm_write_error) New function.
576         (pfm_close_writer) Change return type to bool.  Return false if an
577         I/O error occurred.
578
579         * scratch-reader.c: (scratch_reader_error) New function.
580
581         * scratch-writer.c: (scratch_writer_write_case) Change return type
582         to bool.  Propagate casefile error return.
583         (scratch_writer_error) New function.
584         (scratch_writer_close) Change return type to bool.  Propagate
585         casefile error return.
586
587         * sfm-read.c: Add an error state.
588         (struct sfm_reader) Add `ok' member.
589         (sfm_open_reader) Initialize `ok'.  Make errors non-fatal.
590         (buf_read) Set `ok' to false on error.
591         (buffer_input) Do nothing in error state.  Set `ok' to false on
592         error.
593         (read_compressed_data) Set `ok' false on error.
594         (sfm_read_case) Return false in error state.
595         (fread_ok) Set `ok' false on error.
596         (sfm_read_error) New function.
597
598         * sfm-write.c: Postpone most error checking in favor of checking
599         ferror() afterward.
600         (sfm_open_writer) Make failure non-fatal.  Check for write error
601         after writing header.
602         (write_header) Postpone error checking.  Change return type to
603         void.
604         (write_variable) Ditto.
605         (write_value_labels) Ditto.
606         (write_documents) Ditto.
607         (write_variable_display_parameters) Ditto.
608         (write_longvar_table) Ditto.
609         (write_rec_7_34) Ditto.
610         (buf_write) Ditto.
611         (ensure_buf_space) Ditto.
612         (sfm_write_case) Do nothing if write error has occurred.
613         (sfm_write_error) New function.
614         (pfm_close_writer) Change return type to bool.  Return false if an
615         I/O error occurred.
616
617         * var.h: Introduced a new return value for trns_proc_func that
618         means "a serious error has occurred, so abort the procedure
619         entirely".  Because the hard-coded values of -1, -2, etc. were
620         becoming even a worse idea now, also introduced some macros for
621         them: TRNS_CONTINUE, TRNS_DROP_CASE, TRNS_ERROR, TRNS_NEXT_CASE,
622         TRNS_END_FILE.  Also replaced all references to the hard-coded
623         values by uses of the macros.
624         
625         * command.h: New command return value CMD_CASCADING_FAILURE which
626         indicates to the command processor that syntax file processing
627         should be abandoned.
628
629         * dfm-read.c: (dfm_open_reader) Make failure non-fatal.
630         (dfm_reader_error) New function.
631         (read_inline_record) Make unexpected end of file nonfatal.
632         (read_file_record) Make read error nonfatal.
633         (dfm_eof) Make second unexpected end of file nonfatal.
634         (cmd_begin_data) Make errors nonfatal.  
635         
636         * dfm-write.c: (dfm_open_writer) Make failure non-fatal.
637         (dfm_write_error) New function.
638         (dfm_put_record) Do nothing in error state.  Now return error
639         state.
640         (dfm_close_reader) Now return `bool' indicating error state.
641
642         * file-type.c: (file_type_source_read) Now return `bool'
643         indicating error state.
644
645         * get.c: (case_reader_source_read) Now return `bool' indicating
646         write error.
647         (case_writer_destroy) Ditto.
648         (case_writer_write_case) Ditto.
649         (struct mtf_proc) New member `ok' indicating error state.
650         (cmd_match_files) Initialize and deal with `ok'.
651         (mtf_processing_finish) Now return `bool' indicating I/O error.
652         (mtf_free_file) Renamed mtf_close_file().  Now return `bool'
653         indicating I/O error.
654         (mtf_free) Now return `bool' indicating I/O error.
655         (mtf_delete_file_in_place) Ditto.
656         (mtf_read_nonactive_records) Ditto.
657         (mtf_processing) Ditto.
658
659         * inpt-pgm.c: (input_program_source_read) Now return `bool'
660         indicating I/O error.  Handle new TRNS_ERROR transformation return
661         value.
662
663         * matrix-data.c: Introduce error state.
664         (cmd_matrix_data) Check error return values.
665         (read_matrices_without_rowtype) Now return `bool' indicating I/O
666         error.
667         (matrix_data_read_without_rowtype) Ditto.
668         (dump_cell_content) Ditto.
669         (nr_output_data) Ditto.
670         (read_matrices_with_rowtype) Ditto.
671         (matrix_data_read_with_rowtype) Ditto.
672         (wr_output_data) Ditto.
673
674         * lexer.c: (lex_init) Make unexpected eof non-fatal.
675         (lex_get) Ditto.
676         (lex_look_ahead) Ditto.
677         (unexpected_eof) Removed.
678         (convert_numeric_string_to_char_string) Make unexpected eof
679         non-fatal.
680         (parse_string) Ditto.
681
682         * flip.c: Make I/O errors non-fatal.
683         (struct flip_pgm) Add `pool', `output_buf' members.
684         (cmd_flip) Create and use pool.  Propagate errors.
685         (destroy_flip_pgm) Rewrite, using pool.
686         (struct flip_sink_info) Removed.
687         (flip_sink_create) Use pool.  Make errors non-fatal.
688         (flip_sink_write) Make errors non-fatal.
689         (flip_file) Make errors non-fatal.  Make `bool' return type to
690         indicate failure.
691         (flip_sink_destroy) Remove.
692         (static var flip_sink_class) Use NULL as destroy func, not
693         flip_sink_destroy().
694
695         * sort.c: Make I/O errors non-fatal.  Propagate errors.
696         (sort_active_file_in_place) Propagate errors.
697         (sort_active_file_to_casefile) Ditto.
698         (do_internal_sort) Ditto.
699         (do_external_sort) Ditto.
700         (write_runs) Ditto.
701         (destroy_initial_run_state) Propagate errors via new `bool' return
702         type.
703         (merge) Propagate errors.
704         (merge_once) Ditto.
705
706         * output.c: [GLOBAL_DEBUGGING] Remove reentrancy detection,
707         because it used msg (FE, ...) and wasn't very useful.
708
709         * main.c: (handle_error) Handle CMD_CASCADING_FAILURE.
710
711         * vfm.c: (struct write_case_data) Change `proc_func' return type
712         to bool.
713         (procedure) Add `bool' return type to indicate I/O error.
714         Propagate errors.
715         (internal_procedure) Ditto.
716         (write_case) Ditto.
717         (execute_transformations) If a transformation returns TRNS_ERROR,
718         propagate the error.
719         (close_active_file) Add `bool' return type to indicate I/O error.
720         Propagate errors.
721         (cancel_transformations) Add `bool' return type to indicate I/O
722         error.  Propagate errors.
723         (struct split_aux_data) Change `proc_func' return type to bool.
724         (procedure_with_splits) Change `proc_func' return type to bool.
725         Add `bool' return type to indicate I/O error.
726         (multipass_procedure_with_splits) Change `split_func' return type
727         to bool.  Add `bool' return type to indicate I/O error.
728         (multipass_split_callback) Add `bool' return type to indicate I/O
729         error.  Propagate errors.
730
731         * vfm.h: (struct case_source_class) Change `read' return type from
732         void to bool to allow reporting I/O errors.  Updated all
733         implementations to do so.
734         (struct case_sink_class) Change `write' return type from void to
735         bool to allow reporting I/O errors.  Updated all implementations
736         to do so.
737
738 Sun Feb 12 18:12:56 2006  Ben Pfaff  <blp@gnu.org>
739
740         * pool.c: Useful new functions.
741         (pool_tmpfile) New function.
742         (pool_attach_file) New function.
743         (pool_detach_file) New function.
744         (pool_fopen) Reimplement in terms of pool_attach_file().
745         (pool_fclose) Reimplement in terms of pool_detach_file().  Fix
746         double-free.
747
748         * str.c: Useful new functions.
749         (ds_swap) New function.
750         (ds_rtrim_spaces) New function.
751         (ds_chomp) New function.
752         (ds_is_empty) New function.
753         (ds_first) New function.
754         (ds_last) New function.
755
756 Sat Feb 11 21:51:21 2006  Ben Pfaff  <blp@gnu.org>
757
758         Get rid of finished, start_interactive globals.
759
760         * command.c: (cmd_exit) Instead of setting `finished', return
761         CMD_EOF.
762         (cmd_finish) Ditto.
763
764         * command.h: New enum CMD_EOF.
765
766         * main.c: (global var finished) Removed.
767         (global var start_interactive) Removed.
768         (main) Execute commands until CMD_EOF is the return value.
769         If parse_command_line() returns false, don't execute any commands
770         at all.
771
772         * cmdline.c: (parse_command_line) If the command line indicates we
773         shouldn't execute syntax files, return false instead of
774         terminating.
775         (usage) Don't terminate.
776
777 Sat Feb 11 21:48:31 2006  Ben Pfaff  <blp@gnu.org>
778
779         Get rid of cur_proc global.  Replace by functions in err and tab
780         modules, which were the users.
781
782         * error.c: (static var command_name) New static var.
783         (err_vmsg) Use command_name.
784         (err_set_command_name) New function.
785
786         * tab.c: (static var command_name) New static var.
787         (tabi_title) Use command_name.
788         (tab_set_command_name) New function.
789
790         * command.c: (global var cur_proc) Removed.
791         (cmd_parse) Call err_set_command_name(), tab_set_command_name()
792         around executing command to set and clear command name.
793
794 Sat Feb 11 21:44:50 2006  Ben Pfaff  <blp@gnu.org>
795
796         Get rid of glob.c, glob.h.
797
798         * Makefile.am: (pspp_SOURCES) Remove glob.c, glob.h.
799         
800         * dictionary.c: Move default_dict definition here.
801
802         * glob.c: Removed.
803         (global var FILTER_before_TEMPORARY) Variable removed.  All
804         references deleted.  The info in this var was redundant with
805         temp_dict, so they were changed to use temp_dict where needed.
806
807         * glob.h: Removed.
808
809         * start-date.c: New file. Moved get_start_date() here.
810
811         * start-date.h: New file.
812
813 Fri Feb  3 20:34:52 2006  Ben Pfaff  <blp@gnu.org>
814  
815         * font.h: (struct font_set) Removed, because unused.
816  
817 Sat Jan 28 17:45:36 2006  Ben Pfaff  <blp@gnu.org>
818
819         Cleaner (faster?) way to compact cases.
820
821         * dictionary.c: (dict_compact_case) Removed.
822         (dict_needs_compaction) New function.
823         (struct copy_map) New structure.
824         (struct dict_compactor) New structure.
825         (dict_make_compactor) New function.
826         (dict_compactor_compact) New function.
827         (dict_compactor_destroy) New function.
828         
829 Sat Jan 28 17:24:22 2006  Ben Pfaff  <blp@gnu.org>
830
831         Cleanups.
832
833         * data-list.c: Make data_list_source_class static.
834         (dump_fixed_table) Use fh_get_name() to describe source of data.
835         (dump_free_table) Ditto.
836         (cmd_repeating_data) Eliminate special cases for inline file.
837
838         * dictionary.c: (dict_contains_var) Change return value from int to
839         bool.
840         (dict_rename_vars) Ditto.
841         (dict_create_vector) Ditto.
842
843 Sat Jan 28 17:20:50 2006  Ben Pfaff  <blp@gnu.org>
844
845         Add scratch file handles.
846
847         Now a file handle can refer to a disk file, to an in-memory
848         structure, or to the "inline" file, instead of just to a disk
849         file.  The introduction of new categories means that special cases
850         for the inline file in a few places could be eliminated, but it
851         also means that code that assumed that a handle refers to a file
852         has to check for that.
853
854         Also, now file handles can be freed, so code now must be sure not
855         to access a handle after closing it (with fh_close()).
856
857         * Makefile.am: Add any-reader.c, any-reader.h, any-writer.c,
858         any-writer.h, scratch-handle.c, scratch-handle.h,
859         scratch-reader.c, scratch-reader.h, scratch-writer.c,
860         scratch-writer.h to pspp_SOURCES.
861
862         * any-reader.c: New file.
863         
864         * any-reader.h: New file.
865         
866         * any-writer.c: New file.
867         
868         * any-writer.h: New file.
869
870         * scratch-handle.c: New file.
871         
872         * scratch-handle.h: New file.
873
874         * scratch-reader.c: New file.
875         
876         * scratch-reader.h: New file.
877
878         * scratch-writer.c: New file.
879         
880         * scratch-writer.h: New file.
881
882         * aggregate.c: Use an any_writer instead of an sfm_writer, to add
883         flexibility.
884
885         * apply-dict.c: Use an any_reader instead of an sfm_reader, to add
886         flexibility.
887
888         * command.def: Add CLOSE FILE HANDLE command.
889
890         * dfm-reader.c: Now fewer special cases for inline file.
891         (static var inline_open_cnt) Removed.
892         (static var inline_file) Removed.
893         (dfm_close_reader) Eliminate a special case for inline file.
894         Reorganize to avoid access-after-free.
895         (dfm_open_reader) Eliminate a special case for inline file.
896         (read_inline_record) Use bool instead of int.  No need to
897         increment line number.
898         (read_file_record) Use bool instead of int.
899         (read_record) Check whether file handle is inline file, instead of
900         for null pointer.
901         (dfm_eof) Ditto.
902         (dfm_expand_tabs) Ditto.
903         (dfm_push) Ditto.
904         (dfm_pop) Ditto.
905         (cmd_begin_data) Fix inaccurate check for whether the inline file
906         is in use--now we can tell by checking whether the inline file's
907         open count is positive.
908         
909         * file-handle-def.c: (struct file_handle) Reorder members.  Add
910         `deleted' member.  Add `referent' member.  Add `sh' member.
911         (static var default_handle) New variable.
912         (static var inline_file) New variable.
913         (fh_init) Initialize inline file.
914         (free_handle) New function.
915         (fh_done) Rewrite.
916         (fh_from_name) Don't return deleted handles.
917         (fh_from_filename) Ditto.
918         (fh_create) Removed.
919         (create_handle) New function.
920         (fh_create_file) New function.
921         (fh_create_scratch) New function.
922         (fh_inline_file) New function.
923         (fh_free) Rewrite.
924         (fh_open) Now requires a referent type mask and verifies it.  All
925         references updated.
926         (fh_close) If open_cnt goes to 0 on a deleted handle, free it.
927         (fh_is_open) New function.
928         (fh_get_referent) New function.
929         (fh_get_filename) Limit to handles that refer to files.
930         (fh_get_mode) Ditto.
931         (fh_get_record_width) Limit to handles that refer to files or the
932         inline file.
933         (fh_get_tab_width) Ditto.
934         (fh_get_scratch_handle) New function.
935         (fh_set_scratch_handle) New function.
936         (fh_get_default_handle) New function.
937         (fh_set_default_handle) New function.
938
939         * file-handle.h: (enum fh_referent) New type.
940         (enum fh_mode) Rename MODE_TEXT to FH_MODE_TEXT, MODE_BINARY to
941         FH_MODE_BINARY, and update all usages.
942
943         * file-handle.q: Add "scratch" as a possible mode.
944         (cmd_file_handle) Mention CLOSE FILE HANDLE in error message.
945         Use lex_end_of_command(), lex_sbc_missing().  Support creating
946         scratch handles.
947         (cmd_close_file_handle) New function.
948         (referent_name) New function.
949         (fh_parse) Now takes a referent type mask to specify handles that
950         can be accepted.  Updated all references.
951         
952         * filename.c: (fn_extension) New function.
953
954         * get.c: Use any_reader and any_writer and thereby merge code that
955         has been duplicated for each kind of file.  Also, we had something
956         here called `any_writer' before, so its name had to be changed to
957         `case_writer'.
958         (enum operation) Removed, because unused.
959         (struct get_pgm) Removed.
960         (get_pgm_free) Removed.
961         (get_source_destroy) Removed.
962         (get_source_read) Removed.
963         (global var get_source_class) Removed.
964         (static var case_reader_source_class) Removed.
965         (enum reader_command) New enum.
966         (struct case_reader_pgm) New struct.
967         (parse_read_command) New function.
968         (case_reader_pgm_free) New function.
969         (case_reader_source_destroy) New function.
970         (case_Reader_source_Read) New function.
971         (cmd_get) Rewrote as a call to parse_read_command().
972         (cmd_import) Ditto.
973         (struct any_writer) Rename to case_writer.  Drop `writer_type',
974         `writer' members in favor of an `any_writer' member named
975         `writer'.
976         (any_writer_destroy) Rename case_writer_destroy.  Use
977         any_writer_close().
978         (parse_write_command) Allow scratch files.  Use any_writer.
979         (any_writer_write_case) Rename case_writer_write_case().  Use
980         any_writer_write().
981 `       (struct mtf_file) Use any_reader.
982         (cmd_match_files) Allow scratch files.  Use any_reader.
983         (mtf_free_file) Use any_reader_close().
984         (mtf_read_nonactive_records) Use any_reader_read().
985         (mtf_processing) Use any_reader_read().
986         (struct import_pgm) Removed.
987         (import_pgm_free) Removed.
988         (import_source_destroy) Removed.
989         (import_source_read) Removed.
990         (global var import_source_class) Removed.
991
992         * glob.c: (global var default_handle) Removed.  Replaced all
993         references by fh_get_default_handle() or fh_set_default_handle().
994
995         * pfm-read.c: (static var portable_to_local) Moved from inside
996         read_header() to top level.
997         (pfm_detect) New function.
998
999         * pfm-write.c: (pfm_write_case) Make case argument const.
1000         Reorganize to avoid access-after-free.
1001
1002         * print.c: (dump_table) Use fh_get_name() to describe source of
1003         data.
1004
1005         * sfm-read.c: (sfm_close_reader) Reorganize to avoid
1006         access-after-free.
1007         (sfm_detect) New function.
1008
1009         * str.c: (str_lowercase) New function.
1010
1011         * vfm.c: Use new compaction interface.
1012         (static var compaction_necessary) Removed.
1013         (static var compactor) New variable.
1014         (open_active_file) Initialize compactor.
1015         (write_case) Use compactor.
1016         (close_active_file) Free compactor.
1017         
1018 Wed Jan 11 19:28:39 2006  Ben Pfaff  <blp@gnu.org>
1019
1020         Clean up file handle code in preparation to add scratch file
1021         handles.
1022         
1023         * file-handle-def.c: Lots of formatting cleanup.  Added function
1024         comments.
1025         (struct file_handle) Renamed `length' member
1026         to `record_width'.  All references updated.
1027         (fh_init) New function.  Moved here from file-handle.q.
1028         (fh_done) New function.  Moved here from file-handle.q and
1029         rewrote.
1030         (get_handle_with_name) Renamed fh_from_name().
1031         (get_handle_for_filename) Renamed fh_from_filename().
1032         (create_file_handle) Renamed fh_create().  Changed to take a
1033         `struct fh_properties' instead of discrete values.  Updated all
1034         references.
1035         (create_file_handle_with_defaults) Removed.  Updated all
1036         references to use fh_create() with fh_default_properties().
1037         (fh_default_properties) New function.
1038         (destroy_file_handle) Removed.  The code is now in fh_done().
1039         (handle_get_name) Renamed fh_get_name().
1040         (handle_get_filename) Renamed fh_get_filename().
1041         (handle_get_record_width) Renamed fh_get_record_width().
1042         (handle_get_tab_width) Renamed fh_get_tab_width().
1043
1044         * file-handle-def.h: Formatting, comment fixes.
1045         (enum file_handle_mode) Renamed struct fh_mode.
1046         (struct fh_properties) New structure.
1047         (fh_init) Move prototype here from file-handle.h.
1048         (fh_done) Ditto.
1049         (fh_close) Ditto.
1050
1051         * file-handle.q: (static var handle_list) Removed.
1052         (fh_parse) Don't add handle to handle_list, because
1053         file-handle-def.c has its own list.
1054         (fh_init) Moved to file-handle-def.c.
1055         (fh_done) Ditto.
1056
1057 Sun Jan 9 01:09  Jason Stover  <jason@sakla.net>
1058
1059         * regression.q: (run_regression) Moved coefficient initialization
1060         to the linreg library. Altered other functions accordingly.
1061
1062 Sat Jan  7 13:30:54 WST 2006 John Darrington <john@darrington.wattle.id.au>
1063
1064         * command.c data-in.c main.c: Fixed bug which crept in when 
1065           separating getl from readline.
1066
1067         * vars-atr.c value-labels.h: Fixed constness of  val_labs_count.
1068
1069 Fri Dec 23 20:59:01 WST 2005 John Darrington <john@darrington.wattle.id.au>
1070
1071         * getl.c error.c: Separated file_loc functionality from error.c
1072
1073 Mon Dec 19 14:01:56 WST 2005 John Darrington <john@darrington.wattle.id.au>
1074
1075         * format.c: Additional error checking.
1076         * getl.[ch]: Separated into getl.c and readln.c
1077         * settings.[ch]: Made CC_CNT public
1078
1079 Fri Dec 16 09:11:48 WST 2005 John Darrington <john@darrington.wattle.id.au>
1080
1081         * examine.q: Fixed buglet when cleaning up at end of procedure.
1082
1083 Tue Dec 13 22:34:42 2005  Ben Pfaff  <blp@gnu.org>
1084
1085         Move global initialization and cleanup code into main.c.
1086         Remove vestigial log infrastructure.
1087         Minor related cleanups.
1088         
1089         * command.c: (shell) When execl() fails, use _exit(), not
1090         err_hcf().
1091
1092         * error.c: (err_hcf) Move into main.c, rename terminate().  All
1093         callers updated.
1094         (err_done) New function with just the error.c-specific code for
1095         err_hcf().  Called by terminate().
1096
1097         * glob.c: Removed all Borland C, DJGPP cruft.
1098         (init_glob) Merged into main().
1099         (done_glob) Merged into terminate().
1100         (get_date) Removed.
1101         (get_start_date) New function.  All users of curdate updated to call
1102         this function instead.
1103
1104         * lexer.c: (lex_init) Moved initialization of tokstr here, from
1105         init_glob().
1106         (lex_done) Moved destruction of tokstr here, from done_glob().
1107
1108         * main.c: (global var pgmname) Removed.  Changed all references to
1109         program_name, which is defined by gnulib.
1110         (global var curdate) Removed.
1111         (main) Moved init_glob() code here.  Merged parse_script() in
1112         here.
1113         (parse_script) Removed.
1114         (terminate) Moved err_hcf() here from error.c and renamed
1115         terminate().  Merged done_glob() code in here.  Call err_done().
1116         All callers updated.
1117         (i18n_init) New function.
1118         (fpu_init) New function.
1119
1120         * output.c: (outp_init) Make void.
1121         (init_default_drivers) New function.
1122         (outp_read_devices) If no drivers are initialized successfully,
1123         call init_default_drivers() to initialize a default driver.
1124         (outp_done) Make void.
1125         (static var prog) Make const.
1126         (parse_options) Make parameter const.
1127         (colon_tokenize) Make return value const.
1128         (configure_driver) Change prototype to take a broken-down driver
1129         configuration instead of a line of text.
1130         (configure_driver_line) New function that does what
1131         configure_driver() did before.
1132
1133         * q2c.c: (global var pgmname) Rename program_name.
1134
1135         * settings.c: (settings_init) Renamed from init_settings().
1136         (settings_done) Renamed from done_settings().
1137
1138         * vfm.c: (global var last_vfm_invocation) Make static.
1139         (vfm_last_invocation) New function.  All references to
1140         last_vfm_invocation update to call this.
1141         (procedure) Call update_last_vfm_invocation().
1142         (internal_procedure) Ditto.
1143         (update_last_vfm_invocation) New function.
1144         
1145 Sat Dec 10 23:30:19 2005  Ben Pfaff  <blp@gnu.org>
1146
1147         Separate random numbers from other settings because of GSL
1148         dependency.
1149
1150         * Makefile.am: Add random.c, random.h to sources.
1151
1152         * glob.c: (init_glob) Call random_init().
1153         (done_glob) Call random_done().
1154
1155         * settings.c: (static var rng) Move to random.c.
1156         (done_settings) Move freeing of RNG to random_done().
1157         (get_rng) Move to random.c
1158         (set_rng) Ditto.
1159
1160         * random.c: New file.
1161
1162         * random.h: New file.
1163
1164 Sat Dec 10 18:13:36 2005  Ben Pfaff  <blp@gnu.org>
1165
1166         Separate settings and the SET command, for modularity.
1167         
1168         * Makefile.am: Add settings.c to sources.
1169
1170         * glob.c: (global variable test_mode) Removed.
1171
1172         * set.q: Remove all the set_* variables.  Remove a lot of obsolete
1173         SPSS/PC+ settings.  Remove the aux_*() routines.  Moved the
1174         get_*() functions into settings.c.  Rewrite the settings code and
1175         functions to call the new set_*() functions.  Rewrite custom
1176         currency parsing.  Write new by-hand cmd_show().
1177
1178         * esttings.c: New file.  Moved the get_*() functions here from
1179         set.q.  Created new set_*() functions to correspond with them.
1180         Regularized the names and types of some functions and updated
1181         their callers.  Added static, file-scope variables to support the
1182         settings.
1183
1184         * q2c.c: Remove "aux" support, which was only needed by set.q.
1185         
1186 Sun Nov 27 06:43:46 WST 2005 John Darrington <john@darington.wattle.id.au>
1187
1188         * data-out.c format.h: Added return value to data_out function.
1189
1190         * value-labels.c: Fixed bug in val_labs_remove.
1191
1192 Sat Nov  5 18:37:26 2005  Ben Pfaff  <blp@gnu.org>
1193
1194         * Makefile.am: Remove devind.c, devind.h from list of source
1195         files.
1196
1197         * devind.c: Removed.
1198
1199         * devind.h: Removed.
1200
1201         * list.q: Removed "support" for devind.
1202
1203         * output.c: Don't add devind class.
1204
1205 Sat Nov  5 18:21:00 2005  Ben Pfaff  <blp@gnu.org>
1206
1207         * var.h: (struct variable) Make `init', `reinit' bool values.
1208         Rearrange fields.
1209
1210 Fri Nov  4 19:43:01 2005  Ben Pfaff  <blp@gnu.org>
1211
1212         * recode.c: Rewrote whole file, as clean-up.
1213
1214 Fri Nov  4 19:37:50 2005  Ben Pfaff  <blp@gnu.org>
1215
1216         * pool.c: Don't make alignment exception for x86.
1217         (pool_alloc) Return null for 0-size blocks.
1218         (pool_alloc_unaligned) New function.
1219         (pool_strndup) Removed.  Changed callers to use pool_clone_unaligned().
1220         (pool_clone_unaligned) New function.
1221         (pool_strdup) Use pool_clone_unaligned().
1222
1223         * var.h: (enum var_type) Give the NUMERIC, ALPHA enum this name.
1224         (struct variable) Use `enum var_type' for `type'.
1225
1226         * vars-atr.c: (var_type_adj) New function.
1227         (var_type_noun) New function.
1228
1229         * vars-prs: (parse_mixed_vars) Fix freeing code.
1230         (parse_mixed_vars_pool) New function.
1231
1232 Wed Nov  2 21:24:48 2005  Ben Pfaff  <blp@gnu.org>
1233
1234         * file-handle-def.c: Needed another #include, to avoid missing
1235         prototype warning.
1236
1237         * file-handle.q: (cmd_file_handle) Declarations must precede
1238         statements.  Free parse data on success as well as on failure, to
1239         avoid memory leak.
1240
1241         * get.c: (parse_write_command) Destroy dict on success, to avoid
1242         memory leak.
1243         
1244         * data-list.c: (cmd_repeating_data) Fix usage of saw_occurs,
1245         saw_length, saw_continued, saw_id, which were boolean but
1246         incorrectly treated as bitmaps as result of a previous
1247         half-finished cleanup.
1248
1249         * weight.c: (struct weight_trns) Unused, so removed.
1250
1251         * Makefile.am: Add range-prs.h to sources.
1252
1253 Wed Nov  2 21:24:15 2005  Ben Pfaff  <blp@gnu.org>
1254
1255         DO IF, LOOP cleanup.
1256
1257         * Makefile.am: Add ctl-stack.c, ctl-stack.h to source files.
1258         Reformat source file list to list one file per file, so that
1259         patches for future changes will be easier to read.
1260
1261         * ctl-stack.c, ctl-stack.h: New files.
1262
1263         * do-if.c: Rewrote whole file.
1264
1265         * do-ifP.h: Removed.
1266
1267         * loop.c: Rewrote whole file.
1268
1269         * glob.c: (global var ctl_stack) Move into ctl-stack.c.
1270
1271         * temporary.c: (cmd_temporary) Use ctl_stack_is_empty().
1272
1273         * vfm.c: (open_active_file) Use ctl_stack_clear().
1274
1275 Wed Nov  2 21:18:13 2005  Ben Pfaff  <blp@gnu.org>
1276
1277         New pool functions.
1278         
1279         * pool.c: (pool_create_at_offset) New function.
1280         (pool_add_subpool) New function.
1281
1282         * pool.h: (pool_create_container) New macro.
1283         
1284         * expressions/parse.c: (expr_parse_pool) New function.
1285         
1286         * autorecode.c: (recode) Use pool_create_container().
1287
1288         * count.c: (cmd_count) Ditto.
1289
1290 Wed Nov  2 19:59:32 2005  Ben Pfaff  <blp@gnu.org>
1291
1292         Clean up transformations, by getting rid of `struct trns_header',
1293         replacing it by `struct transformation' that has a void *
1294         `private' member.  Updated all uses of transformations to match,
1295         which was a lot of code.  Only major related changes listed below.
1296
1297         * compute.c: (cmd_if) Use get_proc_func().
1298         (cmd_compute) Use get_proc_func().
1299         (get_proc_func) New function.
1300
1301         * glob.c: (global var m_trns) Change type to size_t.
1302         (global var n_trns) Ditto.
1303         (global var f_trns) Ditto.
1304         (global var t_trns) Change type to struct transformation *.
1305
1306         * var.h: (struct trns_header) Removed.
1307         (struct transformation) New.
1308         (typedef trns_proc_func) Takes a void * instead of a struct
1309         trns_header *.
1310         (typedef trns_free_func) Ditto.
1311
1312         * vfm.c: (execute_transformations) Takes an array of
1313         transformations instead of trns_headers.
1314         (add_transformation) Change prototype from (trns_header *) to
1315         (trns_proc_func *, trns_free_func *, void *).
1316         (next_transformation) New function.
1317
1318 Sat Oct 29 16:25:36 2005  Ben Pfaff  <blp@gnu.org>
1319
1320         * count.c: Major cleanups.  Rename practically everything.
1321         Rewrite much of the code.  Use pools for memory management.  Use
1322         the new parse_num_range().
1323
1324         * mis-val.c: (cmd_missing_values) Use the new parse_num_range().
1325         (parse_number) Removed.
1326
1327         * missing-values.c: (mv_add_num_range) Don't add out-of-order
1328         ranges, e.g. where low > high.
1329
1330         * pool.c: (pool_2nrealloc) New function.
1331
1332         * range-prs.c: New file.
1333         (parse_num_range) New function.
1334         (parse_number) New function.
1335         
1336 Fri Oct 28 22:47:48 2005  Ben Pfaff  <blp@gnu.org>
1337
1338         Fix up potential overflows in size calculations by replacing
1339         instances of pool_alloc(p, x * sizeof *y) by pool_malloc(p, x,
1340         sizeof *y) everywhere I could find them.  Similarly by
1341         pool_malloc(), pool_realloc().
1342         (Order is important: pool_alloc(p, sizeof *y, x) will divide by 0
1343         if x is 0.)
1344
1345         * pool.c: (pool_nalloc) New function.
1346         (pool_nmalloc) New function.
1347         (pool_nrealloc) New function.
1348
1349 Thu Oct 27 11:16:53 WST 2005 John Darrington <john@darrington.wattle.id.au>
1350
1351         Separated the definition of a file handle object from the stuff 
1352         pertaining to the FILE HANDLE command.
1353
1354         * file-handle-def.[ch]: New files.
1355
1356         * dfm-read.c file-handle.h file-handle.q
1357         
1358 Tue Oct 25 21:56:23 2005  Ben Pfaff  <blp@gnu.org>
1359
1360         Fix up potential overflows in size calculations by replacing
1361         instances of xmalloc(x * sizeof *y) by xnmalloc(x, sizeof *y)
1362         everywhere I could find them.  Similarly by xrealloc(), malloc().
1363         (Order is important: xnmalloc(sizeof *y, x) will divide by 0 if x
1364         is 0.)
1365
1366         * alloc.c: (nmalloc) New function.
1367         (out_of_memory) Removed.  Replaced references by xalloc_die().
1368
1369         * sort.c: (allocate_cases) Fix segfault if memory allocation
1370         fails.
1371
1372         * subclist.c: (subc_list_double_create) Use xnmalloc() instead of
1373         malloc().
1374         (subc_list_double_push) Use xnrealloc() instead of realloc().
1375
1376 Wed Oct 26 08:43:51 WST 2005 John Darrington <john@darrington.wattle.id.au>
1377
1378         Dictionary abstraction part #2
1379
1380         * algorithm.c format.c str.c sysfile-info.c val.h var.h vars-atr.c:
1381           Removed unnecessary #include directives
1382
1383 Mon Oct 24 21:35:08 2005  Ben Pfaff  <blp@gnu.org>
1384
1385         * groff-font.c (font_msg): Use err_vmsg() instead of incorrectly
1386         trying to pass a va_list to tmsg().  Thanks to Jason Stover for
1387         reporting this bug.
1388
1389 Mon Oct 24 21:24:15 2005  Ben Pfaff  <blp@gnu.org>
1390
1391         Work to get rid of GCC 4.0 warnings, part 2.
1392
1393         In many files, change `unsigned char' to `char'.  This often
1394         requires adding casts to <ctype.h> functions.
1395
1396         * data-in.c: (parse_A) Use buf_copy_rpad().
1397
1398         * str.c: (str_copy_buf_trunc) New function.
1399
1400         * value-labels.c: (value_to_string) Fix mistaken use of strncpy(),
1401         by rewriting.
1402
1403 Mon Oct 24 13:42:32 WST 2005 John Darrington <john@darrington.wattle.id.au>
1404
1405         Moved some definitions to make it easier to abstract a dictionary 
1406         from the rest of PSPP.
1407
1408         * format-prs.c lex-def.[ch]:  New files.
1409
1410         * Makefile.am lexer.[ch] dictionary.c vars-atr.c vfm.c algorithm.c 
1411           format.c:  Moved some functions between modules.
1412         
1413 Sun Oct 23 19:28:08 2005  Ben Pfaff  <blp@gnu.org>
1414
1415         Work to get rid of GCC 4.0 warnings, part 1.
1416         
1417         In many files, change count parameters to parse_variables(),
1418         etc. from `int' to `size_t'.  Also change related variables and
1419         struct members.  Also change messages as needed (e.g. %d to %u
1420         with cast to unsigned).  Also change arithmetic as necessary
1421         (e.g. n >= m - 1 to n + 1 >= m). 
1422
1423         * crosstabs.q: (crs_custom_tables) Check for size_t overflow in
1424         multiplication.
1425
1426         * q2c.c: (dump_declarations) Generate code for size_t instead of
1427         int.
1428         
1429 Thu Oct 20 18:18:40 2005  Ben Pfaff  <blp@gnu.org>
1430
1431         * output.c: (outp_read_devices) Fix message.
1432
1433 Sat Sep 17 11:13:13 2005  Ben Pfaff  <blp@gnu.org>
1434
1435         * matrix-data.c: (cmd_matrix_data) Change type of variable whose
1436         address is passed to dict_get_vars() from size_t to int to match
1437         John's change below.
1438
1439         * modify-vars.c: (validate_var_modification) Ditto.
1440
1441 Mon Sep 12 19:26:06 WST 2005 John Darrington <john@darrington.wattle.id.au>
1442
1443         * dictionary.[ch]  Changed cnt from size_t* to int* since that's
1444         what it's called as, and on  x86_64 machines they're different sizes.
1445         
1446         * str.c: (ds_vprintf) Copied va_list args so they can be re-used
1447         
1448 Sun Aug 21 00:12:24 2005  Ben Pfaff  <blp@gnu.org>
1449
1450         * lexer.c: (lex_sbc_only_once) New function.
1451         (lex_sbc_missing) New function.
1452
1453 Sun Aug 21 00:00:47 2005  Ben Pfaff  <blp@gnu.org>
1454
1455         * case.h: (case_str) Make it return `unsigned char'.
1456
1457 Sat Aug 20 23:56:14 2005  Ben Pfaff  <blp@gnu.org>
1458
1459         Revamp SAVE, XSAVE, EXPORT.  Add (or at least parse) all the
1460         subcommands that we didn't support.  Fix bug 13911.  Fix bug
1461         reported by Adam Pierson (COMPRESSED and other subcommands didn't
1462         work on SAVE).  Refactor all related code.
1463         
1464         * command.def: Add XEXPORT command.
1465
1466         * dictionary.c: (dict_delete_scratch_vars) New function.
1467
1468         * get.c: (cmd_get) Fix parsing.
1469         (struct save_trns) Removed.
1470         (cmd_save_internal) Removed.
1471         (cmd_save) Removed.
1472         (do_write_case) Removed.
1473         (save_write_case_func) Removed.
1474         (save_trns_proc) Removed.
1475         (save_trns_free) Removed.
1476         (trim_dictionary) Removed.
1477         (struct export_proc) Removed.
1478         (cmd_export) Rewrote.
1479         (export_write_case_func) Removed.
1480         (export_proc_free) Removed.
1481         (enum writer_type) New enum.
1482         (enum command_type) New enum.
1483         (struct any_writer) New struct.
1484         (any_writer_destroy) New function.
1485         (parse_write_command) New function.
1486         (any_writer_write_case) New function.
1487         (parse_output_proc) New function.
1488         (output_proc) New function.
1489         (cmd_save) Rewrote.
1490         (cmd_xsave) Rewrote.
1491         (struct output_trns) New struct.
1492         (parse_output_trns) New function.
1493         (output_trns_proc) New function.
1494         (output_trns_free) New function.
1495         (cmd_xsave) Rewrote.
1496         (cmd_xexport) New function.
1497         (parse_dict_trim) New function.
1498         (struct mtf_proc) Change `by_cnt' member type to `int'.
1499         (cmd_import) Rewrote.
1500
1501         * pfm-write.c: (struct pfm_writer) Add `digits' member.
1502         (pfm_writer_default_options) New function.
1503         (pfm_open_writer) Add `opts' argument and handle options.
1504         (write_float) Write only as many digits as `digits' member says.
1505         (format_trig_double) Limit base-10 precision to LDBL_DIG.
1506
1507         * pfm-write.h: (enum pfm_type) Moved here from pfm-read.h.
1508         (struct pfm_write_options) New struct.
1509
1510         * sfm-write.c: (sfm_writer_default_options) New function.
1511         (sfm_open_writer) Remove `compress', `omit_long_names' args.  Add
1512         `opts' argument.  Implement options.
1513
1514         * sfm-write.h: (struct sfm_write_options) New struct.
1515
1516         * expressions/helpers.c: (copy_string) Make `old' arg `unsigned
1517         char *' instead of `char *'.
1518         
1519 Sat Aug  6 21:29:15 2005  Ben Pfaff  <blp@gnu.org>
1520
1521         * factor_stats.c: Needed <config.h> included earlier.
1522
1523         * percentiles.c: Needed to include <config.h>.
1524
1525         * val.h: Don't include "config.h".
1526
1527 Sat Aug  6 21:26:27 2005  Ben Pfaff  <blp@gnu.org>
1528
1529         Clean up treatment of missing values by moving all the code into
1530         one place.  All references to the missing value function were
1531         updated, but only major changes are detailed below.
1532
1533         * Makefile.am: Add missing-values.c, missing-values.h to sources.
1534
1535         * apply-dict.c: (cmd_apply_dictionary) Use mv_resize().
1536
1537         * dictionary.c: (dict_create_var) Initialize `miss' member with
1538         mv_init().
1539         (dict_clone_var) Copy `miss' member with mv_copy().
1540         
1541         * get.c: (mtf_merge_dictionary) Use mv_copy().
1542
1543         * missing-values.c: New file.
1544         
1545         * missing-values.h: New file.
1546
1547         * mis-val.c: Rewrite.  New version implements updated semantics.
1548
1549         * pfm-read.c: (read_variables) Rewrite missing value handling.
1550
1551         * pfm-write.c: (write_variables) Rewrite missing value handling.
1552
1553         * sfm-read.c: (read_variables) Rewrite missing value handling.
1554
1555         * sfm-write.c: (write_variable) Rewrite missing value handling.
1556
1557         * sfmP.h: Include "magic.h" to get definition of
1558         second_lowest_value.
1559
1560         * sysfile-info.c: (describe_variable) Rewrite missing value
1561         handling.
1562
1563         * val.h: Include "magic.h" to get definition of
1564         second_lowest_value.
1565
1566         * var.h: Include "missing-values.h".  Drop MISSING_* enums.
1567         (struct variable) Remove `miss_type', `missing'.  Add `miss'.
1568
1569         * vars-atr.c: (is_num_user_missing) Removed--use
1570         mv_is_num_user_missing().
1571         (is_str_user_missing) Removed--use mv_is_str_user_missing().
1572         (is_system_missing) Removed--use mv_is_value_system_missing().
1573         (is_missing) Removed--use mv_is_value_missing().
1574         (is_user_missing) Removed--use mv_is_value_user_missing().
1575         
1576 Sun Jul 31 14:09:57 2005  Ben Pfaff  <blp@gnu.org>
1577
1578         Adopt use of gnulib for portability.
1579
1580         * Make.build: Add $(top_srcdir)/gl and $(top_builddir)/gl to
1581         include path.
1582
1583         * Makefile.am: Remove bool.h, stat.h and change getline.[ch] to
1584         getl.[ch] in pspp_SOURCES.  Remove libmisc, add libgl in
1585         pspp_LDADD.
1586
1587         * In many source files, added an explicit inclusion of gettext.h
1588         and definition of _ macro.  These are no longer in pref.h because
1589         it interfered with definitions in a few gnulib source files.
1590
1591         * In many source files, changed #include "bool.h" to #include
1592         <stdbool.h>, which is provided by gnulib.
1593
1594         * alloc.c: Removed functions defined in gnulib:
1595         (xmalloc) Removed.
1596         (xcalloc) Removed.
1597         (xrealloc) Removed.
1598         (xstrdup) Removed.
1599         (out_of_memory) Redefined as wrapper for xalloc_die().
1600
1601         * alloc.h: Replace prototypes by #include "xalloc.h".
1602
1603         * casefile.c: Use full_read() and full_write() from gnulib instead
1604         of our home-grown versions.
1605         (full_read) Removed.
1606         (full_write) Removed.
1607
1608         * getline.c: Renamed getl.c.
1609
1610         * getline.h: Renamed getl.h, updated all references.
1611
1612         * filename.c: (fn_readlink) Change to wrapper around xreadlink()
1613         from gnulib.
1614
1615         * glob.c: Just #include <time.h> instead of the crazy rigmarole
1616         here before.
1617         (init_glob) Call set_program_name() to initial gnulib progname
1618         module.
1619
1620         * html.c: (postopen) Use getlogin_r(), gethostname() from gnulib.
1621
1622         * permissions.c: Use "stat-macros.h" from gnulib.
1623
1624         * postscript.c: Just #include <time.h> instead of the crazy
1625         rigmarole here before.
1626
1627         * q2c.c: (main) Make generated code #include "gettext.h".
1628
1629         * str.h: Get rid of most explicit declarations of standard
1630         functions, in favor of including gnulib header files.
1631
1632         * expressions/evaluate.c: Ditto.
1633
1634         * expressions/operations.h.pl: Make generated code #include
1635         <stdbool.h>, not "bool.h".
1636
1637 Sat Jul 30 23:13:17 2005  Ben Pfaff  <blp@gnu.org>
1638
1639         * expressions/parse.c: (validate_function_args) Fix two msg() bugs
1640         found by -Wformat.
1641
1642 Sat Jul 30 23:10:01 2005  Ben Pfaff  <blp@gnu.org>
1643
1644         * expressions/evaluate.c: (expr_debug_print_postfix) Don't pass
1645         null pointer to printf for %.*s.
1646
1647 Sat Jul 30 23:05:33 2005  Ben Pfaff  <blp@gnu.org>
1648
1649         * vars-atr.c: (var_is_valid_name) Fix three msg() bugs found by
1650         -Wformat.
1651
1652 Sat Jul 30 22:58:33 2005  Ben Pfaff  <blp@gnu.org>
1653
1654         * rank.q: (parse_rank_function) Fix msg() bug found by -Wformat.
1655
1656 Sat Jul 30 22:56:12 2005  Ben Pfaff  <blp@gnu.org>
1657
1658         * postscript.c: (postopen) Cast `char' to `unsigned char' before
1659         passing to isspace().
1660
1661 Sat Jul 30 22:52:09 2005  Ben Pfaff  <blp@gnu.org>
1662
1663         * pfm-read.c: (read_variables) Fix msg() bug found by -Wformat.
1664
1665 Sat Jul 30 22:50:57 2005  Ben Pfaff  <blp@gnu.org>
1666
1667         * histogram.c: Include <config.h>.
1668
1669 Sat Jul 30 22:48:50 2005  Ben Pfaff  <blp@gnu.org>
1670
1671         * get.c: (cmd_match_files) Fix msg() bug found by -Wformat.
1672
1673 Sat Jul 30 22:46:10 2005  Ben Pfaff  <blp@gnu.org>
1674
1675         * format.c: (check_common_specifier) Fix msg() bug found by
1676         -Wformat.
1677         (check_output_specifier) Ditto.
1678
1679 Sat Jul 30 22:43:57 2005  Ben Pfaff  <blp@gnu.org>
1680
1681         * file-handle.q: (cmd_file_handle) Fix msg() bug found by
1682         -Wformat.
1683
1684 Sat Jul 30 22:41:44 2005  Ben Pfaff  <blp@gnu.org>
1685
1686         * data-in.c: (parse_Z) [WORDS_BIGENDIAN] Don't declare buf[], to
1687         avoid "unused variable" warning.
1688
1689 Sat Jul 30 22:38:46 2005  Ben Pfaff  <blp@gnu.org>
1690
1691         * command.c: (find_word) Cast `char' to `unsigned char' before
1692         passing to isspace().
1693
1694 Sat Jul 30 22:36:29 2005  Ben Pfaff  <blp@gnu.org>
1695
1696         * case.c: (case_compare) Implement as delegating to
1697         case_compare_2dict().
1698
1699 Sat Jul 30 22:34:18 2005  Ben Pfaff  <blp@gnu.org>
1700
1701         * algorithm.c: Inclusion of <alloca.h> is unneeded.
1702
1703 Sat Jul 30 22:01:32 2005  Ben Pfaff  <blp@gnu.org>
1704
1705         * Make.build: Don't append -ansi to AM_CFLAGS for GCC.  Using
1706         -ansi changes the behavior of header files significantly.  It
1707         causes __STRICT_ANSI__ to be defined, and some headers interpret
1708         that as cause to e.g. not use `long long' or __attribute__.  The
1709         former example is bad when off_t is supposed to be `long long',
1710         and the latter prevents -Wformat from working.
1711
1712 Sun Jul 24 20:26:59 2005  Ben Pfaff  <blp@gnu.org>
1713
1714         Get rid of dependency on libgmp by writing our own routine for
1715         floating-point base conversion.
1716
1717         * pfm-write.c: (write_float) Rewrote.
1718         (write_int) Rewrote.
1719         (pow30_nonnegative) New function.
1720         (pow30) New function.
1721         (trig_to_char) New function.
1722         (format_trig_digits) New function.
1723         (recurse_format_trig_int) New function.
1724         (format_trig_int) New function.
1725         (should_round_up) New function.
1726         (try_round_up) New function.
1727         (format_trig_double) New function.
1728
1729 Sun Jul 24 18:49:20 2005  Ben Pfaff  <blp@gnu.org>
1730
1731         * data-in.c: (parse_numeric) Allow "1+23" even for F format, for
1732         compatibility.
1733
1734 Sun Jul 24 18:47:37 2005  Ben Pfaff  <blp@gnu.org>
1735
1736         * pfm-read.c: (read_version_data) Read and ignore author field.
1737
1738 Wed Jul  6 20:44:27 2005  Ben Pfaff  <blp@gnu.org>
1739
1740         * get.c: (mtf_processing) Don't assume that
1741         mtf_compare_BY_values() always returns -1, 0, or 1.  Actually, it
1742         returns a negative, zero, or positive result.  Fixes MATCH FILES
1743         bug on Mac OS X reported by "Marshall DeBerry" <mdb@radix.net>.
1744
1745 Mon Jul  4 18:01:15 2005  Ben Pfaff  <blp@gnu.org>
1746
1747         * flip.c: [HAVE_SYS_TYPES_H] Really include <sys/types.h>.  The
1748         preprocessor test for sys/types.h was accidentally inverted.  This
1749         was bug 12789.
1750
1751 Sun Jul  3 22:47:39 2005  Ben Pfaff  <blp@gnu.org>
1752
1753         * get.c: (cmd_match_files) Fix memory leak on `by' and on
1754         `vfm_source'.
1755
1756         * getline.c: [HAVE_LIBREADLINE] (read_console) Fix memory leak on
1757         `line'.
1758
1759         * vfm.c: (close_active_file) Remove unnecessary test.
1760
1761 Sun Jul  3 21:45:32 2005  Ben Pfaff  <blp@gnu.org>
1762
1763         Fix NDEBUG compile errors.
1764
1765         * hash.h: Needed explicit #include <assert.h>.
1766
1767         * linked-list.c: (ll_next) First arg is UNUSED when NDEBUG is
1768         defined.
1769
1770 Sun Jun 12 23:44:38 2005  Ben Pfaff  <blp@gnu.org>
1771
1772         Implement embedding for PostScript driver.  Fixes bug 12970.
1773
1774         * ascii.c: Fix compiler warnings.
1775
1776         * html.c: Ditto.
1777
1778         * chart.h: Add `file' member.
1779
1780         * output.h: (struct outp_class) initialise_chart, finalise_chart
1781         should take outp_driver *, not outp_class *.  Update all
1782         references.
1783
1784         * plot-chart.c: (chart_create) Fix segfault when there are no
1785         output drivers at all.
1786         (chart_submit) Call d->class->finalise_chart.
1787
1788         * postscript.c: (ps_open_page) Set cp_y to 0.
1789         (ps_submit) New function.
1790         (ps_chart_initialise) Implement.
1791         (ps_chart_finalise) Implement.
1792         (static var postscript_class) Add ps_submit.
1793         (static var epsf_class) Add ps_submit.
1794         
1795
1796 Sun Jun 12 14:54:40 2005  Ben Pfaff  <blp@gnu.org>
1797
1798         Did some more work on bug 12859 and then realized that a *good*
1799         solution would require some fundamental restructuring.  For now,
1800         I'm marking REPEATING DATA unimplemented, and then we can revisit
1801         it post-0.4.0.
1802         
1803         * command.def: Make REPEATING DATA unimplemented.
1804
1805         * data-list.c: (cmd_repeating_data) Assume inline file is 80
1806         characters wide.
1807         (realize_value) Revert previous changes; no longer needed.
1808         Updated all callers.
1809
1810         * error.c: (err_hcf) Set nfile_loc, mfile_loc to 0 after freeing
1811         file_loc, to avoid bad references later.
1812
1813         * str.c: Fix typo.
1814
1815 Tue Jun  7 00:14:09 2005  Ben Pfaff  <blp@gnu.org>
1816
1817         Make some code tolerant of reentry.  Should not be needed if other
1818         code is correct but it is good to be generally tolerant.
1819         
1820         * error.c: (err_hcf) Set file_loc to null after free().
1821
1822         * output.c: (outp_done) Similar changes.
1823
1824         * str.c: (ds_destroy) Ditto.
1825         
1826 Tue Jun  7 00:10:20 2005  Ben Pfaff  <blp@gnu.org>
1827
1828         Continue work on bug 12859, plus some code cleanup.
1829         
1830         * data-list.c: (cmd_repeating_data) Replace `seen' bitmap by
1831         boolean variables.  Don't try to compute starts_end, cont_end for
1832         inline file.  Calculate length only after parsing variable
1833         specifications.  Add proper transformation to list.
1834         (realize_value) If the rpd_num_or_var has no value, return new
1835         DEFAULT_MEMBER argument (for use with inline file).
1836         (repeating_data_trns_proc) Pass default values.
1837
1838         * dfm-read.c: (dfm_close_reader) Only skip data if *not* still
1839         open, and only if we actually started reading data.
1840
1841 Sun Jun  5 18:39:36 2005  Ben Pfaff  <blp@gnu.org>
1842
1843         Fix bug 11894.
1844         
1845         * output.c: (outp_read_devices) Fix message.
1846
1847 Fri May 27 12:34:43 WST 2005 John Darrington <john@darrington.wattle.id.au>
1848         
1849         * sort-prs.[ch] (newfiles), aggregate.c, sort.[ch]: Separated the guts 
1850         of the sort algorithm from the parser for the SORT command.
1851         
1852         * rank.q: Added the parser for the RANK command.
1853         
1854 Thu May 26 12:29:21 2005  Ben Pfaff  <blp@gnu.org>
1855
1856         Fix bug 13192.
1857
1858         * sort.c: (sort_parse_criteria) Only set *saw_direction if
1859         saw_direction is non-null.  Thanks to John Darrington for
1860         reporting this bug.
1861
1862 Tue May 24 21:52:55 2005  Ben Pfaff  <blp@gnu.org>
1863
1864         * get.c: (mtf_processing) Handle case of a lookup table as the
1865         active file.  Thanks to John Darrington for reporting this bug.
1866
1867 Wed May 25 10:27:02 WST 2005 John Darrington <john@darrington.wattle.id.au>
1868         
1869         * alloc.c alloc.h: (xcalloc) changed signature to imitate the
1870         POSIX  calloc function.
1871         
1872         * crosstabs.q get.c vars-prs.c: Updated calls to xcalloc to
1873         reflect new signature.
1874
1875         * sfm-read.c: Now much more robust in the face of badly formed
1876         system files.
1877
1878 Mon May 23 11:57:31 WST 2005 John Darrington <john@darrington.wattle.id.au>
1879
1880         *sfm-read.c: Fixed some bugs regarding long string continuation
1881         records, which the previous fix uncovered.
1882
1883 Sat May 21 12:48:34 WST 2005 John Darrington <john@darrington.wattle.id.au>
1884
1885         * sfm-read.c, sfmP.h:  Allow reading of system files when the 
1886         case_size value in the header is -1.  Also changed some Errors to 
1887         Warnings when reading system files.
1888
1889 Tue May 17 21:00:57 2005  Ben Pfaff  <blp@gnu.org>
1890
1891         * data-list.c: (data_list_trns_free) Don't free the argument
1892         because cancel_transformations() will do that itself.
1893         (data_list_source_destroy) Destroy the argument to
1894         data_list_trns_free(), because it no longer does so itself.
1895
1896 Tue May 17 18:29:35 2005  Ben Pfaff  <blp@gnu.org>
1897
1898         * data-out.c: (format_and_round) Don't output leading `-' if value
1899         rounds to zero.
1900
1901 Tue May 17 00:06:43 2005  Ben Pfaff  <blp@gnu.org>
1902
1903         Fix bug 11119.
1904
1905         * som.c: (output_encodings) If some cell in the table won't fit
1906         with the horizontal or vertical headers, cancel those headers.
1907
1908         * som.h: (struct som_table_class) Add fits_width, fits_length,
1909         set_headers members.
1910
1911         * tab.c: (tabi_fits_width) New function.
1912         (tabi_fits_length) New function.
1913         (tabi_set_headers) New function.
1914         (global var tab_table_class) Add the new functions as appropriate
1915         members.
1916         
1917 Mon May 16 22:34:06 2005  Ben Pfaff  <blp@gnu.org>
1918
1919         Fix rest of bug 13054.
1920
1921         * format.def: Fix EDATE, SDATE, ADATE, JDATE, QYR, MOYR, WKYR,
1922         DATETIME, TIME system/portable file values.
1923
1924 Mon May 16 22:31:15 2005  Ben Pfaff  <blp@gnu.org>
1925
1926         * data-list.c: (parse_free) Use make_input_format().
1927         
1928         * data-out.c: (num_to_string) Use make_output_format().
1929
1930         * dictionary.c: (dict_create_var) Ditto.
1931
1932         * format.c: (global var f8_2) New var.
1933         (make_input_format) New function.
1934         (make_output_format) New function.
1935
1936         * get.c: (cmd_match_files) Use make_output_format().
1937
1938         * list.q: (cmd_list) Ditto.
1939
1940         * matrix-data.c: Ditto.
1941
1942         * sfm-read.c: (parse_format_spec) Check output specifier
1943         thoroughly.
1944
1945         * tab.c: (tab_float) Use make_output_format().
1946
1947 Sun May 15 23:38:10 2005  Ben Pfaff  <blp@gnu.org>
1948
1949         Fix more of bug 13054.
1950         
1951         * format.def: FMT_A should allow 255-character output.  FMT_AHEX
1952         should allow 510-character input and output.
1953
1954         * data-out.c: (num_to_string) Get rid of NEW_STYLE option.
1955         (convert_E) Handle non-finite values.
1956         (try_F) Rewrite.
1957         (format_and_round) New function.
1958         (convert_infinite) New function used by try_F() and convert_E().
1959
1960 Sun May 15 23:36:55 2005  Ben Pfaff  <blp@gnu.org>
1961
1962         Regularize string and buffer function names so that they make some
1963         kind of sense.
1964
1965         * str.c: (mm_reverse) Rename buf_reverse().  Update all
1966         references.
1967         (mm_find_reverse) Rename buf_find_reverse().  Update all
1968         references.
1969         (mm_case_compare) Rename buf_compare_case().  Update all
1970         references.
1971         (st_compare_pad) Rename buf_compare_rpad().  Update all
1972         references.
1973         (str_compare_rpad) New function.
1974         (st_bare_pad_copy) Rename buf_copy_str_rpad().  Update all
1975         references.
1976         (buf_copy_str_lpad) New function.
1977         (st_bare_pad_len_copy) Rename buf_copy_rpad().  Update all
1978         references.
1979         (st_pad_copy) Rename str_copy_rpad().  Update all references.
1980         (st_trim_copy) Rename str_copy_trunc().  Update all references.
1981         (st_uppercase) Renamed str_uppercase().  Update all references.
1982         
1983 Sat May 14 08:22:26 WST 2005 John Darrington <john@darrington.wattle.id.au>
1984
1985         * dfm-read.c: Fixed polarity of test in dfm-close-reader.  Closes 
1986         Bug #13082
1987
1988 Tue May 10 20:08:18 2005  Ben Pfaff  <blp@gnu.org>
1989
1990         * data-in.c: (data_in) Add assertion to check input specifier.
1991
1992         * data-out.c: (data_out) Add assertion to check output specifier.
1993
1994 Tue May 10 19:56:35 2005  Ben Pfaff  <blp@gnu.org>
1995
1996         Start to fix bug 13054.
1997
1998         * format.c: (check_input_specifier) Improve error message.
1999         (check_input_specifier) Check F, COMMA, and DOLLAR formats for
2000         valid decimal places.
2001         (check_output_specifier) Ditto (but different criteria).
2002         (convert_fmt_ItoO) Assert valid input and output specifiers.
2003         Also, if input specifier has *any* decimal places, make the output
2004         specifier 1 place wider.
2005
2006 Mon May  9 07:14:29 WST 2005 John Darrington <john@darrington.wattle.id.au>
2007
2008         * sysfile-info.c: Fixed bug [# 13024 ]
2009
2010 Sun May  8 13:52:12 2005  Ben Pfaff  <blp@gnu.org>
2011
2012         "Fix" bug 13021 by disabling FILE TYPE.  Eventually, we should
2013         actually implement it.
2014
2015         * command.c: (FILE_TYPE_okay) Always return 1.
2016
2017         * command.def: Change FILE TYPE, END FILE TYPE into UNIMPL.
2018
2019         * file-type.c: Add prototypes to get rid of warnings.
2020
2021 Sun May  8 08:08:07 WST 2005 John Darrington <john@darrington.wattle.id.au>
2022
2023         * barchart.c box-whisker.c cartesian.c piechart.c plot-hist.c: Fixed 
2024         more ISO/IEC 9899:1990 conformance issues.
2025
2026 Wed May  4 23:54:02 2005  Ben Pfaff  <blp@gnu.org>
2027
2028         Fix bug 12948.  See also new test in
2029         tests/bugs/match-file-scratch.sh.
2030         
2031         * get.c: (mtf_merge_dictionary) Don't compact dictionary because
2032         that deletes scratch variables that someone else might be using,
2033         and because we can't reassign our sources' value indexes.
2034         Instead, simply don't copy scratch variables into the master
2035         dictionary.
2036
2037         * dictionary.c: (dict_compact_values) Delete variables from the
2038         dictionary passed in, not from default_dict (!).
2039
2040 Tue May  3 22:25:17 2005  Ben Pfaff  <blp@gnu.org>
2041
2042         Improve hash.c comments, error-checking.
2043         
2044         * hash.c: (struct hsh_table) [NDEBUG] Add hash_ordered member.
2045         (hsh_create) size == 0 should *not* return NULL!  Set
2046         hash_ordered.
2047         (hsh_clear) Set hash_ordered.
2048         (locate_matching_entry) Check hash_ordered.
2049         (hsh_rehash) Rename rehash().  Add assertion.  Set hash_ordered.
2050         (hsh_data) Set hash_ordered.  Add const-ness to return value and
2051         update all callers.
2052         (hsh_sort) Ditto.       
2053
2054 Wed May  4 08:50:11 WST 2005 John Darrington <john@darrington.wattle.id.au>
2055
2056         * casefile.c: Removed unnecessary #include <valgrind/valgrind.h>
2057
2058 Tue May  3 19:14:48 WST 2005 John Darrington <john@darrington.wattle.id.au>
2059
2060         * copyleft.c: Updated copyright date.
2061
2062         * Makefile.am: Removed erroneous explicit "-lplot"
2063
2064         * examine.q oneway.q: Made these files conform to ISO/IEC 9899:1990
2065
2066 Tue May  3 16:20:31 WST 2005 John Darrington <john@darrington.wattle.id.au>
2067
2068         * command.c command.def: Added description string for unimplemented commands.
2069
2070         * oneway.q: Sorted the hash tables before shipping out the results. Closes 
2071         bug [#12931].
2072
2073 Mon May  2 23:45:01 2005  Ben Pfaff  <blp@gnu.org>
2074
2075         Code improvements.
2076         
2077         * data-list.c:  (parse_fixed) Use lex_end_of_command().
2078         (parse_free) Ditto.
2079         (cmd_repeating_data) Set cont_end.num in right situations.
2080         (parse_repeating_data) Remove redundant test.
2081
2082 Mon May  2 23:37:19 2005  Ben Pfaff  <blp@gnu.org>
2083
2084         Partial fix for bug 12859.
2085         
2086         * data-list.c: (cmd_data_list) Add transformation properly in
2087         vfm_source == NULL case.
2088
2089 Mon May  2 23:27:28 2005  Ben Pfaff  <blp@gnu.org>
2090
2091         * lexer.c: (lex_error) Improve error messages.
2092
2093 Mon May  2 22:28:17 2005  Ben Pfaff  <blp@gnu.org>
2094
2095         * get.c: (cmd_match_files) Check token type before trying to match
2096         tokid.  Fixes bug 12923.
2097
2098 Mon May  2 22:16:51 2005  Ben Pfaff  <blp@gnu.org>
2099
2100         * flip.c: [HAVE_SYS_TYPES_H] Include <sys/types.h>.  Fixes bug
2101         12789.
2102
2103 Mon May  2 22:02:52 2005  Ben Pfaff  <blp@gnu.org>
2104
2105         * expressions/generate.pl: (get_token) Make use of /g
2106         backward-compatible with Perl 5.6.1.
2107
2108 Sun May  1 23:00:19 2005  Ben Pfaff  <blp@gnu.org>
2109
2110         * var-display.c: (cmd_variable_alignment) Fix memory leak.
2111         (cmd_variable_level) Ditto.
2112
2113 Sun May  1 22:49:04 2005  Ben Pfaff  <blp@gnu.org>
2114
2115         Hash table had buggy deletion function.  The fix required changing
2116         other functions to do probing in the required order.
2117
2118         * hash.c: (locate_matching_entry) Rewrite and change interface.
2119         (hsh_rehash) Rewrite to use locate_matching_entry().
2120         (hsh_probe) Ditto.
2121         (hsh_find) Ditto.
2122         (hsh_delete) Ditto.  Also, fix stupid bugs.
2123
2124 Sun May  1 22:24:58 2005  Ben Pfaff  <blp@gnu.org>
2125
2126         * dictionary.c: (dict_clone) Properly copy vectors.
2127
2128 Sun May  1 22:07:58 2005  Ben Pfaff  <blp@gnu.org>
2129
2130         New implementation of long variable names.  Each variable has a
2131         "normal" name, which may be up to 64 bytes long and which is used
2132         for all normal operations.  Variables may have a "short" name,
2133         which is limited to 8 bytes and used only for system and portable
2134         file input and output.
2135         
2136         Make tokid case-preserving.  Update most uses of tokid to treat it
2137         case-insensitively.
2138
2139         Update many commands to deal with long variable names.
2140
2141         * autorecode.c: (cmd_autorecode) Use strcasecmp() instead of strcmp().
2142
2143         * command.c: (cmd_parse) Ditto.
2144         (match_strings) Use toupper() before comparing characters.
2145         (conflicting_3char_prefixes) Use mm_case_compare() instead of
2146         memcmp().
2147         (cmd_match_words) Ditto.
2148
2149         * compute.c: (lvalue_parse) Use st_trim_copy() instead of
2150         strncpy().
2151
2152         * count.c: (struct cnt_var_info) Change n[] to fit long var name.
2153         Use st_trim_copy() instead of strcpy().
2154
2155         * data-in.c: (parse_enum) Use mm_case_compare() instead of
2156         memcmp().
2157
2158         * data-list.c: (struct dls_var_spec) Change name[] to fit long var
2159         name.
2160         (parse_free) Use st_trim_copy() instead of strcpy().
2161
2162         * descript.c: (struct dsc_var) Change z_name[] to fit long var
2163         name.
2164         (try_name) Use strcasecmp() instead of strcmp().
2165         (generate_z_varname) Use st_trim_copy() instead of strcpy().
2166         (descriptives_compare_dsc_vars) Use strcasecmp() instead of
2167         strcmp().
2168
2169         * dictionary.c: (struct dictionary) Removed `long_name_tab'
2170         member.
2171         (compare_long_names) Removed.
2172         (hash_long_name) Removed.
2173         (dict_create) Don't initialize `long_name_tab' member.
2174         (dict_clone) Copy short names into new dictionary. 
2175         (dict_clear) Don't clear `long_name_tab' member.
2176         (dict_get_varname_block) Removed.
2177         (dict_add_longvar_entry) Removed.
2178         (free_nte) Removed.
2179         (dict_destroy) Don't destroy `long_name_tab' member.
2180         (dict_create_var_from_short) Removed.
2181         (dict_create_var_x) Removed.
2182         (dict_create_var) Get rid of longname handling.
2183         Clear short name.
2184         (dict_clone_var) Get rid of longname parameter and longname
2185         handling.
2186         (dict_lookup_var) Get rid of longname handling.
2187         (dict_reorder_var) New function.
2188         (dict_rename_var) Clear short name.
2189         (dict_rename_vars) Get rid of longname handling.  Clear short
2190         names.
2191         (dict_create_vector) Support long vector names.
2192         (dict_lookup_vector) Use strcasecmp() instead of strcmp().
2193         (quasi_base27) Removed.
2194         (make_short_name) Removed.
2195         (compare_strings) New function.
2196         (hash_string) New function.
2197         (dict_assign_short_names) New function.
2198
2199         * file-handle.q: (get_handle_with_name) Use strcasecmp() instead
2200         of strcmp().
2201         (get_handle_for_filename) Support long handle names.
2202
2203         * file-type.c: (struct col_spec) Make `name' fit long var names.
2204         (cmd_file_type) Use strcasecmp() instead of strcmp().
2205
2206         * flip.c: (make_new_var) Rewrite.
2207         (flip_sink_write) Use st_trim_copy() instead of strncpy().
2208
2209         * format.c: (parse_format_specifier_name) Use mm_case_compare()
2210         instead of memcmp().
2211
2212         * get.c: (cmd_save_internal) Rephrase.
2213         (rename_variables) Drop test for identical variable name.
2214         (struct mtf_proc) Change `first', `last' to fit long var name.
2215
2216         * hash.c: (hsh_hash_case_string) New function for case-insensitive
2217         string hashing.
2218
2219         * lexer.c: (restore_token) Use st_trim_copy() instead of
2220         strncpy().
2221         (lex_get) Don't uppercase string when copying into tokid.
2222         (lex_put_back_id) Use st_trim_copy() instead of
2223         strncpy().
2224
2225         * list.q: (determine_layout) Consider length of variable names in
2226         choosing vertical layout.
2227
2228         * matrix-data.c: (cmd_matrix_data) Use strcasecmp() instead of
2229         strcmp().
2230         (string_to_content_type) Ditto.
2231
2232         * modify-vars.c: (compare_variables_given_ordering) Ditto.
2233         (struct var_renaming) Change `new_name' to fit long var name.
2234         (compare_var_renaming_by_new_name) Use strcasecmp() instead of
2235         strcmp().
2236
2237         * pfm-read.c: (read_variables) Disallow system variables in system
2238         files.
2239         (write_variables) Call dict_assign_short_names() and use
2240         short_name[] members.
2241
2242         * repeat.c: (internal_cmd_do_repeat) Use strcasecmp() instead of
2243         strcmp().
2244
2245         * sfm-read.c: (sfm_open_reader) Rewrite code for long variable
2246         map.  Reorder variables into same order as long variable map.
2247         (read_variables) Set short name.
2248
2249         * sfm-write.c: (sfm_open_writer) Call dict_assign_short_names().
2250         (write_variable) Use st_bare_pad_copy().
2251         (write_longvar_table) Rewrite.
2252
2253         * str.c: (mm_case_compare) New function.
2254
2255         * sysfile-info.c: (compare_vectors_by_name) Use strcasecmp()
2256         instead of strcmp().
2257
2258         * t-test.q: (tts_custom_groups) Remove redundant test.
2259         (tts_custom_pairs) Ditto.
2260
2261         * var.h: (struct variable) Change `name' to fit long var names.
2262         Remove `longname'.  Add `short_name' member.  Reorder some
2263         variables.
2264         (struct name_table_entry) Removed.
2265         (struct vector) Change `name' to fit long vector names.
2266
2267         * vars-atr.c: (var_is_valid_name) Allow long var names.
2268         (compare_var_names) Use strcasecmp() instead of strcmp().
2269         (compare_var_ptr_names) Ditto.
2270         (hash_var_name) Use hsh_hash_case_string().
2271         (hash_var_ptr_name) Ditto.
2272         (var_set_short_name) New function.
2273         (var_clear_short_name) New function.
2274         (var_set_short_name_suffix) New function.
2275
2276         * vars-prs.c: (parse_DATA_LIST_vars) Support long names.
2277         Use strcasecmp() instead of strcmp().
2278         (struct array_var_set) Removed `longname_tab'.
2279         (array_var_set_lookup_var_idx) Drop longname_tab support.
2280         (array_var_set_destroy) Don't destroy `longname_tab'.
2281         (var_set_create_from_array) Don't create `longname_tab'.
2282
2283         * vector.c: (cmd_vector) Use strcasecmp() instead of strcmp().
2284         Support long names.
2285
2286         * expressions/parse.c: (word_matches) Use mm_case_compare()
2287         instead of memcmp().
2288         (compare_strings) New function.
2289         (lookup_function) Use compare_strings() instead of strcmp().
2290         
2291 Sun May  1 22:07:43 2005  Ben Pfaff  <blp@gnu.org>
2292
2293         * algorithm.c: (move_element) New function.
2294
2295 Sun May  1 22:05:35 2005  Ben Pfaff  <blp@gnu.org>
2296
2297         * aggregate.c: (parse_aggregate_functions) Always initialize
2298         destvar.
2299
2300 Sun May  1 22:03:47 2005  Ben Pfaff  <blp@gnu.org>
2301
2302         * aggregate.c: (cmd_aggregate) Use dict_clone_var_assert().
2303
2304         * dictionary.c: (dict_clone) Ditto.
2305         (dict_clone_var_assert) New function.
2306
2307         * get.c: (mtf_merge_dictionary) Use dict_clone_var_assert().
2308
2309 Sun May  1 15:05:54 WST 2005 John Darrington <john@darrington.wattle.id.au>
2310
2311         * error.c: Added a string for the compiler version to the
2312         request_bug_report_and_abort function.
2313
2314         * groff_font.c, font.c: Removed manpage(1) style references from 
2315         comments, because RMS frowns upon them.
2316
2317 Thu Apr 28 18:52:06 2005  Ben Pfaff  <blp@gnu.org>
2318
2319         * expressions/parse.c: Improve previous fix for bug 12858 (LAG).
2320
2321 Fri Apr 29 09:28:00 WST 2005 John Darrington <john@darrington.wattle.id.au>
2322
2323         * expressions/parse.c: Added handler for OP_LAG_Vn and OP_LAG_Vs.  
2324         Fixed bug [#12858] .
2325
2326 Wed Apr 27 12:42:34 WST 2005 John Darrington <john@darrington.wattle.id.au>
2327
2328         * loop.c recode.c repeat.c: Fixed a couple of instances of SHORT_NAME_LEN 
2329         which should be LONG_NAME_LEN
2330
2331 Wed Apr 27 07:43:50 WST 2005 John Darrington <john@darrington.wattle.id.au>
2332
2333         * command.def echo.c:  Added the ECHO command.
2334
2335 Mon Apr 25 22:55:59 2005  Ben Pfaff  <blp@gnu.org>
2336
2337         Finish fixing MATCH FILES (bug 11677).
2338
2339         * get.c: (trim_dictionary) Rewrite in terms of drop_variables(),
2340         keep_variables(), rename_variables().
2341         (drop_variables) New function.
2342         (keep_variables) New function.
2343         (struct mtf_file) Rename `in' to `in_name'.  Add `in_var'.
2344         (cmd_match_files) Deal with in_var.  Use drop_variables(),
2345         keep_variables().  When IN is specified, require BY.  Set master
2346         variables after master dictionary is complete.  Add IN variables
2347         after master dictionary is complete.
2348         (mtf_free_file) Free `in_name'.
2349         (mtf_delete_file_in_place) Set in_var value to 0.
2350         (mtf_read_nonactive_records)  Rephrase.
2351         (mtf_processing) Support IN.  Rephrase.  Fix bugs.
2352         (mtf_merge_dictionary) Don't set master variables; we do that
2353         later now.
2354         (get_master) Don't insist that there's a master variable.
2355         
2356 Mon Apr 25 22:55:22 2005  Ben Pfaff  <blp@gnu.org>
2357
2358         Kluge to make some variable renaming sort of work.
2359         Needs real fix.
2360
2361         * dictionary.c: (dict_rename_var) Call dict_add_longvar_entry().
2362
2363 Mon Apr 25 22:52:28 2005  Ben Pfaff  <blp@gnu.org>
2364
2365         Add functions for comparing sets of variables between cases.
2366         Use the functions.
2367
2368         * case.c: (case_compare) New function.
2369         (case_compare_2dict) New function.
2370         
2371         * aggregate.c: (struct agr_proc) Remove `prev_break' member.  Add
2372         `break_case'.
2373         (cmd_aggregate) Nullify break_case.  Don't call
2374         initialize_aggregate_info().
2375         (agr_destroy) Destroy break_case.
2376         (aggregate_single_case) Rewrite.  Use case_compare().
2377         (dump_aggregate_info) Copy from break_case into output.
2378         (initialize_aggregate_info) Copy break_case from input.
2379
2380         * get.c: (mtf_compare_BY_values) Use case_compare_2dict().
2381
2382         * vfm.c: (equal_splits) Use case_compare().
2383
2384 Sat Apr 23 17:01:04 WST 2005 John Darrington <john@darrington.wattle.id.au>
2385
2386         * dictionary.c vars-prs.c sfm-write.c: Fixed some memory leaks
2387
2388 Sun Apr 17 23:08:15 2005  Ben Pfaff  <blp@gnu.org>
2389
2390         Start work on fixing MATCH FILES.
2391
2392         * get.c: (enum operation) Remove OP_MATCH.
2393         (trim_dictionary) Change return value to bool.  Don't support
2394         OP_MATCH.
2395         (struct mtf_file) Remove `first', `last' members.
2396         (struct mtf_proc) Add `first', `last' members.  Change mtf_case
2397         from `struct ccase *' to `struct ccase'.  Remove `by' member.
2398         (cmd_match_files) Essentially rewrite.
2399         (mtf_free) Don't free `by' member.  Destroy `mtf_case' member.
2400         (mtf_read_nonactive_records) mtf_ parameter is not unused.
2401         (mtf_processing) Ditto.  Also rephrase some code.
2402         (mtf_merge_dictionary) Rewrite for easy comprehension.  
2403
2404 Sun Apr 17 23:06:00 2005  Ben Pfaff  <blp@gnu.org>
2405
2406         * matrix-data.c: (wr_output_data) [DEBUGGING] Fix compilation
2407         error.
2408
2409         * q2c.c: (dump_token) [DEBUGGING] Fix compilation error.
2410         
2411 Thu Apr 14 2005 John Darrington
2412
2413         * var-display.c: New file.
2414
2415         * format.h var.h sfm-read.c sfm-write.c dictionary.c :  Added 
2416           display_width, measure and alignment parameters to variables.
2417
2418         * aggregate.c command.def compute.c count.c data-list.c descript.c
2419           dictionary.c dictionary.h expr-prs.c file-type.c flip.c get.c 
2420           lexer.c lexer.h loop.c modify-vars.c pfm-read.c recode.c repeat.c 
2421           sfm-read.c sfm-write.c sfm-write.h sfmP.h val-labs.c val.h var.h 
2422           vars-prs.c vector.c :  
2423               - Replaced literal constants representing maximum variable name 
2424                 length with macro definitions. 
2425               - Added support for long variable names.
2426               - Changed lexer such that it no longer makes tokens upper
2427                 case, but relies upon case insensitive behaviour of commands.
2428
2429 Mon Apr  4 22:27:34 2005  Ben Pfaff  <blp@gnu.org>
2430
2431         * aggregate.c: (parse_aggregate_functions) If dict_create_var()
2432         fails, don't dereference the resulting null pointer (bug 12427).
2433         Also, fix double free error.
2434
2435 Sat Mar 19 23:06:02 2005  Ben Pfaff  <blp@gnu.org>
2436
2437         * aggregate.c: (parse_aggregate_functions) Fix N_NO_VARS format.
2438         (accumulate_aggregate_info) Set int1 to 1 for SUM.
2439         (dump_aggregate_info) Only make SUM non-missing if there was at
2440         least one variate.
2441
2442 Sat Mar 19 14:48:19 2005  Ben Pfaff  <blp@gnu.org>
2443
2444         * aggregate.c: (dump_aggregate_info) Properly test whether the
2445         destination variable is numeric, when making the result
2446         system-missing for columnwise missing values.
2447
2448 Mon Mar 14 21:52:34 2005  Ben Pfaff  <blp@gnu.org>
2449
2450         * misc.h: Remove GCC specializations.
2451
2452 Mon Mar 14 21:07:23 2005  Ben Pfaff  <blp@gnu.org>
2453
2454         Make sort stable (bug 12313).
2455         
2456         * sort.c: Don't need to include some headers anymore.
2457         (static var min_buffers) New variable.
2458         (static var max_buffers) New variable.
2459         (static var allow_internal_sort) New variable.
2460         (cmd_sort_cases) Add test mode.
2461         (sort_execute) Rephrase.
2462         (do_internal_sort) Don't try internal sorting if
2463         allow_internal_sort is set.
2464         (struct external_sort) Renamed `initial_runs' to `runs' and
2465         updated all references.
2466         (macro MIN_BUFFER_TOTAL_SIZE_RECS) Removed.
2467         (macro MIN_BUFFER_SIZE_BYTES) Removed.
2468         (macro MIN_BUFFER_SIZE_RECS) Removed.
2469         (compare_initial_runs) Removed.
2470         (struct record_run) Add member `idx'.
2471         (write_initial_runs) Pass increasing values to process_case() as
2472         index.
2473         (process_case) Add `idx' parameter and use it to initialize new
2474         `idx' member.
2475         (allocate_cases) Limit allocated buffers to max_buffers.
2476         (compare_record_run) Use new `idx' member for last resort
2477         comparison, for stability.
2478         (end_run) Call casefile_sleep() on irs->casefile, to prevent
2479         running out of file descriptors.
2480         (struct merge_state) Removed.
2481         (merge) Don't need to allocate cases.  Always use MAX_MERGE_ORDER
2482         unless we have fewer runs left.  Always merge consecutive runs,
2483         for stability.  Return the final run.
2484         (mod) Removed.
2485         (choose_merge) New function.
2486         (merge_once) Rewritten.
2487
2488 Mon Mar 14 21:05:42 2005  Ben Pfaff  <blp@gnu.org>
2489
2490         * cmdline.c: (static var testing_mode) Move into
2491         parse_command_line().
2492         
2493 Mon Mar 14 21:05:13 2005  Ben Pfaff  <blp@gnu.org>
2494
2495         * algorithm.c: (remove_range) New function.
2496         (remove_element) New function.
2497
2498         * dictionary.c: (dict_delete_var) Use remove_element().
2499
2500         * flip.c: (cmd_flip) Ditto.
2501
2502 Sun Mar 13 22:52:05 2005  Ben Pfaff  <blp@gnu.org>
2503
2504         * file-handle.q: (struct file_handle) `open_mode' should not be
2505         const.
2506         
2507 Sun Mar 13 22:40:54 2005  Ben Pfaff  <blp@gnu.org>
2508
2509         First phase of making SORT CASES stable (bug 12313).
2510
2511         * sort.c: (struct indexed_case) New structure.
2512         (do_internal_sort) Rewrite to make internal sorting stable.
2513         (compare_case_dblptrs) Removed.
2514         (compare_indexed_cases) New function.
2515
2516 Sun Mar 13 22:38:40 2005  Ben Pfaff  <blp@gnu.org>
2517
2518         Clean-ups.
2519
2520         * casefile.c: (casereader_read_xfer_assert) New function.
2521
2522         * dictionary.c: (dict_compact_case) New function.
2523
2524         * flip.c: (struct flip_pgm) New member idx_to_fv.
2525         (cmd_flip) Initialize idx_to_fv member.
2526         (destroy_flip_pgm) Free idx_to_fv member.
2527         (flip_sink_write) Use struct flip_pgm member instead of case_sink
2528         member.
2529         (flip_sink_write) Ditto.
2530
2531         * vfm.c: (write_case) Use dict_compact_case() instead of
2532         compact_case().
2533         (compact_case) Removed.
2534         (storage_source_create) Removed `dict' parameter.  All references
2535         updated.
2536
2537         * vfm.h: (struct case_source) Removed `value_cnt' member.  All
2538         references removed.
2539         (struct case_sink) Removed `dict', `idx_to_fv' members.  All
2540         references removed.
2541
2542 Sun Mar 13 22:35:55 2005  Ben Pfaff  <blp@gnu.org>
2543
2544         More AGGREGATE fixes.
2545
2546         * aggregate.c: (accumulate_aggregate_info) Implement NMISS and
2547         NUMISS for strings.  Fix FOUT, POUT, FGT, FLT, FIN, FOUT for
2548         strings.
2549         (initialize_aggregate_info) Fix initialization for MIN, MAX for
2550         strings.
2551
2552 Sat Mar 12 23:26:21 2005  Ben Pfaff  <blp@gnu.org>
2553
2554         Start work on testing and debugging AGGREGATE.
2555
2556         * aggregate.c: (cmd_aggregate) Use discrete bool variables instead
2557         of a bit-map.  Require proper subcommand ordering.  Make OUTFILE
2558         subcommand mandatory.
2559         (parse_aggregate_functions) Check that PIN, POUT, FIN, FOUT
2560         functions' arguments are in the correct order and swap them if
2561         not.
2562         (accumulate_aggregate_info) Make SUM include weights.  Add various
2563         string functions.
2564         (dump_aggregate_info) Add various string functions.
2565         (initialize_aggregate_info) Initialize int1 for MIN, MAX.
2566
2567         * sort.c: (sort_parse_criteria) Add parameter for returning
2568         whether any directions were specified.  All callers updated.
2569
2570 Sun Mar 13 14:54:27 WST 2005 John Darrington <john@darrington.wattle.id.au>
2571
2572         * t-test.q: Fixed erroneous logic in compare_group_binary.
2573
2574 Sat Mar 12 13:29:21 2005  Ben Pfaff  <blp@gnu.org>
2575
2576         * split-file.c: (cmd_split_file) Ignore LAYERED and SEPARATE
2577         keywords (bug 11628).
2578
2579 Sat Mar 12 13:17:12 2005  Ben Pfaff  <blp@gnu.org>
2580
2581         * vfm.c: (procedure_with_splits) Fix bug 11492: end_func() must be
2582         called *before* close_active_file().
2583
2584 Sat Mar 12 12:20:57 2005  Ben Pfaff  <blp@gnu.org>
2585
2586         * file-handle.q: (struct file_handle) Change open_mode from
2587         character pointer to 3-char array, for safety.  Updated all
2588         references.
2589
2590 Sat Mar 12 12:15:49 2005  Ben Pfaff  <blp@gnu.org>
2591
2592         Thanks to Ben Kujala <bkujala@oregonchildcare.org> for reporting
2593         these bugs.
2594         
2595         * pfm-read.c: (read_header) Improve error message for many cases
2596         in which the input is not actually a portable file.
2597
2598         * file-handle.q: (fh_open) When we give an error message, actually
2599         return NULL.
2600
2601 Fri Mar 11 11:50:30 2005  Ben Pfaff  <blp@gnu.org>
2602
2603         * format.c: (check_common_specifier) New function for checks
2604         common to check_input_specifier() and check_output_specifier().
2605         (check_input_specifier) Use check_common_specifier().
2606         (check_output_specifier) Use check_common_specifier().
2607         (check_string_specifier) Removed.
2608         (check_specifier_type) New function.
2609         (check_specifier_width) New function.
2610         (get_format_var_width) Fix bug.
2611
2612         * formats.c: (internal_cmd_formats) Only accept numeric variables.
2613
2614         * lexer.c: (check_id) Rename lex_id_to_token(), make public,
2615         update all references.  Make case-insensitive.
2616
2617         * pfm-read.c: Essentially rewrite the whole file.  Now much
2618         cleaner.
2619
2620         * print.c: (check_string_width) New function.
2621         (fixed_parse_compatible) Use check_string_width(),
2622         check_specifier_type().
2623         (dump_fmt_list) Ditto.
2624
2625         * str.c: (st_trim_copy) New function.
2626         (st_uppercase) New function.
2627
2628         * vars-atr.c: (var_is_valid_name) New function.
2629         
2630         * expressions/parse.c: (type_coercion_core) Use
2631         check_specifier_type().
2632         
2633 Fri Mar 11 11:31:24 2005  Ben Pfaff  <blp@gnu.org>
2634
2635         * expressions/evaluate.c: (cmd_debug_evaluate) Fix memory leaks.
2636
2637         * expressions/parse.c: (no_match) Ditto.
2638
2639 Wed Mar  9 09:54:27 2005  Ben Pfaff  <blp@gnu.org>
2640
2641         * Makefile.am: (pspp_LDADD) Add libgsl-extras.a.
2642
2643         * expressions/helpers.c: (struct func_params) Removed.
2644         (generalized_idf) Removed.
2645         (cdf_beta) Removed.
2646         (idf_beta) Removed.
2647         (idf_fdist) Use gslextras_cdf_beta_Pinv() instead of idf_beta().
2648
2649         * expressions/operations.def: Implement IDF.BETA, CDF.BINOM,
2650         CDF.GEOM, CDF.HYPER, CDF.NEGBIN, CDF.POISSON using gsl-extras.
2651         Implement SIG.F, which I had overlooked previously.
2652
2653 Tue Mar  8 12:47:53 WST 2005 John Darrington <john@darrington.wattle.id.au>
2654
2655         * command.c command.def glob.[ch] cmdline.c: Made DEBUG cmds
2656         available only in testing mode.
2657
2658 Sun Mar  6 23:25:40 2005  Ben Pfaff  <blp@gnu.org>
2659
2660         * data-in.c: Use `bool' throughout, where relevant.
2661
2662 Sun Mar  6 19:52:22 2005  Ben Pfaff  <blp@gnu.org>
2663
2664         DATA LIST with free-field formats should not have implied decimal
2665         places (bug 12035).  Also clean up data-in.c a bit.
2666
2667         * data-in.h: (enum) Add DI_IMPLIED_DECIMALS.
2668
2669         * data-in.c: (apply_implied_decimals) New function.
2670         (parse_numeric) Don't adjust exponent if DI_IMPLIED_DECIMALS not
2671         set.  Also, get rid of gotos.
2672         (parse_Z) Use apply_implied_decimals() if the field doesn't
2673         contain a decimal point.
2674         (parse_N) Use apply_implied_decimals().
2675         (parse_IB) Ditto.
2676         (parse_PIB) Ditto.
2677         (parse_P) Ditto.
2678         (parse_PK) Ditto.
2679         (to_roman) Removed.
2680         (parse_enum) New function.
2681         (macro CHAR_IS_ROMAN) Removed.
2682         (macro ROMAN_VALUE) Removed.
2683         (parse_month) Use parse_enum().
2684         (parse_weekday) Use parse_enum().
2685         (parse_DATETIME) Use long for weekday.
2686
2687         * data-list.c: (read_from_data_list_fixed) Use
2688         DI_IMPLIED_DECIMALS.
2689
2690 Sun Mar  6 17:07:20 2005  Ben Pfaff  <blp@gnu.org>
2691
2692         When the lexer sees something like `-5' in the input, it has to
2693         decide whether it's a negative numeric constant token or a '-'
2694         token followed by a positive numeric constant token.  It always
2695         decides on the former, and then the parser can call
2696         lex_negative_to_dash() if it wants the latter.  However, this
2697         doesn't work for the case of `-0', because negative zero is
2698         (portably) indistinguishable from positive zero.  So now we divide
2699         T_NUM into two tokens, T_POS_NUM and T_NEG_NUM, to make the
2700         distinction clear.  This requires a little bit of extra effort,
2701         because there were several references to T_NUM in the code base.
2702         
2703         * lexer.c: (lex_get) Use T_NEG_NUM and T_POS_NUM to distinguish
2704         positive and negative numeric constants.
2705         (lex_double_p) Renamed lex_is_number().  Changed return type to
2706         bool.  Updated all relevant references to T_NUM to instead use
2707         this function.
2708         (lex_double) Renamed lex_number().  All references updated.
2709         (lex_integer_p) Renamed lex_is_integer().  Changed return type to
2710         bool.  All references updated.
2711         (lex_token_representation) Understand T_NEG_NUM and T_POS_NUM.
2712         (lex_negative_to_dash) Ditto.
2713         (dump_token) Ditto.
2714         
2715         * lexer.h: (enum) Add T_POS_NUM, T_NEG_NUM.  Remove T_NUM.
2716
2717 Sun Mar  6 22:09:20 2005  Ben Pfaff  <blp@gnu.org>
2718
2719         * expressions/operations.def: (NUMBER) Use DI_IMPLIED_DECIMALS.
2720
2721 Sun Mar  6 19:33:24 2005  Ben Pfaff  <blp@gnu.org>
2722
2723         * expressions/operations.def: (VEC_ELEM_NUM) Treat user-missing
2724         values as system-missing.
2725
2726         * expressions/parse.c: (parse_vector_element) Fix order of
2727         arguments in call to expr_allocate_binary().
2728
2729 Sun Mar  6 17:51:05 2005  Ben Pfaff  <blp@gnu.org>
2730
2731         * expressions/optimize.c: (optimize_tree) Fix optimization bug for
2732         x**2.
2733
2734         * expressions/parse.c: (type_coercion_core) Set *node to NULL on
2735         failure, as indicated by function comment.
2736         (parse_binary_operators) Always return NULL on type_coercion()
2737         failure.  Should have been doing this anyway, but bug in
2738         type_coercion_core() filtered through.
2739         (parse_add) Fix typo in user message.
2740         (parse_primary) Understand T_NEG_NUM and T_POS_NUM.
2741
2742 Sun Mar  6 10:47:13 2005  Ben Pfaff  <blp@gnu.org>
2743
2744         * expressions/operations.def: Add VALUE function.
2745
2746         * expressions/parse.c: (parse_function) Need an unary composite
2747         node for variables in A TO B, not a variable node.  Use
2748         allocate_unary_variable().
2749         (parse_primary) Use allocate_unary_variable().
2750         (allocate_unary_variable) New function.
2751
2752 Thu Mar  3 23:53:32 2005  Ben Pfaff  <blp@gnu.org>
2753
2754         * expressions/PSPP_expressions.pm: Renamed it back to generate.pl
2755         but fixed the real problem that was preventing the build from a
2756         separate directory.  I liked it my way better ;-)
2757         
2758 Thu Mar  3 23:17:51 2005  Ben Pfaff  <blp@gnu.org>
2759
2760         * expressions/parse.c: (expr_parse) Fix parameter type.  Thanks to
2761         John Darrington <john@darrington.wattle.id.au> for reporting this
2762         bug.
2763
2764 Thu Mar  3 22:10:25 WST 2005 John Darrington <john@darrington.wattle.id.au>
2765
2766         * expressions/Makefile.am expressions/evaluate.h.pl
2767           expressions/evaluate.inc.pl expressions/operations.h.pl
2768           expressions/optimize.inc.pl expressions/parse.inc.p:
2769
2770           Renamed generate.pl to PSPP_expressions.pm and adjusted *.pl
2771           to suit. 
2772
2773           Fixed everything so that it can be built from an arbitrary
2774           directory.
2775         
2776 Thu Mar  3 22:08:35 WST 2005 John Darrington <john@darrington.wattle.id.au>
2777
2778         * Makefile.am : Fixed up CLEANFILES target.
2779
2780 Mon Feb 28 23:49:56 2005  Ben Pfaff  <blp@gnu.org>
2781
2782         * str.h: Changed `struct len_string' to `struct fixed_string', a
2783         more accurate name.  Updated all references.
2784
2785 Mon Feb 28 23:35:30 2005  Ben Pfaff  <blp@gnu.org>
2786
2787         Redo calendar support.  Should now be bug-for-bug compatible.
2788         
2789         * calendar.c: New file.
2790
2791         * calendar.h: New file.
2792
2793         * data-in.c: Use new calendar functions.
2794         (parse_sign) Change sense of return value.
2795         (calendar_error) New function.
2796         (ymd_to_ofs) New function.
2797         (ymd_to_date) New function.
2798         (parse_DATE) Use new function.
2799         (parse_ADATE) Ditto.
2800         (parse_EDATE) Ditto.
2801         (parse_SDATE) Ditto.
2802         (parse_JDATE) Ditto.
2803         (parse_QYR) Ditto.
2804         (parse_MOYR) Ditto.
2805         (parse_WKYR) Ditto.
2806         (parse_TIME) Ditto.
2807         (parse_DTIME) Ditto.
2808         (parse_DATETIME) Ditto.
2809
2810         * data-out.c: (convert_date) Use new calendar functions.
2811
2812         * error.c: (err_vmsg) Changed interface to be more sensible.
2813         Updated all callers.
2814         (dump_message) Don't double new-lines (why did we do this
2815         anyway?).
2816
2817 Mon Feb 28 23:30:25 2005  Ben Pfaff  <blp@gnu.org>
2818
2819         * sfmP.h: (macro flt64) Moved here from pref.h.orig.
2820         (macro FLT64_MAX) Moved here from pref.h.orig.
2821
2822 Mon Feb 28 23:28:01 2005  Ben Pfaff  <blp@gnu.org>
2823
2824         * set.q: Support SET EPOCH.
2825         (static var set_epoch) New var.
2826         (aux_stc_custom_epoch) New function.
2827         (stc_custom_epoch) New function.
2828         (get_epoch) New function.
2829         (stc_custom_pager) [USE_INTERNAL_PAGER] Fix bug.
2830
2831         * format.c: Make it possible just to check whether a specifier is
2832         valid without emitting an error message.
2833         (parse_format_specifier_name) Change interface, update all
2834         callers.
2835         (check_input_specifier) Ditto.
2836         (check_output_specifier) Ditto.
2837         (parse_format_specifier) Ditto.
2838
2839 Mon Feb 28 23:24:08 2005  Ben Pfaff  <blp@gnu.org>
2840
2841         * command.def: Add DEBUG POOL.
2842
2843         * pool.c: (pool_destroy) Fix bug in deleting this pool from its
2844         parent.
2845         (pool_clear) Properly account for size of pool gizmo.
2846         (pool_realloc) Ditto.
2847         (pool_clone) New function.
2848
2849         * pool.h: Mark our allocation functions MALLOC_LIKE.
2850
2851 Mon Feb 28 23:21:26 2005  Ben Pfaff  <blp@gnu.org>
2852
2853         * Makefile.am: Move many definitions into new top-level
2854         Make.build.  Add expressions to SUBDIRS.  Add calendar.c,
2855         calendar.h.  Remove expr-evl.c, expr-opt.c expr-prs.c, expr.h,
2856         exprP.h, expr.def.
2857
2858         * case.c: (case_resize) New function.
2859         (case_swap) New function.
2860
2861         * casefile.c: Include mkfile.h.
2862
2863 Fri Feb 25 21:11:35 WST 2005 John Darrington <john@darrington.wattle.id.au>
2864
2865         * sfm-read.c: Fixed a buglet which caused a crash when trying
2866         to read a non-existent file.
2867
2868 Sun Feb 13 16:11:13 2005  Ben Pfaff  <blp@gnu.org>
2869
2870         Fix bug 11955.
2871
2872         * aggregate.c: (parse_aggregate_functions) Code cleanup.
2873         Important part: get rid of spurious copying of function->format to
2874         destvar->print and destvar->write.
2875
2876 Fri Feb 11 00:08:36 2005  Ben Pfaff  <blp@gnu.org>
2877
2878         Fix bug 11916, which was confusing a variable's `index' member
2879         with the variable's position in a var_set.  Although these are
2880         usually the same, they are not for array `var_set's.
2881         
2882         Took advantage of this bug as an opportunity to clean up and
2883         rewrite parse_var_set_vars().
2884
2885         * vars-prs.c: (parse_vs_variable_idx) New function.
2886         (parse_vs_variable) Reimplement in terms of
2887         parse_vs_variable_idx().
2888         (parse_var_idx_class) New function.
2889         (add_variable) New function.
2890         (add_variables) New function.
2891         (parse_var_set_vars) Rewritten.
2892         (struct var_set) Change `lookup_var' member that returns a
2893         variable into `lookup_var_idx' member that returns an int.
2894         Updated the var set implementations in obvious corresponding ways.
2895         Used compare_var_ptr_names(), hash_var_ptr_name() just added.
2896         
2897 Fri Feb 11 00:06:03 2005  Ben Pfaff  <blp@gnu.org>
2898
2899         Use our global variable compare & hash functions and give them
2900         better names.  Add similar functions for dealing with double
2901         pointers to variables.
2902         
2903         * vars-atr.c: (compare_variables) Renamed compare_var_names().
2904         (hash_variable) Renamed hash_var_name().
2905         (compare_var_ptr_names) New function.
2906         (hash_var_ptr_name) New function.
2907         
2908         * t-test.q: (cmd_t_test) Use global compare_var_names(),
2909         hash_var_name().
2910         (compare_var_name) Removed.
2911         (hash_var_name) Removed.
2912
2913 Fri Feb 11 00:04:39 2005  Ben Pfaff  <blp@gnu.org>
2914
2915         Fix dictionary bug.
2916         
2917         * dictionary.c: (compare_variable_dblptrs) Rename
2918         compare_var_ptrs() and fix it to properly dereference the double
2919         pointers.
2920
2921 Mon Feb  7 09:58:15 WST 2005 John Darrington <john@darrington.wattle.id.au>
2922
2923         crosstabs.q examine.q oneway.q q2c.c:  Added a q2c feature to 
2924         declare subcommands as mandatory.  Closed bug #11843
2925
2926 Sat Feb  5 20:35:10 WST 2005 John Darrington <john@darrington.wattle.id.au>
2927         
2928         * getline.c command.[ch] command.def:  Added (very rudimentary)
2929         support for line  completion when in interactive mode.  Partially 
2930         addresses bug #11693
2931         
2932 Mon Jan 31 09:52:51 WST 2005 John Darrington <john@darrington.wattle.id.au>
2933
2934         * examine.q factor_stats.c oneway.q output.c pfm-read.c: Fixed some
2935         problems revealed by valgrind.
2936
2937
2938 Wed Jan 26 11:44:11 WST 2005 John Darrington <john@darrington.wattle.id.au>
2939
2940         * set.q: Affixed a fix to the previous fix such that we'll be OK now
2941         whether or not PAGER is set.
2942
2943 Wed Jan 26 09:25:54 WST 2005 John Darrington <john@darrington.wattle.id.au>
2944
2945         * set.q: Copied the string produced by getenv("PAGER") thus avoiding
2946         "invalid free" errors.  Hopefully fixes bug #11722
2947
2948         * compute.c expr-prs.c: Check that lvalues are populated before 
2949         attempting to destroy them.  Closes bug #11676
2950
2951 Tue Jan 25 21:01:43 WST 2005 John Darrington <john@darrington.wattle.id.au>
2952
2953         * aggregate.c: Initialised the complete agr_proc structure.
2954         Closes bug #11675
2955
2956
2957 Sun Jan 23 23:02:21 2005  Ben Pfaff  <blp@gnu.org>
2958
2959         * print.c: (print_trns_free) Close the dfm writer if there is one,
2960         fixing a memory leak.
2961
2962 Mon Jan 24 12:24:36 WST 2005 John Darrington <john@darrington.wattle.id.au>
2963
2964         * glob.c oneway.q q2c.c t-test.q vfm.c: Still *more* memory leaks 
2965         fixed.
2966
2967
2968 Fri Jan 21 19:54:14 WST 2005 John Darrington <john@darrington.wattle.id.au>
2969
2970         * linked-list.[ch] Added
2971
2972         * examine.q file-handle.[hq] font.h glob.c groff-font.c postscript.c 
2973           set.q:    Yet more memory leaks
2974
2975 Tue Jan 18 23:12:40 WST 2005 John Darrington <john@darrington.wattle.id.au>
2976
2977         * t-test.q examine.q : More memory leaks fixed.
2978
2979 Tue Jan 18 19:26:59 WST 2005 John Darrington <john@darrington.wattle.id.au>
2980
2981         * examine.q  factor_stats.[ch] get.c pfm-read.c: Plugged numerous
2982         memory leaks.
2983
2984 Mon Jan 10 14:43:45 WST 2005 John Darrington <john@darrington.wattle.id.au>
2985
2986         * ascii.c cartesian.c casefile.c chart.h devind.c 
2987           examine.q frequencies.q
2988           html.c output.h piechart.c plot-chart.c plot-hist.c
2989
2990           Integrated the chart rendering into the output stream
2991           (currently only works for html).
2992           
2993           Removed gratuitous use of ifndef NO_CHARTS, and replaced with
2994           dummy-chart.c for compiling without charts.
2995
2996         * mkfile.[ch] Created.  
2997
2998         * som.[ch] tab.[ch]: Changed name of som_table to som_entity
2999         Added type element so we can tell if it's a chart or a table.
3000
3001         * chart.h examine.q piechart.c plot-chart.c plot-hist.c: changed the 
3002         API of charts to be more like that of tables.
3003
3004 Thu Jan 13 21:00:02 WST 2005 John Darrington <john@darrington.wattle.id.au>
3005
3006         * casefile.c main.c: Moved the SIGINT handler from casefile.c to
3007         main.c. Removed the handler for SIGQUIT.
3008
3009 Mon Jan 10 14:43:45 WST 2005 John Darrington <john@darrington.wattle.id.au>
3010
3011         * casefile.c: Added a signal handler to delete temp files on 
3012         SIGINT and SIGQUIT
3013
3014         * permissions.c Inhibited the PERMISSIONS command when SAFER is on.
3015
3016         * command.def Added a lot more unimplemented commands.
3017
3018         * copyleft.[ch] cmdline.c Moved legal information to copyleft.c
3019
3020 Sat Jan  8 23:58:34 2005  Ben Pfaff  <blp@gnu.org>
3021
3022         * sort.c: (compare_initial_runs) Needed additional level of
3023         dereferencing.
3024         (merge_once) Fix plenty of stupid mistakes.
3025
3026 Sat Jan  8 23:55:27 2005  Ben Pfaff  <blp@gnu.org>
3027
3028         * casefile.c: (casefile_sleep) Need to flush_buffer() after
3029         calling casefile_to_disk() or we will lose the last block in the
3030         file if the casefile started out as disk-based.
3031         (casefile_get_reader) Initialize reader->destructive to 0.
3032         (cmd_debug_casefile) Add new test pattern.
3033         (test_casefile) Define new test pattern to make sure
3034         casefile_sleep() works properly.
3035
3036 Fri Jan  7 08:00:05 WST 2005 John Darrington <john@darrington.wattle.id.au>
3037
3038         * Makefile.am chart.[ch]  histogram.[ch] piechart.c (Modified);
3039           plot-hist.c plot-chart.c (Added) Reorganised these files in an
3040           attempt to seperate the creation and processing of charts from their
3041           actuall renedering.
3042
3043         * examine.q frequencies.q generated charts conditional upon the NO_CHARTS
3044           macro.
3045
3046 Thu Jan  6 18:48:58 WST 2005 John Darrington <john@darrington.wattle.id.au>
3047
3048         * main.c Added a signal handler for SIGFPE
3049
3050         * sort.c Somewhat more robust fix to the previous entry.
3051
3052 Wed Jan  5 21:23:31 2005  Ben Pfaff  <blp@gnu.org>
3053
3054         * sort.c: (merge) Fix assertion for proper Huffman merge pattern:
3055         0 == 1 modulo 1.  See Knuth 5.4.9 (vol. 3, 2nd ed.,
3056         pp. 361).  Thanks to John Darrington <john@cellform.com.au> for
3057         reporting the bug.
3058
3059 Wed Jan  5 22:42:26 WST 2005 John Darrington <john@darrington.wattle.id.au>
3060
3061         * case.h Fixed bug # 11307
3062         
3063 Wed Jan  5 08:30:48 WST 2005 John Darrington <john@darrington.wattle.id.au>
3064
3065         * val-labs.c Fixed bug which caused a crash if VALUE LABELS had
3066         a trailing slash.
3067
3068 Mon Jan  3 17:44:37 2005  Ben Pfaff  <blp@gnu.org>
3069
3070         * pfm-read.c: (read_variables) Remove direct manipulation of
3071         v->aux, which is no longer needed.  Fixes bug 11483.
3072
3073 Sat Jan  1 19:01:16 WST 2005 John Darrington <john@darrington.wattle.id.au>
3074
3075         * data-list.c Fixed a bug in parsing delimiters.
3076
3077         * group.c vars-atr.c Fixed buglet in hash/compare functions for alpha
3078         values.
3079
3080         * percentiles.c Properly handled calculation of Tukey hinges where
3081         the number of data is small.
3082
3083         * oneway.q Used the generic value_to_string function for independent
3084         variable instead of trying to do it ourselves.
3085
3086         * box-whisker.c Fixed a buglet which caused a crash if the number of
3087         data was zero
3088
3089
3090 Fri Dec 31 16:47:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
3091
3092         * examine.q box-whisker.c chart.h Implemented boxplots in EXAMINE
3093
3094         * percentiles.c Fixed some bugs when calculating percentiles when
3095         there's a small number of cases.
3096
3097 Wed Dec 29 08:18:08 WST 2004 John Darrington <john@darrington.wattle.id.au>
3098
3099         * percentiles.[ch] Added. Calculates percentiles and Tukey hinges
3100
3101         * examine.q factor_stats.[ch]  Added calculation of percentiles
3102
3103 Fri Dec 24 15:09:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
3104
3105         * t-test.q Fixed bug #11227 Made t-test work when the independent
3106         variable is alpha
3107
3108 Sat Dec 11 11:43:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
3109
3110         * factor_stats.c Fixed calculation of trimmed mean under various
3111         special conditions.
3112
3113 Sat Dec  4 17:14:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
3114
3115         * histogram.c chart.[ch] factor_stats.c frequencies.q
3116
3117         Added code to calculate sensible histogram ranges and limits.
3118
3119 Thu Dec  2 13:37:43 WST 2004 John Darrington <john@darrington.wattle.id.au>
3120
3121         * chart.h Updated to reflect many API changes.
3122
3123         * cartesian.c chart.c Moved the definitions of chart_write_{xy}scale from 
3124         cartesian.c and into chart.c
3125
3126         * factorstats.[ch] Added the histogram calculations
3127
3128         * casefile.c Removed an unused variable.
3129
3130         * frequencies.q examine.q histogram.c  Reworked the API for 
3131         histograms.
3132
3133         * piechart.c  Revised the API for piecharts.
3134
3135         * var.h  Moved the definitions of freq_tab and freq out of var.h
3136         and into frequencies.q where they belong.
3137         
3138 Tue Nov 30 21:10:20 2004  Ben Pfaff  <blp@gnu.org>
3139
3140         * flip.c: (flip_file) Check for off_t separately from fseeko(),
3141         using AC_TYPE_OFF_T.
3142
3143 Tue Nov 30 08:47:41 2004  Ben Pfaff  <blp@gnu.org>
3144
3145         * flip.c: (flip_file) If fseeko() is not available, use long int
3146         for off_t.  Thanks to "Marshall DeBerry" <mdb@radix.net> for
3147         reporting the problem.
3148
3149 Mon Nov 29 12:20:59 WST 2004 John Darrington <john@darrington.wattle.id.au>
3150
3151         * examine.q factor_stats.[ch] Changed stderr to se_mean to avoid
3152         conflict with stdio.
3153
3154 Sun Nov 21 10:32:41 WST 2004 John Darrington <john@darrington.wattle.id.au>
3155
3156         * var-labs.c (var_to_string) Now returns null if the variable is null
3157
3158         * value-labels.c (value_to_string) Made it return null if either the 
3159         value or the variable is null.
3160
3161         * hash.c (hsh_clear) Fixed a buglet.
3162
3163         * examine.q  factor_stats.[ch] Largely  rewrote, because I'd started 
3164         with  the wrong model.
3165
3166         * casefile.[ch] Added a function to return the casereader.case_idx 
3167         member
3168
3169         * examine.q  Implemented the extreme values results.
3170
3171 John Darrington <john@darrington.wattle.id.au>
3172
3173         * settings.h set.c glob.[ch] frequencies.q q2c.c error.c lexer.[ch] 
3174           output.[ch] getline.c 
3175
3176           Plugged some memory leaks
3177
3178 Mon Nov 15 23:47:40 2004  Ben Pfaff  <blp@gnu.org>
3179
3180         Adopt GSL random number generators, paving the way for providing
3181         the complete suite of random number generators on expressions.
3182         
3183         * Makefile.am: Remove random.c, random.h.
3184
3185         * random.c: Removed.
3186
3187         * random.h: Removed.
3188
3189         * algorithm.c: (algo_default_random) Use GSL functions.
3190
3191         * casefile.c: (test_casefile) Use GSL RNG functions.
3192
3193         * expr-evl.c: (expr_evaluate) Use GSL RNG functions for OP_NORMAL,
3194         OP_UNIFORM.
3195
3196         * sample.c: (cmd_sample) Use GSL RNG functions.
3197         (sample_trns_proc) Ditto.
3198
3199         * set.q: (static var set_seed) Removed.
3200         (static var seed_flag) Removed.
3201         (static var rng) New variable.
3202         (aux_stc_custom_seed) No seed value anymore, don't print anything.
3203         (stc_custom_seed) Use new seed functions.
3204         (seed_is_set) Removed.
3205         (get_rng) New function that composes the entire external
3206         interface.
3207         (set_rng) New function.
3208         (random_seed) New function.
3209
3210 Mon Nov 15 22:08:25 2004  Ben Pfaff  <blp@gnu.org>
3211
3212         * expr-evl.c: (expr_evaluate) Fix XDATE.JDAY formula.  Thanks to
3213         John Darrington <john@darrington.wattle.id.au> for reporting this
3214         bug.
3215
3216 Tue Nov 16 13:19:18 WST 2004 John Darrington <john@darrington.wattle.id.au>
3217
3218         * permissions.c command.def Added the PERMISSIONS command
3219
3220 Mon Nov 15 01:33:32 2004  Ben Pfaff  <blp@gnu.org>
3221
3222         * q2c.c: (dump_header) Don't try to emit #includes at very top of
3223         output file because that will precede #include <config.h>, which
3224         is bad.
3225         (main) Add needed headers to /* (header) */ code.
3226
3227 Mon Nov 15 01:21:36 2004  Ben Pfaff  <blp@gnu.org>
3228
3229         Instead of making system or portable file readers responsible for
3230         dropping and reordering variables, make them read full cases and
3231         let the caller take care of any changes.
3232
3233         * get.c: New "case map" structure to handle this.  Use for GET,
3234         IMPORT, MATCH FILES.  Essentially rewrite the whole file.
3235
3236         * pfm-read.c: (pfm_read_case) Read into provided case.  Signature
3237         changed appropriately.
3238
3239         * sfm-read.c: (sfm_read_case) Ditto.
3240
3241 Mon Nov 15 00:47:45 2004  Ben Pfaff  <blp@gnu.org>
3242
3243         Decided that case_serialize() and case_unserialize() were too
3244         abstract.  Also we need a couple more functions to avoid excessive
3245         copying for data in/out fast paths.
3246
3247         * case.c: (case_serial_size) Removed.
3248         (case_serialize) Rename case_to_values() and make its argument
3249         explicitly an array of union values.
3250         (case_unserialize) Rename case_from_values() and make its argument
3251         explicitly an array of union values.
3252         (case_data_all) New function.
3253         (case_data_all_rw) New function.
3254
3255         * casefile.c: (struct casefile) Change buffer from array of
3256         unsigned char to array of union value for better accuracy.
3257         Redefine buffer_used and buffer_size in terms of values, not
3258         bytes.  Remove case_size because it is now redundant with
3259         value_cnt.  Fix up all references to these members.
3260
3261 Mon Nov 15 00:45:46 2004  Ben Pfaff  <blp@gnu.org>
3262
3263         * barchart.c: (struct subcat) Make `label' member const to silence
3264         GCC warning with -Wwrite-strings.
3265
3266         * cartesian.c: (struct dataset) Ditto.
3267
3268         * case.c: Don't re-define NDEBUG if already defined.
3269         Add lots of comments.
3270
3271         * str.c: Fix includes.
3272
3273         * crosstabs.q: Fix includes.
3274
3275         * examine.q: Fix includes.  Fix GCC warning about unused
3276         variables.
3277         
3278         * frequencies.q: (stat macro) Removed and replaced where used by
3279         its expansion.
3280
3281         * list.q: Fix includes.
3282
3283         * oneway.q: Fix includes.
3284
3285         * piechart.c: Fix includes.  Only define M_PI if not already
3286         defined.
3287
3288         * sfm-read.c: (bswap) New function.
3289         (bswap_int32) Write in terms of bswap.
3290         (bswap_flt64) Ditto.
3291
3292         * str.c: (ds_data) Add external definition here, needed because
3293         str.h has only an `extern inline' version.
3294
3295         * value-labels.c: Fix includes.
3296
3297 Mon Nov 15 00:40:55 2004  Ben Pfaff  <blp@gnu.org>
3298
3299         Instead of providing a system or portable file writer with a raw
3300         case in the format needed for output, provide it with a regular
3301         case.  The writer takes care of any needed translation.
3302
3303         * aggregate.c: Adopt new scheme for AGGREGATE.
3304         (struct agr_proc) sfm_agr_case member removed.
3305         (write_case_to_sfm) Removed because the new interface is easier to
3306         use.
3307
3308         * get.c: Adopt new scheme for SAVE, XSAVE, EXPORT.
3309
3310         * pfm-write.c: Implement new scheme.
3311
3312         * sfm-write.c: Ditto.
3313
3314 Mon Nov 15 00:32:24 2004  Ben Pfaff  <blp@gnu.org>
3315
3316         Instead of treating `struct file_handle' as a class to subclass
3317         into data files, system files, and portable files, instead use it
3318         as a helper that coordinates access.  Now it is opaque, too.
3319
3320         This means that most references to a struct file_handle are now
3321         changed into references to one of struct dfm_reader, struct
3322         dfm_writer, struct sfm_reader, struct sfm_writer, struct
3323         pfm_reader, or struct pfm_writer, according to what's being read
3324         or written.
3325
3326         Most related changes are only worth summarizing briefly.
3327
3328         * dictionary.c: (dict_clear) Destroy aux data in deleted
3329         variables.
3330         (dict_clear_aux) New function.
3331         (dict_create_var) Initialize aux, aux_dtor.
3332         (dict_delete_var) Destroy aux data in deleted variable.
3333
3334         * file-handle.h: (struct fh_ext_class) Removed.
3335         (struct file_handle) Removed.
3336         (fh_init_files) Removed.
3337
3338         * file-handle.q: Changed references to a handle's `private' member
3339         to direct references.
3340         (struct private_file_handle) Renamed file_handle.
3341         Add next, open_cnt, type, open_mode, aux members.
3342         (struct file_handle_list) Removed.
3343         (extern var inline_file) Removed.
3344         (static var file_handles) Changed from file_handle_list * to
3345         file_handle *.
3346         (create_file_handle) Initialize new members.
3347         (fh_close_handle) Removed.
3348         (mode_name) New function.
3349         (fh_open) New function.
3350         (fh_close) New function.
3351         (fh_parse_file_handle) Renamed fh_parse().
3352
3353         * glob.c: (init_glob) Remove fh_init_files() call.
3354         
3355         * aggregate.c: use sfm_writer.
3356         (create_sysfile) Removed because the new interface is simpler.
3357         
3358         * apply-dict.c: Use sfm_reader.
3359
3360         * data-list.c: Use dfm_reader.
3361
3362         * file-type.c: Use dfm_reader.
3363
3364         * get.c: Use sfm_reader, sfm_writer, pfm_reader, pfm_writer.
3365
3366         * inpt-pgm.c: Use dfm_reader.
3367
3368         * print.c: Use dfm_writer.
3369
3370         * sysfile-info: Use sfm_reader.
3371
3372         * dfm-read.c: Adopt new file handle infrastructure.
3373
3374         * dfm-write.c: Ditto.
3375
3376         * pfm-read.c: Ditto.
3377         
3378         * pfm-write.c: Ditto.
3379
3380         * sfm-read.c: Ditto.
3381
3382         * sfm-write.c: Ditto.
3383         
3384 Mon Nov 15 00:31:44 2004  Ben Pfaff  <blp@gnu.org>
3385
3386         Break dictionary functions into separate header file.
3387
3388         * dictionary.h: New file.
3389
3390         * var.h: Moved dict_*() functions to dictionary.h.
3391
3392 Mon Nov 15 00:30:33 2004  Ben Pfaff  <blp@gnu.org>
3393
3394         Get rid of procedure-specific union in struct variable, using
3395         instead a void * pointer and a destructor function.
3396
3397         Most related changes are only worth brief summaries.
3398
3399         * crosstabs.q: Fix includes.  Use new struct var_range in lieu of
3400         old p.crs member in struct variable.
3401         
3402         * frequencies.q: Fix includes.  Use new struct var_freqs in lieu
3403         of old p.frq member in struct variable.
3404
3405         * histogram.c: (draw_histogram) Takes new freq_tab arg because
3406         it's no longer possible to grab this from var->p.frq.
3407
3408         * piechart.c: (draw_piechart) Ditto.
3409
3410         * group.c: (group_proc_get) New function.
3411
3412         * levene.c: Use group_proc_get() in lieu of old p.grp_data member
3413         in struct variable.
3414
3415         * oneway.q: Ditto.
3416
3417         * t-test.q: Ditto.
3418
3419         * main.c: (execute_command) Clear aux data in default_dict after
3420         each command.  (It's debatable whether this should be done.)
3421
3422         * matrix-data.c: Use new struct mxd_var in lieu of old p.mxd
3423         member in struct variable.
3424
3425         * means.q: Get rid of integer mode, which is not included in
3426         recent SPSS and was the only code that wanted per-variable private
3427         data.
3428
3429         * var.h: (struct crosstab_proc) Removed.
3430         (struct frequencies_proc) Removed.
3431         (struct list_proc) Removed.
3432         (struct get_proc) Removed.
3433         (struct means_proc) Removed.
3434         (struct matrix_data_proc) Removed.
3435         (struct match_files_proc) Removed.
3436         (lots of enums) Removed.
3437         (struct variable) Removed members `p', `get'.  Add member
3438         `aux_dtor'.
3439
3440         * vars-atr.c: (var_attach_aux) New function.
3441         (var_detach_aux) New function.
3442         (var_clear_aux) New function.
3443         (var_dtor_free) New function.
3444         (discard_variables) Use NULL instead of inline_file.
3445
3446 Fri Nov 12 10:07:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
3447
3448         * value-labs.c  Fixed the implmentation of value_to_string, so 
3449         that it properly handles alpha values.
3450
3451         * oneway.q  Changed instances where labels were being probed manually, 
3452         to use the canonical {var,value}_to_string functions
3453
3454 Thu Nov 11 21:01:31 WST 2004 John Darrington <john@darrington.wattle.id.au>
3455
3456         * examine.q cartesian.c chart.[ch]   Added normal and detrended normal
3457         plots.  Changed the API of the cartesian plot to be a much lower level
3458         thing.
3459
3460 Sun Nov  7 17:25:04 WST 2004 John Darrington <john@darrington.wattle.id.au>
3461
3462         * examine.q Added some of the parametric calculations
3463
3464         * factor_stats.[ch]  Created
3465         
3466 Sat Nov  6 21:24:31 WST 2004 John Darrington <john@darrington.wattle.id.au>
3467
3468         * examine.q  Changed the definition of factors to be a composite, and
3469         dealt with the consequences.
3470
3471 Sat Nov  6 20:40:38 WST 2004 John Darrington <john@darrington.wattle.id.au>
3472
3473         * examine.q Fixed problem where examine wasn't dealing properly with 
3474         splits
3475
3476 Sat Nov  6 14:49:47 WST 2004 John Darrington <john@darrington.wattle.id.au>
3477
3478         * oneway.q Fixed problem where oneway wasn't dealing properly with 
3479         splits
3480
3481 Thu Nov  4 11:09:01 WST 2004 John Darrington <john@darrington.wattle.id.au>
3482
3483         * q2c.c examine.q  Fixed a bug (feature?) whereby arrays in the
3484         command which had settings didn't get the appropriate code
3485         generated.
3486
3487         * val.h value-labels.[ch] var-labs.c Added v*to_string functions
3488         to convert variables/values to strings.
3489
3490         * examine.q  Added framework for the EXAMINE command.
3491
3492 Mon Nov  1 12:46:17 WST 2004 John Darrington <john@darrington.wattle.id.au>
3493
3494         * q2c.c frequencies.q set.q t-test.q  Fixed the q2c parsing of DBL 
3495         subcommand types.  Changed frequencies.q to use it rather then the 
3496         custom parser.  Dealt with the consequences.  Added a test for NTILES
3497         subcommand of frequencies.
3498
3499 Sat Oct 30 09:16:29 WST 2004 John Darrington <john@darrington.wattle.id.au>
3500
3501         * oneway.q   Fixed up the behaviour when given missing values
3502
3503         * levene.c oneway.q Fixed a buglet with the levene statistic and
3504         incorporated the levene test into the oneway command.
3505
3506         * group.h  t-test.q  Moved the CMP_EQ and CMP_LE symbols out of 
3507         global scope, since they're only relevant to T-TEST
3508
3509 Fri Oct 29 17:39:03 WST 2004 John Darrington <john@darrington.wattle.id.au>
3510
3511         * group.c group.h group_proc.h levene.c oneway.q t-test.q
3512
3513         Made the t-test more consistent
3514         with the way it handles groups.  That is, it now uses a hash instead
3515         of an array of 2.  Also, made the levene.c file independent of the 
3516         implementation of the t-test.  So now levene should be fine for both
3517         t-test and anova.
3518
3519         * Added an oneway.q file for one way anova
3520
3521 Wed Jun  2 22:08:02 2004  Ben Pfaff  <blp@gnu.org>
3522
3523         * descript.c: (cmd_descriptives) Remove harmless but bogus test in
3524         STATISTICS parsing.
3525
3526 Mon May 31 20:45:24 2004  Ben Pfaff  <blp@gnu.org>
3527
3528         Fix memory leaks.
3529
3530         * data-list.c: (cmd_data_list) Free dls->delims on lossage.
3531         (data_list_trns_free) Free dls->delims.
3532
3533         * t-test.q: (tts_custom_pairs) Free vars.
3534         (ssbox_one_sample_init) Fix tab_vline() argument.
3535         (ssbox_independent_samples_init) Ditto.
3536         (trbox_paired_init) Ditto.
3537         (trbox_one_sample_init) Ditto.
3538
3539 Mon May 31 17:19:27 2004  Ben Pfaff  <blp@gnu.org>
3540
3541         Generalize casefiles to the extent that we can use them for
3542         sorting and other kinds of data transformations.  Change cases to
3543         be copy-on-write to improve memory efficiency in common cases.
3544         Every access to a member of a `struct ccase' was changed to be a
3545         call to a case_*() function, especially case_data(), case_num(),
3546         case_str(), or case_data_rw().  Many instances of a local variable
3547         named "case_num" were changed to "case_idx" as a consequence.
3548         Many `struct ccase *' were changed to actual `struct ccase'
3549         because of copying semantics of cases.  In several places there
3550         was a choice between updating debug code to work with the new ADTs
3551         or just deleting it because it was useless; I chose to delete it.
3552  
3553         * Makefile.am: (pspp_SOURCES) Add case.c, case.h.
3554
3555         * case.c: New file.
3556
3557         * case.h: New file.
3558
3559         * aggregate.c: (struct agr_proc) Change type of `sort' to
3560         sort_criteria *.  Add `break_vars', `break_var_cnt' members.
3561         Rename `vars' to `agr_vars', all references updated.  Change
3562         `agr_case' to type `struct ccase'.
3563         (cmd_aggregate) Deal with new members.  Use case_create(),
3564         sort_active_file_in_place(), sort_active_file_to_casefile().
3565         (agr_destroy) Deal with new members.
3566         (aggregate_single_case) Ditto.
3567         (dump_aggregate_info) Ditto.
3568         (initialize_aggregate_info) Ditto.
3569         (agr_to_active_file) Ditto.
3570         (presorted_agr_to_sysfile) Ditto.
3571         (sort_agr_to_sysfile) Removed.
3572
3573         * alloc.c: (out_of_memory) Make non-static.
3574
3575         * alloc.h: Prototype out_of_memory().
3576
3577         * casefile.c: Switched from a linked list in-memory representation
3578         to a two-level array-style representation.  The linked list was
3579         appropriate when we could stick a header onto cases, but that's no
3580         longer the case.  Also, the two-level array will allow for random
3581         in-memory access in case that's ever wanted.  Also added the
3582         concept of a `destructive casereader', one that destroys cases in
3583         the underlying casefile as they are read out.
3584         (macro CASES_PER_BLOCK) New macro.
3585         (struct casefile) New members `value_cnt', `case_list_size',
3586         `case_acct_size', `being_destroyed', `cases'.  Removed `head',
3587         `tail'.
3588         (struct casereader) Removed `cur'.  Added `destructive', `c'.
3589         (global var casefiles) Made static.
3590         (static var case_bytes) New var.
3591         (casefile_create) Takes a value count, not a case size in bytes,
3592         to conform to the case interface.  All callers updated.  Deal with
3593         new and removed members.
3594         (casefile_destroy) Deal with new and removed members.
3595         (casefile_sleep) New function.
3596         (casefile_get_case_size) Removed.
3597         (casefile_get_value_cnt) New function.
3598         (casefile_append) Rewritten to deal with new and removed members.
3599         (casefile_append_xfer) New function.
3600         (write_case_to_disk) Use case_serialize().
3601         (call_posix_fadvise) Removed because posix_fadvise64 segfaults.
3602         Couldn't figure out why.
3603         (casefile_to_disk) Don't call call_posix_fadvise.  Rewritten to
3604         deal with new and removed members.
3605         (merge) Removed.
3606         (merge_sort) Removed.
3607         (casefile_sort) Removed.
3608         (casefile_get_reader) Deal with new and removed members.
3609         (casefile_get_destructive_reader) New function.
3610         (reader_open_file) Make code more readable.  Create case for
3611         reader.
3612         (casereader_get_casefile) New function.
3613         (casereader_read) Deal with new and removed members.  Now returns
3614         a copy of the case, so that the caller is responsible for
3615         destroying the returned case.
3616         (casereader_read_xfer) New function.
3617         (casereader_destroy) Destroy reader's case.
3618         (test_casefile) Second arg is now a value count, all callers
3619         updated.  Now tests destructive readers too.
3620         (get_random_case) Deal with new case ADT.
3621         (write_random_case) Ditto.
3622         (read_and_verify_random_case) Ditto.
3623
3624         * crosstabs.q: Remove debug code.
3625
3626         * descript.q: (calc_descriptives) Deal with new case, casefile
3627         ADTs.
3628
3629         * dfm.c: (cmd_begin_data) There's no storage_source_class anymore.
3630
3631         * do-if.c: Remove unneeded header inclusion.
3632
3633         * expr-prs.c: Remove debug code.
3634
3635         * exprP.h: Remove debug code.
3636
3637         * flip.c: (flip_file) Use fseeko() if available.
3638
3639         * formats.c: Remove debug code.
3640
3641         * get.c: Remove debug code.
3642         (struct mtf_file) Change `input' from `union value *' to `struct
3643         ccase', all references updated.
3644
3645         * levene.c: (levene) Deal with new case, casefile ADTs.
3646
3647         * list.q: Remove debug code.
3648
3649         * loop.c: Remove debug code.
3650         
3651         * matrix-data.c: Remove debug code.
3652
3653         * means.q: Remove debug code.
3654
3655         * mis-val.c: Remove debug code.
3656
3657         * pfm-read.c: Remove debug code.
3658         (pfm_read_code) Change second arg from `union value *' to `struct
3659         ccase *', all references updated.
3660
3661         * recode.c: (string_to_long) Make first arg const.
3662         (convert_to_double) Ditto.
3663
3664         * repeat.c: Remove debug code.
3665
3666         * sample.c: Remove debug code.
3667
3668         * sfm-read.c: Remove debug code.
3669         (sfm_read_case) Change second arg from `union value *' to `struct
3670         ccase *'.
3671
3672         * sort.c: Redone in terms of casefiles.
3673         (enum sort_direction) Moved here from sort.h.
3674         (struct sort_criterion) New structure.
3675         (struct sort_criteria) New structure.
3676         (cmd_sort_cases) Rewritten.
3677         (prepare_to_sort_active_file) New function.
3678         (sort_active_file_in_place) New function.
3679         (sort_active_file_to_casefile) New function.
3680         (parse_sort) Renamed sort_parse_criteria(), rewritten & interface
3681         changed, all callers updated.
3682         (destroy_sort_cases_pgm) Renamed sort_destroy_criteria(),
3683         rewritten & interface changed, all callers updated.
3684         (sort_cases) Renamed sort_execute(), rewritten & interface
3685         changed, all callers updated.
3686         (struct internal_sort) Removed.
3687         (do_internal_sort) Rewritten, interface changed.
3688         (destroy_internal_sort) Removed.
3689         (compare_case_dblptrs) Use sort_criteria instead of sort_case_pgm.
3690         (struct initial_run) Removed; an initial run is now just a
3691         casefile.
3692         (compare_initial_runs) Rewritten.
3693         (struct external_sort) Changed almost completely.
3694         (do_external_sort) Rewritten, interface changed.
3695         (destroy_external_sort) Rewritten.
3696         [HAVE_MKDTEMP] (make_temp_dir) Removed.
3697         [!HAVE_MKDTEMP] (do_mkdir) Removed.
3698         [!HAVE_MKDTEMP] (make_temp_dir) Removed.
3699         (init_external_sort) Removed.
3700         (simulate_error) Removed.
3701         (rmdir_temp_dir) Removed.
3702         (get_temp_file_name) Removed.
3703         (open_temp_file) Removed.
3704         (close_temp_file) Removed.
3705         (remove_temp_file) Removed.
3706         (write_temp_file) Removed.
3707         (read_temp_file) Removed.
3708         (struct record_run) Change `record' from `struct case_lit *' to
3709         `struct ccase'.
3710         (struct initial_run_state) Remove `idx_to_fv', `free_list',
3711         `file_idx', `output_file'.  Add `run', casefile'.  Change
3712         `last_output' from `struct case_list *' to `struct ccase'.
3713         (write_initial_runs) Change interface, rewrite.
3714         (sort_sink_write) Renamed process_case(), changed interfaced,
3715         rewrote.
3716         (destroy_initial_run_state) Rewritten.
3717         (allocate_cases) Rewritten.
3718         (compare_record) Interface changed, rewritten.
3719         (start_run) Rewritten.
3720         (end_run) Rewritten.
3721         (output_record) Rewritten.
3722         (grab_case) Removed.
3723         (release_case) Removed.
3724         (struct merge_case) Change `cases' from double pointer to single
3725         pointer.
3726         (merge) Deal with new case and casefile ADTs.
3727         (struct run) Removed.
3728         (merge_once) Rewritten, interface changed.
3729         (fill_run_buffer) Removed.
3730         (sort_sink_make_source) Removed.
3731         (sort_sink_class) Removed.
3732         (struct sort_source_aux) Removed.
3733         (sort_source_read_helper) Removed.
3734         (sort_source_read) Removed.
3735         (read_sort_output) Removed.
3736         (read_internal_sort_output) Removed.
3737         (read_external_sort_output) Removed.
3738         (sort_source_destroy) Removed.
3739         (sort_source_class) Removed.
3740
3741         * sort.h: (struct sort_cases_pgm) Removed.
3742         (enum sort_direction) Moved to sort.c.
3743
3744         * t-test.q: (calculate) Deal with new case, casefile ADTs.
3745
3746         * tab.c: Remove debug code.
3747
3748         * var-labs.c: Remove debug code.
3749
3750         * var.h: (struct ccase) Removed.
3751         (struct case_list) Removed.
3752
3753         * vars-atr.c: (discard_variables) Use free_case_source().
3754
3755         * vars-prs.c: (parse_vs_variable) Make arg const.
3756         (parse_dict_variable) Ditto.
3757         (parse_variables) Make struct dictionary * arg const.
3758         (parse_var_set_vars) Make struct var_set * arg const.
3759         (struct var_set) Add const to some of the function pointers' args.
3760         (var_set_get_cnt) Make arg const.
3761         (var_set_get_var) Make first arg const.
3762         (var_set_lookup_var) Make first arg const.
3763         (dict_var_set_get_cnt) Make arg const.
3764         (dict_var_set_get_var) Make first arg const.
3765         (dict_var_set_lookup_var) Make first arg const.
3766         (var_set_create_from_dict) Make arg const.  Add cast to aux
3767         assignment.
3768         (struct array_var_set) Add const to var member.
3769         (array_var_set_get_cnt) Make arg const.
3770         (array_var_set_get_var) Make first arg const.
3771         (array_var_set_lookup_var) Make first arg const.
3772         (var_set_create_from_array) Make first arg const.  Insert cast.
3773
3774         * vfm.c: (struct write_case_data) Change trns_case, sink_case
3775         members from `struct ccase *' to `struct ccase'.
3776         (static var lag_queue) Change from double to single pointer.
3777         (procedure) Optimize trivial case.
3778         (internal_procedure) Deal with changed case, case_source ADTs.
3779         (create_trns_case) Changed interface, rewrote.
3780         (open_active_interface) Initialize modified lag queue.
3781         (write_case) Deal with changed case ADT.
3782         (lag_case) Deal with modified lag queue.
3783         (close_active_file) Destroy modified lag queue.
3784         Deal with changed case_source, case_sink ADTs.
3785         (destroy_storage_stream_info) Make null arg into no-op.
3786         (storage_sink_make_source) Set aux in created source.
3787         (storage_source_read) Deal with changed case, casefile ADTs.
3788         (storage_source_create) New function.
3789         (lagged_case) Rewrite.
3790         (free_case_source) New function.
3791         (free_case_sink) Rewrite.
3792         (struct split_aux_data) Changed prev_case from `struct ccase *' to
3793         `struct ccase'.
3794         (procedure_with_splits) Deal with changed prev_case.
3795         (procedure_with_splits_callback) Ditto.
3796         (multipass_split_aux_data) Changed prev_case from `struct ccase *' to
3797         `struct ccase'.
3798         (multipass_procedure_with_splits) Deal with changed prev_case.
3799         (multipass_split_callback) Ditto.
3800         
3801         
3802 Mon May 31 17:19:06 2004  Ben Pfaff  <blp@gnu.org>
3803
3804         The workspace idea didn't work out.
3805
3806         * Makefile.am: (pspp_SOURCES) Remove workspace.c, workspace.h.
3807         
3808         * workspace.c: Removed.
3809
3810         * workspace.h: Removed.
3811
3812 Sun May 30 18:35:19 2004  Ben Pfaff  <blp@gnu.org>
3813
3814         Fully implement arbitrary delimiters on DATA LIST, extending the
3815         half implementation that was already there.
3816
3817         * data-list.c: (struct data_list_pgm) Remove `delim', add
3818         `delims', `delim_cnt'.
3819         (cmd_data_list) Initialize new members.  Parse delimiters and
3820         clean up code a bit.
3821         (cut_field) Extract fields with arbitrary delimiters.  Also, fix
3822         handling of leading commas.
3823         (read_from_data_list_fixed) Expand tabs.  Adapt to new DFM
3824         interfaces.
3825         (read_from_data_list_free) Adapt to new DFM interfaces.
3826         (read_from_data_list_list) Ditto.
3827         (repeating_data_trns_proc) Ditto.
3828
3829         * dfm.c: Split up reader and writer into separate code, because
3830         they do different things.  Use struct string instead of explicit
3831         allocation code, for clarity.
3832         (enum dfm_reader_flags) New enum.
3833         (struct dfm_fhuser_ext) Removed.
3834         (struct dfm_reader_ext) New.
3835         (get_reader) New function, used by just about all the reader
3836         functions.
3837         (dfm_close) Removed.
3838         (close_reader) New function.
3839         (dfm_open_for_reading) Rewrite initialization of dfm_fhuser_ext.
3840         (dfm_open_for_writing) Ditto.
3841         (macro force_line_buffer_expansion) Removed.
3842         (count_tabs) Removed.
3843         (tabs_to_spaces) Removed.
3844         (read_record) Deal with new dfm_reader_ext.  Use struct string
3845         functions.  Don't convert tabs to spaces.
3846         (dfm_eof) New function.
3847         (dfm_get_record) Changed interface, rewrote.
3848         (dfm_expand_tabs) New function.
3849         (dfm_fwd_record) Renamed dfm_forward_record(), updated to new
3850         dfm_reader_ext, rewritten.
3851         (dfm_bkwd_record) Renamed dfm_reread_record(), updated to new
3852         dfm_reader_ext, rewritten.
3853         (dfm_set_record) Removed in favor of dfm_forward_columns().
3854         (dfm_forward_columns) New function.
3855         (dfm_get_cur_col) Renamed dfm_column_start, updated to new
3856         dfm_reader_ext, rewritten.
3857         (static var dfm_r_class) Use close_reader for the destructor.
3858         (struct dfm_writer_ext) New.
3859         (dfm_put_record) Updated to new dfm_writer_ext, rewritten.  Uses
3860         bounce buffer now instead of local allocation.
3861         (close_writer) New function.
3862         (static var dfm_writer_ext) Use close_writer for destructor.
3863         (cmd_begin_data) Adapt to new dfm_reader_ext.
3864
3865         * file-handle.q: Add support for per-file tab width.
3866         (struct private_file_handle) Add tab_width member.
3867         (q2c specifications) Add tabwidth subcommand.
3868         (cmd_file_handle) Put parsed tab width into private_file_handle.
3869         (create_file_handle) Set default tab width.
3870         (handle_get_tab_width) New function.
3871
3872         * file-type.c: (file_type_source_read) Adapt to new DFM interface.
3873
3874         * inpt-pgm.c: (reread_trns_proc) Ditto.
3875
3876         * matrix-data.c: (context) Ditto.
3877         (another_token) Ditto.
3878         (mget_token) Ditto.
3879         (force_eol) Ditto.
3880
3881 Sun May 30 18:33:59 2004  Ben Pfaff  <blp@gnu.org>
3882
3883         * casefile.c: (casefile_destroy) Fix memory leak by freeing
3884         cf->filename.
3885         (casereader_destroy) Don't close file descriptor -1.
3886
3887         * recode.c: (cmd_recode) Fix memory leak.
3888
3889         * set.q: (q2c specifications) Fix typo in user message.
3890
3891         * str.c: (st_bare_pad_len_copy) Change memcpy to memmove to avoid
3892         undefined behavior for overlapping arguments.
3893
3894 Sun May 30 18:31:48 2004  Ben Pfaff  <blp@gnu.org>
3895
3896         * casefile.c: valgrind doesn't implement posix_fadvise() yet, so
3897         don't call it when we're running under valgrind.
3898         (call_posix_fadvise) New function.
3899         (casefile_to_disk) Use call_posix_fadvise().
3900         (reader_open_file) Ditto.
3901         
3902 Sun May 30 18:20:12 2004  Ben Pfaff  <blp@gnu.org>
3903
3904         Update our string ADTs, struct string and struct len_string.  Get
3905         rid of pool support, which was largely unused.  Rename lots of
3906         functions to have more obvious or consistent names.
3907         
3908         * ascii.c: Get rid of ascii_pool.  It was only used for string
3909         allocations.
3910         (ascii_open_global) Don't create ascii_pool.
3911         (ascii_close_driver) Don't destroy ascii_pool.
3912         (ascii_postopen_driver) Don't use pool.
3913         (ascii_close_driver) Destroy strings manually.
3914
3915         * str.c: (ds_create) Remove pool argument, all references updated.
3916         (ds_init) Ditto.
3917         (ds_replace) Remove pool support, make more efficient when we
3918         don't need to reallocate.
3919         (ds_destroy) Remove pool support.
3920         (ds_rpad) New function.
3921         (ds_size) Renamed ds_capacity(), all references updated.
3922         (ds_value) Renamed ds_c_str(), all references updated.
3923         (ds_concat) Renamed ds_puts(), all references updated.
3924         (ds_concat_buffer) Renamed ds_concat(), all references updated.
3925         (ds_putchar) Renamed ds_putc(), all references updated.
3926         (ds_getline) Renamed ds_gets(), all references updated.
3927         (ls_create) Remove pool argument, all references updated.
3928         (ls_create_buffer) Ditto.
3929         (ls_destroy) Removed pool support.
3930         (ls_value) Renamed ls_c_str(), all references updated.
3931
3932         * str.h: (ls_length) [__GNUC__] Add inline version.
3933         (ls_c_str) [__GNUC__] Add inline version.
3934         (ls_end) [__GNUC__] Add inline version.
3935         (struct string) Remove pool member.  Rename `size' to `capacity',
3936         all references updated.
3937
3938         * tab.c: (text_format) Instead of using pool argument to
3939         ls_create_buffer(), call pool_register() on allocated data.
3940
3941 Mon Apr 26 22:40:07 2004  Ben Pfaff  <blp@gnu.org>
3942
3943         We're abusing the current ASCII driver by telling it to allocate a
3944         9999-line, 9999-character page in the tests.  This causes some
3945         systems to curl up and die because it allocates 20 MB of
3946         contiguous RAM.  This change alleviates at least part of the
3947         problem.  It is mostly a stop-gap until the new output system is
3948         ready.
3949         
3950         * ascii.c: (struct line) New structure.
3951         (struct ascii_driver_ext) Remove `page', `page_size', `line_len',
3952         `line_len_size', `n_output' members.  Add `lines', `lines_cap'.
3953         (ascii_preopen_driver) Initialize new members, not old ones.
3954         (ascii_close_driver) Destroy new members, not old ones.
3955         (ascii_open_page) Allocate new members, not old ones.
3956         (expand_line) Allocate room in line.
3957         (draw_line) Use new members.
3958         (ascii_line_horz) Ditto.
3959         (ascii_line_vert) Ditto.
3960         (ascii_line_intersection) Ditto.
3961         (text_draw) Ditto.
3962         (output_lines) Ditto.
3963         (ascii_close_page) Ditto.
3964
3965 Sun Apr 25 23:40:15 2004  Ben Pfaff  <blp@gnu.org>
3966
3967         * matrix.c: Dead code.  Removed.
3968
3969         * matrix.h: Dead code.  Removed.
3970
3971 Fri Apr 16 23:59:51 2004  Ben Pfaff  <blp@gnu.org>
3972
3973         Contrary to what I'd always understood, there is an efficient
3974         algorithm for deletion from a hash table populated via linear
3975         probing.  This change implements it.
3976         
3977         * hash.c: (hsh_rehash) Probe in increasing order.
3978         (hsh_probe) Ditto.
3979         (locate_matching_entry) Ditto.
3980         (hsh_delete) Use Knuth's Algorithm 6.4R for deletion.
3981
3982 Tue Apr 13 19:24:15 2004  Ben Pfaff  <blp@gnu.org>
3983
3984         * moments.c (calc_moments): Adjust calculation of kurtosis to
3985         avoid subtracting huge numbers from huge numbers, on Michael
3986         Kiefte's advice.
3987
3988 Sun Apr 11 14:22:12 2004  Ben Pfaff  <blp@gnu.org>
3989
3990         Rework moments routines for improved numerical stability based on
3991         Michael Kiefte's advice.  Any bugs or remaining numerical problems
3992         are still mine though.
3993
3994         There is now a struct moments1 for use with one-pass moments.  It
3995         uses a provisional means algorithm as an attempt to improve
3996         accuracy of higher moments.  The older struct moments now only
3997         handles two-pass moments.
3998         
3999         * aggregate.c: Use moments1 instead moments.
4000
4001         * descript.c: Revert previous change, which is no longer needed
4002         due to the moments revision.
4003
4004         * moments.c: (calc_moments) New function for calculating variance,
4005         skewness, kurtosis.
4006         (moments_pass_one) Only accumulate weights bigger than zero.
4007         (moments_calculate) Allow calculating the mean on pass one, others
4008         require pass two.  Implement in terms of calc_moments().
4009         (struct moments1) New structure.
4010         (init_moments1) New function.
4011         (moments1_clear) Ditto.
4012         (moments1_create) Ditto.
4013         (moments1_add) Ditto.
4014         (moments1_calculate) Ditto.
4015         (moments1_destroy) Ditto.
4016         (cmd_debug_moments) Deal with `struct moments' or `struct
4017         moments1' as requested by user.
4018
4019 Sun Apr 11 14:21:55 2004  Ben Pfaff  <blp@gnu.org>
4020
4021         * Makefile.am (pspp_SOURCES): Remove debug.c.
4022
4023         * debug.c: Removed.  It was empty anyway.
4024
4025 Fri Apr  9 20:04:49 2004  Ben Pfaff  <blp@gnu.org>
4026
4027         * descript.c (calc_descriptives): Fix assert failure when only
4028         MOMENT_MEAN is needed.
4029
4030 2004-04-09  Michael Kiefte  <mkiefte@dal.ca>
4031
4032         * descript.c: 
4033
4034         fixed problem with parsing in match_statistic() causing
4035         "DESCRIPTIVE STAT=MEAN." to barf.
4036
4037         "MEAN" is now default if "SORT" given without specification.
4038
4039         Fixed infinite loop with "DESCRIPT GIBBERISH=ALL."  Parsing is
4040         generally less forgiving of syntax errors: better to have it do
4041         nothing and type it in again then to not know what it actually did
4042         instead.  
4043
4044         z-score transformation now checks score for user-missing values
4045         and checks std_dev for SYSMIS.
4046
4047 2004-04-06  Michael Kiefte  <mkiefte@dal.ca>
4048
4049         * aggregate.c, crosstabs.q, descript.c, dictionary.c, frequencies.q, levene.c, t-test.q, var.h: 
4050         Changed dict_get_case_weight() to accept an additional int * flag
4051         to complain about system-missing, user-missing, zero, or negative
4052         weights and updated existing functions to pass int * to
4053         dict_get_case_weight().
4054
4055 2004-04-05  jmd  <jmd@gnu.org>
4056
4057         * main.c: Fixed configuration problems with gsl
4058
4059         * t-test.q: Fixed some problems encountered when compiling under Cygwin
4060
4061 2004-04-03  blp  <blp@gnu.org>
4062
4063         * lexer.c, ChangeLog:
4064         Fix infinite loop on comment at end of file, add test.
4065
4066 2004-04-03  jmd  <jmd@gnu.org>
4067
4068         * settings.h, var.h, ChangeLog, Makefile.am, cmdline.c, command.c, command.h, error.h, filename.c, frequencies.q, lexer.h, main.c, q2c.c, set.q:
4069         Fixed the calculation of percentiles and added --syntax and --algorithm options
4070
4071 Sat Apr  3 11:43:37 2004  Ben Pfaff  <blp@gnu.org>
4072
4073         * lexer.c: (lex_skip_comment) Handle end-of-file correctly (I
4074         hope).
4075
4076 Sat Apr  3 15:00:18 WST 2004 John Darrington <john@darrington.wattle.id.au>
4077
4078         * frequencies.q:  Fixed the calculation of percentiles
4079
4080         * Makefile.am:  Added the --ansi flag and dealt with the
4081         consequences.  Added some entries to PSPP_sources so that
4082         make distcheck would pass
4083
4084         * cmdline.c:   Added the --syntax and --algorithm options
4085
4086         * q2c.c:  Added an implicit /ALGORITHM subcommand to everything.
4087
4088 Fri Apr  2 11:25:22 WAST 2004 John Darrington <john@darrington.wattle.id.au>
4089
4090         * t-test.q, levene.c, levene.h  Converted t-test (incl levene) to 
4091         use the new multipass_split_... mechanism.
4092
4093 Wed Mar 31 22:36:22 2004  Ben Pfaff  <blp@gnu.org>
4094
4095         * frequencies.q: (calc_stats) Use moments data structure and
4096         calc_seskew(), calc_sekurt() functions.
4097
4098         * set.q main.c settings.h Added support for --syntax and --algorithm 
4099         options
4100
4101 Tue Mar 30 22:04:19 2004  Ben Pfaff  <blp@gnu.org>
4102
4103         * vfm.c: Had to get last call to multipass_split_output() inside
4104         open_active_file()/close_active_file() pairing, so introduce new
4105         function.
4106         (internal_procedure) Move procedure() code here, except for calls
4107         to open_active_file() and close_active_file().
4108         (procedure) Wrap open_active_file() and close_active_file() around
4109         internal_procedure().
4110         (multipass_procedure_with_splits) Wrap open_active_file() and
4111         close_active_file() around internal_procedure().
4112
4113 Tue Mar 30 22:01:57 2004  Ben Pfaff  <blp@gnu.org>
4114
4115         * descript.c: (cmd_descriptives) Free `vars' to avoid memory leak.
4116
4117 Mon Mar 29 16:26:40 2004  Ben Pfaff  <blp@gnu.org>
4118
4119         * debug.c: Removed.  Moved cmd_debug_evaluate() into expr-evl.c.
4120
4121         * expr-evl.c: (cmd_debug_evaluate) Moved here from debug.c.
4122
4123 Mon Mar 29 16:03:08 2004  Ben Pfaff  <blp@gnu.org>
4124
4125         * algorithm.c: By default turn off some of the more expensive
4126         assertions.
4127         (expensive_assert) New macro which expands to assert if
4128         EXTRA_CHECKS is defined, to nothing otherwise.
4129         (unique) Use expensive_assert().
4130         (binary_search) Ditto.
4131         (push_heap) Ditto.
4132         (pop_heap) Ditto.
4133         (make_heap) Ditto.
4134         (sort_heap) Ditto.
4135
4136         * command.c: (conflicting_3char_prefixes) Words that are the same
4137         don't cause conflicts when they are abbreviated to the first three
4138         letters.
4139
4140         * expr-evl.c: (CONCAT_func) Fix memory leak by incrementing struct
4141         nonterm_node's n earlier.
4142         (generic_str_func) Ditto.
4143         
4144 Mon Mar 29 15:32:17 2004  Ben Pfaff  <blp@gnu.org>
4145
4146         Add support for multipass procedures.  Rewrite DESCRIPTIVES to
4147         test multipass support, take advantage of new moments
4148         calculation, and to not be such crappy code.  Get rid of q2c
4149         processing for DESCRIPTIVES.
4150
4151         * vfm.c: (struct multipass_split_aux_data) New structure.
4152         (multipass_procedure_with_splits) New function.
4153         (multipass_split_callback) New function.
4154         (multipass_split_output) New function.
4155         * descript.q: Removed.
4156
4157         * descript.c: New file.
4158
4159         * var.h: Removed descriptives enums.
4160         (struct descriptives_proc) Removed.
4161         (struct variable) Removed p.dsc.
4162
4163         * Makefile.am: (q_sources_c) Remove descript.c.
4164         (q_sources_q) Removed descript.q.
4165         
4166 Mon Mar 29 15:31:55 2004  Ben Pfaff  <blp@gnu.org>
4167
4168         New manager for keeping track of used workspace.
4169         
4170         * workspace.c: New file.
4171
4172         * workspace.h: New file.
4173
4174         * Makefile.am: (pspp_SOURCES) Add workspace.c, workspace.h.
4175
4176         * sort.c: (do_internal_sort) Use workspace_malloc().
4177         (destroy_internal_sort) Use workspace_free().
4178
4179 Mon Mar 29 15:31:08 2004  Ben Pfaff  <blp@gnu.org>
4180
4181         New `struct casefile' for managing sets of cases.
4182
4183         * casefile.c: New file.
4184
4185         * casefile.h: New file.
4186
4187         * command.def: Add DEBUG CASEFILE command.
4188
4189         * Makefile.am: (pspp_SOURCES) Add casefile.c, casefile.h.
4190
4191         * sort.c: (sort_cases) Move logic for sending storage file to disk
4192         into do_external_sort().
4193         (struct internal_sort) Use an array of ccase pointers instead of a
4194         case_list.
4195         (do_internal_sort) Rewrite to handle casefiles.
4196         (compare_case_list) Removed.
4197         (compare_cases) New function.
4198         (compare_case_dblptrs) New function.
4199         (read_internal_sort_output) Deal with new struct internal_sort.
4200
4201         * vfm.c: (static var workspace_overflow) Removed.
4202         (struct storage_stream_info) Removed all the members.  Added
4203         struct casefile * member.
4204         (storage_sink_open) Use casefile.
4205         (open_storage_file) Removed.
4206         (write_storage_file) Removed.
4207         (storage_to_disk) Removed.
4208         (destroy_storage_stream_info) Use casefile.
4209         (storage_sink_write) Use casefile.
4210         (storage_sink_make_source) Use casefile.
4211         (storage_source_count) Use casefile.
4212         (storage_source_read) Use casefile.
4213         (storage_source_on_disk) Removed.
4214         (storage_source_get_cases) Removed.
4215         (storage_source_set_cases) Removed.
4216         (storage_source_get_casefile) New function.
4217         
4218 Mon Mar 29 15:30:09 2004  Ben Pfaff  <blp@gnu.org>
4219
4220         New `struct moments' for calculating moments.
4221
4222         * stats.c: Removed.
4223
4224         * stats.h: Removed.
4225
4226         * moments.c: New file.
4227
4228         * moments.h: New file.
4229
4230         * command.def: Add DEBUG MOMENTS command.
4231
4232         * Makefile.am: (pspp_SOURCES) Add moments.c, moments.h.  Remove
4233         stats.c, stats.h.
4234
4235         * aggregate.c: Modify AGGREGATE to use the new moments
4236         calculation, even if not in such a great way.
4237         (struct agr_var) Add `moments' member.
4238         (parse_aggregate_functions) Set `moments' member to null.
4239         (agr_destroy) Destroy `moments' member.
4240         (accumulate_aggregate_info) Use `moments' for standard deviation.
4241         (dump_aggregate_info) Ditto.
4242         (initialize_aggregate_info) Create or clear `moments'.
4243
4244         * misc.h: Add pow2(), pow3(), pow4() functions in place of sqr(),
4245         cube(), pow4() that were in stats.h.  All references updated.
4246
4247         * crosstabs.q: stats.h had chi-square significance functions.  Use
4248         GSL instead.
4249         (display_chisq) Use gsl_cdf_chisq_Q() instead of chisq_sig().
4250
4251         * expr-evl.c: (expr_evaluate) Use moments_of_values() for
4252         OP_CFVAR, OP_MEAN, OP_SD, OP_VARIANCE.
4253                 
4254 Fri Mar 26 14:21:23 2004  Ben Pfaff  <blp@gnu.org>
4255
4256         * dictionary.c: (dict_compact_values) Compacted values need to
4257         start off from 0.
4258
4259 Fri Mar 26 00:54:57 2004  Ben Pfaff  <blp@gnu.org>
4260
4261         * var-labs.c: (cmd_variable_labels) For compatibility, don't allow
4262         `/' at start.  Check return value of parse_variables() for error
4263         return.
4264
4265 Fri Mar 26 00:19:27 2004  Ben Pfaff  <blp@gnu.org>
4266
4267         Revamp expressions: make the code a little nicer, and fix bugs
4268         found in testing.
4269         
4270         * expr-evl.c: (expr_evaluate) Make expression argument const.
4271         Support OP_ADD, OP_SUB, OP_MUL, OP_DIV instead of OP_PLUS, OP_MUL.
4272         OP_POW is missing for arg 2 <= 0.  OP_LOG is natural log, not
4273         base-10 log.  Fix OP_ANY, OP_ANY_STRING, OP_RANGE, OP_RANGE_STRING
4274         off-by-ones.  Add OP_MAX_STRING, OP_MIN_STRING.  Fix OP_TIME_HMS,
4275         OP_DATE_WKYR boundary conditions.  Add OP_CTIME_DAYS,
4276         OP_CTIME_HOURS, OP_CTIME_MINUTES, OP_CTIME_DAYS, OP_CTIME_SECONDS.
4277         Support OP_INDEX_2, OP_INDEX_3, OP_RINDEX_2, OP_RINDEX_3 instead
4278         of OP_INDEX, OP_INDEX_OPT, OP_RINDEX, OP_RINDEX_OPT.  Merge
4279         OP_LPAD_OPT into OP_LPAD, OP_RPAD_OPT into OP_RPAD, OP_LTRIM_OPT
4280         into OP_LTRIM, OP_RTRIM_OPT into OP_RTRIM, OP_NUMBER_OPT into
4281         OP_NUMBER.  Fix OP_RTRIM fragility.  Support OP_SUBSTR_2,
4282         OP_SUBSTR_3 instead of OP_SUBSTR, OP_SUBSTR_OPT.  Remove OP_INV.
4283         Simplify OP_SYSMIS.  Remove OP_STR_MIS.
4284
4285         * expr-opt.c: (optimize_expression) Rewrite.
4286         (macro n0) Removed.
4287         (macro n1) Removed.
4288         (macro n2) Removed.
4289         (macro s0) Removed.
4290         (macro s0l) Removed.
4291         (macro s1) Removed.
4292         (macro s1l) Removed.
4293         (macro s2) Removed.
4294         (macro s2l) Removed.
4295         (macro s) Removed.
4296         (macro sl) Removed.
4297         (eq_num_con) New function.
4298         (optimize_tree) New function.
4299         (macro rnc) Removed.
4300         (macro frnc) Removed.
4301         (str_search) Add const to string params.
4302         (str_rsearch) Ditto.
4303         (evaluate_tree_no_missing) Renamed from evaluate_tree.  Add num[],
4304         str[], str_len[] locals to substitute for most of removed macros.
4305         Support OP_ADD, OP_SUB, OP_MUL, OP_DIV instead of OP_PLUS, OP_MUL.
4306         Removed support for missing values because we're never called with
4307         missing values.  Use set_number() or set_number_errno() instead of
4308         rnc or frnc.  Removed any stuff that caused trouble in testing.
4309         We can re-add it later if it really slows anything.  Fix some
4310         random problems.
4311         (evaluate_tree_with_missing) Not yet supported.  To be added later
4312         if it's important.
4313         (repl_num_con) Removed.
4314         (collapse_node) New function.
4315         (force_repl_num_con) Removed.
4316         (set_number) New function.
4317         (set_number_errno) New function.
4318         (repl_str_con) Removed.
4319         (set_string) New function.
4320         (yrmoda) Tighten boundary conditions.  Adopt 2030 cut-off for
4321         2-digit years.
4322         (dump_node) No special case for OP_AND, OP_OR.
4323
4324         * expr-prs.c: (expr_prs) Honor EXPR_NO_OPTIMIZE bit.  Rewrite.
4325         (expr_get_type) New function.
4326         (type_check) Rewrite.
4327         (type_coercion) New function.
4328         (struct operator) New structure.
4329         (match_operator New function.
4330         (parse_binary_operators) New function.
4331         (parse_inverting_unary_operator) New function.
4332         (parse_or) Rewritten.
4333         (parse_and) Rewritten.
4334         (parse_not) Rewritten.
4335         (parse_rel) Rewritten.
4336         (parse_add) Rewritten.
4337         (parse_mul) Rewritten.
4338         (parse_neg) Rewritten.
4339         (parse_exp) Rewritten.
4340         (parse_sysvar) Add $TRUE, $FALSE system variables.
4341         Get $LENGTH, $WIDTH from get_viewlength(), get_viewwidth().
4342         (parse_primary) Use allocate_var_node(), allocate_num_con(),
4343         allocate_str_con().
4344         (struct function) Remove desc, change `func' prototype.
4345         (unary_func) Remove special cases.
4346         (MISSING_func) Reduce to unary_func() that just returns a boolean.
4347         (SYSMIS_func) Handle SYSMIS((x)) like SYSMIS(x).
4348         (VALUE_func) Use allocate_var_node().
4349         (nary_num_func) Allow MIN and MAX for strings.
4350         Use allocate_var_node().  Properly clean up.
4351         Fix return type.
4352         (generic_str_func) Use local table instead of removed `desc'
4353         member.  Mostly rewrite.
4354         (get_num_args) Revise error message.
4355         (parse_function) Return EXPR_ERROR, not 0 on error.
4356         (macro op) Removed.
4357         (macro varies) Removed.
4358         (ops[]) Use expr.def.
4359         (free_node) Do nothing if node is null.
4360         (allocate_num_con) New function.
4361         (allocate_str_con) New function.
4362         (allocate_var_node) New function.
4363         (allocate_binary_nonterminal) New function.
4364         (append_nonterminal_arg) Removed.
4365         (static var func_tab[]) Revised.
4366         (expr_debug_print_postfix) Make parameter const.
4367         Use printf() instead of debug_printf().
4368
4369         * expr.def: New file.
4370         
4371         * expr.h: Change PXP_* to EXPR_*, all references updated.  Also
4372         use named enum instead of unnamed, all references updated.  Add
4373         EXPR_ANY, EXPR_NO_OPTIMIZE.
4374
4375         * exprP.h: Remove EX_*.  Add DEFINE_OPERATOR.  Use expr.def
4376         instead of defining OP_* directly.
4377         (macro IS_TERMINAL) New macro.
4378         (macro IS_NONTERMINAL) New macro.
4379         (enum OP_NO_FLAGS) New.
4380         
4381 Fri Mar 26 00:18:01 2004  Ben Pfaff  <blp@gnu.org>
4382
4383         * error.c: (err_assert_fail) msg variable needs to be non-const.
4384
4385 Fri Mar 26 00:17:24 2004  Ben Pfaff  <blp@gnu.org>
4386
4387         * debug.c: (cmd_debug_evaluate) Rewrite.
4388
4389 Fri Mar 26 00:15:13 2004  Ben Pfaff  <blp@gnu.org>
4390
4391         Fix some CROSSTABS bit rot stupidity.
4392
4393         * crosstabs.q: Reorder the CELLS subcommands for compatibility.
4394         (internal_cmd_crosstabs) Initializes cells[] correctly.
4395         (float_M_suffix) Rename format_cell_entry(), change prototype,
4396         rewrite.
4397         (display_crosstabulation) Fix cell formatting.
4398
4399 Fri Mar 26 00:14:09 2004  Ben Pfaff  <blp@gnu.org>
4400
4401         Make lex_rest_of_line(), lex_entire_end() not discard lines.  Have
4402         to call lex_discard_line() to do that.
4403
4404         * command.c: (run_command) Call lex_discard_line() after
4405         lex_rest_of_line().
4406
4407         * lexer.c: (lex_entire_end) Change behavior.
4408         (lex_rest_of_line) Change behavior.  Return const char *.
4409         (lex_discard_line) Don't clear getl_buf, don't emit message.
4410
4411         * main.c: (handle_error) Emit message here.
4412
4413         * repeat.c: (internal_cmd_do_repeat) Use lex_discard_line()
4414         instead of lex_entire_line().
4415
4416         * str.c: (mm_find_reverse) Make length params size_t.  Rewrite.
4417
4418         * title.c: (get_title) Call lex_discard_line() after
4419         lex_rest_of_line().
4420         (cmd_file_label) Ditto.
4421         (cmd_document) Deal with const char * return value.
4422
4423 Fri Mar 26 00:10:16 2004  Ben Pfaff  <blp@gnu.org>
4424
4425         Removed REMARK command.
4426
4427         * command.c: (extract_prefix) Removed.
4428         (output_line) Removed.
4429         (cmd_remark) Removed.
4430
4431         * command.def: Remove REMARK.
4432
4433 Fri Mar 26 00:08:38 2004  Ben Pfaff  <blp@gnu.org>
4434
4435         Added abort() after lots of assert(0) invocations to avoid some
4436         compiler warnings.  We really need a NOT_REACHED macro.
4437
4438 Tue Mar 23 08:00:42 WAST 2004 John Darrington <john@darrington.wattle.id.au>
4439
4440         * sort.c: Added missing call to temp_file_close.  Changed error 
4441         messages to warnings.
4442
4443         * set.q: Improved setting of set_view{length,width} to be more tolerant
4444         of buggy OSes.
4445
4446 Sun Mar 21 10:11:14 WST 2004 John Darrington <john@darrington.wattle.id.au>
4447
4448         * val-labs.c: Fixed a bug where PSPP would crash, if VALUE LABELS was
4449         used with incorrect syntax.
4450
4451         * error.c, error.h et al:  Overridden definition of assert for a
4452         custom one.
4453
4454         * test-q.c: Fixed a buglet where it would crash if no /VARIABLES
4455         subcommand was given when it ought to have been.
4456
4457 Sat Mar 20 22:19:08 2004  Ben Pfaff  <blp@gnu.org>
4458
4459         * tab.c: (tab_vline) Fix assertions to respect row_ofs and
4460         col_ofs.
4461         (tab_hline) Ditto.
4462         (tab_box) Ditto.
4463         (tab_joint_text) Ditto.
4464
4465 Sat Mar 20 17:57:23 2004  Ben Pfaff  <blp@gnu.org>
4466
4467         * levene.c: Add #include.
4468
4469         * set.q: (set_viewport) Add `int' argument to make its prototype
4470         correct for signal().
4471
4472 Sat Mar 20 15:35:17 2004  Ben Pfaff  <blp@gnu.org>
4473
4474         * expr-evl.c: (expr_evaluate) Assert that `c' is nonzero before
4475         using it.
4476
4477 Sat Mar 20 15:18:16 2004  Ben Pfaff  <blp@gnu.org>
4478
4479         Changed DFM from open-at-first-access to explicit-open.  Before,
4480         calling dfm_get_record() or dfm_put_record() would automatically
4481         open the file.  Now, you have to call dfm_open_for_reading() or
4482         dfm_open_for_writing() explicitly.  This makes it possible to
4483         check permissions, file existence, etc. earlier.
4484
4485         Also made struct file_handle more opaque, and clean up in general.
4486
4487         * data-list.c: (cmd_data_list) Open handle for reading.
4488
4489         * dfm.c: (struct dfm_fhuser_ext) Add `where', `saw_begin_data'
4490         members.
4491         (open_file_r) Renamed dfm_open_for_reading(), rewrote.
4492         (open_file_w) Renamed dfm_open_for_writing(), rewrote.
4493         (open_inline_file) Removed.
4494         (read_record) For inline_file, if we haven't seen BEGIN DATA, read
4495         it.  Deal with line_number in extension record instead of file
4496         handle.
4497         (dfm_get_record) Rewrote.
4498         (dfm_put_record) Rewrote.
4499         (dfm_push) Assert file is open and one of ours.  Deal with
4500         line_number in extension record instead of file handle.
4501         (dfm_pop) Assert file is open and one of ours.  Deal with
4502         line_number in extension record instead of file handle.
4503         (cmd_begin_data) Use dfm_open_for_reading().  Mark that we saw
4504         BEGIN DATA.     
4505
4506         * file-handle.h: (enum constants RH_RF_*) Removed.
4507         (enum constants FH_MD_*) Removed.
4508         (struct file_handle) Removed `name', `norm_fn', `fn', `where',
4509         `recform', `lrecl', `mode' members.  Public references to
4510         `recform' changed to use handle_get_mode(), references to `lrecl'
4511         changed to use handle_get_record_width().  Added `private' member.
4512         (enum file_handle_mode) New.
4513
4514         * file-handle.q: (struct private_file_handle) New structure.
4515         (struct file_handle_list) New structure.
4516         (static var files) New.
4517         (static var file_handles) Removed.
4518         (init_file_handle) Removed.
4519         (create_file_handle) Removed.
4520         (get_handle_with_name) New function.
4521         (get_handle_for_filename) New function.
4522         (cmd_file_handle) Rewritten.
4523         (hash_file_handle) Removed.
4524         (cmp_file_handle) Removed.
4525         (fh_init_files) Rewritten.
4526         (fh_parse_file_handle) Rewritten.  Allows identifiers as
4527         filenames.
4528         (fh_get_handle_by_name) Renamed handle_get_name(), all references
4529         updated.  Rewritten.
4530         (fh_get_handle_by_filename) Renamed handle_get_filename(), all
4531         references updated.  Rewritten.
4532         (fh_record_width) Renamed handle_get_record_width(), all
4533         references updated.  Rewritten.
4534         (handle_get_mode) New function.
4535
4536         * file-type.c: (cmd_file_type) Open handle for reading.
4537
4538         * filename.c: [unix] (struct file_identity) New structure.
4539         [unix] (fn_get_identity) New function.
4540         [unix] (fn_free_identity) New function.
4541         [unix] (fn_compare_file_identities) New function.
4542         [!unix] (struct file_identity) New structure.
4543         [!unix] (fn_get_identity) New function.
4544         [!unix] (fn_free_identity) New function.
4545         [!unix] (fn_compare_file_identities) New function.
4546
4547         * lexer.c: (static var put) Renamed put_token, all references
4548         updated.
4549         (static var put_tokstr) New.
4550         (static var put_tokval) New.
4551         (lex_init) Initialize put_tokstr().
4552         (restore_token) New function.
4553         (save_token) New function.
4554         (lex_get) Use restore_token().
4555         (lex_put_back) Use save_token().
4556         (lex_put_back_id) New function.
4557         (lex_put_forward) Removed.
4558         (lex_preprocess_line) Set put_token instead of using
4559         lex_put_forward().
4560         (lex_negative_to_dash) Use save_token(), set put_token directly.
4561         (dump_token) Use stderr instead of stdout.
4562
4563         * main.c: (main) Remove call to cmd_init().
4564         
4565         * matrix-data.c: (cmd_matrix_data) Open file for reading.
4566
4567         * pfm-read.c: Use handle_get_filename() instead of trying to use
4568         h->fn directly, all over.
4569
4570         * pfm-write.c: Ditto.
4571
4572         * print.c: (internal_cmd_print) Open handle for writing.
4573         (dump_table) Use handle_get_filename().
4574         (print_trns_proc) Use handle_get_mode().
4575         (cmd_print_space) Use fh_parse_file_handle().
4576         Open handle for writing.
4577         [0] (debug_print) Removed.
4578
4579         * sfm-read.c: Use handle_get_filename() instead of trying to use
4580         h->fn directly, all over.
4581
4582         * sfm-write.c: Ditto.
4583
4584 Sat Mar 20 14:35:48 2004  Ben Pfaff  <blp@gnu.org>
4585
4586         Fix memory leaks.
4587         
4588         * autorecode.c: (arc_free) Free arc->src_values.
4589
4590         * error.c: (msg) Free buf.
4591
4592         * val-labs.c: (do_value_labels) Always free vars.
4593
4594         * vfm.c: (close_active_file) If sink has no make_source then call
4595         its destroy function.
4596
4597 Sat Mar 20 14:00:24 2004  Ben Pfaff  <blp@gnu.org>
4598
4599         Fixed cmd_parse() so that it always skips past a full command
4600         name.  A few special commands for which this would be bad get
4601         special treatment.  This lets us drop code for skipping past the
4602         end of a command name in most cmd_*() functions.  It's not worth
4603         listing all the commands affected.
4604
4605         * command.c: (struct command) Remove `cmd' member, replace by
4606         `name' member, all references updated.  Remove `word', `next',
4607         `skip_entire_name' members.
4608         (macro DEFCMD) Deal with revised `struct command'.
4609         (macro UNIMPL) Ditto.
4610         (macro SPCCMD) New macro for commands whose last word shouldn't be
4611         skipped.
4612         (static array cmd_table[]) Make const, rename `commands', remove
4613         sentinel element.
4614         (macro COMMAND_CNT) New macro.
4615         (split_words) Removed.
4616         (cmd_init) Removed.
4617         (FILE_TYPE_okay) Make parameter const.
4618         (cmd_parse) Improve error messages.
4619         (match_strings) New function.
4620         (next_word) New function.
4621         (enum command_match) New enum.
4622         (conflicting_3char_prefixes) New function.
4623         (conflicting_3char_prefix_command) New function.
4624         (cmd_match_words) New function.
4625         (count_matching_commands) New function.
4626         (get_command_name) New function.
4627         (free_words) New function.
4628         (unknown_command_error) New function.
4629         (figure_out_command) Renamed parse_command_name(), rewritten.
4630
4631         * command.def: Removed @ command.  Marked BEGIN DATA, DOCUMENT,
4632         FILE LABEL, REMARK, SUBTITLE, TITLE as special.  Renamed EVALUATE
4633         to DEBUG EVALUATE.  Added N alias for N OF CASES, SORT alias for
4634         SORT CASES.
4635
4636         * command.h: (macro SPCCMD) New.
4637
4638         * include.c: (cmd_include_at) Removed.
4639         (cmd_include) Allow identifier to be used as filename.
4640
4641         * inpt-pgm.c: (cmd_reread) Use fh_parse_file_handle().
4642
4643         * t-test.q: (cmd_t_test) Command name is now parsed for us.
4644         
4645
4646 Sat Mar 20 13:56:00 2004  Ben Pfaff  <blp@gnu.org>
4647
4648         Start work on better test framework.
4649         
4650         * Makefile.am: (pspp_sources) Add debug.c.
4651         
4652         * debug.c: New file.
4653
4654         * compute.c: (cmd_evaluate) Moved to debug.c, renamed
4655         cmd_debug_evaluate().
4656
4657         * expr-prs.c: (expr_parse) Remove PXP_DUMP support.
4658
4659         * expr.h: (enum constant PXP_DUMP) Removed.
4660
4661 Sat Mar 20 00:05:42 WST 2004 John Darrington <john@darrington.wattle.id.au>
4662
4663         * set.q:  Implemented the SHOW command, and synced it to the existing 
4664         SET cmd.
4665
4666         Added a handler for SIGWINCH so that viewlength and viewwidth follow
4667         changes as the window size is changed.
4668
4669         Added fallback to set viewlength and viewwidth from LINES and COLUMS
4670         environment variables if other methods are not available.
4671
4672         glob.c: Removed a lot of global variables from glob.c and encapsulated 
4673         them in set.q
4674
4675         random.c: Tidied up the way the random seed is set.
4676
4677         str.c: Added a ds_vprintf function.
4678
4679         error.c: Extended dump_message so that messages are always broken at
4680         '\n' characters.
4681         
4682 Thu Mar 18 11:07:14 2004  Ben Pfaff  <blp@gnu.org>
4683
4684         * pfm-write.c: (bufwrite) Write out the correct element for string
4685         variables.  From Andreas Streichardt <streichardt@globalpark.de>.
4686
4687 Mon Mar 15 20:48:03 2004  Ben Pfaff  <blp@gnu.org>
4688
4689         Get rid of static and global (!) vars in matrix-data.c.
4690
4691         * matrix-data.c: (static var nr_data) Removed.
4692         (static var nr_factor_values) Removed.
4693         (static var max_cell_index) Removed.
4694         (static var split_values) Removed.
4695         (struct nr_aux_data) New structure.
4696         (read_matrices_without_rowtype) Use a local struct nr_aux_data in
4697         place of static vars, pass to create_case_source() and procedure()
4698         as aux data.
4699         (nr_read_data_lines) Use struct nr_aux_data * parameter instead of
4700         struct matrix_data_pgm *.
4701         (nr_read_splits) Ditto.
4702         (nr_read_factors) Ditto.
4703         (nr_output_data) Ditto.
4704         (static var wr_content) Removed.
4705         (global var wr_data) Removed.
4706         (global var wr_current) Removed.
4707         (struct wr_aux_data) New structure.
4708         (read_matrices_with_rowtype) Use a local struct wr_aux_data in
4709         place of static vars, pass to create_case_source() and procedure()
4710         as aux data.
4711         (matrix_data_read_with_rowtype) Use struct wr_aux_data * parameter
4712         instead of matrix_data_pgm *.
4713         (wr_read_splits) Ditto.
4714         (wr_output_data) Ditto.
4715         (wr_read_rowtype) Ditto.
4716         (wr_read_factors) Ditto.
4717         (wr_read_indeps) Ditto.
4718         
4719 Mon Mar 15 20:07:29 2004  Ben Pfaff  <blp@gnu.org>
4720
4721         Get rid of static vars in autorecode.c.
4722
4723         * autorecode.c: (struct autorecode_trns) Rename `arc' to `specs',
4724         `n_arc' to `spec_cnt'.  All references updated.
4725         (static var v_src) Removed.
4726         (static var v_dest) Removed.
4727         (static var h_trns) Removed.
4728         (static var nv_src) Removed.
4729         (static var descend) Removed.
4730         (static var print) Removed.
4731         (enum direction) New enum.
4732         (struct autorecode_pgm) New structure.
4733         (cmd_autorecode) Use struct autorecode_pgm instead of static vars.
4734         Move n_dest local var into struct autorecode_pgm for ease of
4735         clean-up.  Use arc_free().
4736         (arc_free) New function.
4737         (recode) Modify to take struct autorecode_pgm * parameter instead
4738         of using statics.  Let the caller clean up.
4739         (autorecode_proc_func) Use struct autorecode_pgm * auxiliary data
4740         instead of statics.  Rearrange code a little.
4741
4742 Mon Mar 15 00:25:02 2004  Ben Pfaff  <blp@gnu.org>
4743
4744         Get rid of static, global vars in recode.c.  Remove debug code.
4745
4746         * recode.c: (static var head) Removed.
4747         (global var v) Removed.
4748         (global var nv) Removed.
4749         (cmd_recode) New local variables head, v, nv.  Initialize and free
4750         v.  Don't call debug_print().
4751         [DEBUGGING] (dump_dest) Removed.
4752         [DEBUGGING] (debug_print) Removed.
4753
4754 Mon Mar 15 00:14:49 2004  Ben Pfaff  <blp@gnu.org>
4755
4756         Get rid of static vars in expr-opt.c.
4757
4758         * expr-opt.c: (static var e) Removed.
4759         (static var nop) Removed.
4760         (static var mop) Removed.
4761         (static var ndbl) Removed.
4762         (static var mdbl) Removed.
4763         (static var nstr) Removed.
4764         (static var mstr) Removed.
4765         (static var nvars) Removed.
4766         (static var mvars) Removed.
4767         (struct expr_dump_state) New structure.
4768         (dump_expression) Use new struct expr_dump_state instead of static
4769         vars and pass to functions we call.
4770         (dump_node) Use struct expr_dump_state * parameter.
4771         (emit) Ditto.
4772         (emit_num_con) Ditto.
4773         (emit_str_con) Ditto.
4774         (emit_var) Ditto.
4775         
4776 Mon Mar 15 00:03:51 2004  Ben Pfaff  <blp@gnu.org>
4777
4778         Get rid of static var in COUNT.
4779
4780         * count.c: (static var head) Move into cmd_count().
4781         (cmd_count) [DEBUGGING] Don't call debug_print.
4782         [DEBUGGING] (debug_print) Removed.
4783
4784 Sun Mar 14 23:56:09 2004  Ben Pfaff  <blp@gnu.org>
4785
4786         Get rid of static vars in VALUE LABELS, ADD VALUE LABELS.
4787
4788         * val-labs.c: (static var v) Removed.
4789         (static var nv) Removed.
4790         [DEBUGGING] (debug_print) Removed.
4791         (verify_val_labs) Add struct variable **, int parameters.
4792         (get_label) Ditto.  Improve error messages, streamline.
4793         (erase_labels) New function for erasing value labels, taking over
4794         part of verify_val_labs()'s function.
4795         (init) Removed.
4796         (done) Removed.
4797         (cmd_value_labels) No need to call init() or done() anymore.
4798         (cmd_add_value_labels) Ditto.
4799         (do_value_labels) Add vars, var_cnt local variables.  Clean up
4800         after them internally.  Call erase_labels() if we should.  Don't
4801         call debug_print().
4802
4803 Sun Mar 14 23:33:53 2004  Ben Pfaff  <blp@gnu.org>
4804
4805         Get rid of static vars in MATCH FILES.
4806         
4807         * get.c: (static var mtf_head) Removed.
4808         (static var mtf_tail) Removed.
4809         (static var mtf_by) Removed.
4810         (static var mtf_n_by) Removed.
4811         (static var mtf_master) Removed.
4812         (static var mtf_seq_num) Removed.
4813         (static var mtf_seq_nums) Removed.
4814         (static var mtf_sink) Removed.
4815         (static var mtf_case) Removed.
4816         (struct mtf_proc) New structure.
4817         (cmd_match_files) Use struct mtf_proc instead of static vars.
4818         (mtf_processing_finish) Ditto.
4819         (mtf_free) Ditto.
4820         (mtf_delete_file_in_place) Ditto.
4821         (mtf_read_nonactive_records) Ditto.
4822         (mtf_compare_BY_values) Ditto.
4823         (mtf_processing) Ditto.
4824         (mtf_merge_dictionary) Ditto.
4825
4826 Sun Mar 14 22:48:12 2004  Ben Pfaff  <blp@gnu.org>
4827
4828         * command.def: Add CASESTOVARS, VARSTOCASES unimplemented commands.
4829
4830         * dictionary.c: (dict_rename_var) Add assertion.
4831         (dict_contains_var) Check by index instead of name.
4832
4833 Sun Mar 14 22:01:02 2004  Ben Pfaff  <blp@gnu.org>
4834
4835         Get rid of compaction_necessary, compaction_nval, compaction_case.
4836         Redo VFM interface.  Replace disk_sink and memory_sink by
4837         storage_sink, disk_source and memory_source by storage_source.
4838
4839         * vfm.h: (struct case_sink) Add `dict', `idx_to_fv', `value_cnt'
4840         members.
4841
4842         * vfm.c: 
4843         (struct write_case_data) Remove `begin_func', `end_func',
4844         `func_aux' members.  Add `aux', `trns_case', `sink_case',
4845         `cases_written', `cases_analyzed' members.
4846         (global var compaction_necessary) Make static.
4847         (global var compaction_nval) Removed.
4848         (global var compaction_case) Removed.
4849         (static var case_count) Removed.
4850         (struct procedure_aux_data) Removed.
4851         (struct split_aux_data) Removed.
4852         (procedure) Remove begin_func, end_func parameters.  Rewrite.
4853         (static var not_canceled) Removed.
4854         (process_active_file) Removed.
4855         (process_active_file_write_case) Removed.
4856         (process_active_file_output_case) Removed.
4857         (prepare_for_writing) Moved into open_active_file().
4858         (arrange_compaction) Ditto.
4859         (setup_lag) Ditto.
4860         (open_active_file) Rewrote.
4861         (write_case) New function.
4862         [DEBUGGING] (index_to_varname) Removed.
4863         (execute_transformations) New function.
4864         (exclude_this_case) Renamed filter_case(), changed interface.
4865         (clear_case) Added struct ccase * parameter to interface.
4866         (close_active_file) Added struct write_case_data * parameter,
4867         rewrote.
4868         (disk_sink_create) Removed.
4869         (disk_sink_destroy) Removed.
4870         (disk_sink_make_source) Removed.
4871         (disk_sink_write) Removed.
4872         (disk_source_count) Removed.
4873         (disk_source_destroy) Removed.
4874         (disk_source_read) Removed.
4875         (global var disk_sink_class) Removed.
4876         (global var disk_source_class) Removed.
4877         (global var memory_sink_class) Removed.
4878         (global var memory_source_class) Removed.
4879         (memory_sink_create) Removed.
4880         (memory_sink_destroy) Removed.
4881         (memory_sink_make_source) Removed.
4882         (memory_sink_write) Removed.
4883         (memory_source_count) Removed.
4884         (memory_source_destroy) Removed.
4885         (memory_source_get_cases) Removed.
4886         (memory_source_read) Removed.
4887         (memory_source_set_cases) Removed.
4888         (struct disk_stream_info) Removed.
4889         (struct memory_sink_info) Removed.
4890         (struct memory_source_info) Removed.
4891         (write_active_file_to_disk) Removed.
4892         (destroy_storage_stream_info) New function.
4893         (global var null_sink_class) New var.
4894         (global var storage_sink_class) New var.
4895         (global var storage_source_class) New var.
4896         (open_storage_file) New function.
4897         (storage_sink_destroy) New function.
4898         (storage_sink_make_source) New function.
4899         (storage_sink_open) New function.
4900         (storage_sink_write) New function.
4901         (storage_source_count) New function.
4902         (storage_source_destroy) New function.
4903         (storage_source_get_cases) New function.
4904         (storage_source_on_disk) New function.
4905         (storage_source_read) New function.
4906         (storage_source_set_cases) New function.
4907         (storage_source_to_disk) New function.
4908         (storage_to_disk) New function.
4909         (struct storage_stream_info) New structure.
4910         (write_storage_file) New function.
4911         (procedure_write_case) Removed.
4912         (create_case_source) Add `struct dictionary *' parameter, all
4913         references updated.
4914         (create_case_sink) Ditto.
4915         (free_case_sink) New function.
4916         (struct split_aux_data) New structure.
4917         (procedure_with_splits) New function implementing what procedure()
4918         used to.
4919         (SPLIT_FILE_proc_func) Removed.
4920         (procedure_with_splits_callback) New function.
4921         (equal_splits) New function.
4922         
4923         * aggregate.c: Pass around a struct instead of using statics.
4924         (static var outfile) Remove.
4925         (enum type) Give it tag `missing_treatment'.
4926         (static var missing) Remove.
4927         (static var sort) Remove.
4928         (static var agr_first) Remove.
4929         (static var agr_next) Remove.
4930         (static var case_count) Remove.
4931         (static var prev_case) Remove.
4932         (static var buf64_1xx) Remove.
4933         (static var buf_1xx) Remove.
4934         (struct agr_proc) New structure incorporating the above.
4935         (cmd_aggregate) Use new struct.  Clean up error handling using
4936         agr_destroy().  Completely rewrite actual implementation of
4937         aggregation.
4938         (create_sysfile) Add struct agr_proc * parameter, modify
4939         accordingly.
4940         (parse_aggregate_functions) Ditto.
4941         (free_aggregate_functions) Ditto.  Rename agr_destroy().
4942         (aggregate_single_case) Add struct agr_proc * parameter, modify
4943         accordingly.
4944         (accumulate_aggregate_info) Ditto.
4945         (dump_aggregate_info) Ditto.
4946         (initialize_aggregate_info) Ditto.
4947         (agr_00x_trns_proc) Removed.
4948         (agr_00x_end_func) Removed.
4949         (agr_10x_trns_proc) Removed.
4950         (agr_10x_trns_free) Removed.
4951         (agr_10x_end_func) Removed.
4952         (agr_11x_read) Removed.
4953         (agr_11x_finish) Removed.
4954         [DEBUGGING] (debug_print) Removed.
4955         (write_case_to_sfm) Add struct agr_proc * parameter, modify
4956         accordingly.
4957         (agr_to_active_file) New function.
4958         (presorted_agr_to_sysfile) New function.
4959         (sort_agr_to_sysfile) New function.
4960
4961         * autorecode.c: (cmd_autorecode) Use procedure_with_splits().
4962
4963         * crosstabs.q: (internal_cmd_crosstabs) Ditto.
4964
4965         * descript.q: (cmd_descriptives) Ditto.
4966
4967         * dfm.c: (cmd_begin_data) Check for storage_source_class.  Adapt
4968         to new procedure() interface.
4969
4970         * command.c: (cmd_execute) Adapt to new procedure() interface.
4971
4972         * dictionary.c: (dict_compact_values) Also delete scratch
4973         variables.
4974         (dict_get_compacted_value_cnt) New function.
4975         (dict_get_compacted_idx_to_fv) New function.
4976
4977         * flip.c: (cmd_flip) Warn about and cancel TEMPORARY.
4978         (cmd_flip) Adapt to new procedure() interface.
4979         (flip_sink_write) Use sink->idx_to_fv.
4980
4981         * frequencies.q: (internal_cmd_frequencies) Use
4982         procedure_with_splits().
4983
4984         * get.c: (cmd_save_internal) Adapt to new procedure() interface.
4985         (static var mtf_sink) New static var.
4986         (static var mtf_case) New static var.
4987         (cmd_match_files) Warn about and cancel TEMPORARY.  Redo the way
4988         we actually implement the matching.
4989         (mtf_delete_file_in_place) Use mtf_case.
4990         (mtf_processing) Use mtf_case and mtf_sink.
4991         (cmd_export) Adapt to new procedure() interface.
4992
4993         * levene.c: (levene) Use procedure_with_splits().
4994
4995         * list.q: (cmd_list) Use procedure_with_splits().
4996
4997         * matrix-data.c: (read_matrices_without_rowtype) Adapt to new
4998         procedure() interface.
4999         (read_matrices_with_rowtype) Ditto.
5000
5001         * modify-vars.c; (cmd_modify_vars) Warn about and cancel
5002         TEMPORARY.  Adapt to new procedure() interface.
5003
5004         * rename-vars.c: Warn about and cancel TEMPORARY.
5005
5006         * sort.c: (cmd_sort_cases) Warn about TEMPORARY.
5007         (sort_cases) Use dict_get_compacted_value_cnt() instead of
5008         compaction_nval.  Adapt to new procedure() interface.  Use
5009         storage_source_to_disk().
5010         (do_internal_sort) Don't try to dump the cases to memory.
5011         (compare_case_lists) Pass null idx_to_fv.
5012         (struct initial_run_state) Add `idx_to_fv' member.  Remove
5013         `case_size' member.
5014         (write_initial_runs) Don't initialize irs->case_size.  Adapt to
5015         new procedure() interface.  Reset irs->idx_to_fv after calling
5016         procedure().
5017         (sort_sink_write) Set irs->idx_to_fv.  Use case_size from struct
5018         sort_cases_pgm.  Pass irs, not struct sort_cases_pgm to
5019         push_heap().
5020         (destroy_initial_run_state) Don't dereference irs after freeing
5021         it.
5022         (allocate_cases) Don't calculate case_size locally.
5023         (compare_record) Add idx_to_fv parameter.
5024         (compare_record_run) Change parameter from struct sort_cases_pgm *
5025         to struct initial_run_state *.  Pass irs->idx_to_fv to
5026         compare_record().
5027         (compare_record_run) Third parameter now a struct
5028         initial_run_state *.
5029         (output_record) No need for out_case anymore.  Pass irs, not
5030         struct sort_cases_pgm to pop_heap().  Use case_size from struct
5031         sort_cases_pgm.
5032         (merge) Use case_size from struct sort_cases_pgm.
5033         (merge_once) Use case_size from struct sort_cases_pgm.
5034         Pass null pointer to compare_record() as idx_to_fv.
5035         (global var sort_sink_class) Make static.
5036
5037         * t-test.q: (cmd_t_test) Use procedure_with_splits().
5038
5039         * temporary.c: Remove debugging crap.
5040
5041 Sat Mar 13 14:19:52 WST 2004 John Darrington <john@darrington.wattle.id.au>
5042
5043         * t-test.q, levene.c: Fixed up the handling of MISSING values
5044         int the T-TEST
5045
5046 Fri Mar 12 16:23:35 WST 2004 John Darrington <john@darrington.wattle.id.au>
5047
5048         * t-test.q, levene.c: Added support for T-TEST /GROUP where only 
5049         one value is given.
5050
5051 Wed Mar 10 23:25:13 2004  Ben Pfaff  <blp@gnu.org>
5052
5053         Change explicit variable name checks into use of
5054         dict_class_from_id().
5055
5056         * dictionary.c: (dict_create_var)  Change explicit variable name
5057         check into use of dict_class_from_id().
5058
5059         * get.c: (trim_dictionary) Ditto.
5060
5061         * sel-if.c: (cmd_filter) Ditto.
5062
5063         * sysfile-info.c: (cmd_display) Ditto.
5064
5065         * vars-prs.c: (parse_DATA_LIST_vars) Ditto.
5066
5067         * vfm.c: (arrange_compaction) Ditto.
5068
5069         * weight.c: (cmd_weight) Ditto.
5070
5071 Wed Mar 10 21:16:34 2004  Ben Pfaff  <blp@gnu.org>
5072
5073         * temporary.c: (cmd_temporary) When TEMPORARY was the first
5074         transformation following the input program, if any, for some
5075         reason we special-cased f_trns.  That's just wrong.  It should
5076         always be set to n_trns.
5077
5078 Tue Mar  9 23:44:40 2004  Ben Pfaff  <blp@gnu.org>
5079
5080         * format.c: (parse_format_specifier_name) Fix brown-bag bug
5081         introduced in last check-in.
5082
5083 Tue Mar  9 23:10:41 2004  Ben Pfaff  <blp@gnu.org>
5084
5085         * format.c: (global array translate_fmt[]) Removed.
5086         (translate_fmt) New function as replacement.
5087         (parse_format_specifier_name) Rewrite.
5088
5089         * pfm-read.c: (convert_format) Use translate_fmt() instead of
5090         translate_fmt[].
5091
5092         * sfm-read.c: (parse_format_spec) Ditto.
5093
5094         * postscript.c: (text) Fix handling of fonts with missing
5095         ligatures.
5096
5097         * sort.c: (struct external_sort) Add temp_name member.
5098         (destroy_external_sort) Free temp_dir, temp_name members.
5099         (init_external_sort) Allocate temp_name.
5100         (get_temp_file_name) Change prototype.
5101         (open_temp_file) Deal with change to get_temp_file_name().
5102         (close_temp_file) Ditto.
5103         (remove_temp_file) Ditto.
5104         (write_temp_file) Ditto.
5105         (read_temp_file) Ditto.
5106         (sort_sink_destroy) Removed.
5107         (sort_sink_class) Change destroy member to null.
5108
5109 Tue Mar  9 22:36:34 2004  Ben Pfaff  <blp@gnu.org>
5110
5111         Eliminate temp_case.
5112
5113         * aggregate.c: (cmd_aggregate) No need to save/restore temp_case
5114         anymore.  Use agr_11x_finish().
5115         (aggregate_single_case) Make first param const.
5116         (accumulate_aggregate_info) Ditto.
5117         (agr_00x_end_func) Use compaction_case, not temp_case.
5118         (agr_11x_func) Break into agr_11x_read(), agr_11x_finish().
5119
5120         * data-list.c: (struct data_list_pgm) Add `case_size' member.
5121         (cmd_data_list) Initialize case_size.
5122         (read_from_data_list_fixed) Add struct ccase * param, use instead
5123         of temp_case.
5124         (read_from_data_list_free) Ditto.
5125         (read_from_data_list_list) Ditto.
5126         (read_one_case) Rename data_list_trns_proc(), all references
5127         updated.  Add argument in calling above functions.  Use c
5128         argument instead of temp_case.
5129         (destroy_dls) Rename data_list_trns_free(), all references
5130         updated.
5131
5132         * expr-evl.c: (expr_evaluate) Make second parameter const.
5133
5134         * file-type.c: (struct file_type_pgm) Add `case_size' member.
5135         (cmd_end_file_type) Initialize `case_size'.
5136         (file_type_source_read) Add struct ccase * parameter.  Use instead
5137         of temp_case.
5138
5139         * flip.c: Rewritten.
5140
5141         * get.c: (struct get_pgm) New structure to keep track of
5142         case_size.
5143         (cmd_get) Initialize case_size.
5144         (cmd_import) Ditto.
5145         (get_source) Deal with struct get_pgm.
5146         (get_source_read) Add struct ccase * parameter, use instead of
5147         temp_case.
5148         (import_source_read) Ditto.
5149
5150         * get.c: Use a null pointer instead of temp_case to represent the
5151         "current case" in a struct mtf_file's input member.
5152         (mtf_processing_finish) Pass null to mtf_processing(), not
5153         temp_case.
5154         (mtf_read_nonactive_records) Don't set iter->input to temp_case.
5155         (mtf_compare_BY_values) Add extra arg, use instead of null input
5156         members.
5157         (mtf_processing) Use c parameter instead of temp_case.  Pass
5158         compaction_case to process_active_file_output_case().
5159         
5160         * glob.c: (global variable temp_case) Removed.
5161
5162         * inpt-pgm.c: (struct input_program_pgm) Add `case_size' member.
5163         (cmd_input_program) Initialize case_size.  Set
5164         vfm_source->value_cnt.
5165         (init_case) Add struct ccase * parameter, use instead of
5166         temp_case.
5167         (clear_case) Ditto.
5168         (input_program_source_read) Ditto.
5169
5170         * matrix-data.c: (matrix_data_read_without_rowtype) Ditto.
5171         (dump_cell_content) Ditto.
5172         (nr_output_data) Ditto.
5173         (read_matrices_without_rowtype) Ditto.
5174         (matrix_data_read_with_rowtype) Ditto.
5175         (wr_read_splits) Ditto.
5176         (wr_output_data) Ditto.
5177
5178         * sort.h: (struct sort_cases_pgm) New member `case_size'.
5179         
5180         * sort.c: (sort_cases) Initialize scp->case_size.
5181         (struct external_sort) Remove `case_size' member.
5182         (write_initial_runs) Only call vfm_sink->class_destroy if
5183         non-null.
5184         (struct sort_source_aux) New structure.
5185         (sort_source_read_helper) New function.
5186         (sort_source_read) Use sort_source_read_helper().
5187         (read_sort_output) Change interface to be more reasonable.
5188         (read_internal_sort_output) Ditto.
5189         (read_external_sort_output) Ditto.
5190
5191         * vars-prs.c: (dict_class_to_name) Pass return value through
5192         gettext.
5193
5194         * vfm.c: (struct procedure_aux_data) Add `trns_case' member.
5195         (procedure) Initialize trns_case.
5196         (procedure) Pass trns_case to vfm_source->class->read().
5197         Free trns_case.
5198         (process_active_file) Start using struct procedure_aux_data.
5199         (process_active_file_write_case) Pass trns_case to
5200         transformations, lag_case(), clear_case().
5201         (process_active_file_output_case) Add struct ccase * parameter.
5202         (create_trns_case) New function.
5203         (make_temp_case) Removed.
5204         (vector_initialization) Removed.
5205         (close_active_file) Only call make_source if non-null, otherwise
5206         set vfm_source to null pointer.  Don't free temp_case.
5207         (disk_source_read) Add struct ccase * parameter, use instead of
5208         temp_case.
5209         (memory_source_read) Ditto.
5210         (lag_case) Add const struct ccase * member.
5211         (procedure_write_case) Use trns_case instead of temp_case.
5212         (clear_case) Add struct ccase * member, use instead of temp_case.
5213         (exclude_this_case) Ditto.
5214         (create_case_source) Add struct dictionary * parameter, use to
5215         initialize source->value_cnt.
5216
5217         * vfm.h: (struct case_source) Add `value_cnt' member.
5218         (struct case_source_class) Add struct ccase * parameter to `read'
5219         member function pointer.
5220         (struct case_sink_class) Make struct ccase * parameter const in
5221         `write' member function pointer.
5222         
5223 Wed Mar  3 20:44:37 2004  Ben Pfaff  <blp@gnu.org>
5224
5225         Fix a lot of "possibly uninitialized variable" warnings.  Some of
5226         them are even real bugs.  A few of them make me wonder how the
5227         code ever worked.
5228
5229         * aggregate.c: (parse_aggregate_functions) Initialize `function.
5230
5231         * ascii.c: (output_lines) Add default case to switch.
5232
5233         * crosstabs.q: Remove static variable `expected' and all
5234         references to it.
5235         (display_crosstabulation) Always calculate expected value.
5236         (calc_chisq) Ditto.
5237         (output_pivot_table) Initialize `cmp'.
5238         (display_crosstabulation) New variable `last_row', which is
5239         initialized.
5240
5241         * data-in.c: (parse_numeric) Always initialize sign.  How did this
5242         work at all?!
5243
5244         * data-list.c: (repeating_data_trns_proc) Always initialize code.
5245         Always set info.ofs.  (How did this work?!)
5246
5247         * expr-opt.c: (optimize_tree) Always initialize `m'.
5248         (evaluate_tree) Always initialize `c'.  (How did this work?)
5249
5250         * frequencies.q: (frq_custom_variables) Always initialize min,
5251         max.
5252         (frq_custom_grouped) Always initialize `dl'.
5253
5254         * groff-font.c: (groff_read_font) Always initialize char_set.
5255
5256         * matrix-data.c: (nr_output_data) Initialize `split'.
5257         (wr_read_splits) Remove shadowing split_cnt declaration.
5258         (wr_output_data) Initialize `split'.
5259
5260         * output.c: (tokener) Skip add character on syntax error.
5261
5262         * pool.c: (pool_strndup) Always set `copy'.  (How did this work?!)
5263
5264         * postscript.c: (read_ps_encodings) Use line.string instead of
5265         uninitialized `bp'.
5266         (write_text) Add default case to switch.
5267         (text) Always initialize multiple variables.  Fix bug with
5268         ligatures.
5269
5270         * print.c: (fixed_parse_fortran) Initialize head.
5271         (alloc_line) Add default case to switch.
5272
5273         * recode.c: (parse_dest_spec) Handle case where nothing matches.
5274         (recode_trns_proc) Move variable declaration inward.  Add default
5275         case to switch.
5276
5277         * sfm-read.c: (read_header) Initialize skip_amt.
5278
5279         * sysfile-info.c: (display_variables) Always initialize pc.
5280
5281         * vars-prs.c: Initialized `included'.
5282
5283 Wed Mar  3 09:30:09 2004  Ben Pfaff  <blp@gnu.org>
5284
5285         * main.c: (main) sigaction()'s sa_flags member was uninitialized.
5286         Just use signal() instead.
5287
5288 Wed Mar  3 09:26:30 2004  Ben Pfaff  <blp@gnu.org>
5289
5290         Get rid of vfm_sink_info and vfm_source_info.
5291         
5292         * aggregate.c: (agr_00x_end_func) Don't increment
5293         sfm_sink_info.ncases.
5294
5295         * sort.c: (do_internal_sort) Get case count from
5296         vfm_source->class->count().
5297         (struct external_sort) Add `case_size' member.
5298         (do_external_sort) Initialize case_size.
5299         (struct initial_run_state) Add `case_size' member.
5300         (write_initial_runs) Initialize case_size.
5301         (sort_sink_write) Use case_size.
5302         (read_external_sort_output) Use case_size.  Get case_cnt from
5303         initial_runs.
5304
5305         * vfm.c: (struct write_case_data) Add underscores to existing arg
5306         names, all references updated.  Renamed `aux' as `func_aux', all
5307         references updated.  Added new `aux' member.
5308         (global var vfm_source_info) Removed.
5309         (global var vfm_sink_info) Removed.
5310         (struct procedure_aux_data) New.
5311         (struct split_aux_data) New.
5312         (procedure) Use `aux' fields for procedure_aux_data,
5313         split_aux_data.
5314         (process_active_file_write_case) Pass case_count + 1 to
5315         transformation procedures, exclude_this_case().
5316         (process_active_file_output_case) Don't increment
5317         vfm_sink_info.ncases.
5318         (prepare_for_writing) Don't initialize vfm_sink_info.  Don't try
5319         to send data to disk early.
5320         (make_temp_case) Don't use vfm_sink_info.case_size.
5321         (close_active_file) Don't initialize vfm_source_info.
5322         (struct disk_stream_info) New, to allow for case_cnt and case_size fields.
5323         (disk_sink_create) Initialize and/or update disk_stream_info.
5324         (disk_sink_write) Ditto.
5325         (disk_sink_destroy) Ditto.
5326         (disk_sink_make_source) Ditto.
5327         (disk_source_read) Ditto.
5328         (disk_source_destroy) Ditto.
5329         (global var disk_source_class) Add disk_source_count().
5330         (disk_source_count) New function.
5331         (struct memory_sink_info) Add `case_cnt', `case_size' members.
5332         (struct memory_source_info) Ditto.
5333         (memory_sink_create) Deal with case_cnt, case_size.
5334         (memory_sink_write) Ditto.
5335         (memory_sink_make_source) Ditto.
5336         (memory_source_read) Ditto.
5337         (memory_source_count) New function.
5338         (memory_source_class) Add memory_source_count().
5339         (procedure_write_case) Don't use vfm_sink_info.ncases.  Do use
5340         proc_aux->cases_written, and pass it to transformation procedures
5341         and exclude_this_case ().
5342         (exclude_this_case) Add case_num parameter.  Pass it to
5343         expr_evaluate().
5344         (SPLIT_FILE_procfunc) Use split_aux->prev_case instead of static
5345         variable.
5346
5347         * vfm.h: (struct case_source_class) Add `count' member.
5348
5349         * vfmP.h: (struct stream_info) Removed.
5350         (global variable vfm_source_info) Removed.
5351         (global variable vfm_sink_info) Removed.
5352         
5353 Tue Mar  2 23:38:17 2004  Ben Pfaff  <blp@gnu.org>
5354
5355         * var.h: (typedef trns_proc_func) New typedef.
5356         (trns_free_func) New typedef.
5357         (struct trns_header) Change `proc' to type trns_proc_func, `free'
5358         to type trns_free_func.  This only changes the actual type of
5359         trns_proc_func, adding a `case_num' parameter.  Updated all
5360         implementations to use the typedefs instead.
5361
5362         * compute.c: (compute_num) Pass case_num to expr_evaluate().
5363         (compute_num_vec) Ditto.
5364         (compute_str) Ditto.
5365         (compute_str_vec) Ditto.
5366
5367         * do-if.c: (do_if_trns_proc) Ditto.
5368
5369         * expr-evl.c: (expr_evaluate) Add new case_num parameter, use for
5370         OP_CASENUM.
5371
5372         * inpt-pgm.c: (input_program_source_read) Maintain case count,
5373         pass to transformation functions.
5374         (reread_trns_proc) Pass case_num arg to expr_evaluate().
5375
5376         * loop.c: (loop_1_trns_proc) Ditto.
5377         (loop_2_trns_proc) Ditto.
5378         (loop_3_trns_proc) Ditto.
5379
5380         * print.c: (print_space_trns_proc) Ditto.
5381
5382         * sel-if.c: (select_if_proc) Ditto.
5383
5384 Tue Mar  2 11:36:52 2004  Ben Pfaff  <blp@gnu.org>
5385
5386         * frequencies.q: (cleanup_freq_tab) Avoid memory leak by
5387         destroying hash table.
5388
5389         * glob.c: (read_active_file) Variable not referenced, removed.
5390         (cancel_input_pgm) Ditto.
5391
5392         * levene.c: Add #include <stdlib.h> needed to call free().
5393
5394         * aggregate.c: (parse_aggregate_functions) Make `function'
5395         variable const.
5396
5397 Tue Mar  2 11:30:56 2004  Ben Pfaff  <blp@gnu.org>
5398
5399         Start working to eliminate VFM dependence on static variables.
5400
5401         * command.c: (cmd_parse) Use case_source_is_class().
5402
5403         * data-list.c: Rewrite to eliminate use of static variables.
5404
5405         * dfm.c: (cmd_begin_data) Use case_source_is_class().
5406
5407         * file-handle.q: (fh_handle_name) Make parameter const.
5408
5409         * file-type.c: Rewrite to eliminate use of static variables.
5410
5411         * flip.c: Rewrite to eliminate use of static variables.
5412
5413         * format.c: (get_format_var_width) New function.
5414
5415         * get.c: Eliminate use of static variables.
5416
5417         * inpt-pgm.c: Eliminate use of static variables.
5418
5419         * matrix-data.c: Eliminate use of static variables.
5420
5421         * set.q: (set_max_workspace) New variable.
5422         (cmd_set) Use SET WORKSPACE to modify set_max_workspace.
5423
5424         * var.h: (struct case_list) Move here from vfmP.h.
5425
5426         * vars-atr.c: (discard_variables) Handle new vfm_source type.
5427
5428         * vfm.c: (vfm_source) Change type from struct case_stream to
5429         struct case_source.
5430         (vfm_sink) Change type from struct case_stream to struct
5431         case_sink.
5432         (static var paging) Rename workspace_overflow, all references
5433         updated.
5434         (procedure) Use new class structures.
5435         (process_active_file) Ditto.
5436         (process_active_file_write_case) Ditto.
5437         (prepare_for_writing) Use set_max_workspace.  Use new class
5438         structures.
5439         (close_active_file) Use new class structures.  Free old sink.
5440         (global var disk_source_file) Removed.
5441         (global var disk_sink_file) Removed.
5442         (disk_stream_init) Removed.
5443         (disk_stream_read) Removed.
5444         (disk_stream_write) Removed.
5445         (disk_stream_mode) Removed.
5446         (disk_stream_destroy_source) Removed.
5447         (disk_stream_destroy_sink) Removed.
5448         (global var vfm_disk_stream) Removed.
5449         (disk_sink_create) New function.
5450         (disk_sink_write) New function.
5451         (disk_sink_destroy) New function.
5452         (disk_sink_make_source) New function.
5453         (disk_sink_class) New static var.
5454         (disk_source_read) New function.
5455         (disk_source_destroy) New function.
5456         (global var vfm_source_class) New var.
5457         (global var memory_source_cases) Removed.
5458         (global var memory_sink_cases) Removed.
5459         (global var memory_sink_max_cases) Removed.
5460         (struct memory_sink_info) New struct.
5461         (memory_stream_init) Removed.
5462         (memory_stream_read) Removed.
5463         (memory_stream_write) Removed.
5464         (memory_stream_mode) Removed.
5465         (memory_stream_destroy_source) Removed.
5466         (memory_stream_destroy_sink) Removed.
5467         (global var vfm_memory_stream) Removed.
5468         (page_to_disk) Renamed write_active_file_to_disk().
5469         (memory_sink_create) New function.
5470         (memory_sink_write) New function.
5471         (memory_sink_destroy) New function.
5472         (memory_sink_make_source) New function.
5473         (memory_sink_class) New static var.
5474         (memory_source_read) New function.
5475         (memory_source_destroy) New function.
5476         (memory_source_get_cases) New function.
5477         (memory_source_set_cases) New function.
5478         (global var vfm_source_class) New var.
5479         (procedure_write_case) Use new class structures.
5480         (create_case_source) New function.
5481         (case_source_is_complex) New function.
5482         (case_source_is_class) New function.
5483         (create_case_sink) New function.
5484
5485         * vfm.h: (global variable reinit_sysmis) Not used, removed.
5486         (global variable reinit_blanks) Not used, removed.
5487         (global variable init_zero) Not used, removed.
5488         (global variable init_blanks) Not used, removed.
5489         (struct case_source) New struct.
5490         (struct case_source_class) New struct.
5491         (struct case_sink) New struct.
5492         (struct case_sink_class) New struct.
5493         (struct case_stream) Removed.
5494
5495         * vfmP.h: (struct case_list) Moved to var.h.
5496
5497 Tue Mar  2 11:28:30 2004  Ben Pfaff  <blp@gnu.org>
5498
5499         * algorithm.c: (count_equal) New function.
5500         (count_if) New function.
5501         (unique) Add assertions.
5502         (partition) Add assertions.
5503         (is_partitioned) New function.
5504         (copy_if) Add assertions.
5505         (remove_equal) Add assertions.
5506         (lexicographical_compare) Rename lexicographical_compare_3way.
5507         (sort) Add assertions.  Rephrase some code.
5508         (is_sorted) New function.
5509
5510 Sun Feb 29 23:24:57 2004  Ben Pfaff  <blp@gnu.org>
5511
5512         Rewrite SORT CASES.
5513
5514         * sort.c: Completely rewrite.
5515
5516         * sort.h: Expose interface via struct sort_cases_pgm, not via
5517         global variables.
5518
5519         * aggregate.c: (sort) New static var.
5520         (cmd_aggregate) Use sort.
5521         (create_sysfile) Ditto.
5522         (aggregate_single_case) Ditto.
5523         (dump_aggregate_info) Ditto.
5524         (agr_00x_end_func) Ditto.
5525         (debug_print) Ditto.
5526
5527         * var.h: (enum SRT_ASCEND) Removed.
5528         (enum SRT_DESCEND) Removed.
5529         (struct sort_cases_proc) Removed.
5530         (struct variable) Remove p.srt member.
5531
5532 Sun Feb 29 23:22:45 2004  Ben Pfaff  <blp@gnu.org>
5533
5534         Get rid of the old, crappy heap structure and replace it by a new,
5535         shiny, C++ STL-like heap structure.
5536         
5537         * Makefile.am: (pspp_SOURCES) Remove heap.c, heap.h.
5538
5539         * algorithm.c: (push_heap) New function.
5540         (heapify) Ditto.
5541         (pop_heap) Ditto.
5542         (make_heap) Ditto.
5543         (sort_heap) Ditto.
5544         (is_heap) Ditto.
5545         
5546         * heap.c: Removed.
5547
5548         * heap.h: Removed.
5549
5550 Sun Feb 29 23:21:53 2004  Ben Pfaff  <blp@gnu.org>
5551
5552         Increase warning level.
5553         
5554         * Makefile.am: (AM_CFLAGS) Remove -Wnouninitialized.
5555
5556 Sat Feb 21 17:38:58 WST 2004 John Darrington <john@darrington.wattle.id.au>
5557
5558         * main.c: Added a signal handler for SIGSEGV requesting a bug report.
5559          
5560 Fri Feb 20 23:22:14 2004  Ben Pfaff  <blp@gnu.org>
5561
5562         * dictionary.c: (dict_create_var) Fix root cause of bug worked
5563         around by previous change log entry.
5564         
5565         * compute.c: (lvalue_finalize) Remove workaround from previous
5566         change log entry.
5567
5568 Fri Feb 20 14:37:41 WAST 2004 John Darrington <john@darrington.wattle.id.au>
5569
5570         * compute.c: Fixed a bug where the Format was not getting set for 
5571           computed variables (thus causing a crash when SAVEing).
5572
5573         * Added a test to stop this bug ever coming back
5574
5575 Wed Feb 18 22:21:35 2004  Ben Pfaff  <blp@gnu.org>
5576
5577         Got rid of approx.h.  In general, replaced all references to
5578         approx_eq() by ==, approx_lt() by <, etc.  Other types of changes
5579         noted below.
5580
5581         * Makefile.am: (pspp_SOURCES) Removed approx.h.
5582
5583         * data-out.c: (try_F) Replaced test for approx_eq(number, 0.0) by
5584         test for mag < EPSILON.
5585
5586         * misc.h: Add definition of EPSILON.
5587
5588 Wed Feb 18 21:32:44 2004  Ben Pfaff  <blp@gnu.org>
5589
5590         * vfm.c: (procedure) Add check to prevent recursive call.
5591
5592 Wed Feb 18 21:48:54 WST 2004 John Darrington <john@darrington.wattle.id.au>
5593
5594         * Moved the declarations relating to values to their own header file
5595           (val.h)
5596
5597         * Added levene.c and levene.h
5598
5599         * vars-atr.c: Changed the signature of compare_values to 
5600         take const * arguments.
5601                 
5602         * t-test.q: Changed the structure of struct t_test_proc 
5603        variables now contain their own group statistics information.
5604        Eventually, t_test_proc might get renamed, because it'd be 
5605        applicable to other commands too.
5606
5607 Mon Feb 16 23:15:51 2004  Ben Pfaff  <blp@gnu.org>
5608
5609         * data-out.c: Clean up.  Changed interface of convert_*() to take
5610         either a `double' or a `const char *' instead of a `const union
5611         value *'.  Update all implementations of those interfaces.
5612         (data_out) Use switch statements instead of a table.
5613         (convert_AHEX) Rewrite.
5614
5615         * format.h: Update comment.
5616
5617 Mon Feb 16 22:14:36 2004  Ben Pfaff  <blp@gnu.org>
5618
5619         * q2c.c: (dump_header) Add an Emacs header line to output files
5620         that makes generated .c files read-only by default, to make it
5621         difficult to accidentally change generated files.
5622
5623 Mon Feb 16 22:12:07 2004  Ben Pfaff  <blp@gnu.org>
5624
5625         * frequencies.q: (compare_freq_numeric_a) Compare by frequency,
5626         not bogus a->v.c <=> b->v.c pointer compare.
5627         (compare_freq_alpha_a) Ditto.
5628         (compare_freq_numeric_d) Ditto.
5629         (compare_freq_alpha_d) Ditto.
5630         
5631 Mon Feb 16 22:00:53 2004  Ben Pfaff  <blp@gnu.org>
5632
5633         Changed data_out() to store string data directly into a `union
5634         value''s s member, not indirectly into c.
5635
5636         * crosstabs.q: (output_pivot_table) Use format_short() instead of
5637         data_out().
5638         (table_value_missing) Ditto.
5639         (float_M_suffix) Ditto.
5640         (format_short) New function.
5641
5642         * data-in.h: (data_in_finite_line) Remove inline definition.
5643
5644         * data-list.c: (destroy_dls_var_spec) New function.
5645         (destroy_dls) Rewrite in terms of destroy_dls_var_spec().
5646         (data_list_source_destroy_source) Avoid cast.
5647         (struct repeating_data_trns) New field `id_value'.  Update
5648         comments.
5649         (cmd_repeating_data) Initialize id_value.  Use new
5650         repeating_data_trns_free() for freeing REPEATING DATA
5651         transformations.
5652         (rpd_parse_record) Rewrite support for record ID to be less bogus.
5653         (repeating_data_trns_free) New function.
5654
5655         * data-out.c: (data_out) Change return type to `void' by replacing
5656         error returns by writing a message into the output buffer.
5657         (convert_A) Read from v->s instead of v->c.
5658         (convert_AHEX) Ditto.
5659
5660         * expr-evl.c: Update comment.
5661         (expr_evaluate) Add assertion in OP_STRING case.
5662
5663         * format.h: (macro MAX_FORMATTED_LEN) New macro.
5664
5665         * list.q: (list_cases) Update for new data_out() semantics.
5666
5667         * print.c: (print_trns_proc) Ditto.
5668
5669         * tab.c: (tab_value) Ditto.
5670         (tab_float) Avoid stupid cast.
5671
5672         * var.h: Update comments.
5673         (macro MAX_STRING) New macro.
5674         (macro MAX_ELEMS_PER_VALUE) New macro.
5675
5676         * vars-atr.c: (compare_values) New function.
5677
5678         * vfm.c: (dump_splits) Update for new data_out() semantics.
5679
5680 Mon Feb 16 21:45:47 2004  Ben Pfaff  <blp@gnu.org>
5681
5682         * crosstabs.q: (struct table_entry) Rename v[] to values[].  All
5683         references updated.
5684         (struct crosstab) Rename v[] to vars[].  All references updated.
5685         (hash_table_entry) Replace the hash algorithm and fix a bug at the
5686         same time, which caused the hash value to depend only on a single
5687         value, not all of the variables' values.
5688         
5689 Mon Feb 16 12:49:53 2004  Ben Pfaff  <blp@gnu.org>
5690
5691         Clean up struct dictionary's value_cnt usage.
5692
5693         * dictionary.c: Add a function comment to each function.
5694         (struct dictionary) Rename value_cnt to next_value_idx, which more
5695         accurately reflects its meaning.  All references updated.
5696         (dict_rename_vars) Add assertion.
5697         (dict_get_value_cnt) Rename dict_get_next_value_idx().  All
5698         references updated.
5699         (dict_get_case_size) New function.
5700
5701         * aggregate.c: (create_sysfile) Use dict_get_case_size().
5702
5703         * get.c: (mtf_read_nonactive_records) Ditto.
5704
5705         * sort.c: (allocate_cases) Ditto.
5706         (write_initial_runs) Ditto.
5707         (merge) Ditto.
5708         (merge_once) Ditto.
5709
5710         * vfm.c: (prepare_for_writing) Ditto.
5711         (setup_lag) Ditto.
5712         (lag_case) Ditto.
5713
5714 Mon Feb 16 00:17:55 2004  Ben Pfaff  <blp@gnu.org>
5715
5716         Make vfm.c slightly less grotesque.
5717
5718         * vfm.c: (filter_var) Removed.
5719         (filter_index) Removed.
5720         (FILTERED macro) Removed.
5721         (exclude_this_case) New function.
5722         (process_active_file_write_case) Use exclude_this_case() instead
5723         of FILTERED and inline tests.
5724         (procedure_write_case) Ditto.
5725         (setup_filter) Removed.
5726         (open_active_file) Don't call setup_filter().
5727         (close_active_file) Call dict_get_filter() instead of checking
5728         filter_var.
5729
5730 Mon Feb 16 00:01:53 2004  Ben Pfaff  <blp@gnu.org>
5731
5732         * var.h: (struct variable) Update comments.
5733
5734 Sun Feb 15 23:14:59 2004  Ben Pfaff  <blp@gnu.org>
5735
5736         New functions dict_create_var_assert(), dict_lookup_var_assert().
5737         Converted several dict_*_var()/assert pairs into a single
5738         dict_*_var_assert().
5739
5740         * dictionary.c: (dict_create_var_assert) New function.
5741         (dict_lookup_var_assert) New function.
5742
5743 Sun Feb 15 23:06:08 2004  Ben Pfaff  <blp@gnu.org>
5744
5745         Got rid of "struct long_vec", envector(), devector(), etc.  Added
5746         two members `init', `reinit' to struct variable as a substitute.
5747         
5748         * Makefile.am: (pspp_SOURCES) Removed cases.c, cases.h.
5749         
5750         * cases.c: Removed.
5751
5752         * cases.h: Removed.
5753
5754         * aggregate.c: (parse_aggregate_functions) destvar doesn't need
5755         init.
5756
5757         * autorecode.c: (cmd_autorecode) destvars don't need init.
5758
5759         * compute.c: (lvalue_finalize) Set reinit.
5760
5761         * data-list.c: (fixed_parse_compatible) Don't need init usually.
5762         (dump_fmt_list) Ditto.
5763         (parse_free) Ditto.
5764
5765         * descript.q: (run_z_pass) Don't need init for z-scores.
5766
5767         * dictionary.c: (dict_create_var) Initialize `init', `reinit'
5768         members.
5769         (dict_clone_var) Copy `reinit' member, initialize `init' member.
5770
5771         * glob.c: (init_glob) Remove vec_init() calls.
5772
5773         * inpt-pgm.c: (cmd_end_input_program) Use `reinit', not `left'.
5774         
5775         * loop.c: (internal_cmd_loop) Don't need to call envector().
5776
5777         * numeric.c: (cmd_numeric) Ditto.
5778         (cmd_string) Ditto.
5779         (cmd_leave) Ditto.  Set `init', `reinit' members.
5780
5781         * recode.c: (cmd_recode) Don't need to call envector().
5782
5783         * repeat.c: (internal_cmd_do_repeat) Ditto.
5784
5785         * var.h: (struct variable) Remove `left'.  Add `init', `reinit'.
5786         (force_create_variable) Removed prototype.
5787         (force_dup_variable) Ditto.
5788
5789         * vector.c: (cmd_vector) Don't need to call envector().
5790
5791         * vfm.c: (reinit_sysmis) Removed.
5792         (reinit_blanks) Removed.
5793         (init_zero) Removed.
5794         (init_blanks) Removed.
5795         (process_active_file_write_case) No need to deal with vectors.
5796         Call clear_temp_case().
5797         (vector_initialization) Rewrite to use `init', `reinit'.
5798         (close_active_file) No need to call vec_clear().
5799         (procedure_write_case) Call clear_temp_case().
5800         (clear_temp_case) New function.
5801
5802 Sun Feb 15 20:50:36 2004  Ben Pfaff  <blp@gnu.org>
5803
5804         * pfm-write.c: (bufwrite) Get rid of nasty cast that also invoked
5805         undefined behavior.
5806
5807 Thu Feb 12 23:35:15 2004  Ben Pfaff  <blp@gnu.org>
5808
5809         Add auxiliary argument to procedure() interface.  Associated small
5810         clean-ups of vfm interface.
5811         
5812         * Updated every caller of procedure() and process_active_file() to
5813         reflect modified interface.  Simple, ordinary changes not listed
5814         otherwise below.
5815
5816         * Updated every function that implements struct case_stream's
5817         `read' function to take a write_case_func and a write_case_data.
5818         Also updated every caller of write_case() to instead call them
5819         through these arguments.  In some cases this meant that the extra
5820         args had to be threaded through a couple of extra levels.  This
5821         wasn't difficult or interesting so the details won't be given.
5822
5823         * data-list.c: (struct repeating_data_trns) Add members
5824         `write_case', `wc_data' as kluge.
5825         (read_one_set_of_repetitions) Rename repeating_data_trns_proc and
5826         make non-static.
5827         (repeating_data_set_write_case) New function.
5828
5829         * data-list.h: New file to declare repeating_data_trns_proc() and
5830         repeating_data_set_write_case().
5831
5832         * inpt-pgm.c: (input_program_source_read) Call
5833         repeating_data_set_write_case() for all the REPEATING DATA
5834         transformations, so that they know where to send their cases.
5835         It's a big kluge.  Also kluge in END CASE.
5836         (end_case_trns_proc) Never called anymore, but we still need it,
5837         so just assert(0).
5838
5839         * sort.c: (read_sort_output) Update to match struct case_stream
5840         `read' member.
5841
5842         * vfm.c: (struct write_case_data) New structure.
5843         (proc_func) Removed.
5844         (virt_proc_func) Removed.
5845         (begin_func) Removed.
5846         (virt_begin_func) Removed.
5847         (end_func) Removed.
5848         (write_case) Removed.
5849         (procedure) Added an auxiliary parameter to each function pointer
5850         argument's prototype.  Added an auxiliary data parameter.
5851         Rewrote.
5852         (process_active_file) Ditto.
5853         (process_active_file_write_case) Pass aux data along.
5854         (close_active_file) Ditto.
5855         (procedure_write_case) Ditto.
5856         (SPLIT_FILE_procfunc) Ditto.
5857
5858         * vfm.h: (typedef write_case_data) New.
5859         (typedef write_case_func) New.
5860         (struct case_stream) Add parameters to `read' member prototype.
5861         
5862 Thu Feb 12 19:24:53 WST 2004 John Darrington <john@darrington.wattle.id.au>
5863
5864         * t-test.q:  Added calculations for independent samples. (But no Levene
5865         test yet!)
5866
5867         * Makefile.am: Moved q_sources_c into own variable 
5868
5869 Wed Feb 11 23:56:51 2004  Ben Pfaff  <blp@gnu.org>
5870
5871         Miscellaneous cleanups.
5872         
5873         * Change unused to UNUSED in many source files to reflect modified
5874         pref.h.  Change use of __WIN32__, __MSDOS, __DJGPP__,
5875         __CYGWIN32__, __unix__, and unix not to assume that they're
5876         defined to a nonzero value.  Change use of __attribute__ to use
5877         NO_RETURN or PRINTF_FORMAT instead.
5878         
5879         * alloc.h: Move definitions for local_alloc(), local_free() here
5880         from ../pref.h.orig and simplify.
5881
5882         * expr-evl.c: Instead of working differently based on PAGED_STACK,
5883         use a pool allocator unconditionally.
5884         (CHECK_STRING_SPACE) Removed.
5885         (ALLOC_STRING_SPACE) Removed.
5886         (expr_evaluate) Use e->pool instead of CHECK_STRING_SPACE and
5887         ALLOC_STRING_SPACE.
5888
5889         * expr-opt.c: (dump_expression) Allocate string pool.
5890
5891         * expr-prs.c: (expr_free) Free string pool.
5892
5893         * pool.c: (pool_destroy) This pool must be removed from its
5894         parent's list of gizmos, not from its own.  Use free_all_gizmos().
5895         (pool_clear) New function.
5896         (free_all_gizmos) New function.
5897         (pool_alloc) Use space in empty block after this one if any.
5898         (pool_release) Only empty out blocks, don't actually free() them.
5899
5900         * print.c: Get rid of PAGED_STACK special case by always
5901         dynamically allocating line buffers.
5902         (struct print_trns) Always include the `line' member.
5903         (internal_cmd_print) Always initialize the `line' member.
5904         (alloc_line) Always allocate memory for `line'.
5905         (print_trns_proc) Always initialize buf from `line' member.
5906         (print_trns_free) Always free `line' memory.
5907
5908         * sort.c: (allocate_file_handles) Special-case MS-DOS for mkdir()
5909         call.
5910         
5911 Wed Feb 11 20:33:18 2004  Ben Pfaff  <blp@gnu.org>
5912
5913         * flip.c: Fixed crash from FLIP when a numeric variable is
5914           specified on NEWNAMES and a large value is used, and a couple of
5915           other minor bugs besides.
5916           (struct varname) Make name a 9-character fixed-size array
5917           instead of a 1-character variable size array.
5918           (make_new_var) Allow digits in variable names.
5919           (flip_stream_write) Limit numeric values to 8 characters and
5920           format system missing and very large and small values more
5921           appropriately.
5922
5923 Thu Feb  5 13:19:06 WAST 2004 John Darrington <john@darrington.wattle.id.au>
5924
5925         * command.c: Fixed test on command return status for the correct 
5926           value,  which had been causing a crash under certain invalid input.
5927
5928 Wed Feb  4 15:34:11 WST 2004 John Darrington <john@darrington.wattle.id.au>
5929
5930         * t-test.q: Added calculations for the one sample variant of the T-TEST
5931
5932 Tue Feb  3 20:09:54 2004  Ben Pfaff  <blp@gnu.org>
5933
5934         * tab.c: (render_strip) Fix bug that sometimes caused joined text
5935           in joined cells to be rendered outside box boundaries.
5936
5937 Tue Feb  3 18:56:45 WST 2004 John Darrington <john@darrington.wattle.id.au>
5938
5939         * random.c (rng_create): Fixed seeding so that it gets reseeded after
5940         SET seed=xx has been called.
5941
5942 Mon Jan 19 14:08:09 2004  Ben Pfaff  <blp@gnu.org> 
5943
5944         * random.c (rng_get_double): Fix always-returning-zero bug in my
5945         preferred way, and at the same time make sure rounding doesn't
5946         bite us.
5947
5948 Thu Jan  1 23:16:41 2004  Ben Pfaff  <blp@gnu.org>
5949
5950         * html.c: (change_attributes) Dead code, removed.
5951         (escape_string) Eliminate code to call change_attributes() that
5952         never actually called it.
5953         (output_tab_table) Get rid of dependence on tab_hit
5954         and struct tab_joined_cell's hit member, which are abominations.
5955
5956         * tab.c: (tab_output_text) Don't call
5957         d->class->text_set_font_by_name if it's a null pointer.
5958         (macro UNROLL_LOOP) Eliminate.
5959         (macro UNROLL_3_LOOPS) Eliminate.
5960         (tabi_render) Rewrite not to use the above macros.
5961
5962 Thu Jan  1 23:09:07 2004  Ben Pfaff  <blp@gnu.org>
5963
5964         Start working on a new output driver system, one that doesn't suck
5965         so much, by adding a "device-independent" output driver.  The idea
5966         is to write out only a single output stream, then use separate
5967         processes to translate them into whatever formats we want.  This
5968         is similar to how "groff" works with its various output drivers
5969         (grops, grotty, grodvi, ...).
5970         
5971         * Makefile.am: (pspp_SOURCES) Add devind.c, devind.h.
5972
5973         * list.q: (write_all_headers) Stub out devind class.
5974         (clean_up) Ditto.
5975         (determine_layout) Ditto.
5976         (list_cases) Ditto.
5977
5978         * output.c: (outp_init) Add devind class.
5979
5980         * devind.c: New file.
5981
5982         * devind.h: New file.
5983
5984 Thu Jan  1 23:08:14 2004  Ben Pfaff  <blp@gnu.org>
5985
5986         * frequencies.q: (hash_value_alpha) Fixed up the previous change
5987         to use the proper string length.
5988
5989 Wed Dec 31 16:27:33 WAST 2003 John Darrington <john@darrington.wattle.id.au>
5990
5991         * Fixed bug where FREQ would crash on alpha values
5992
5993 Tue Dec 30 22:42:57 2003  Ben Pfaff  <blp@gnu.org>
5994
5995         * Removed bletcherous alloca() workarounds for AIX from top of
5996         many files.  AIX can use the alternative alloca() implementation
5997         instead.
5998
5999 Tue Dec 30 22:35:16 2003  Ben Pfaff  <blp@gnu.org>
6000
6001         * ascii.c: (ascii_option) Fix implementation of headers option.
6002
6003 Tue Dec 30 22:32:53 2003  Ben Pfaff  <blp@gnu.org>
6004
6005         * ascii.c: Add a "squeeze" option to the ASCII driver to squeeze
6006         multiple blank lines into one.
6007         (struct ascii_driver_ext) Add squeeze_blank_lines option.
6008         (ascii_preopen_driver) Initialize squeeze_blank_lines.
6009         (static var option_tab) Add squeeze entry.
6010         (ascii_option) Set squeeze_blank_lines.
6011         (output_lines) Implement squeezing blank lines.
6012
6013 Wed Dec 31 07:19:46 WST 2003 John Darrington <john@darrington.wattle.id.au>
6014
6015         * Removed redundant code from output.h
6016
6017 Sat Dec 27 22:17:52 2003  Ben Pfaff  <blp@gnu.org>
6018
6019         Dictionary classes: each variable is "ordinary", "system", or
6020         "scratch".
6021
6022         * var.h: (enum dict_class) New enum.
6023
6024         * vars-prs.c: (dict_class_from_id) New function.
6025         (dict_class_to_name) New function.
6026
6027 Sat Dec 27 22:16:06 2003  Ben Pfaff  <blp@gnu.org>
6028
6029         * var.h: (struct freq_tab_set) Removed (not used).
6030
6031 Sat Dec 27 22:15:21 2003  Ben Pfaff  <blp@gnu.org>
6032
6033         * value-labels.c: (val_labs_destroy) vls needs to be freed too.
6034
6035 Sat Dec 27 22:10:49 2003  Ben Pfaff  <blp@gnu.org>
6036
6037         * stats.c: (hypercube) Rename pow4().  All references updated.
6038
6039 Sat Dec 27 22:05:49 2003  Ben Pfaff  <blp@gnu.org>
6040
6041         * rename-vars.c: (cmd_rename_variables) Rewritten.
6042         (compare_name) Removed.
6043
6044 Sat Dec 27 22:03:51 2003  Ben Pfaff  <blp@gnu.org>
6045
6046         var_set feature, and code taking advantage of it.
6047         
6048         * crosstabs.q: (static var var_dict) Removed.
6049         (static var variables) New variable.
6050         (static var variables_cnt) New variable.
6051         (cmd_crosstabs) Free variables instead of var_dict.
6052         (internal_cmd_crosstabs) Initialize and use variables,
6053         variables_cnt instead of var_dict.
6054         (free_var_dict) Removed.
6055         (crs_custom_tables) Use var_set instead of a copied dictionary.
6056         (crs_custom_variables) Set up variables, variables_cnt instead of
6057         var_dict.
6058         [DEBUGGING] (debug_print) Ditto.
6059
6060         * means.q: (mns_custom_tables) Use var_set instead of a copied
6061         dictionary.
6062
6063         * vars-prs.c: (parse_vs_variable) New function.
6064         (parse_dict_variable) Rewritten.
6065         (parse_variable) Rewritten.
6066         (parse_variables) Renamed parse_var_set_vars(), rewritten.
6067         (parse_variables) New function in terms of parse_var_set_vars().
6068         Now requires its first argument to be non-null.  All references
6069         that passed a null pointer updated to pass default_dict instead.
6070         (macro id_dict) Removed.
6071         (parse_DATA_LIST_vars) Add assertions.
6072         (parse_mixed_vars) Ditto.
6073         (struct var_set) New structure.
6074         (var_set_get_cnt) New function.
6075         (var_set_get_var) New function.
6076         (var_set_lookup_var) New function.
6077         (var_set_destroy) New function.
6078         (dict_var_set_get_cnt) New function.
6079         (dict_var_set_get_var) New function.
6080         (dict_var_set_lookup_var) New function.
6081         (dict_var_set_destroy) New function.
6082         (var_set_create_from_dict) New function.
6083         (struct array_var_set) New structure.
6084         (array_var_set_get_cnt) New function.
6085         (array_var_set_get_var) New function.
6086         (array_var_set_lookup_var) New function.
6087         (array_var_set_destroy) New function.
6088         (var_set_create_from_array) New function.
6089
6090         * q2c.c: (dump_parser) Use parse_variables(default_dict, ...)
6091         instead of parse_variables(NULL, ...) in output code.
6092
6093 Sat Dec 27 21:38:53 2003  Ben Pfaff  <blp@gnu.org>
6094
6095         Change inp_init from a 2-bit vector to an ordinary array.
6096         Initialize it all in cmd_end_input_program() instead of in
6097         create_variable().
6098
6099         * inpt-pgm.c: (enum value_init_type) New enum.
6100         (global var inp_init) Change to `enum value_init_type *', make
6101         static.
6102         (inp_init_size) Removed.
6103         (inp_nval) Change to `size_t', make static.
6104         (cmd_input_program) Don't initialize inp_init or inp_init_size.
6105         (cmd_end_input_program) Initialize inp_init, inp_nval.
6106         (init_case) Rewrite.
6107         (clear_case) Rewrite.
6108
6109         * inpt-pgm.h: Removed.
6110
6111 Sat Dec 27 21:36:38 2003  Ben Pfaff  <blp@gnu.org>
6112
6113         * hash.c: (hsh_hash_bytes) Use Fowler-Noll-Vo hash instead of
6114         Colin Plumb hash.  It is simpler and should better resist
6115         collisions.
6116         (hsh_hash_string) Ditto.
6117
6118 Sat Dec 27 21:34:57 2003  Ben Pfaff  <blp@gnu.org>
6119
6120         * get.c: (export_write_case_func) Remove debug printing code.
6121
6122 Sat Dec 27 21:11:09 2003  Ben Pfaff  <blp@gnu.org>
6123
6124         * get.c: (cmd_save_internal) Rename parameter.  Use &t->h instead
6125         of cast.
6126         (save_write_case_func) Use &trns->h instead of cast.
6127         (cmd_export) Use &t->h instead of cast.
6128
6129 Sat Dec 27 20:57:42 2003  Ben Pfaff  <blp@gnu.org>
6130
6131         Moved vectors into the dictionary.
6132
6133         * var.h: (struct vector) Moved here from vector.h.  `index' member
6134         renamed `idx', `v' renamed `var', `nv' renamed `cnt'.  All
6135         references updated.
6136         
6137         * vector.h: Removed.
6138
6139         * vector.c: (global var vec) Removed.
6140         (global var nvec) Removed.
6141         (cmd_vector) Rewritten.
6142         (find_vector) Removed.
6143
6144         * dictionary.c: (dict_create_vector) New function.
6145         (dict_get_vector) New function, replaces reading global vec[]
6146         array.
6147         (dict_get_vector_cnt) New function, replaces reading global nvec
6148         variable.
6149         (dict_lookup_vector) New function, replaces find_vector().
6150         (dict_clear_vectors) New function.
6151
6152 Sat Dec 27 20:54:01 2003  Ben Pfaff  <blp@gnu.org>
6153
6154         Start to move away from `struct variable' p `union' member to void
6155         * aux member.
6156
6157         * var.h: (struct variable) Add `aux' member.
6158
6159 Sat Dec 27 20:36:25 2003  Ben Pfaff  <blp@gnu.org>
6160
6161         Get rid of struct variable `foo' member.
6162
6163         * frequencies.q: (internal_cmd_frequencies) Use p.frq.used instead
6164         of foo.
6165         (frq_custom_variables) Ditto.
6166         (frq_custom_grouped) Ditto.
6167
6168         * get.c: (struct save_trns) Change `var' member from `int *' to
6169         `struct variable **'.
6170         (cmd_save_internal) Use aux instead of foo.
6171         (save_trns_proc) Use revised `var' member.
6172         (static var mtf_seq_no) Renamed mtf_seq_num.
6173         (static var mtf_seq_nums) New static var.
6174         (cmd_match_files) Initialize mtf_seq_nums.
6175         (mtf_free) Free mtf_seq_nums.
6176         (mtf_processing) Use mtf_seq_nums instead of foo.
6177         (mtf_merge_dictionary) No need to initialize mv->foo.
6178         (cmd_export) Use aux instead of foo.  Use revised `var' member.
6179         (mns_custom_tables) Don't use foo to check for duplicates, that's
6180         what PV_NO_DUPLICATE is for.
6181
6182         * var.h: (struct variable) Remove `foo' member.
6183         (struct frequencies_proc) New member.
6184         
6185 Sat Dec 27 19:46:13 2003  Ben Pfaff  <blp@gnu.org>
6186
6187         Clean up COMPUTE and IF.
6188
6189         * compute.c: More or less rewrite the darn thing.
6190         (struct compute_trns) Rename and reorder and add and delete
6191         members.
6192         (cmd_compute) Rewrite.
6193         (compute_num) Make conditional on test expression.  Now used for
6194         both COMPUTE and IF.
6195         (compute_num_vec) Ditto.
6196         (compute_str) Ditto.
6197         (compute_str_vec) Ditto.
6198         (cmd_if) Rewrite.
6199         (if_num) Removed.
6200         (if_num_vec) Removed.
6201         (if_str) Removed.
6202         (if_str_vec) Removed.
6203         (parse_target_expression) Renamed parse_rvalue_expression(),
6204         rewritten.
6205         (new_trns) Renamed compute_trns_create(), rewritten.
6206         (delete_trns) Removed.
6207         (free_trns) Renamed compute_trns_free(), rewritten.
6208         (struct lvalue) New structure.
6209         (parse_var_or_vec) Renamed lvalue_parse(), rewritten.
6210         (lvalue_get_type) New function.
6211         (lvalue_is_vector) New function.
6212         (lvalue_finalize) New function.
6213         (lvalue_destroy) New function.
6214         
6215 Sat Dec 27 19:44:14 2003  Ben Pfaff  <blp@gnu.org>
6216
6217         * command.def: Disallow MODIFY VARS in input mode, so that
6218         variables can't get dropped and confuse cmd_end_input_program()'s
6219         attempt to fill inp_init[].
6220         
6221         * modify-vars.c: (static var forward_positional_ordering) New
6222         variable.
6223         (struct var_modification) Entirely changed.
6224         (rearrange_dict) Interface changed, rewritten.
6225         (cmd_modify_vars) Deal with modified struct var_modification, much
6226         rewritten.
6227         (struct var_renaming) New structure.
6228         (compare_var_renaming_by_new_name) New function.
6229         (validate_var_modification) New function.
6230
6231         * var.h: (struct modify_vars_proc) Removed.
6232         (struct variable) Removed member p.mfv.
6233
6234 Sat Dec 27 19:40:26 2003  Ben Pfaff  <blp@gnu.org>
6235
6236         Make EVALUATE a valid command whether we're debugging or not, so
6237         that `make check' can succeed regardless of whether debugging is
6238         turned on.
6239         
6240         * command.def: [GLOBAL_DEBUGGING] Drop the #if.
6241
6242         * compute.c: [GLOBAL_DEBUGGING] (cmd_evaluate) Drop the #if.
6243
6244 Sat Dec 27 19:34:40 2003  Ben Pfaff  <blp@gnu.org>
6245
6246         * apply-dict.c: (cmd_apply_dictionary) Replace a ghastly switch
6247         statement by a simple if test.
6248
6249         * dfm.c: (dfm_get_record) Add assertion.
6250
6251 Sat Dec 27 17:51:26 2003  Ben Pfaff  <blp@gnu.org>
6252
6253         For each file x.c, move #include "x.h" to the very top of the
6254         include list, to catch x.h failing to include the proper headers.
6255
6256 Sat Dec 27 17:50:19 2003  Ben Pfaff  <blp@gnu.org>
6257
6258         * algorithm.c: (find) New function.
6259         (remove_equal) New function.
6260         (set_difference) New function.
6261         (adjacent_find_equal) New function.
6262         [TEST_UNIQUE] Removed test case.
6263         (copy_if) Find end test.
6264
6265 Sat Dec 27 17:42:45 2003  Ben Pfaff  <blp@gnu.org>
6266
6267         * dictionary.c: (dict_get_case_weight) New convenience function.
6268
6269         * aggregate.c: (accumulate_aggregate_info) Use
6270         dict_get_case_weight().
6271
6272         * frequencies.q: (calc_general) Ditto.
6273         (calc_integer) Ditto.
6274         (calc) Ditto.
6275
6276         * t-test.q: (groups_calc) Ditto.
6277         (z_calc) Ditto.
6278
6279 Sat Dec 27 17:29:45 2003  Ben Pfaff  <blp@gnu.org>
6280
6281         * glob.c: (global var default_dict) Change from `struct
6282         dictionary' to `struct dictionary *'.  All references changed.
6283         (init_glob) Initialize default_dict with dict_create().
6284
6285 Sat Dec 27 17:06:06 2003  Ben Pfaff  <blp@gnu.org>
6286
6287         struct dictionary now made opaque.  All related functions:
6288
6289         * get.c: (rename_variables) Removed.
6290         (dict_delete_run) Removed.
6291         
6292         * temporary.c: (copy_variable) Removed.
6293         (new_dictionary) Removed.
6294         (save_dictionary) Removed.
6295         (restore_dictionary) Removed.
6296         (free_dictionary) Removed.
6297
6298         * vars-atr.c: (clear_default_dict) Removed.
6299         (find_variable) Removed.
6300         (find_dict_variable) Removed.
6301         (create_variable) Removed.
6302         (delete_variable) Removed.
6303         (common_init_stuff) Removed.
6304         (init_variable) Removed.  Updating of inp_init moved into
6305         cmd_end_input_program().
6306         (replace_variable) Removed.
6307         (rename_variable) Removed.
6308         (clear_variable) Removed.
6309         (dup_variable) Removed.
6310
6311         * vars-prs.c: (is_varname) Removed.
6312         (is_dict_varname) Removed.
6313         (fill_all_vars) Removed.
6314
6315         * vector.c: (find_vector) Removed.
6316
6317         * weight.c: (stop_weighting) Removed.
6318
6319         * dictionary.c: New file.
6320         (dict_create) New, replaces new_dictionary().
6321         (dict_clone) New, replaces save_dictionary() and
6322         restore_dictionary().
6323         (dict_clear) New, replaces clear_default_dict().
6324         (dict_destroy) New, replaces free_dictionary().
6325         (dict_get_var_cnt) New function, replaces references to
6326         dict->nvar.
6327         (dict_get_var) New function, replaces references to dict->var[i].
6328         (dict_get_vars) New function, replaces fill_all_vars().
6329         (dict_create_var) New, replaces create_variable().  Interface
6330         drops `type' parameter, using a zero `width' to designate numeric.
6331         (dict_clone_var) New, replaces dup_variable().
6332         (dict_rename_var) New, replaces rename_variable().
6333         (dict_lookup_var) New, replaces find_variable(),
6334         find_dict_variable(), is_varname().
6335         (dict_contains_var) New function.
6336         (compare_variable_dblptrs) New function.
6337         (dict_delete_var) New function, replaces clear_variable().
6338         (dict_delete_vars) New function, replaces dict_delete_run().
6339         (dict_reorder_vars) New function.
6340         (dict_rename_vars) New function, replaces rename_variables().
6341         (dict_get_weight) New function, replaces reading dict->weight_var.
6342         (dict_set_weight) New function, replaces writing dict->weight_var
6343         or calling stop_weight(dict).
6344         (dict_get_filter) New function, replaces reading dict->filter_var.
6345         (dict_set_filter) New function, replaces writing dict->filter_var.
6346         (dict_get_case_limit) New function, replaces reading dict->N.
6347         (dict_set_case_limit) New function, replaces writing dict->N.
6348         (dict_get_value_cnt) New function, replaces reading dict->nval.
6349         (dict_compact_values) New function, replaces a loop that was
6350         replicated in several places.
6351         (dict_get_split_vars) New function, replaces reading dict->splits.
6352         (dict_get_split_cnt) New function, replaces reading
6353         dict->n_splits.
6354         (dict_set_split_vars) New function, replaces writing dict->splits.
6355         (dict_get_label) New function, replaces reading dict->label.
6356         (dict_set_label) New function, replaces writing dict->label.
6357         (dict_get_documents) New function, replaces reading
6358         dict->documents.
6359         (dict_set_documents) New function, replaces writing
6360         dict->documents.
6361         
6362         All references to above functions updated.
6363         
6364         * aggregate.c: (cmd_aggregate) Copy file label and documents from
6365         old dictionary to new by hand, because dict_create() can't do it
6366         itself.  Use dict_set_documents(), dict_set_split_vars().
6367
6368         * temporary.c: (cancel_temporary) Also set temp_dict to NULL after
6369         calling dict_destroy().
6370
6371         * data-list.c: (dls_var_spec) Remove `type' member, replace by
6372         `width'.
6373         (fixed_parse_compatible) Some slightly nontrivial changes for
6374         dict_create_var().
6375         (dump_fmt_list) Ditto.
6376         (parse_free) Ditto.
6377
6378         * file-type.c: (create_col_var) Ditto.
6379
6380         * get.c: (cmd_get) Use dict_compact_values() instead of a loop.
6381         (trim_dictionary) Use dict_delete_vars(), dict_reorder_vars().
6382         (rename_variables) Use dict_rename_vars().
6383         (mtf_merge_dictionary) Use dict_get_documents(),
6384         dict_set_documents(), dict_compact_values().
6385
6386         * pfm-read.c: (read_variables) Deal with changes to weighting.
6387
6388         * q2c.c: (dump_parser) Use dict_lookup_var() instead of
6389         is_varname() in output code.
6390
6391         * sfm-read.c: (read_header) Use dict_create(), dict_set_label(),
6392         other dictionary functions.
6393
6394         * title.c: (add_document_line) Use dict_get_documents(),
6395         dict_set_documents().
6396
6397         * vars-atr.c: (discard_variables) Use dict_clear(default_dict),
6398         reset default_handle by hand.  dict_clear() will clear vectors so
6399         there's no need for that by hand.
6400
6401         * vfm.c: (close_active_file) Move call to finish_compaction()
6402         earlier, so that we can do the compaction as a single step using
6403         dict_compact_values().  Use dict_clear_vectors().
6404         (finish_compaction) Use dict_delete_var(), dict_compact_values().
6405                 
6406         Some functions don't have replacements:
6407
6408         * vars-atr.c: (force_create_variable) Removed.  All references
6409         updated to dict_create_var() followed by an assertion.
6410         (force_dup_variable) Removed.  All references updated to
6411         dict_clone_var() followed by an assertion.
6412         
6413         * weight.c: (update_weighting) Removed.  No longer necessary, so
6414         all references removed.
6415
6416 Sat Dec 27 16:43:01 2003  Ben Pfaff  <blp@gnu.org>
6417
6418         Clean up AGGREGATE.
6419         
6420         * aggregate.c: Eliminate separation of weighted and unweighted
6421         case.  It made the code too obscure and I doubt it was actually
6422         faster.  Instead, all code uses the "weighted" code, because
6423         that's a generalization of the "unweighted" code.
6424         (FWEIGHT) Removed.
6425         (FOPTIONS) Ditto.
6426         (parse_aggregate_functions) No need to set FWEIGHT.
6427         (accumulate_aggregate_info) Get rid of FWEIGHT cases.
6428         (dump_aggregate_info) Ditto.
6429         (initialize_aggregate_info) No need for special plain_function
6430         that gets rid of FWEIGHT option.
6431
6432         * aggregate.c: Get rid of approximations.
6433         (accumulate_aggregate_info) Don't use approx_gt(), approx_lt(),
6434         approx_in_range().
6435         (aggregate_single_case) Don't use approx_ne().
6436
6437 Sat Dec 27 16:19:36 2003  Ben Pfaff  <blp@gnu.org>
6438
6439         * ascii.c (ascii_line_width): Dead code, removed.
6440
6441         * postscript.c (ps_line_width): Ditto.
6442
6443         * q2c.c (xrealloc): Ditto.
6444
6445         * count.c (internal_cmd_count): Ditto.
6446
6447         * means.q (validate_dependent_endpoint): Ditto.
6448
6449         * set.q: (cmd_gset) Ditto.
6450
6451         * weight.c: [0] (weight_trns_proc) Ditto.
6452
6453 Sat Dec 27 16:18:16 2003  Ben Pfaff  <blp@gnu.org>
6454
6455         Make the code -Wmissing-prototypes clean.
6456
6457         * Makefile.am (version.c): Add #include "version.h".
6458         
6459         * ascii.c: (ascii_open_global) Make static.
6460         (ascii_close_page) Ditto.
6461         (ascii_font_sizes) Ditto.
6462         (ascii_postopen_driver) Ditto.
6463         (ascii_close_driver) Ditto.
6464         (ascii_option) Ditto.
6465         (ascii_open_page) Ditto.
6466         (ascii_line_horz) Ditto.
6467         (ascii_line_vert) Ditto.
6468         (ascii_line_intersection) Ditto.
6469         (ascii_box) Ditto.
6470         (ascii_polyline_begin) Ditto.
6471         (ascii_polyline_point) Ditto.
6472         (ascii_polyline_end) Ditto.
6473         (ascii_text_set_font_by_name) Ditto.
6474         (ascii_text_set_font_by_position) Ditto.
6475         (ascii_text_set_font_by_family) Ditto.
6476         (ascii_text_get_font_name) Ditto.
6477         (ascii_text_get_font_family) Ditto.
6478         (ascii_text_set_size) Ditto.
6479         (ascii_text_get_size) Ditto.
6480         (ascii_text_metrics) Ditto.
6481         (ascii_text_draw) Ditto.
6482         (ascii_close_page) Ditto.
6483
6484         * cmdline.h: New header for parse_command_line().  Used where
6485         needed.
6486
6487         * command.c: Move prototypes for cmd_*() functions to command.h.
6488
6489         * command.h: Prototypes for cmd_*() functions moved here from
6490         command.c.
6491
6492         * crosstabs.q: (gamma_int) Ditto.
6493
6494         * file-handle.h: Add fh_init_files() prototype.
6495         
6496         * getline.c: (welcome) Ditto.
6497
6498         * glob.h: New header for init_glob().  Used where appropriate.
6499
6500         * hash.c: (comparison_helper) Ditto.
6501
6502         * html.c: (html_open_global) Ditto.
6503         (html_close_global) Ditto.
6504         (html_preopen_driver) Ditto.
6505         (html_postopen_driver) Ditto.
6506         (html_close_driver) Ditto.
6507         (html_option) Ditto.
6508         (html_open_page) Ditto.
6509         (html_close_page) Ditto.
6510         (html_submit) Ditto.
6511
6512         * inpt-pgm.c: (input_program_source_read) Ditto.
6513
6514         * output.c: (find_defn_value) Ditto.
6515         (destroy_list) Ditto.
6516
6517         * pfm-read.c: (read_int) Ditto.
6518
6519         * postscript.c: (ps_open_global) Ditto.
6520         (ps_close_global) Ditto.
6521         (ps_font_sizes) Ditto.
6522         (ps_preopen_driver) Ditto.
6523         (ps_postopen_driver) Ditto.
6524         (ps_close_driver) Ditto.
6525         (ps_option) Ditto.
6526         (ps_open_page) Ditto.
6527         (ps_close_page) Ditto.
6528         (ps_line_horz) Ditto.
6529         (ps_line_vert) Ditto.
6530         (ps_line_intersection) Ditto.
6531         (ps_box) Ditto.
6532         (ps_polyline_begin) Ditto.
6533         (ps_polyline_point) Ditto.
6534         (ps_polyline_end) Ditto.
6535         (ps_text_set_font_by_name) Ditto.
6536         (ps_text_set_font_by_position) Ditto.
6537         (ps_text_set_font_family) Ditto.
6538         (ps_text_get_font_name) Ditto.
6539         (ps_text_get_font_family) Ditto.
6540         (ps_text_set_size) Ditto.
6541         (ps_text_get_size) Ditto.
6542         (ps_text_metrics) Ditto.
6543         (ps_text_draw) Ditto.
6544
6545         * q2c.c: (finish_up) Ditto.
6546         (xmalloc) Ditto.
6547         (xstrdup) Ditto.
6548         (get_buffer) Ditto.
6549         (st_lower) Ditto.
6550         (st_upper) Ditto.
6551         (skip_ws) Ditto.
6552         (get_line) Ditto.
6553         (add_symbol) Ditto.
6554         (find_symbol) Ditto.
6555         (lex_get) Ditto.
6556         (force_id) Ditto.
6557         (force_string) Ditto.
6558         (match_id) Ditto.
6559         (match_token) Ditto.
6560         (skip_token) Ditto.
6561         (parse) Ditto.
6562         (parse_setting) Ditto.
6563         (parse_specifier) Ditto.
6564         (parse_specifiers) Ditto.
6565         (parse_subcommand) Ditto.
6566         (dump_specifier_vars) Ditto.
6567         (is_keyword) Ditto.
6568         (make_identifier) Ditto.
6569         (dump_declarations) Ditto.
6570         (dump_specifier_init) Ditto.
6571         (dump_vars_init) Ditto.
6572         (make_match) Ditto.
6573         (dump_specifier_parse) Ditto.
6574         (dump_subcommand) Ditto.
6575         (dump_parser) Ditto.
6576         (dump_header) Ditto.
6577         (dump_free) Ditto.
6578         (recognize_directive) Ditto.
6579
6580         * recode.c: (string_to_long) Ditto.
6581
6582         * repeat.c: (find_DO_REPEAT_substitution) Ditto.
6583
6584         * repeat.h: New header for perform_DO_REPEAT_substitutions, used
6585         where appropriate.
6586
6587         * sort.c: (sort_stream_read) Ditto.
6588         (sort_stream_mode) Ditto.
6589         
6590 Fri Dec 19 23:35:04 2003  Ben Pfaff  <blp@gnu.org>
6591
6592         * algorithm.c (binary_search): Fix comparison.
6593
6594 Fri Dec 19 23:27:45 2003  Ben Pfaff  <blp@gnu.org>
6595
6596         * algorithm.c: (binary_search) Fix assertion.
6597
6598 Fri Dec 19 21:31:48 2003  Ben Pfaff  <blp@gnu.org>
6599
6600         * sysfile-info.c: (compare_vectors_by_name) Rewrite.
6601
6602 Fri Dec 19 21:30:24 2003  Ben Pfaff  <blp@gnu.org>
6603
6604         * sort.c: (compare_case_lists) Rewrite.
6605
6606 Fri Dec 19 16:44:22 2003  Ben Pfaff  <blp@gnu.org>
6607
6608         * quicksort.c: Removed (not used).
6609
6610         * quicksort.h: Removed (not used).
6611
6612         * sort.c: Removed blp_quicksort() prototype.
6613
6614 Fri Dec 19 16:42:13 2003  Ben Pfaff  <blp@gnu.org>
6615
6616         * postscript.c: (int_2_compare) Rewrite.
6617         (compare_line) Rewrite.
6618
6619 Fri Dec 19 16:38:35 2003  Ben Pfaff  <blp@gnu.org>
6620
6621         * matrix-data.c (compare_factors) Use lexicographical_compare()
6622         algorithm.
6623         (compare_doubles) New function.
6624         
6625         * algorithm.c: (lexicographical_compare) New algorithm.
6626
6627 Fri Dec 19 16:23:45 2003  Ben Pfaff  <blp@gnu.org>
6628
6629         * matrix-data.c (compare_variables_by_mxd_vartype): Rewrite.
6630
6631 Fri Dec 19 15:54:45 2003  Ben Pfaff  <blp@gnu.org>
6632
6633         * expr-prs.c: (cmp_func) Removed.
6634         (parse_function) Use binary_search() algorithm.
6635         (compare_functions) New function.
6636         (init_func_tab) Use sort() algorithm.
6637
6638         * algorithm.c: (binary_search) New algorithm.
6639
6640 Fri Dec 19 15:50:45 2003  Ben Pfaff  <blp@gnu.org>
6641
6642         * descript.q: (display) Use sort() algorithm instead of qsort().
6643         (compare_func) Removed.
6644         (descriptives_compare_variables) New function.
6645
6646 Fri Dec 19 15:08:38 2003  Ben Pfaff  <blp@gnu.org>
6647
6648         Get rid of AVL trees.  Hashes are more appropriate for everything
6649         PSPP does.
6650
6651         * Makefile.am: (pspp_SOURCES) Remove avl.c, avl.h.
6652         
6653         * avl.c: Removed.
6654
6655         * avl.h: Removed.
6656
6657 Fri Dec 19 14:33:31 2003  Ben Pfaff  <blp@gnu.org>
6658
6659         Much code can be clarified by using C++ STL-like algorithms.  Not
6660         all uses of these algorithms are listed below, only the ones where
6661         the change to an algorithm was the only change of interest.
6662         
6663         * Makefile.am: (pspp_SOURCES) Add algorithm.c, algorithm.h.
6664         
6665         * algorithm.c: New file.
6666
6667         * algorithm.h: New file.
6668
6669         * modify-vars.c: (static var forward) Removed.
6670         (static var positional) Removed.
6671         (compare_variables) Removed.
6672         (struct ordering) New.
6673         (cmd_modify_vars) Use sort() algorithm.
6674         (compare_variables_given_ordering) New function.
6675         (rearrange_dict) Use sort() algorithm.
6676
6677         * sysfile-info.c: (cmd_display) Use sort() algorithm.
6678         (cmp_var_by_name) Removed.
6679
6680 Fri Dec 19 14:26:17 2003  Ben Pfaff  <blp@gnu.org>
6681
6682         Make file handles use a hash table.
6683         
6684         * file-handle.q: (files) Change to hash table, make static.
6685         (cmd_file_handle) Use hash table functions.
6686         (fh_get_handle_by_filename) Ditto.
6687         (fh_get_handle_by_name) Ditto.
6688         (hash_file_handle) New function.
6689         (cmp_file_handle) Rewrite.
6690         (fh_init_files) Use hash table functions.
6691
6692 Fri Dec 19 14:24:38 2003  Ben Pfaff  <blp@gnu.org>
6693
6694         Clean up FREQUENCIES.
6695         
6696         * Makefile.am: (pspp_SOURCES) Remove frequencies.g.
6697
6698         * frequencies.q: Remove a lot of old #if'd out code at the end.
6699         (internal_cmd_frequencies) Use calc() instead of calc_no_weight()
6700         or calc_weight().  Initialize percentile_values.
6701         (calc) New function based on calc_weight() from frequencies.g.
6702         (precalc) Use hash functions.
6703         (static var comparison_func) Removed.
6704         (static var comparison_param) Removed.
6705         (comparison_helper) Removed.
6706         (get_freq_comparator) New function.
6707         (not_missing) New function.
6708         (add_freq) Removed.
6709         (postprocess_freq_tab) Use hash table functions, algorithms,
6710         get_freq_comparator().  Rewrite.
6711         (cleanup_freq_tab) Rephrase.
6712         (add_percentile) Clean up spacing.
6713         (hash_value_numeric) New function.
6714         (hash_value_alpha) New function.
6715         (compare_value_numeric_a) Rewrite.
6716         (compare_value_alpha_a) Rewrite.
6717         (compare_value_numeric_d) Rewrite.
6718         (compare_value_alpha_d) Rewrite.
6719         (compare_freq_numeric_a) Rewrite.
6720         (compare_freq_alpha_a) Rewrite.
6721         (compare_freq_numeric_d) Rewrite.
6722         (compare_freq_alpha_d) Rewrite.
6723         (calc_stats) Clean up mode, percentiles, max.
6724         (dump_statistics) Clean up spacing.
6725         
6726         * frequencies.g: Removed.
6727
6728         * var.h: (struct freq_tab) Change `data' to hash table.
6729
6730 Fri Dec 19 14:15:46 2003  Ben Pfaff  <blp@gnu.org>
6731
6732         * file-handle.h: Remove declaration of global variable `files',
6733         which wasn't used anywhere.
6734
6735         * postscript.c: (add_encoding) Remove superfluous cast.
6736         (line) Ditto.
6737
6738         * sfm-read.c: [linux] (bswap_int32) Drop ntohl() non-portable
6739         version.
6740
6741         * temporary.c: [0] (display_tree) Removed.
6742
6743 Fri Dec 19 14:13:04 2003  Ben Pfaff  <blp@gnu.org>
6744
6745         Implement a new random number generator based on the alleged RC4
6746         algorithm.
6747
6748         * expr-evl.c: (expr_evaluate) Use rng_get_double_normal() instead
6749         of rand_normal().
6750
6751         * random.c: [!HAVE_GOOD_RANDOM] (real_rand) Removed.
6752         [!HAVE_GOOD_RANDOM] (real_srand) Removed.
6753         (macro k) Removed.
6754         (static var V[]) Removed.
6755         (static var Y) Removed.
6756         (static var X2) Removed.
6757         (setup_randomize) Removed.
6758         (shuffle) Removed.
6759         (rand_uniform) Removed.
6760         (rand_normal) Removed.
6761         (struct rng) New structure.
6762         (rng_create) New function.
6763         (rng_destroy) New function.
6764         (swap_byte) New static function.
6765         (rng_seed) New function.
6766         (rng_get_bytes) New function.
6767         (rng_get_int) New function.
6768         (rng_get_unsigned) New function.
6769         (rng_get_double) New function.
6770         (rng_get_double_normal) New function.
6771         (pspp_rng) New function.
6772
6773         * random.h: Sync up to random.c.
6774
6775         * sample.c: (struct sample_trns) Make `frac' unsigned and a
6776         fraction of UINT_MAX, not 65536.
6777         (cmd_sample) Use rng_get_unsigned(), rng_get_double(), UINT_MAX
6778         fraction.
6779
6780         * vfm.c: (open_active_file) No need to call setup_randomize() any
6781         longer.
6782
6783 Fri Dec 19 12:05:56 2003  Ben Pfaff  <blp@gnu.org>
6784
6785         Change dictionary name indexes to use hash tables instead of AVL
6786         trees.
6787
6788         * crosstabs.q: (free_var_dict) Use hash tables.
6789         (crs_custom_tables) Ditto.
6790         (calc_general) Ditto.
6791         (compare_table_entry) Rewrite.
6792         (enum_var_values) Reorder parameters.  All references updated.
6793         Rewrite.
6794
6795         * get.c: (rename_variable) Use hash tables.
6796         (mtf_merge_dictionary) Ditto.
6797
6798         * glob.c: (init_glob) Use hash tables.
6799         (cmp_variable) Removed.
6800
6801         * means.q: (mns_custom_tables) Use hash tables.
6802
6803         * modify-vars.c: (rearrange_dict) Use hash tables.
6804
6805         * rename-vars.c: (cmd_rename_variables) Use hash tables.
6806
6807         * sfm-read.c: (read_header) Use hash tables.
6808         (read_variables) Ditto.
6809
6810         * temporary.c: (new_dictionary) Use hash tables.
6811         (save_dictionary) Ditto.
6812         (restore_dictionary) Ditto.
6813
6814         * var.h: (struct dictionary) Change AVL tree `var_by_name' into
6815         hash table `name_tab'.
6816
6817         * vars-atr.c: [DEBUGGING] (dump_one_var_node) Removed.
6818         [DEBUGGING] (dump_var_tree) Removed.
6819         (find_variable) Use hash tables.
6820         (find_dict_variable) Ditto.
6821         (common_init_stuff) Ditto.
6822         (rename_variable) Ditto.
6823         (clear_variable) Ditto.  Also, remove debug code.
6824         (dup_variable) Use hash tables.
6825
6826         * vars-prs.c: (fill_all_vars) Use hash tables.
6827         (is_dict_varname) Ditto.
6828         (parse_dict_variable) Ditto.
6829         
6830 Fri Dec 19 11:46:23 2003  Ben Pfaff  <blp@gnu.org>
6831
6832         Change value labels to use hash tables instead of AVL trees, and
6833         change value labels into an ADT.
6834
6835         * Makefile.am: (pspp_SOURCES) Add value-labels.c, value-labels.h.
6836         
6837         * value-labels.c: New file.
6838
6839         * value-labels.h: New file.
6840
6841         * apply-dict.c: (cmd_apply_dictionary) Use value label ADT.
6842         Get rid of a stupid use of goto.
6843
6844         * autorecode.c: (compare_alpha_value) Rewrite.
6845         (hash_alpha_value) Ditto.
6846         (compare_numeric_value) Rewrite.
6847         (hash_numeric_value) Ditto.
6848
6849         * frequencies.q: (dump_full) Use value label ADT.
6850
6851         * pfm-read.c: (read_value_label) Use value label ADT.
6852
6853         * pfm-write.c: (write_value_labels) Use value label ADT.
6854
6855         * sfm-read.c: (read_variables) Use value label ADT.
6856         (read_value_labels) Rewrite.
6857
6858         * sfm-write.c: (write_value_labels) Rewrite.
6859
6860         * sysfile-info.c: (cmd_sysfile_info) Use value label ADT.
6861         (display_variables) Ditto.
6862         (describe_variable) Ditto.
6863
6864         * t-test.q: (print_t_groups) Use value label ADT.
6865
6866         * temporary.c: (copy_variable) Use value label ADT.
6867         (free_dictionary) Ditto.
6868
6869         * val-labs.c: (verify_val_labs) Use value label ADT.
6870         (get_label) Ditto.
6871         (debug_print) Ditto.
6872         (val_lab_cmp) Removed.
6873         (inc_ref_count) Removed.
6874         (copy_value_labels) Removed.
6875
6876         * var.h: (struct value_label) Removed.
6877         (struct variable) Change AVL tree `val_lab' into hash table
6878         `val_labs'.
6879
6880         * vars-atr.c: (init_variable) Use value label ADT.
6881         (clear_variable) Ditto.
6882         (free_value_label) Removed.
6883         (free_val_lab) Removed.
6884         (get_val_lab) Removed.
6885         (compare_variables) New function.
6886         (hash_variable) New function.
6887
6888         * vfm.c: (dump_splits) Use value label ADT.
6889
6890 Fri Dec 19 11:18:11 2003  Ben Pfaff  <blp@gnu.org>
6891
6892         Add to the hash table interface.
6893
6894         * hash.c: (hsh_hash_bytes) Add assertion.
6895         (hsh_hash_string) Ditto.
6896         (hsh_clear) Ditto.
6897         (hsh_rehash) Ditto.
6898         (hsh_probe) Ditto.
6899         (hsh_create) Ditto.  Also make minimum `size'.
6900         (hsh_destroy) Rephrase.
6901         (sort_nulls_last) Removed.
6902         (not_null) New function.
6903         (hsh_data) Ditto.
6904         (comparison_helper) Ditto.
6905         (hsh_sort) Rewritten.
6906         (hsh_data_copy) New function.
6907         (hsh_sort_copy) Ditto.
6908         (hsh_insert) Ditto.
6909         (hsh_replace) Ditto.
6910         (hsh_hash_double) Ditto.
6911         (hsh_delete) Fix stupid bug.
6912         
6913 Thu Dec 18 12:27:03 WAST 2003 John Darrington <john@darrington.wattle.id.au>
6914         * added a calculation of the mode to FREQUENCIES
6915
6916 Wed Dec 17 12:53:01 WAST 2003 John Darrington <john@darrington.wattle.id.au>
6917
6918         * moved (un)defs of DEBUGGING to config.h
6919
6920 Mon Dec 15 21:35:59 2003  Ben Pfaff  <blp@gnu.org>
6921
6922         * groff-font.c: (add_kern) Fix indentation.
6923         (add_kern) Use & instead of % to take power-of-2 modulus.
6924         (font_get_kern_adjust) Likewise.
6925
6926 Fri Dec 12 23:54:37 2003  Ben Pfaff  <blp@gnu.org>
6927
6928         * autorecode.c: (recode) Replace stupid use of memcpy() by
6929         memberwise copy.
6930         (hash_alpha_value) Use hsh_hash_bytes().  Get rid of nasty casts.
6931         (hash_numeric_value) Ditto.
6932         (autorecode_proc_func) pool_strdup() was wrong here because the
6933         source string was not null-terminated.  Use new pool_strndup()
6934         instead.
6935
6936         * crosstabs.q: (enum_var_values) Remove superfluous and bizarre
6937         use of hsh_iterator_init().
6938
6939         * data-in.c: (parse_N) Initialize i->v->f.
6940
6941         * flip.c: (cmd_flip) Use memmove(), not memcpy(), to copy
6942         overlapping arrays.
6943
6944         * groff-font.c: Use power-of-2 hash table sizes, not prime.
6945         (groff_read_font) Don't call hsh_next_prime().  Don't call
6946         fclose(NULL).
6947         (static var hash) Remove `size_p', `max_used' members.
6948         (font_char_name_to_index) Don't call hsh_next_prime().  Use
6949         hsh_hash_string() instead of hashpjw(), & instead of %.
6950         (default_font) Don't call hsh_next_prime().
6951
6952         * pool.c: (pool_strndup) New function.
6953         (pool_strdup) Reimplement in terms of pool_strndup.
6954
6955         * postscript.c: (hash_font_entry) Use hsh_hash_string().  Get rid
6956         of nasty casts.
6957         (hash_ps_encoding) Use hsh_hash_string().
6958         (hash_ps_combo) Use hsh_hash_string(), hsh_hash_int().
6959         (hash_filename2font) Use hsh_hash_string().
6960
6961         * som.c: Add #include <stdlib.h>.
6962
6963         * tab.c: (tab_destroy) Don't set t->container after freeing `t'
6964         (by destroying its pool).
6965         
6966 Fri Dec 12 23:18:59 2003  Ben Pfaff  <blp@gnu.org>
6967
6968         Miscellaneous hash table code cleanup:
6969         
6970         * hash.h: (struct hsh_table) Moved into hash.c.
6971         (hsh_count) Ditto, and transformed into function.
6972         (hsh_compare_func) New typedef, used for defining otherwise-long
6973         function types here and in hash.c
6974         (hsh_hash_func) Ditto.
6975         (hsh_free_func) Ditto.
6976         
6977         * hash.c: (struct hsh_table) Renamed `n' to `used', `m' to `size',
6978         `table' to `entries'.  Removed `mp'.  All references updated.
6979         (hsh_clear) Don't shrink entries array; if the hash was this big
6980         once, it probably will be again.
6981         (hsh_rehash) Made static.
6982         (force_hsh_insert) Renamed hsh_force_insert.
6983         (force_hsh_find) Renamed hsh_force_find.
6984
6985         Made hash table sizes powers of 2, because that's fine with any
6986         reasonable hash function and because taking a power-of-2 modulus
6987         is faster than any other:
6988         
6989         (hsh_prime_tab) Removed;
6990         (hsh_next_prime) Ditto.
6991         (next_power_of_2) New function.
6992         (hsh_create) Use next_power_of_2.
6993         (hsh_rehash) Use & instead of %.
6994
6995         Cleaned up hsh_sort:
6996         
6997         (internal_comparison_fn) Removed.
6998         (sort_nulls_last) New function.
6999         (hsh_sort) Removed second parameter, switched to using the new
7000         quicksort() function from quicksort.h to avoid using nasty need
7001         for static variables with qsort().  All references updated.
7002
7003         Changed the hash functions offered, because there are better hash
7004         functions than the ones we had, and cleaned up the names to boot:
7005         
7006         * hash.c: (hashpjw_d) Removed.
7007         (hashpjw) Ditto.
7008         (hsh_hash_bytes) New function.
7009         (hsh_hash_string) New function.
7010         (hsh_hash_int) New function.
7011
7012         Improved the hash table iteration interface:
7013         
7014         * hash.h: (hsh_iterator_init) Removed.
7015         (struct hsh_iterator) Removed `init' member, change `next' to
7016         size_t.
7017
7018         * hash.c: (hsh_foreach) Removed.  All references updated to use
7019         hsh_first/hsh_next instead.
7020         (hsh_first) New function.  Notably, unlike hsh_foreach() it does
7021         not treat a null pointer as an empty hash table.
7022         (hsh_next) New function.
7023
7024         Made deletion possible, though slow:
7025
7026         * hash.c: (locate_matching_entry) New function.
7027         (hsh_find) Use locate_matching_entry().
7028         (hsh_delete) New function also using locate_matching_entry().
7029         (hsh_force_delete) New function.
7030
7031 Fri Dec 12 23:16:10 2003  Ben Pfaff  <blp@gnu.org>
7032
7033         * quicksort.c: New file implementing a sort routine with a
7034         interface better than qsort() because it passes a user-provided
7035         parameter to the sort routine.
7036
7037         * Makefile.am: Add quicksort.c, quicksort.h.
7038
7039 Fri Dec 12 13:31:58 2003  Ben Pfaff  <blp@gnu.org>
7040
7041         * All source files: Get rid of nasty special cases for Checker,
7042         which is pretty obsolete now.
7043
7044 Thu Dec 11 21:38:24 WST 2003 John Darrington <john@darrington.wattle.id.au>
7045
7046         * Fixed a bug apparent when using the FREQUENCIES command with the
7047         html driver.  The html driver was incorrectly trying to display 
7048         empty cells.
7049
7050 Sun Jan  2 21:40:13 2000  Ben Pfaff  <blp@gnu.org>
7051
7052         * Makefile.am: Reorganized.  Put locale dir in version.c instead
7053         of passing it to each compile command.  Only put local gmp libs in
7054         LD_ADD if not installed on system.  Remove `boast' target.
7055
7056         * All source files: struct and union typedefs eliminated.
7057         `sizeof type' replaced by `sizeof object' where practical.  Moved
7058         `unused' qualifiers from start to end of declarations for gcc
7059         2.7.2 compatibility.  Change `while (1)' to `for (;;)'.  Made
7060         assertions on pointers strictly compliant.  Removed _ prefixes on
7061         some function parameter names.
7062
7063         * alloc.c: New source file, containing these external linkage
7064         functions removed from common.c: xmalloc, xcalloc, xrealloc,
7065         xstrdup.
7066
7067         * arena.c: Removed.
7068         
7069         * arena.h: Removed.
7070
7071         * ascii.c: Migrated from arenas to pools.
7072         (struct ascii_driver_ext) ops[], box[], fonts[] changed from
7073         c_string to len_string.  All references changed.
7074         (ascii_option) Signature changed to comply to new output.c
7075         interface.
7076         (count_fancy_chars) Removed.
7077         (delineate) Removed support for rich text.
7078         (ascii_text_metrics) Ditto.
7079         (text_draw) Ditto.
7080         (output_shorts) Change `box', `off', `on' from c_string to
7081         len_string.  Change `remaining' from int to size_t.
7082         (ascii_close_page) Make page numbering less haphazard.
7083
7084         * autorecode.c: Migrate from arenas to pools.
7085
7086         * avl.c: Migrate from arenas to pools.  Synch from libavl 1.4.0.
7087
7088         * bitvector.h: New file containing these macros from misc.h:
7089         SET_BIT, CLEAR_BIT, SET_BIT_TO, TEST_BIT, BIT_INDEX.
7090
7091         * command.c: (struct command) cmd1, cmd2, cmd3 members changed to
7092         word[3].  ncmd removed.
7093         (var empty_string) Removed.
7094         (var cmd_table) Declaration updated.
7095         (var cmdtab) Removed.
7096         (cmp_command) Removed.
7097         (split_words) Rewritten to use strtok_r().
7098         (init_cmd_parser) Renamed cmd_init().  Rewritten.
7099         (find_command) Removed.
7100         (FILE_TYPE_okay) Rewritten.
7101         (cmd_parse) Rewritten.  Semantics of the return value of command
7102         handlers has changed: they must now return one of the new CMD_*
7103         enumerals, rather than a magic value.  This meant that all
7104         commands had to be modified, and they were.
7105         (figure_out_command) New function.
7106
7107         * command.def: Add CORRELATIONS, PEARSON CORRELATIONS.  Add
7108         #defines for INIT, INPU, etc.
7109
7110         * command.h: New CMD_* enum series.
7111         (cur_proc) Make const char *, not char *.
7112         (cmd_init) Prototype.
7113         (cmd_parse) Ditto.
7114
7115         * common.c: Removed.
7116
7117         * common.h: Removed.
7118
7119         * correlations.q: New file.
7120
7121         * crosstabs.q: Migrate from arenas to pools.  Migrate to new-style
7122         q2c.
7123         (custom_tables) Renamed crs_custom_tables().
7124         (custom_variables) Renamed crs_custom_variables().
7125         (calc_integer) Add in some `const' qualifiers.
7126         (table_value_missing) Change from a_string to len_string.
7127         (float_M_suffix) Change from a_string to len_string.
7128
7129         * data-in.c: Rewritten.  All references to
7130         parse_string_as_format() changed to data_in().
7131
7132         * data-in.h: New file.
7133
7134         * data-list.c: Change DLS_* from #define's to enums.  Move from
7135         rpd_msg() to tmsg().
7136         (RPD_ERR) New #define.
7137         (do_reading) Change dfm_push_cust() to dfm_push(), pop_cust() to
7138         dfm_pop().
7139         (read_from_data_list_fixed) Change from old
7140         parse_string_as_format() to new data_in().
7141         (read_from_data_list_free) Ditto.
7142         (read_from_data_list_list) Ditto.
7143         (cmd_repeating_data) Modify approach to checking for end of
7144         command.
7145         (rpd_msg) Removed.
7146         (rpd_parse_record) Change from old parse_string_as_format() to new
7147         data_in().  Change from old convert_format_to_string() to new
7148         data_out().
7149         (read_one_set_of_repetitions) Change dfm_push_cust() to
7150         dfm_push(), pop_cust() to dfm_pop().
7151
7152         * data-out.c: Rewritten.  All references to
7153         convert_format_to_string() changed to data_out().
7154
7155         * descript.q: Migrate to new q2c.
7156         (cmd_descriptives) Removed.
7157         (internal_cmd_descriptives) Renamed cmd_descriptives ().
7158         (custom_variables) Renamed dsc_custom_variables().
7159
7160         * dfm.c: (struct dfm_fhuser_ext) `ln' removed.  All references
7161         removed.
7162         (open_file_r) Initialize h->where.line_number.  Migrate to new
7163         struct string.
7164         (open_file_w) Initialize h->where.line_number.
7165         (read_record) Change from ext->ln to h->where.line_number.
7166         Migrate to struct string.
7167         (dfm_put_record) Rephrased.
7168         (dfm_push_cust) Renamed dfm_push(), rewritten.
7169         (dfm_pop) New function.
7170
7171         * error.c: All references updated.
7172         (glob var error_count) Renamed err_err_count.
7173         (glob var warning_count) Renamed err_warning_count.
7174         (glob var error_already_flagged) Renamed err_already_flagged.
7175         (glob var verbosity) Renamed err_verbosity.
7176         (glob var cust_fn) Removed.
7177         (glob var cust_ln) Removed.
7178         (static var file_loc) New.
7179         (static var nfile_loc) New.
7180         (static var mfile_loc) New.
7181         (tmsg) New function.
7182         (push_cust) Removed.
7183         (pop_cust) Removed.
7184         (msg) Rewritten.
7185         (static var terminating) Removed.
7186         (failure) Renamed err_failure().
7187         (hcf) Renamed err_hcf().
7188         (err_push_file_locator) New function.
7189         (err_pop_file_locator) New function.
7190         (err_location) New function.
7191         (check_error_count) Renamed err_check_count().
7192         (vmsg) Renamed err_vmsg().  Interface changed.
7193         (verbose_msg) Removed.
7194         (err_cond_fail) New function.
7195         (error_break) Renamed err_break().
7196
7197         * error.h: All references updated.
7198         (enum MSG_CLASS_COUNT) Renamed ERR_CLASS_COUNT.
7199         (enum ERR_CLASS_MASK, ERR_VERBOSITY_SHIFT, ERR_VERBOSITY_MASK)
7200         New.
7201         (struct file_locator) New.
7202         (struct error) New.
7203         (macro verbose_msg) Removed.
7204         (macro cond_fail) Removed.
7205
7206         * expr-opt.c: (evaluate_tree) sizeof(char) == 1.
7207
7208         * expr-prs.c: Reorganized.  All references updated.
7209         (exprtypename) Renamed expr_type_name().
7210         (typename) Renamed type_name().
7211         (free_expression) Renamed expr_free().
7212         (parse_expression) Renamed expr_parse().  Uses new type_check()
7213         function.
7214         (init_functab) Renamed init_func_tab().
7215         (type_check) New function.
7216         (parse_or) Rewritten to use new allocate_nonterminal() and
7217         append_nonterminal_arg() functions.
7218         (parse_and) Ditto.
7219         (parse_not) Ditto.
7220         (parse_rel) Ditto.  Also simplified logic.
7221         (parse_add) Ditto.
7222         (parse_mul) Ditto.
7223         (parse_neg) Ditto.
7224         (parse_exp) Ditto.
7225         (SYSMIS_func) Ditto.
7226         (VALUE_func) Rephrased.
7227         (CONCAT_func) Fix memory leak by replacing free by free_node on
7228         lossage.
7229         (generic_str_func) Ditto.
7230         (parse_function) Ditto.  Also rephrasings.  Uses bsearch() to find
7231         function.
7232         (allocate_nonterminal) New function.
7233         (append_nonterminal_arg) New function.
7234         (static func_tab[]) Now at file level.
7235         (cmp_func) Moved.
7236         (init_func_tab) Moved.  Now just uses qsort() to sort func_tab[].
7237
7238         * expr.h: (enum series OP_*) Moved to exprP.h.
7239         (OP_* defines) Ditto.
7240         (struct op_desc) Ditto.
7241         (global ops[]) Ditto.
7242         (struct num_con_node) Ditto.
7243         (struct str_con_node) Ditto.
7244         (struct var_node) Ditto.
7245         (struct lag_node) Ditto.
7246         (struct casenum_node) Ditto.
7247         (struct nonterm_node) Ditto.
7248         (union any_node) Members renamed.
7249         (struct sys_node) Removed.
7250         (struct val_node) Removed.
7251         (operator typedef) Removed.
7252         (typedef exprtype) Removed.
7253         (enum series EX_*) Moved to exprP.h.
7254         (struct expression) Ditto.  Also renamed a lot of the members.
7255         (PXP_* defines) Changed to enums.
7256         (free_node prototype) Moved to exprP.h.
7257
7258         * file-handle.h: (struct file_handle) New member `where'.
7259
7260         * file-handle.q: Migrated to new q2c format.
7261         (prepend_current_directory) Removed (dead code).
7262         (cmd_file_handle) Incorporated all of internal_cmd_file_handle().
7263         (fh_get_handle_by_filename) Removed dead code.
7264         Set new `where' member.
7265
7266         * file-type.c: (file_type_source_read) References to
7267         parse_string_as_format() changed to data_in().
7268         dfm_push_cust()/pop_cust() changed to dfm_push()/dfm_pop().
7269
7270         * filename.c: All references updated.
7271         (init_filename) Renamed fn_init().
7272         (expand_line) Removed.
7273         (macro EXPAND_LINE) Removed.
7274         (interp_vars) Renamed fn_interp_vars().  Now uses st_*() instead
7275         of custom functions.
7276         (gnu_getcwd) Renamed fn_get_cwd(), rewritten.
7277         (tilde_expand) Renamed fn_tilde_expand(), uses ds_*().
7278         (normalize_filename) Renamed fn_normalize().
7279         (search_path) Renamed fn_search_path(), rewritten.
7280         (prepend_dir) Renamed fn_prepend_dir().
7281         (blp_getenv) Renamed fn_getenv().
7282         (blp_dirname) Renamed fn_dirname().
7283         (fn_basename) New function, not used.
7284         (absolute_filename_p) Renamed fn_absolute_p().
7285         (is_special_filename) Renamed fn_special_p().
7286         (file_exists) Renamed fn_exists_p().
7287         (readlink_malloc) Renamed fn_readlink().
7288         (getenv_default) Renamed fn_getenv_default().
7289         (open_file) Renamed fn_open().
7290         (close_file) Renamed fn_close().
7291         (open_file_ext) Renamed fn_open_ext().
7292         (close_file_ext) Renamed fn_close_ext().
7293
7294         * font.h: Migrate from arenas to pools.
7295
7296         * format.c: (parse_format_specifier_name) Deal with ds_* strings.
7297
7298         * frequencies.g: Migrate from arenas to pools.
7299
7300         * frequencies.q: Migrate to new q2c version.  Migrate from arenas
7301         to pools.
7302
7303         * getline.c: All references updated.
7304         (global getl_buf) Changed from char * to struct string.
7305         (static getl_include_path) Ditto.
7306         (global getl_buf_len) Removed.
7307         (global getl_buf_size) Removed.
7308         (getl_include_path) Deal with new getl_buf, getl_include_path.
7309         (getl_uninitialize) New function.
7310         (getl_get_current_directory) Rewritten.
7311         (getl_clear_include_path) Rewritten.
7312         (getl_add_include_dir) Rewritten.
7313         (getl_add_file) Assertion fixed.
7314         (getl_add_virtual_file) Change initial value of `remaining_loops'
7315         from 2 to 1.
7316         (welcome) Rewritten.
7317         (handle_line_buffer) Make static.  Change logic to make
7318         getl_add_virtual_file() change sensible.  Use ds_*() strings.
7319         (getl_read_line) Use ds_*() strings.  Implement SET ECHO.
7320         (getl_close_file) Moved.
7321         (getl_location) New function.
7322
7323         * getline.h: All references updated.
7324         (macro curln) Removed.
7325         (macro curfn) Removed.
7326         (macro am_interactive) Renamed getl_am_interactive.
7327         (macro am_reading_script) Renamed getl_reading_script.
7328
7329         * glob.c: (global fmt_parse_ignore_error) Removed.
7330         (init_glob) Use locale_dir not LOCALEDIR.  Use feholdexcept() on
7331         systems that support it (C99).  Turn off SET ECHO by default.  No
7332         necessary julcal initialization anymore.
7333
7334         * groff-font.c: Migrate from arenas to pools.
7335         (groff_read_font) Use err_push_file_locator().
7336         (groff_read_DESC) Ditto.
7337         (font_msg) Use tmsg().
7338
7339         * hash.c: (hsh_sort) Fix debug code.
7340         [GLOBAL_DEBUGGING] Include stdio.h.
7341
7342         * hash.h: (macro force_hsh_insert) Rephrase.
7343
7344         * heap.c: Rewritten.
7345         
7346         * heap.h: Rewritten.
7347
7348         * html.c: (html_option) Change from outp_value to struct string.
7349         (postopen) Change from curfn to getl_location().
7350         (escape_string) Remove rich-text code.  Signature changed.
7351         (output_tab_table) Switch from a_string to struct len_string.
7352         Remove rich text support.
7353
7354         * lexer.c: All references updated.  Largely rewritten.  Major
7355         changes listed below.  Removed tagged quote support.  Adapted to
7356         struct string tokstr.
7357         (global tokstr) Changed to struct string.
7358         (global tokstr_size) Removed.
7359         (global tokstr_len) Removed.
7360         (global tokid) New.
7361         (global tokint) Removed.
7362         (global toklongstr) Removed.
7363         (C* defines) Removed.
7364         (static tbl[]) Removed.
7365         (static id[]) Removed.
7366         (static une[]) Removed.
7367         (discard_line) Renamed lex_discard_line().
7368         (get_entire_line) Renamed lex_entire_line().
7369         (get_rest_of_line) Renamed lex_rest_of_line().
7370         (get_dotted_rest_of_line) Merged into lex_rest_of_line().
7371         (make_hexit) Removed.
7372         (syntax_error) Renamed lex_error().  Return value removed.
7373         (get_token_representation) Renamed lex_token_representation().
7374         (putback) Renamed lex_put_back().
7375         (putfwd) Renamed lex_put_forward().
7376         (convert_negative_to_dash) Renamed lex_negative_to_dash().
7377         (set_prog) Renamed lex_set_prog().
7378         (init_lex) Renamed lex_init().
7379         (reset_eof) Renamed lex_reset_eof().
7380         (lookahead) Renamed lex_look_ahead().
7381         (check_id) Rewritten.
7382         (yylex) Renamed lex_get(), rewritten.
7383         (lex_end_of_command) New function.  Many commands were rephrased
7384         using this.
7385         (lex_integer_p) New function.  Replaces compare of tokint against
7386         NOT_LONG.
7387         (lex_integer) New function.  Replaces tokint.
7388         (match_tok) Renamed lex_match().
7389         (match_id) Renamed lex_match_id().
7390         (match_int) Renamed lex_match_int().
7391         (force_match_id) Renamed lex_force_match_id(), added return value.
7392         (force_match) Renamed lex_force_match(), added return value.
7393         (force_string) Renamed lex_force_string(), added return value.
7394         (force_int) Renamed lex_force_int(), added return value.
7395         (lex_id_match_len) New function.
7396         (id_match) Renamed lex_id_match(), rewritten.
7397         (get_line) Renamed lex_get_line().
7398         (preprocess_line) Renamed lex_preprocess_line().
7399         (tokname) Renamed lex_token_name().
7400         (bin_value_func) Removed.
7401         (oct_value_func) Removed.
7402         (hex_value_func) Removed.
7403         (unexpected_eof) New function.
7404         (convert_numeric_string_to_char_string) New function.
7405         (parse_string) Rewritten, signature changed.
7406         (add_tokstr_char) Removed.
7407         (add_tokstr_unsigned) Removed.
7408         (add_tokstr_string) Removed.
7409         (parse_tagged_quote) Removed.
7410         (skip_comment) Renamed lex_skip_comment().
7411
7412         * lexer.h: All references updated.
7413         (macro is_id1) Renamed CHAR_IS_ID1.
7414         (macro is_idn) Renamed CHAR_IS_IDN.
7415         (token names ID, NUM, STRING, STOP, ... WITH, EXP) Renamed with
7416         prefix T_: T_ID, T_NUM, T_STRING, T_STOP, ... T_WITH, T_EXP.
7417         (macro get_token) Removed.
7418         (macro id_match) Removed.
7419         (macro force_match_id) Removed.
7420         (macro force_match) Removed.
7421         (macro force_string) Removed.
7422         (macro force_int) Removed.
7423         (macro force_num) Removed.
7424         (macro force_id) Removed.
7425
7426         * lexerP.h: Removed.
7427
7428         * list.q: Migrated to new q2c format.
7429         (write_line) Deal with struct len_string.
7430         (write_varname) Ditto.
7431         (write_fallback_headers) Ditto.
7432
7433         * magic.c: New file, incorporating the following global variables
7434         previously in other files: endian, second_lowest_value.  And both
7435         of those are conditional on #define's.
7436
7437         * magic.h: New file, incorporating the following global variable
7438         declarations: endian, second_lowest_value, and the following macro
7439         declarations: NOT_DOUBLE, NOT_LONG, NOT_INT.
7440
7441         * main.c: Added declarations of pgmname, finished, curdate,
7442         start_interactive.
7443         (main) Call new parse_script() function.
7444         (parse_script) New function.
7445         (execute_command) New function.
7446         (dump_token) Removed.
7447         (handle_error) New function.
7448
7449         * matrix.c: New file.
7450
7451         * matrix.h: New file.
7452
7453         * matrix-data.c: Migrated from arenas to pools.
7454         (mget_token) Change from parse_string_as_format() to data_in().
7455
7456         * means.q: Migrate to new q2c.
7457         (custom_tables) Renamed mns_custom_tables().
7458         (custom_crossbreak) Renamed mns_custom_crossbreak().
7459         (custom_variables) Renamed mns_custom_variables().
7460
7461         * mis-val.c: (static var width) Changed from `int' to `size_t'.
7462         (parse_varnames) Prototype.
7463         (parse_numeric) Rephrasings.
7464         (parse_alpha) Adapt to new struct string tokstr.
7465
7466         * misc.c: (intlog10) Rewritten.
7467         (spacing) Removed.
7468         (ansi_rand) Renamed real_rand(), moved into random.c.
7469         (ansi_srand) Renamed real_srand(), moved into random.c.
7470         (setup_randomize) Moved to random.c.
7471         (rand_uniform) Ditto.
7472         (rand_normal) Ditto.
7473         (rand_simple) Ditto.
7474         (get_config_line) Removed.
7475         (reverse) Removed (dead code).
7476
7477         * misc.h: (macro SET_BIT) Moved to bitvector.h.
7478         (macro CLEAR_BIT) Ditto.
7479         (macro TEST_BIT) Ditto.
7480         (macro SET_BIT_TO) Ditto.
7481         (macro BIT_INDEX) Ditto.
7482
7483         * output.c: (outp_read_devices) Move to err_push_file_locator()
7484         from push_cust().  Use struct string.
7485         (expand_op_tokstr) Removed.
7486         (static var op_tokstr) Changed to struct string.
7487         (static var op_tokstr_size) Removed.
7488         (tokener) Rephrasings.  Use struct string.
7489         (parse_options) Use struct string.
7490         (destroy_driver) Fix assertion.
7491         (outp_get_paper_size) Move to err_push_file_locator().
7492         [0] Removed dead code.
7493         (outp_string_width) Move to len_string.
7494
7495         * output.h: Comment fixes.
7496         (TAG_* enum series) Removed.
7497         (struct outp_value) Removed.
7498         (enum OUTP_T_FANCY) Removed.
7499         (struct outp_text) `s' changed from a_string to len_string.
7500         (struct outp_class) `option' change arg 3 from outp_value to
7501         struct string.
7502
7503         * pfm-read.c: (corrupt_msg) Rewritten.
7504
7505         * pfm-write.c: (bufwrite) Fix assertion.
7506
7507         * pool.c: New file, reference version.
7508
7509         * pool.h: New file, reference version.
7510
7511         * postscript.c: (ps_font_sizes) Fix assertion.
7512         (ps_option) Change arg 3 from outp_value to struct string.
7513         Adapt to struct string.
7514         (macro output_line) Removed.
7515         (macro add_string) Removed.
7516         (output_encodings) Adapted to struct string.  Moved to
7517         err_push_file_locator().
7518         (find_encoding_file) Fix assertion.
7519         (read_ps_encodings) Move to err_push_file_locator().
7520         (postopen) Use getl_location() instead of curfn.
7521         (out_text_plain) Move to len_string.
7522         (text) Ditto.  Remove rich text support.
7523
7524         * print.c: (cmd_print) Remove now-unneeded resource cleanup code.
7525         (cmd_print_eject) Ditto.
7526         (cmd_write) Ditto.
7527         (internal_cmd_print) Now cleans up after itself.  Uses
7528         fh_parse_file_handle() now.
7529         (cmd_print_space) Use PXP_NUMERIC to type-check.
7530
7531         * q2c.c: Overhauled.  Removed _("") i18n support.  All references
7532         updated.  All output functions updated to handle structures rather
7533         than local or static variables.  Adapt to new PSPP lex_*()
7534         functions.
7535         (macro _) Removed.
7536         (macro N_) Removed.
7537         (macro MAX_N_SBC) Removed.
7538         (global bare) Removed.
7539         (enum STRING) Renamed T_STRING.
7540         (enum ID) Renamed T_ID.
7541         (get_buffer) Buffer size increased.
7542         (strlower) Renamed st_lower(), rephrased.
7543         (strupper) Renamed st_upper(), rephrased.
7544         (skip_ws) New function.
7545         (get_line) Don't special-case any types of lines (like those
7546         beginning with ! or $, for instance).
7547         (get_token) Renamed lex_get().  Rephrased.
7548         (static var `prefix') New.
7549         (parse) New function.
7550         (parse_setting) Minor rephrasing.
7551         (dump_specifier_vars) Ditto.
7552         (make_identifier) Put null terminator on identifier, duh.
7553         (dump_vars) Renamed dump_declarations().  Never indent.  Never
7554         static.  Output changed entirely.
7555         (dump_specifier_init) Rephrase.
7556         (dump_vars_init) No index variable needed.  Other modifications.
7557         (dump_parser) Don't parse command name.  Do dump functions instead
7558         of just code fragments.
7559         (dump_free) Dump function instead of code fragment.
7560         (recognize_directive) New function.
7561         (main) Use recognize_directive().  Don't rely on magic $ line
7562         beginning: instead, parse comments.  Update list of headers.
7563
7564         * random.c: New file, containing the following functions:
7565         real_rand(), real_srand(), setup_randomize, shuffle, rand_uniform,
7566         rand_normal, rand_simple.
7567
7568         * random.h: New file.
7569
7570         * recode.c: (cmd_recode) Merge internal_cmd_recode() into this
7571         function.  `max_src_width', `max_dst_width' changed to size_t.
7572         (internal_cmd_recode) Removed.
7573         (parse_dest_spec) Merge similar cases.
7574         (parse_src_spec) Add assertion.
7575
7576         * repeat.c: (recognize_keyword) New function.
7577         (internal_cmd_do_repeat) Parse and handle PRINT keyword on END
7578         REPEAT.  Improve recognition of END REPEAT (use
7579         recognize_keyword()).  Move from curfn to getl_location().  Use
7580         struct string.
7581                 
7582         (perform_DO_REPEAT_substitutions) Adapt to struct string.
7583
7584         * set.q: Adapt to new q2c.
7585         (cmd_set) Range-check some values better.
7586         (custom_blanks) Renamed stc_custom_blanks().
7587         (custom_length) Renamed stc_custom_length().
7588         (custom_results) Renamed stc_custom_results().
7589         (custom_seed) Renamed stc_custom_seed().
7590         (custom_width) Renamed stc_custom_width().
7591         (custom_format) Renamed stc_custom_format().
7592         (custom_journal) Renamed stc_custom_journal().
7593         (custom_color) Renamed stc_custom_color().
7594         (custom_listing) Renamed stc_custom_listing().
7595         (custom_disk) Renamed stc_custom_disk().
7596         (custom_log) Renamed stc_custom_log().
7597         (custom_rcolor) Renamed stc_custom_rcolor().
7598         (custom_viewlength) Renamed stc_custom_viewlength().
7599         (custom_workdev) Renamed stc_custom_workdev().
7600
7601         * settings.h: Not necessary to include format.h any longer.
7602
7603         * sfm-read.h: (macro bswap_int32) Moved here from sfmP.h.
7604         (corrupt_msg) Rewritten.
7605
7606         * sort.c: Adapt to rewritten heap ADT.
7607
7608         * str.c: (aa_strcpy) Removed.
7609         (ab_strcpy) Removed.
7610         (ac_strcpy) Removed.
7611         (ba_strcpy) Removed.
7612         (bb_strcpy) Removed.
7613         (ca_strcpy) Removed.
7614         (aa_strdup) Removed.
7615         (aa_strdupcpy) Removed.
7616         (ba_strdup) Removed.
7617         (sa_strdup) Removed.
7618         (memrev) Renamed mm_reverse().
7619         (memrmem) Renamed mm_find_reverse().
7620         (cmp_str) Renamed st_compare_pad().
7621         (strmaxcpy) Removed.
7622         (strbarepadcpy) Renamed st_bare_pad_copy(), signature changed.
7623         (strbarepadlencpy) Renamed st_bare_pad_len_copy(), signature
7624         changed.
7625         (strpadcpy) Renamed st_pad_copy(), signature changed.
7626         (blpstrset) Removed.
7627         (ds_create) New function.
7628         (ds_init) New function.
7629         (ds_replace) New function.
7630         (ds_destroy) New function.
7631         (ds_clear) New function.
7632         (ds_extend) New function.
7633         (ds_shrink) New function.
7634         (ds_truncate) New function.
7635         (ds_length) New function.
7636         (ds_size) New function.
7637         (ds_value) New function.
7638         (ds_end) New function.
7639         (ds_concat) New function.
7640         (ds_concat_buffer) New function.
7641         (ds_printf) New function.
7642         (ds_putchar) New function.
7643         (ds_getline) New function.
7644         (ds_get_config_line) New function derived from the old
7645         misc.c:get_config_line().
7646         (ls_create) New function.
7647         (ls_create_buffer) New function.
7648         (ls_init) New function.
7649         (ls_shallow_copy) New function.
7650         (ls_destroy) New function.
7651         (ls_null) New function.
7652         (ls_null_p) New function.
7653         (ls_empty_p) New function.
7654         (ls_length) New function.
7655         (ls_value) New function.
7656         (ls_end) New function.
7657
7658         * str.h: Reformatted.
7659         (struct a_string) Removed.
7660         (struct b_string) Removed.
7661         (struct c_string) Removed.
7662         (struct len_string) New.
7663         (struct string) New.
7664         (macro as_streq) Removed.
7665         (macro bs_streq) Removed.
7666         (macro cs_streq) Removed.
7667         (macro sa_streq) Removed.
7668         (macro sb_streq) Removed.
7669         [__GNUC__] (inline function ds_putchar) New function.
7670         [__GNUC__] (inline function ds_length) New function.
7671         [__GNUC__] (inline function ds_value) New function.
7672         [__GNUC__] (inline function ds_end) New function.
7673
7674         * sysfile-info.c: (cmd_sysfile_info) Rephrased.
7675         (display_vectors) Fix missing i18n.
7676
7677         * t-test.q: Migrate to new q2c.
7678
7679         * tab.c: Migrate from arenas to pools.
7680         (tab_create) Use struct len_string.
7681         (tab_realloc) Ditto.
7682         (text_format) Ditto.
7683         (tab_joint_text) Ditto.
7684         (tab_natural_width) Remove rich text support.
7685         (tab_natural_height) Ditto.
7686         (tab_output_text) Handle TAT_FIX.
7687         (tab_raw) Change arg from a_string to len_string.
7688         (tabi_driver) Fix assertion.  Use struct len_string.
7689         (render_strip) Use struct len_string.  Remove rich text support.
7690         Add `const' qualifiers.
7691
7692         * tab.h: (enum TAB_RICH) Remove.
7693         (enums TAB_COL_NONE, TAB_COL_DONE) New.  Where appropriate,
7694         SOM_COL_* updated to read TAB_COL_*.
7695         (struct tab_table) Change arena to pool.  Change a_string to
7696         len_string.
7697
7698         * temporary.c: (restore_dictionary) Rewrite Checker code.
7699
7700         * var.h: (macros MAX_SHORT_STRING, MIN_LONG_STRING, SYSMIS,
7701         LOWEST, HIGHEST) Moved here from common.h.
7702         (typedef any_trns) Removed.  All references changed to `struct
7703         trns_header'.
7704
7705         * vars-atr.c: (force_create_variable) Fix assertion.
7706         (force_dup_variable) Fix assertion.
7707         
7708 Thu Jun  3 18:40:42 1999  Ben Pfaff  <blp@gnu.org>
7709
7710         Using alphanumeric variables in functions under AGGREGATE
7711         segfaulted.  Fixed.  Thanks to Dr. Dirk Melcher
7712         <BZN-mdksh@t-online.de> for reporting this bug.
7713         
7714         * aggregate.c: (parse_aggregate_functions) When setting the
7715         FSTRING bit, also allocate memory for the `string' member of
7716         agr_next.
7717         (free_aggregate_functions) Free iter->string.  Don't use the
7718         non-function bits when indexing the array of functions.
7719         [DEBUGGING] (debug_print) Don't use the non-function bits when
7720         indexing the array of functions.        
7721
7722 Sun May 30 00:00:54 1999  Ben Pfaff  <blp@gnu.org>
7723
7724         Under certain circumstances, the final case would be omitted from
7725         the results of an AGGREGATE operation.  Fixed.  Thanks to Dr. Dirk
7726         Melcher <BZN-mdksh@t-online.de> for reporting this bug.
7727         
7728         * aggregate.c (agr_00x_end_func): Increment number of cases in
7729         sink before writing case.  For streams that keep track of how many
7730         cases there are based on this value, this means that the last case
7731         will be read in on the next stream read.
7732
7733 Sat May 29 22:03:31 1999  Ben Pfaff  <blp@gnu.org>
7734
7735         Undefined behavior was invoked by referencing a freed pointer.
7736         
7737         * vfm.c (memory_stream_write): Free pointer *after* checking for
7738         non-null status.
7739
7740 Sat May 29 22:02:22 1999  Ben Pfaff  <blp@gnu.org>
7741
7742         A wrong record size was displayed when paging the active file to
7743         disk.
7744         
7745         * vfm.c: (memory_stream_write) Fix off-by-one error.
7746
7747 Sat May 29 21:50:26 1999  Ben Pfaff  <blp@gnu.org>
7748
7749         Not having enough temporary space for sorting caused a core dump.
7750         Fixed.
7751         
7752         * sort.c: (allocate_cases) Initialize i.
7753
7754 Sat May 29 21:40:54 1999  Ben Pfaff  <blp@gnu.org>
7755
7756         Syntax errors in function descriptions on AGGREGATE caused core
7757         dumps.  Fixed.
7758         
7759         * aggregate.c (cmd_aggregate): Don't free agr_dict after calling
7760         free_aggregate_functions(), since that function already frees
7761         agr_dict.
7762         
7763 Sat May 29 21:06:10 1999  Ben Pfaff  <blp@gnu.org>
7764
7765         A null pointer was dereferenced, causing a core dump, when
7766         PERCENTILES was specified on FREQUENCIES.  This fixes the problem,
7767         but PSPP still doesn't calculate percentiles.  Thanks to Regnor
7768         Jernsletten <rjernsle@eunet.no> for reporting this problem.
7769         
7770         * arena.c: (arena_malloc) If the arena hasn't been initialized
7771         already, initialize it.
7772
7773 Sat May 29 20:47:29 1999  Ben Pfaff  <blp@gnu.org>
7774
7775         * Makefile.cygwin: New file supplied by Hankin <hankin@dunno.com>
7776         for compilation with Cygnus Windows B20.  Not used by other
7777         systems.
7778
7779 Sat May 29 20:36:04 1999  Ben Pfaff  <blp@gnu.org>
7780
7781         SORT always sorted in ascending order.  Fixed.  Thanks to Dr. Dirk
7782         Melcher <BZN-mdksh@t-online.de> for reporting this bug.
7783
7784         * sort.c: (compare_case_lists) Reverse sense of comparison if
7785         sorting in descending order.
7786         (compare_record) Ditto.
7787
7788 Tue Mar  9 13:18:54 1999  Ben Pfaff  <blp@gnu.org>
7789
7790         SPLIT FILE with a string variable caused a core dump.  Fixed.
7791
7792         * vfm.c: If the variable is a string then make a temporary value
7793         struct pointing to it.  The underlying problem is a lot bigger
7794         than this (see TODO) but this is a stopgap for the simple case at
7795         least.
7796         
7797 Tue Mar  9 13:15:53 1999  Ben Pfaff  <blp@gnu.org>
7798
7799         Nested INCLUDEs didn't work.  Fixed.
7800
7801         * getline.c: (getl_include) Set first_line to NULL in allocated
7802         structure.
7803
7804 Tue Mar  9 13:13:46 1999  Ben Pfaff  <blp@gnu.org>
7805
7806         The MATCH FILES procedure set the values of variables not present
7807         to 0.  It should have been SYSMIS.  This is now fixed.
7808
7809         * get.c: (mtf_delete_file_in_place) Replace 0.0 by SYSMIS.
7810
7811 Tue Mar  9 12:52:23 1999  Ben Pfaff  <blp@gnu.org>
7812
7813         The REMARK command was too aggressive about skipping lines.  It
7814         didn't like being the last command in a file.
7815
7816         * command.c: (cmd_remark) Call get_entire_line() instead of
7817         get_line().
7818
7819 Tue Mar  9 12:48:05 1999  Ben Pfaff  <blp@gnu.org>
7820
7821         Comment parsing wasn't consistent with the rest of the code in its
7822         idea of where one command ends and another starts.  This meant
7823         that sometimes commands would be mysteriously ignored.  Thanks to
7824         Dr. Dirk Melcher <BZN-mdksh@t-online.de> for reporting this bug.
7825          
7826         * command.c: (parse_cmd) Hand off comment parsing to new function
7827         skip_comment() in lexer.c.
7828         * lexer.c: (skip_comment) New function.
7829
7830 Wed Jan 20 20:22:07 1999  Ben Pfaff  <blp@gnu.org>
7831
7832         The TABLE subcommand on MATCH FILES worked only erratically at
7833         best.  This fixes it.  Thanks to Dr. Dirk Melcher
7834         <BZN-mdksh@t-online.de> for reporting this bug.
7835
7836         * get.c: (mtf_compare_BY_values) When comparing string values, a
7837         difference of 1 is still a difference :-)
7838         (mtf_processing) Inverted TABLE reading logic fixed.  Also don't
7839         advance TABLE files automatically when matched.  Comment fixes.
7840
7841 Tue Jan 19 22:32:31 1999  Ben Pfaff  <blp@gnu.org>
7842
7843         VARIABLE LABELS rejected a slash before the first variable
7844         specification, contradicting the documentation.  Thanks to Walter
7845         M. Gray <graywm@northernc.on.ca> for reporting this bug.
7846
7847         * var-labs.c: (cmd_variable_labels) Ignore a leading slash in
7848         command specification.
7849
7850 Tue Jan 19 22:29:54 1999  Ben Pfaff  <blp@gnu.org>
7851
7852         Because of an incorrect optimization in memory allocation,
7853         CROSSTABS sometimes segfaulted when asked to output multiple
7854         tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
7855         reporting this bug.
7856
7857         * crosstabs.q: (postcalc) New variables maxcols, maxcells, which
7858         are passed to output_pivot_table() for its use.
7859         (output_pivot_table) Instead of assuming the number of columns is
7860         constant, keep track with maxcols.  In general mode, use maxcells
7861         to determine whether more matrix cells need to be allocated.    
7862
7863 Tue Jan 19 22:27:46 1999  Ben Pfaff  <blp@gnu.org>
7864
7865         CROSSTABS didn't display value labels for column and row
7866         variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
7867         reporting this bug.
7868
7869         * crosstabs.q: (table_value_missing) If the specified value has a
7870         value label for this variable, then show it instead of the raw
7871         value.
7872         (display_dimensions) Delegate display of value_labels to
7873         table_value_missing.
7874
7875 Mon Jan 18 20:04:06 1999  Ben Pfaff  <blp@gnu.org>
7876
7877         WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
7878         <BZN-mdksh@t-online.de> for reporting this bug.
7879
7880         * print.c: (print_trns_proc) Write (CR/)LF if PRINT is used _or_
7881         if the file isn't declared as binary.
7882
7883 Mon Jan 18 19:56:45 1999  Ben Pfaff  <blp@gnu.org>
7884
7885         MATCH FILES corrupted memory and dumped core on some syntax
7886         errors.  Fixed.
7887
7888         * get.c: (cmd_match_files) Set file->handle to NULL before
7889         jumping to lossage.
7890         (mtf_free_file) Don't free a null dictionary.   
7891
7892 Mon Jan 18 19:27:57 1999  Ben Pfaff  <blp@gnu.org>
7893
7894         MATCH FILES should set numeric values not available to the
7895         system-missing value, not to 0.  Thanks to Dr. Dirk Melcher
7896         <BZN-mdksh@t-online.de> for reporting this bug.
7897
7898         * get.c: (mtf_processing) Set unused records to system-missing,
7899         not 0.
7900
7901 Mon Jan 18 15:06:46 1999  Ben Pfaff  <blp@gnu.org>
7902
7903         KEEP didn't work properly on the SAVE procedure.  Fixed.  Thanks
7904         to Ralf Geschke <ralf@kuerbis.org> for reporting this bug.
7905
7906         * temporary.c: (save_dictionary) Initialize var_by_name AVL tree
7907         in newly created dictionary, and add each copied variable to the
7908         tree.
7909  
7910 Mon Jan 18 15:04:48 1999  Ben Pfaff  <blp@gnu.org>
7911
7912         Memory leak fix.
7913         
7914         * get.c: (trim_dictionary) Free variable list for KEEP after
7915         finishing with it.
7916
7917 Mon Jan 18 12:57:36 1999  Ben Pfaff  <blp@gnu.org>
7918
7919         Some systems didn't like the way open_file was coded.  Thanks to
7920         Hankin <hankin@rogue.consultco.com> for pointing this out.
7921
7922         * filename.c: (open_file) Don't try to store stdin, stdout,
7923         stderr as part of an array, because that doesn't always work.
7924
7925 Mon Jan 18 12:53:27 1999  Ben Pfaff  <blp@gnu.org>
7926
7927         The SAVE procedure didn't save long string variables properly.
7928         Fixed by this patch.  Thanks to Hankin
7929         <hankin@rogue.consultco.com> for this patch.
7930         
7931         * sfm-write.c: (write_variable) Fix off-by-one error in writing
7932         out variable pad records.
7933
7934 Tue Jan  5 14:29:27 1999  Ben Pfaff  <blp@gnu.org>
7935
7936         Previously, if PRINT SPACE were given a negative argument, it
7937         would report an error, then spin in an (almost) infinite loop.
7938         This fixes that behavior.
7939
7940         * print.c: (print_space_trns_proc) After reporting a negative
7941         argument, set number of lines to print to 1.
7942
7943 Tue Jan  5 13:59:55 1999  Ben Pfaff  <blp@gnu.org>
7944
7945         SPSS 8.0 outputs some new record types in its system files, and it
7946         allows longer value labels.  Accept these system files.
7947
7948         * sfm-read.c: (sfm_read_dictionary) Ignore record type 7 subtype
7949         11 emitted by SPSS 8.0.
7950         
7951 Tue Jan  5 13:55:50 1999  Ben Pfaff  <blp@gnu.org>
7952
7953         The LIST procedure was too conservative in allocating space for
7954         buffers, which caused a bug that only showed up with very long
7955         output variables.  Thanks to Hankin <hankin@dunno.com> for this
7956         bug report.
7957
7958         * list.q: (determine_layout) Allocate 1022 bytes instead of 256.
7959
7960 Tue Jan  5 13:34:34 1999  Ben Pfaff  <blp@gnu.org>
7961
7962         Typo meant string format specifiers weren't checked properly.  I
7963         think that Hankin <hankin@dunno.com> sent me this report, but I'm
7964         willing to be corrected on this point.
7965  
7966         * format.c: (check_string_specifier) Fix obvious typo.  
7967
7968 Tue Jan  5 12:50:42 1999  Ben Pfaff  <blp@gnu.org>
7969
7970         Using $CASENUM in an expression didn't work.  Here's a fix.
7971         Thanks to Dirk Melcher <BZN-mdksh@t-online.de> for reporting this
7972         bug.
7973          
7974         * expr-evl.c: (evaluate_expression) Add OP_CASENUM case.
7975
7976         * expr-opt.c: (dump_node) OP_CASENUM is acceptable.
7977
7978 Tue Jan  5 12:47:48 1999  Ben Pfaff  <blp@gnu.org>
7979
7980         The changes in 0.2.1 to fix DATA LIST FREE parsing broke some
7981         other behavior, *sigh*.  This patch hopefully fixes that.  This
7982         time I've actually tested it.
7983
7984         Thanks to Hankin <hankin@dunno.com> for reporting this bug.
7985
7986         * data-list.c: (read_from_data_list_free,
7987         read_from_data_list_list) Call parse_string_as_format() directly
7988         without mucking around with the field width.
7989
7990 Tue Jan  5 12:31:19 1999  Ben Pfaff  <blp@gnu.org>
7991
7992         Occasionally, you may encounter a script that wants to be
7993         interpreted in interactive mode.  Make -i emulate this behavior to
7994         allow such scripts to be executed with PSPP.
7995
7996         Thanks to Hankin <hankin@dunno.com> for reporting this behavior.
7997
7998         * cmdline.c: (pre_syntax_message[]) Update -i description.
7999
8000         * lexer.c: (preprocess_line) When getl_interactive is 2 (i.e.,
8001         when -i is given on the command line) don't treat unindented lines
8002         as starting a new command.
8003
8004 Tue Jan  5 12:30:10 1999  Ben Pfaff  <blp@gnu.org>
8005
8006         In conjunction with egcs 1.1.1, Checker emits some bogus warnings,
8007         mostly caused by local initialized aggregates.  After egcs is
8008         fixed upstream these can be removed, but for now they're not a big
8009         deal.
8010         
8011         * ascii.c: (ascii_postopen_driver) Checker chokes on local
8012         initialized arrays.  Avoid this.
8013
8014         * sfm-write.c: (sfm_write_dictionary) Don't use a local
8015         initialized struct.
8016
8017 Tue Jan  5 12:07:24 1999  Ben Pfaff  <blp@gnu.org>
8018
8019         egcs 1.1.1 has some new warnings relative to gcc 2.8.1, which the
8020         following changes avoid.  Currently I compile sources with egcs
8021         1.1.1 and gcc 2.7.2.3 before sending them out.
8022
8023         * apply-dict.c: (apply_dict) Use new avl_traverser_init() macro.
8024         
8025         * ascii.c: (option_tab[]) Initialize all struct members.
8026
8027         * avl.h: (avl_traverser_init) New macro.
8028         
8029         * command.c: (DEFCMD, UNIMPL macros, cmd_table[]) Initialize all
8030         struct members.
8031
8032         * crosstabs.q: (enum_var_values) Use new hsh_iterator_init()
8033         macro.
8034
8035         * hash.c: Comment fix.
8036
8037         * hash.h: (hsh_iterator_init) New macro.
8038
8039         * html.c: (option_tab[]) Initialize all struct members.
8040
8041         * pfm-write.c: (write_value_labels) Use new avl_traverser_init()
8042         macro.
8043
8044         * postscript.c: (option_tab[]) Initialize all struct members.
8045         (output_encodings, preclose, dump_lines) Use new
8046         hsh_iterator_init() macro.
8047
8048         * sfm-write.c: (write_value_labels) Use new avl_traverser_init()
8049         macro.
8050
8051         * sysfile-info.c: (describe_variable) Use new avl_traverser_init()
8052         macro.
8053
8054 Thu Nov 19 12:32:45 1998  Ben Pfaff  <blp@gnu.org>
8055
8056         * data-in.c: Examined each of the parsing functions to make sure
8057         that they wouldn't dump core if they were passed a string of the
8058         wrong length, since now the DATA LIST FREE/LIST routines don't
8059         check for field width before passing it to the data parser.
8060         (parse_RBHEX, parse_AHEX) Reject odd length input.
8061         (parse_string_as_format) Reject input that's too short or too
8062         long.
8063
8064         * data-list.c: Before, the DATA LIST FREE/LIST routines would pad
8065         a field to its entire declared output width then pass it to the
8066         data-in parsing routines.  This contradicted the documented
8067         behavior.  This is fixed in these changes.  Thanks to Mark H. Wood
8068         <mwood@IUPUI.Edu>.  In addition, this fixes a few more details of
8069         free-format parsing that differed from SPSS.
8070         (cut_field) Commas and spaces are treated identically.  Returns
8071         the proper column instead of a fixed 1 value.
8072         (parse_field) Removed.
8073         (read_from_data_list_free, read_from_data_list_list) Call
8074         parse_string_as_format directly instead of parse_field.
8075
8076         * heap.c: (heap_delete) Stylistic fixes.
8077
8078 Sun Aug  9 11:12:13 1998  Ben Pfaff  <blp@gnu.org>
8079
8080         * loop.c: (loop_2_trns_proc) Formatting fix.
8081
8082         * sel-if.c: (cmd_filter) Set FILTER_before_TEMPORARY.
8083
8084         * var.h: (glob var FILTER_before_TEMPORARY) New global var.
8085
8086         * vfm.c: (macro FILTERED) New.
8087         (static var filter_var) New.
8088         (process_active_file_write_case) Use FILTERED.
8089         (setup_filter) Set filter_var.
8090         (close_active_file) Delete the filter if not
8091         FILTER_before_TEMPORARY.
8092         (procedure_write_case) Use FILTERED.
8093
8094 Sat Aug  8 00:20:14 1998  Ben Pfaff  <blp@gnu.org>
8095
8096         * crosstabs.q: Changed /PIVOT={ON,OFF} to /FORMAT={PIVOT,NOPIVOT}.
8097
8098         * data-in.c: (parse_day_count) Message fix.
8099         (parse_month) Style fix.
8100
8101         * data-list.c: (struct data_list_pgm) New member eof.
8102         (cmd_data_list) Init eof to 0.
8103         (do_reading) Implement the /END subcommand and read-past-eof
8104         checking.
8105
8106         * do-if.c: Include stdio.h when debugging.
8107         (cmd_else_if) Make sure the command is .-terminated.
8108
8109         * glob.c: (init_glob) Capitalize the command prompt.
8110
8111         * inpt-pgm.c: (end_case_trns_proc) Debugging message.
8112         (end_file_trns_proc) Debugging message.
8113
8114         * loop.c: (internal_cmd_loop) Make it work when there's no loop
8115         index!
8116         (loop_2_trns_proc) Enable MXLOOPS (why was this disabled?)
8117
8118         * main.c: (dump_token) Make kwtab[] const.
8119
8120         * set.q: Spelling, comment fixes.
8121
8122         * sysfile-info.c: (cmd_display) DISPLAY VECTORS not DISPLAY
8123         VECTOR.
8124
8125         * vars-prs.c: (fill_all_vars) Style fix.
8126
8127         * vfm.c: (index_to_varname) Return const.
8128
8129 Tue Aug  4 23:49:23 1998  Ben Pfaff  <blp@gnu.org>
8130
8131         * Changes in many source files for partial -ansi -pedantic and
8132         no-debugging compliance: Remove trailing common in enum
8133         declarations; add `unused' attributes; insert some appropriate
8134         casts.
8135
8136         * cmdline.c: (parse_command_line) Add new --testing-mode flag.
8137
8138         * command.c: (shell) Make static.
8139         (run_command) Make static.
8140
8141         * data-list.c: (dump_fixed_table) Remove use of local_strdup().
8142
8143         * dfm.c: (cmd_begin_data) I18n fix.
8144
8145         * error.c: (verbose_msg) Define if __STRICT_ANSI__.
8146
8147         * error.h: (macro verbose_msg) Define if __STRICT_ANSI__.
8148
8149         * expr-opt.c: (evaluate_tree) Don't initialize local arrays if
8150         __STRICT_ANSI__.
8151
8152         * file-handle.q: Don't prepend the source file directory name to
8153         the data file name.  (Ongoing issue.)
8154         (prepend_current_directory) Comment out.
8155         (internal_cmd_file_handle) Don't call prepend_current_directory().
8156         (fh_get_handle_by_filename) Ditto.
8157
8158         * filename.c: Append zero byte to readlink() return value.
8159
8160         * getline.c: (getl_read_line) I18n fix.
8161
8162         * lexer.h: Don't use gcc features if __STRICT_ANSI__.
8163
8164         * misc.h: Don't use gcc features if __STRICT_ANSI__.
8165
8166         * pfm-write.c: (bufwrite) Don't try to increment a void * pointer
8167         directly.
8168
8169         * postscript.c: (output_encodings) Don't use local_strdup().
8170         (postopen) Ditto.
8171
8172         * print.c: Don't use gcc features if __STRICT_ANSI__.
8173
8174         * q2c.c: (dump_vars) Don't put a , at the end of the last enum.
8175
8176         * recode.c: (parse_src_spec) Fully brace nested if's.
8177
8178         * set.q: (global var set_testing_mode) New var.
8179
8180 Wed Jul 29 22:01:44 1998  Ben Pfaff  <blp@gnu.org>
8181
8182         * ascii.c: Add some more `unused' attributes that only come into
8183         play when NDEBUG is defined.
8184         (ascii_close_page) Set s_len when reallocating s.
8185         
8186         * crosstabs.q: (delete_missing) New function.
8187         (output_pivot_table) Call delete_missing() if /MISSING=REPORT.
8188         (make_summary_table) Create summary table reallocable.
8189
8190         * postscript.c: Add more `unused' attributes as above.
8191
8192         * tab.c: (tab_create) [GLOBAL_DEBUGGING] Set reallocable member.
8193         (tab_realloc) [GLOBAL_DEBUGGING] Assert that table is reallocable.
8194          
8195         * tab.h: (struct tab_table) [GLOBAL_DEBUGGING] New `reallocable'
8196         member.
8197
8198         * var.h: (macro force_dup_variable) [!GLOBAL_DEBUGGING] Remove
8199         gratuitous space between parameter definition.
8200
8201         * vars-atr.c: Changed some assert(0)'s to abort()'s to prevent
8202         complaints about running off the end of functions with NDEBUG
8203         enabled.
8204
8205 Sun Jul  5 00:17:25 1998  Ben Pfaff  <blp@gnu.org>
8206
8207         * Several source files: Removed some PORTME notes when reflection
8208         revealed that ANSI forbids that sort of breakage.  Also, added
8209         lots of `unused' qualifiers here and there.
8210
8211         * aggregate.c: (accumulate_aggregate_info) Remove local var
8212         weighting that turned out not to be used.
8213
8214         * avl.c: Update to version 1.1.0.  Add unused specifier.
8215         (avl_destroy) Initialize ab to 0.  Comment fixes.  Cast return
8216         value to void *.
8217         (avl_probe) Replace some instances of 1 with +1 where appropriate.
8218         (avl_find) Cast return value to void *.
8219         (avl_delete) q doesn't need to be initialized at the beginning of
8220         the function.  Replace some instances of 1 with +1.
8221         (force_avl_delete) Renamed avl_force_delete, all references changed.
8222         (compare_ints) `param' marked unused.
8223         (print_int) `param' marked unused.
8224         (recurse_tree) Replace some instances of 1 with +1.
8225
8226         * avl.h: Update to version 1.1.0.  Only declares avl function
8227         types if not already declared.
8228         (AVL_MAX_HEIGHT) Only define if not already defined.
8229         (struct avl_node) New unused member char pad[2].
8230         [GLOBAL_DEBUGGING] Change conditionalization to NDEBUG instead.
8231         (force_avl_insert) Renamed avl_force_insert.
8232         (force_avl_delete) Renamed avl_force_delete.
8233
8234         * crosstabs.q: (struct table_entry) Put `freq' into a union with
8235         new member `data'.
8236         (struct crosstab) Add new member `ofs'.
8237         (glob var int_tab) Removed.
8238         (custom_tables) In integer mode, assign v[i] properly through the
8239         indirect var_dict.
8240         (custom_variables) Now p.crs.max == max + 1.
8241         [DEBUGGING] (debug_print) p.crs.min and p.crs.max are now ints.
8242         (precalc) Implement integer mode.
8243         (calc_integer) Implement integer mode.
8244         (compare_table_entry) Remove unused local variable `comparing'.
8245         (make_summary_table) Implement integer mode.
8246         (macro ns_rows) Implemented as static variable now.
8247         (several variables) Made static, from global.
8248         (output_pivot_table) Use table_value_missing() for column heads.
8249         Remove several unused local variables.  Implement integer mode
8250         table summing.  Count up ns_rows.
8251         (crosstabs_dim) Make columns wider when /MISSING=REPORT requested.
8252         (find_pivot_extent) Moved into find_pivot_extent_general; now just
8253         calls that function or find_pivot_extent_integer.
8254         (find_pivot_extent_integer) New function.
8255         (enum_var_values) Implemented for integer mode.
8256         (table_value_missing) New function.
8257         (display_dimensions) Call table_value_missing() for heads.
8258         (float_M_suffix) New function.
8259         (display_crosstabulation) Call table_value_missing() for row
8260         heads.  Handle missing values in /MISSING=REPORT mode.
8261         (calc_fisher) Remove unused var N.
8262         (calc_r) Remove unused var fact.
8263
8264         * data-list.c: (dump_fixed_table) Fix table dimensioning.
8265         (read_one_set_of_repetitions) Remove unused vars var_spec, column.
8266
8267         * data-out.c: (insert_commas) Remove unused var cp.
8268         (convert_CCx) Remove unused vars save_set_decimal,
8269         save_set_grouping.
8270
8271         * descript.q: (dump_z_table) Fix table dimensioning.
8272         (pre_calc) Remove unused var j.
8273         (display) Remove unused vars title, s.  Fix table dimensioning.
8274
8275         * expr-evl.c: Comment fixes.
8276
8277         * frequencies.q: (full_dim) New function.
8278         (dump_full) Fix table dimensioning.
8279         (condensed_dim) New function.
8280         (dump_condensed) Fix table dimensioning.
8281
8282         * get.c: (cmd_match_files) Remove unused var n_val.  Remove unused
8283         label winnage.
8284
8285         * html.c: (html_close_drive) Remove unused var i.
8286         (postopen) Remove unused vars title, curfn_len, cp.
8287         (preclose) Remove unused vars this, x.
8288
8289         * lexer.c: Comment fixes.
8290
8291         * matrix-data.c: (cmd_matrix_data) Remove unused var index.
8292
8293         * means.q: (custom_tables) Remove unused var m_dim.
8294
8295         * mis-val.c: Format fix.
8296
8297         * modify-vars.c: (cmd_modify_vars) Remove unused var new_dict.
8298
8299         * output.c: (outp_get_paper_size) Remove unused var cp.
8300
8301         * pfm-read.c: (read_float) Remove unused var save, unused label
8302         underflow.
8303         (read_variables) Remove unused vars cp, j.
8304         (read_value_label) Remove unused var j.
8305
8306         * pfm-write.c: (bufwrite) Remove unused var i.
8307
8308         * postscript.c: (ps_postopen_drive) Remove unused vars dev_info,
8309         fn.
8310         (output_encodings) Remove unused vars char_cp, n_output.
8311         (read_ps_encodings) Remove unused var ep.
8312         (postopen) Remove unused var title.
8313         (preclose) Remove unused var fp.
8314         (ps_open_page) Remove unused vars true, false, orientation,
8315         mirror_horz, mirror_vert, width, length.
8316         (ps_text_metrics) Remove unused var x.
8317
8318         * q2c.c: (find_symbol) Remove unused var y.
8319         (parse_setting) Remove unused parameter sbc, all references
8320         changed.
8321         (dump_parser) Remove unused var cp.
8322         (dump_free) Remove unused var i.
8323
8324         * set.q: (static vars args, n) Removed.
8325         (internal_cmd_gset) Removed.
8326
8327         * sfm-read.c: (sfm_read_dictionary) Removed unused var i.
8328         (read_machine_flt64_info) Removed unused var file_endian.
8329         (read_documents) Removed unused var i.
8330         (read_compressed_data) Removed unused parameter dict, all
8331         references changed.
8332
8333         * sfm-write.c: (bufwrite) Removed unused var i.
8334         (sfm_write_case) Removed unused var i.
8335
8336         * sort.c: (merge_once) Remove unused var t.
8337         (write_separate) #if 0 out as dead code.
8338
8339         * split-file.c: (cmd_split_file) Remove unused var i.
8340
8341         * sysfile-info.c: (sysfile_info_dim) New function.
8342         (cmd_sysfile_info) Fix table dimensioning.
8343         (variables_dim) New function.
8344         (display_variables) Fix table dimensioning.
8345         (describe_variable) Remove unused var prev_r.
8346
8347         * t-test.q: (z_postcalc) Removed.
8348         (pairs_calc) Remove unused var bad_weight.
8349         (postcalc) Remove unused vars dfn, dfd.
8350
8351         * tab.c: (tab_create) Set t->dim to NULL.
8352         (tab_dim) Make sure t->dim is NULL first.
8353         (tab_natural_width) Remove parameter `clamp'.
8354         (tab_value) Remove duplicate assertion for table.
8355         (tab_raw) New function.
8356         (nowrap_dim) New function.
8357         (wrap_dim) New function.
8358         (tab_output_text) Fix table dimensioning.
8359
8360         * tab.h: (tab_raw) New macro.
8361
8362         * val-labs.c: (get_label) Remove unused var type.
8363         (copy_value_labels) Remove unused var trav.
8364
8365         * var.h: (struct crosstab_proc) Completely changed.
8366
8367         * vars-prs.c: (parse_dict_variable) Remove unused var v.
8368
8369         * vfm.c: (open_active_file) Remove unused vars i, lp.
8370
8371         * weight.c: (weight_trns_proc) #if 0 out as dead code.
8372         
8373 Tue Jun  2 23:37:21 1998  Ben Pfaff  <blp@gnu.org>
8374
8375         * Makefile.am: Add apply-dict.c, flip.c.
8376
8377         * apply-dict.c: New file.
8378         
8379         * command.c: (struct command) Make cmd[] larger for CLEAR
8380         TRANSFORMATIONS command name.
8381         (parse_cmd) Make sure we're in a valid state before using it as an
8382         index.  Discard variables and reset state on invalid transitions.
8383         (cmd_clear_transformations) New function.
8384
8385         * command.def: Add APPLY DICTIONARY, CLEAR TRANSFORMATIONS, FLIP.
8386         Add unimplemented PRESERVE, RESTORE.
8387
8388         * file-handle.h: Include stddef.h.
8389
8390         * flip.c: New file.
8391         
8392         * pfm-read.c: (parse_value) Pad value label values with spaces,
8393         not nulls.
8394
8395         * sfm-read.c: (struct sfm_fhuser_ext) Add reference count.
8396         (sfm_close) Decrement reference count, make sure it's zero.
8397         (sfm_maybe_close) New function.
8398         (sfm_read_dictionary) Handle reference counts.
8399
8400         * vars-atr.c: (clear_default_dict) New function.
8401         (discard_variables) Use clear_default_dict().
8402
8403 Sun May 31 00:58:05 1998  Ben Pfaff  <blp@gnu.org>
8404
8405         * Makefile.am: Add pfm-write.c.
8406         (LDADD) Add the libgmp2 libraries.
8407
8408         * command.def: Define EXPORT.
8409
8410         * get.c: (cmd_export) New function.
8411         (export_write_case_func) New function.
8412
8413         * pfm-read.c: (static spss2ascii[]) Make it const.
8414
8415         * pfm-write.c: New file.
8416
8417         * sfm-write.c: Formatting, comment fixes.
8418
8419         * var.h: Comment fix.
8420
8421 Fri May 29 21:44:12 1998  Ben Pfaff  <blp@gnu.org>
8422
8423         * Makefile.am: Add pfm.h, pfm-read.c.
8424
8425         * command.def: IMPORT is now implemented.
8426
8427         * format.c: (glob var translate_fmt[]) New var.
8428
8429         * get.c: (enum GTSV_NONE) Renamed GTSV_OPT_NONE.
8430         (cmd_import) New function.
8431         (import_source_read) New function.
8432         (glob var import_source) New var.
8433
8434         * pfm-read.c: New file.
8435
8436         * pfm.h: New file.
8437         
8438         * sfm-read.c: (parse_format_spec) Local variable translate_fmt[]
8439         moved in format.c.
8440         (dump_dictionary) Disabled printing a couple of items.
8441
8442 Mon May 25 12:42:37 1998  Ben Pfaff  <blp@gnu.org>
8443
8444         * crosstabs.q: (postcalc) Call make_summary_table().
8445         (make_summary_table) New function.
8446         (insert_summary) New function.
8447         (display_dimensions) Remove some unnecessary arguments, all
8448         references changed.
8449         (output_pivot_table) Fix lots of problems with the risk table
8450         setup.
8451         (submit) Don't display an empty table.
8452         (display_risk) Fix order of arguments to calc_risk().
8453
8454         * glob.c: Always include assert.h and stdlib.h.
8455
8456         * output.h: (enum OUTP_T_JUST_FULL) Removed, all references
8457         removed.
8458
8459         * tab.c: (tab_create) Cosmetic changes.
8460
8461         * tab.h: (enum TAB_JUSTIFY) Removed, all references removed.
8462
8463 Sun May 24 22:39:23 1998  Ben Pfaff  <blp@gnu.org>
8464
8465         * tab.def: Removed.
8466
8467         * crosstabs.q: (output_pivot_table) Headers drawing and submission
8468         code simplified, moved into new function submit().
8469         (submit) New function.
8470         (crosstabs_dim) New function.
8471         (display_directional) Substitute variable names for %s where
8472         appropriate.
8473         (somers_d_v[], somers_d_ase[], somers_d_t[]) New static vars.
8474         (calc_symmetric) Initialize parameters only if non-NULL.
8475         Calculate Somers' d.
8476         (calc_directional) Calculate Somers' d (or copy it, really).
8477         Calculate eta.
8478
8479         * output.c: (outp_string_width) New function.
8480
8481         * postscript.c: (postopen) Calculate font widths based on the
8482         width of the zero '0' character, not the width of the space
8483         character.  Set paper-width and paper-length based on points, not
8484         device units.
8485         (ps_open_page) Fix page setup string for landscape mode.
8486
8487         * som.h: (struct som_dimension) Removed.
8488         (struct som_table_class) height, width members take int * not
8489         som_dimesion * now.
8490
8491         * tab.c: Many functions now have added parameter validation.
8492         (tab_height, tab_width) These functions were removed and merged
8493         into a single function tab_resize(), and all references changed.
8494         (tab_dim) Rewritten since the interface changed; reduced from
8495         hundreds of lines to two.  All callers were changed.  Currently
8496         most of them just use tab_natural_dimensions as their callback and
8497         await detailed translation of functionality.
8498         (tab_natural_width) New function.
8499         (tab_natural_height) New function.
8500         (tab_natural_dimensions) New function.  This is a callback
8501         function, not something that you'd want to call directly.
8502         (tab_nat_dim) Removed.
8503         (tabi_table) Allocates t->w and t->h.
8504         (tabi_driver) Inlined sum_columns()'s functionality.  Calls the
8505         dimensions callback.
8506         (evaluate_dimensions) Removed.
8507         (sum_columns) Removed.
8508
8509         * tab.h: (enum TAL_1THIN) Removed.
8510         (enum series t_*) Removed.
8511         (struct tab_table) Members trh, trv changed to unsigned char *
8512         from int *.  Member dim changed to a function pointer from a
8513         unsigned char *.  Member max_stack_height removed.  New members
8514         hr_tot, vr_tot.
8515         (macros tab_l, tab_r, tab_t, tab_b) New.
8516
8517 Sat May 23 23:22:13 1998  Ben Pfaff  <blp@gnu.org>
8518
8519         * ascii.c: (delineate) Assign last_space_nchars before skipping
8520         spaces, to fix right justification.
8521
8522         * crosstabs.q: (static vars risk, direct) New vars.
8523         (static var pearson_r) Removed.
8524         (glob var chisq_fisher) Made static.
8525         (static vars row_tot[], col_tot[]) Don't include grand total
8526         anymore.
8527         (static var grand_total) Renamed W, all references changed.
8528         (output_pivot_table) Only make `table' if num_cells != 0.  Make
8529         risk and directional tables.  Deal with grand total no longer part
8530         of col_tot[].  Free rows and cols after we're done with them.
8531         (display_risk) New function.
8532         (display_directional) New function.
8533         (clac_r) Rewritten so that it stores all its results into its
8534         arguments, so it can be used for Spearman's correlation too.
8535         (calc_symmetric) Added a t[] argument, all references changed.
8536         Calculates ASEs for tau-b, tau-c, gamma.  Calculates Spearman's r,
8537         Pearson's r, Cohen's kappa.
8538         (calc_risk) New function.
8539         (calc_directional) New function.
8540
8541         * som.c: (som_submit) Improved debugging code.
8542
8543         * stats.c: (hypercube) New function.
8544         (cube) New function.
8545         (sqr) New function.
8546         (normal_sig) Went back to old implementation, which actually
8547         worked.
8548
8549         * stats.h: (macros square, cube, hypercube) Removed.  The
8550         equivalent functions in stats.c are inlined here; all references
8551         to square changed to sqr.
8552
8553 Fri May 22 00:03:41 1998  Ben Pfaff  <blp@gnu.org>
8554
8555         * crosstabs.q: (N_SYMMETRIC) New define.
8556         (postcalc) Disable debug printing.
8557         (static vars chisq_fisher, pearson_r) New.
8558         (output_pivot_table) Add support for symmetric measures.  Add
8559         chi-square output of exact sigs.
8560         (display_chisq) Rewritten.
8561         (display_symmetric) New function.
8562         (gamma_int) New function.
8563         (Pr) New function.
8564         (swap) New function.
8565         (calc_fisher) New function.
8566         (calc_chisq) Check boundary conditions better. Calculate Yates,
8567         Fisher, Mantel-Haenszel tests.
8568         (calc_r) New function.
8569         (calc_symmetric) New function.
8570
8571         * stats.c: (normal_sig) Rewritten with new algorithm.  Renamed
8572         from calc_normal.
8573         (chisq_sig) Better boundary conditions.  Renamed from
8574         calc_significance.
8575
8576         * tab.h: (struct tab_table) New member cf.
8577
8578         * tab.c: (tab_create) Set cf.
8579         (tab_width) New function.
8580         (tab_realloc) Handle cf.
8581         (tab_vline) Handle cf.
8582         (tab_hline) Handle cf.
8583         (tab_box) Handle cf.
8584         (tab_value) Handle cf.
8585         (tab_float) Handle cf.
8586         (tab_text) Handle cf.
8587         (tab_joint_text) Handle cf.
8588         (tab_offset) Handle cf.
8589         (tab_next_row) Handle cf.
8590         (evaluate_dimensions) Handle cf.
8591         (render_strip) Handle cf.
8592
8593 Wed May 20 00:03:59 1998  Ben Pfaff  <blp@gnu.org>
8594
8595         * crosstabs.q: (postcalc) New vars row_tot, col_tot, pass them to
8596         output_pivot_table().
8597         (output_pivot_table) Moved lots of local variables outside and
8598         made them static.  Add beginnings of chi-square statistic
8599         support.  Now column and row totals aren't in the main matrix.
8600         Always zero out any leftover rows & columns after we're done with
8601         the table entries.  Move all output stuff into
8602         display_dimensions(), display_crosstabs(), display_chisq().
8603         (display_dimensions) New function.
8604         (display_crosstabulation) New function.
8605         (display_chisq) New function.
8606         (calc_chisq) Implemented Pearson and likelihood-ratio chisquares.
8607
8608         * frequencies.q: (dump_full, dump_condensed) Remove tab_null()
8609         references, simplify logic.
8610
8611         * postscript.c: Remove scale, translate-x, translate-y,
8612         mirror-horz, mirror-vert, rotate-180 options.
8613         (struct ps_driver_ext) Remove scale, translate_x, translate_y.
8614         All references deleted.
8615         (macro YT) New macro.
8616         (array option_tab[]) Removed options.
8617         (ps_option) Removed options.
8618         (ps_open_page) Write page setup explicitly to output file, without
8619         using now-deleted BP function.
8620         (macro dump_line) Use YT().
8621         (macro dump_thick_line) Use YT().
8622         (draw_headers) Use YT().
8623         (switch_font) Reorder arguments to SF function.
8624         (write_text) Use YT().
8625
8626         * sfm-read.c: (sfm_read_case) Don't attempt to read variables that
8627         have get.fv == -1.
8628
8629         * sysfile-info.c: (describe_variables) Don't use tab_nulls().
8630
8631         * tab.c: (tab_create) Initialize t->ct to zeros.  Remove
8632         null-debugging code.
8633         (tab_realloc) Remove null-debugging code.  Initialize new regions
8634         of t->ct to zeros.
8635         (tab_vline) Support offsets.
8636         (tab_hline) Support offsets.
8637         (tab_box) Support offsets.
8638         (tab_null) Removed.
8639         (tab_nulls) Removed.
8640         (tab_row) Removed.
8641         (tab_col) Removed.
8642         (evaluate_dimensions) Remove null-debugging code.  Understand
8643         TAB_EMPTY attribute.  Assert that text.s.s is always non-NULL if
8644         TAB_EMPTY not present.
8645
8646         * tab.h: New cell attribute TAB_EMPTY.
8647         (macros tab_nr, tab_nc, tab_row, tab_col) New.
8648
8649         * vars-atr.c: (init_variable) Set get.fv to -1 so that GET doesn't
8650         try to read them from system files.
8651
8652         * vfm.c: (dump_splits) Don't call tab_null().   
8653
8654 Sat May 16 19:36:55 1998  Ben Pfaff  <blp@gnu.org>
8655
8656         * crosstabs.q: (struct crosstab) Added `missing' member.
8657         (custom_tables) Init missing.
8658         (calc_general) Handle missing values.
8659         (calc_chisq) New function.
8660         (output_pivot_table) Start work on chi-square output.  Update for
8661         new tab offset support functions.  Shorten statistic names.
8662
8663         * Several files: add in more `const's to placate gcc's warnings.
8664
8665         * tab.h: (struct tab_table) Add col_ofs, row_ofs members.  Comment
8666         fixes.
8667
8668         * tab.c: (tab_height, tab_realloc, tab_vline, tab_hline, tab_box,
8669         tab_null, tab_nulls, tab_value, tab_float, tab_text,
8670         tab_joint_text) Add col_ofs and row_ofs support.
8671         (tab_offset) New function.
8672         (tab_next_row) New function.
8673         (tab_row) New function.
8674         (tab_col) New function.
8675         (tabi_table) Add col_ofs and row_ofs support.
8676
8677         * vars-atr.c: (is_system_missing) New function.
8678
8679 Tue May 12 16:14:30 1998  Ben Pfaff  <blp@gnu.org>
8680
8681         * crosstabs.q: Expanded subcommand names RESID --> RESIDUAL, etc.
8682         (static var no_cells) Removed.
8683         (static var num_cells) New.
8684         (static var expected) New.
8685         (static var cells[]) New.
8686         (internal_cmd_crosstabs) Deal with new variables.
8687         (postcalc) Removed most of the meat and put it in new function
8688         output_pivot_table().
8689         (output_pivot_table) Calculates and outputs an entire pivot table.
8690
8691         * postscript.c: (postopen) Fix problems with free()ing addresses
8692         not obtained from malloc().
8693
8694         * som.c: (som_submit) Add assertion.
8695
8696         * sysfile-info.c: (describe_variable) Use new tab_nulls()
8697         function.
8698
8699         * tab.c: (static var tab_names[]) New.
8700         (tab_realloc) -1 for nc or nr indicates no change.
8701         (tab_nulls) New function.
8702         (tab_dim) Use tab_names[].
8703         (tabi_cumulate) Don't include bottom or right headers.  Furrfu.
8704         (evaluate_dimensions) Don't terminate on uninited cells, just put
8705         an X in them and emit a notice.  Use tab_names[].
8706
8707         * tab.h: Move bits into tab.def.
8708
8709         * tab.def: New.  Don't try to declare tab_table_class because then
8710         som.h has to be included.       
8711         
8712 Thu May  7 22:55:04 1998  Ben Pfaff  <blp@gnu.org>
8713
8714         * command.def: New file, contains all the command definitions
8715         previously included bodily in command.c.
8716
8717         * format.def: New file, contains all of the format definitions
8718         previously split across format.h, format.c, and sfm-write.c.
8719
8720         * lexer.h: Renamed from tokens.h in order to match corresponding
8721         .c file name.
8722
8723         * lexerP.h: Moved some rarely used functions exported by lexer.c
8724         into here.
8725
8726         * Makefile.am: Commemorate renamed files.
8727         (EXTRA_DIST) Add command.def, format.def.
8728
8729         * command.c: [0] (walk_cmdtable_func) Removed.
8730
8731         * crosstabs.q: (postcalc) Made it work and print out matrices
8732         proving it.
8733         (enum_column_values) Renamed enum_var_values, generalized for any
8734         variable.
8735
8736         * format.h: (struct fmt_desc) New member `spss'.
8737
8738         * q2c.c: (main) Generated code includes lexer.h instead of
8739         tokens.h.
8740
8741         * sfm-write.c: (write_format_spec) Use new spss member of fmt_spec
8742         instead of an independent translation table.
8743
8744 Tue May  5 13:19:03 1998  Ben Pfaff  <blp@gnu.org>
8745
8746         * Lots of source files: Added const to declarations.
8747
8748         * aggregate.c: (parse_aggregate_function) Rename inner i to j.
8749         
8750         * arena.c: (arena_clear) Set prev pointer to null when done.
8751
8752         * ascii.c: (ascii_option) Rename index as indx.
8753
8754         * avl.c: This is now a separate library called libavl.
8755         (xmalloc) Make static.
8756         (avl_probe) Step A7 can use the cache instead of an explicit
8757         compare.
8758         (avl_delete) Don't maintain a q pointer because it's always
8759         available in the pointer stack.  Comment fix.
8760
8761         * avl.h: This is now a separate library called libavl.
8762
8763         * command.c: (cmd_table[]) Remove spurious trailing "".
8764
8765         * common.h: Only include random() fix if this system needs it.
8766
8767         * crosstabs.q: Include alloca headers.
8768         (n_sorted_tab) New global var.
8769         (postcalc) Mostly rewritten.
8770         (find_pivot_extent) Rewritten.
8771         (enum_column_values) Rewritten.
8772
8773         * data-out.c: (convert_F) Rename inner n as n_spaces.
8774
8775         * error.c: (dump_message) Don't have an outer var i.
8776
8777         * file-handle.q: (static var f) Removed.  All references removed.
8778         (internal_cmd_file_handle) Uses a local variable instead of f.
8779
8780         * get.c: (trim_dictionary) Change scope of i, i1, i2.
8781         (cmd_match_files) Don't strcpy tokstr into sbc (why was this ever
8782         done?)
8783
8784         * getline.h: Declare getl_history as extern.  Reported by
8785         palme@uni-wuppertal.de (Hubert Palme).
8786
8787         * postscript.c: (postopen) Some large mods for constness.
8788
8789         * recode.c: Remove spurious copyrights since PSPP is owned by FSF
8790         anyway.
8791
8792 Fri Apr 24 12:52:47 1998  Ben Pfaff  <blp@gnu.org>
8793
8794         * Makefile.am: Rename BUILT_SOURCES to q_sources, all references
8795         changed.  Add avl.c, avl.h to pspp_SOURCES.  Remove avllib from
8796         LDADD.
8797
8798         * avl.c, avl.h: New files.  These form a clean-room
8799         reimplementation of avllib.  Iterative algorithms are used in
8800         place of recursive ones, so there is no resemblance in the code.
8801
8802         * Lots of headers: Don't include other headers by default.
8803
8804         * Lots of source files: Explicitly include all needed headers.
8805
8806         * arena.c: (arena_clear) New function.
8807
8808         * crosstabs.q: (ROW_VAR, COL_VAR) New enums.
8809         (static var ar) Removed.
8810         (staitc vars ar_tc, ar_col) New.
8811         (cmd_crosstabs) Destroy the arenas.
8812         (internal_cmd_crosstabs) Create the arenas.
8813         (precalc) Don't need a free function for the hash.
8814         (calc_general) Make sure to zero out the trailer on the key data
8815         before inserting.
8816         (print_table_entries) Updated.
8817         (postcalc) Worked on actually implementing.
8818         (find_pivot_extent) New function.
8819         (compare_value) New function.
8820         (enum_column_values) New function.
8821
8822         * data-in.c: (parse_month) Make local array `static const'.
8823         
8824         * data-out.c: (convert_date) Make local array `static const'.
8825         (convert_WKDAY) Same.
8826         (convert_MONTH) Same.
8827
8828         * frequencies.q: (postprocess_freq_tab) avl_walk_inorder() has
8829         been renamed to avl_walk().
8830         
8831         * hash.c: Rewritten more efficiently.
8832
8833         * hash.h: Add attribute const to hsh_next_prime declaration.
8834
8835         * lexer.c: (id_match) Make arguments const.
8836
8837         * postscript.c: (ps_postopen_driver) Make default fonts the
8838         Helvetica family.
8839
8840         * q2c.c: (main) Generated code needs stdlib.h.
8841
8842         * sfm-write.c: (write_value_labels) An avl_traverser needs to be
8843         initialized to 0 now, not to NULL.  All other references to
8844         avl_traverser were updated in the same way.
8845
8846         * tokens.h: Macro version of id_match updated to use const
8847         properly.
8848
8849         * val-labs.c: (inc_ref_count) New function.
8850         (copy_value_labels) Simply through use of new avl_copy() function.
8851
8852 Wed Apr 15 13:01:58 1998  Ben Pfaff  <blp@gnu.org>
8853
8854         * crosstabs.q: Probably doesn't compile.  New PIVOT subcommand.
8855         (postcalc) Worked on this.
8856
8857         * postscript.c: (OPO_DOUBLE_LINE) New enum.
8858         (struct ps_driver_ext) New line_width_thick member.
8859         (ps_preopen_drive) Init line_width_thick.
8860         (option_tab[]) Add line-* options.
8861         (ps_option) Parse line-* options.
8862         (postopen) Add line_width_thick support.  Strip leading spaces on
8863         prologue output lines.
8864         (ps_open_page) Include line_width_thick in output.
8865         (macro dump_thick_line) New.
8866         (dump_fancy_line) Support thick lines as well as double lines.
8867
8868 Tue Apr 14 00:50:08 1998  Ben Pfaff  <blp@gnu.org>
8869
8870         * Makefile.am: Add crosstabs.c to BUILT_SOURCES.  Add crosstabs.q
8871         to pspp_SOURCES.  Add crosstabs.q to EXTRA_DIST.
8872
8873         * Many source files: Rename `options' to `pv_opts' as appropriate.
8874
8875         * command.c: (static var cmd_table[]) Add CROSSTABS command.
8876
8877         * common.c: (xcalloc) New function.
8878
8879         * crosstabs.q: New file.  Not finished yet, though.
8880                 
8881         * data-list.c: Comment fix.
8882
8883         * error.c: Remove some old Checker cruft.
8884
8885         * frequencies.q: (dump_full) Cumulate valid percent instead of
8886         regular percent.
8887
8888         * getline.c: Comment fix.
8889
8890         * hash.c: Comment fixes.
8891
8892         * hash.h: (struct hsh_table) Make hash functions return unsigned
8893         instead of int to avoid problems with taking the modulo of
8894         negative return values.  All references changed.
8895
8896         * misc.c: (intlog10) Make its table static const instead of auto.
8897
8898         * sfm-read.c: (read_header) Make `prefix' static const instead of
8899         auto.
8900
8901         * var.h: (union value) Add member `hash'.
8902         (struct variable) Rename prv_index as `foo'--all references
8903         changed.  Reorder.
8904         (typedef pv_opts) Removed.  All references changed.
8905
8906         * vars-prs.c: (parse_variables) Message fixes.
8907         
8908 Mon Mar  9 15:35:08 1998  Ben Pfaff  <blp@gnu.org>
8909
8910         * get.c: (cmd_match_files) Don't reverse the order of FILEs as
8911         they are being inserted.  Don't check for BY variables of
8912         different types.  Discard variables if the active file isn't
8913         included in the merge.
8914         (mtf_processing) Essentially rewritten.
8915         (mtf_merge_dictionary) Check for master/slave variables of
8916         different types/widths.
8917
8918         * vfm.c: (static var not_canceled) New var.
8919         (process_active_file) Don't call vfm_source->read() if
8920         there's no vfm-source.  Initialize not_canceled.
8921         (process_active_file_write_case) Honor and update not_canceled.
8922         (prepare_for_writing) Rollback changes from yesterday, they were
8923         wrong.
8924         (close_active_file) Don't destroy vfm_source unless it exists.
8925         
8926 Mon Mar  9 00:56:16 1998  Ben Pfaff  <blp@gnu.org>
8927
8928         * Lots of source files: Added { } around nested if/else constructs
8929         to avoid new gcc 2.8 warnings.
8930
8931         * data-in.c: (parse_Z) Declare `int' type explicitly.
8932         (convert_Z) Ditto.
8933
8934         * get.c: (struct mtf_file) Add prev, next_min, by, input members.
8935         (cmd_match_files) Initialize mtf_by_values.  Manage by, input,
8936         prev members.  Put TABLEs at the end of the chain and FILEs at the
8937         beginning.  Don't allow the active file in STATE_INIT.  Use proper
8938         `seen' value for the active file.  Fill out the by members and
8939         make sure they're of consistent type.  Do the actual merge
8940         operation.
8941         (mtf_processing_finish) New function.
8942         (var_type_description) New function.
8943         (mtf_free_file) New function.
8944         (mtf_free) Rewritten.
8945         (mtf_delete_file_in_place) New function.
8946         (mtf_read_nonactive_records) New function.
8947         (mtf_compare_BY_values) New function.
8948         (static var mtf_seq_no) New var.
8949         (mtf_processing) New function.
8950         (mtf_merge_dictionary) Assign nval members for the system file
8951         dictionary.  Assign fv values for its variables.  Point each slave
8952         variable to the corresponding master variable.
8953
8954         * hash.c: Include str.h.
8955
8956         * mis-val.c: (copy_missing_values) src arg is const.
8957
8958         * misc.c: (spacing) Make `max' var explicitly int.
8959
8960         * sfm-read.c: (dump_dictionary) Message reformatting.
8961         (sfm_read_case) Add assertion.
8962
8963         * sort.c: Esthetic fixes.
8964
8965         * var.h: (struct match_files_proc) New struct.
8966         (struct variable) Add private data match_files_proc.
8967
8968         * vars-atr.c: (delete_variable) Implement.  Add argument for the
8969         dictionary that owning the variable.
8970         (dup_variable) Add assertion.
8971
8972         * vfm.c: Comment fixes, hopefully the comments are correct now.
8973         (process_active_file) New function.
8974         (process_active_file_write_case) New function.
8975         (process_active_file_output_case) New function.
8976         (prepare_for_writing) Use temp_dict->nval for vfm_info, not
8977         default_dict.nval.
8978         (write_case) Renamed procedure_write_case().  Now write_case is a
8979         pointer to a function.  Style fixes.
8980         
8981 1998-03-05  Ben Pfaff  <blp@gnu.org>
8982
8983         * Makefile.am: (q2c) Link with libmisc.
8984         (version.c) Define default_config_path, include_path,
8985         groff_font_path.
8986
8987         * ascii.c: (ascii_postopen_driver) When the default newline string
8988         is requested, open file in text mode.  Suggested by
8989         palme@uni-wuppertal.de (Hubert Palme).
8990         (static vars line_buf, line_p) Change from char * to unsigned char
8991         *.
8992         (ascii_close_page) char * to unsigned char *.
8993
8994         * cmdline.c: (parse_command_line) Implement -r option by
8995         prepending ~/.pspp/rc to the list of files to process.
8996
8997         * command.c: (cmd_remark) Reset getl_prompt to the standard prompt
8998         before pulling in a final line.
8999         (null_func, null_int_func) Removed (dead code).
9000
9001         * descript.q: (display) Calculate width of variable name column
9002         properly.  Calculate number of valid cases properly.  Reported by
9003         palme@uni-wuppertal.de (Hubert Palme).
9004
9005         * filename.c: (init_filename) Use default_config_path instead of
9006         now obsolete CONFIG_PATH.
9007
9008         * getline.c: (getl_initialize) Use include_path instead of now
9009         obsolete INCLUDE_PATH.
9010         (getl_add_file) New argument `where'.  All references changed.
9011
9012         * groff.c: (find_font_file) Use groff_font_path instead of now
9013         obsolete GROFF_FONT_PATH.
9014         
9015         * postscript.c: (find_ps_file) Use groff_font_path instead of now
9016         obsolete GROFF_FONT_PATH.  Copy through temporary variable to
9017         avoid problems with constness.
9018
9019         * str.h: (macro cs_streq) New macro.
9020
9021         * version.h: (glob var default_config_path, include_path,
9022         groff_font_path) New vars.
9023         
9024 1998-02-23  Ben Pfaff  <blp@gnu.org>
9025
9026         * Many source files: Change verbose_msg() priority levels and
9027         messages.
9028
9029         * aggregate.c: Include debug-print.h.
9030
9031         * cmdline.c: (parse_command_line) Add --safer/-s and --command/-c
9032         options.
9033         (static var pre_syntax_message) Document --safer/-s and
9034         --command/-c.
9035
9036         * command.c: (cmd_erase, cmd_host) Disable if set_safer is set.
9037
9038         * dfm.c: (open_inline_file) [__CHECKER__] Zero out ext->file,
9039         because it's not used but it's still copied.
9040         (open_file_r) Remove gratuitous debug message.
9041
9042         * filename.c: (safety_violation) New function.
9043         (open_file) Remove gratuitous debug messages.  Don't allow pipe
9044         files if set_safer is set.
9045
9046         * get.c: Turn off debugging.
9047
9048         * getline.c: (getl_add_virtual_file) New function.
9049         (getl_read_line) Add verbose_msg() call for opening new syntax
9050         file.
9051         (getl_perform_delayed_reset) Add a return value describing whether
9052         any action was taken.  Call reset_eof().
9053
9054         * getline.h: Comment fix.
9055
9056         * groff-font.c: (groff_read_font) Use `goto next_iteration' in
9057         place of incorrect `continue'.  Use strtok_r() instead of
9058         strtok().  Always check strtok_r() return value.
9059         (groff_read_DESC) Use strtok_r() instead of strtok().
9060
9061         * lexer.c: (reset_eof) New function.
9062
9063         * main.c: (parse) Get a token after performing a delayed reset
9064         action; allow empty syntax files.
9065
9066         * postscript.c: (output_encodings) Use strtok_r() instead of
9067         strtok().
9068
9069         * q2c.c: (dump_parser) Use strtok_r() instead of strtok().
9070
9071         * set.q: Comment fixes.
9072         (glob var set_safer) New var.
9073         (internal_cmd_set) Support SAFER.
9074
9075         * str.h: [!HAVE_STRTOK_R] Declare strtok_r() prototype.
9076
9077         * temporary.c: (free_dictionary) Set d->splits to NULL after
9078         freeing.
9079
9080         * vars-atr.c: (clear_variable) Decrement dict->n_splits if
9081         variable deleted, not if it *isn't* deleted.
9082
9083 1998-02-16  Ben Pfaff  <blp@gnu.org>
9084
9085         * command.c: (array cmd_table[]) Add MATCH FILES.
9086
9087         * common.c: Comment fixes.
9088
9089         * data-list.c, dfm.c, error.c, filename.c, list.q, matrix-data.c,
9090         modify-vars.c, postscript.c, sfm-read.c, sfm-write.c, tab.c:
9091         Include alloca.h.  Problem reported by palme@uni-wuppertal.de
9092         (Hubert Palme).
9093
9094         * expr-opt.c: Include str.h.  Problem reported by
9095         palme@uni-wuppertal.de (Hubert Palme).
9096
9097         * get.c: (cmd_get) [DEBUGGING] Update v->p.get to v->get.
9098         (static var mtf_by) Change from char ** to variable **.
9099         (static var mtf_master) New var.
9100         (mtf_merge_dictionary) New function.
9101         (cmd_match_files) Init mtf_master.  Parse mtf_by according to new
9102         var type.  Reorder tests properly.  Initialize file->dict.  Detect
9103         TABLE= without BY=.  Read file dictionaries and merge them.  Give
9104         subcommand name with IN, LAST, FIRST error messages.  Create IN,
9105         LAST, FIRST variables.  Comment fixes.
9106         (mtf_free) Don't free default_dict.  Free mtf_master.
9107
9108         * getline.c: Define getl_mode.  Change getl_buf_size to size_t
9109         from int.
9110         (handle_line_buffer) Cast int to size_t in comparison to avoid
9111         warning.
9112
9113         * getline.h: Declare getl_mode extern.
9114
9115         * groff-font.c: (groff_read_font) Type-fix calls to getline.
9116         (groff_read_DESC) Make line_size a size_t.
9117         (match_tok) Parenthesize name to avoid macro expansion.
9118
9119         * mis-val.c: (copy_missing_values) New function.
9120
9121         * postscript.c: (postopen) Make buf_size a size_t.
9122
9123         * sfm-read.c: (dump_dictionary) Make global from static.  Print
9124         variable info in parts for easier debugging with Checker.
9125
9126         * temporary.c: (copy_variable) Use copy_value_labels().
9127         (new_dictionary) New arg: whether to copy file label, documents.
9128
9129         * val-labs.c: (copy_value_labels) New function.
9130
9131         * var.h: (enums MISSING_*) Add MISSING_COUNT.
9132
9133         * vars-atr.c: [GLOBAL_DEBUGGING] (force_dup_variable) New
9134         function.
9135         (dup_variable) Set prv_index, get.fv, get.nv.
9136
9137 Fri Feb 13 15:38:36 1998  Ben Pfaff  <blp@gnu.org>
9138
9139         * Makefile.am: (pspp_SOURCE) Add htmlP.h.
9140
9141         * Many source files: For ANSI-compliance, add empty statement
9142         after label.  Reported by palme@uni-wuppertal.de (Hubert Palme)
9143         and Micah Altman <maltman@www-vdc.fas.harvard.edu>.
9144
9145         * data-in.c: (parse_numeric) Some header files break on
9146         -DBL_MIN_10_EXP because they get a --; add () for safety.
9147         Reported by palme@uni-wuppertal.de (Hubert Palme).
9148
9149         * dfm.c: Idea by Dr Eberhard W Lisse <el@linux.lisse.na>.
9150         (struct dfm_fhuser_ext) Change `file' from FILE * to file_ext.
9151         (dfm_close) Use close_file_ext.
9152         (open_inline_file) Set file.file to NULL, not file.
9153         (open_file_r, open_file_w) Initialize file.file; fill in file_ext
9154         struct and use open_file_ext().
9155         (read_record) Use file.file.
9156
9157         * file-handle.q: (prepend_current_directory) Pass through special
9158         filenames.
9159
9160         * filename.c: Only include unistd.h if HAVE_UNISTD_H.
9161         (normalize_filename) Pass through special filenames.
9162         (open_file, close_file) Accept pipe| and |pipe syntaxes as
9163         equivalent.
9164         (dirname) Rename blp_dirname() because of name conflict on some
9165         OS.  All references changed.  Reported by palme@uni-wuppertal.de
9166         (Hubert Palme).
9167         (is_special_filename) New function.
9168
9169         * get.c: (GTSV_OPT*) Add GTSV_OPT_MATCH_FILES.
9170         (trim_dictionary) Conditionalize some of the options on whether
9171         GTSV_OPT_MATCH_FILES is in *options.
9172         (rename_variables) Don't allow variables to be renamed as scratch
9173         variables.
9174         (MTF_*) New enum series.
9175         (struct mtf_file) New struct.
9176         (static vars mtf_head, mtf_tail, mtf_by, mtf_n_by, mtf_free) New
9177         vars.
9178         (cmd_match_files, mtf_free) New functions.
9179
9180         * lexer.c: (match_int) Needed parentheses around name to escape
9181         macro expansion.  Reported by Micah Altman
9182         <maltman@www-vdc.fas.harvard.edu>.
9183
9184         * print.c: Needed to include alloca.h.  Reported by Micah Altman
9185         <maltman@www-vdc.fas.harvard.edu>.
9186
9187         * recode.c: (convert_to_double) Parenthesize -DBL_MIN_10_EXP to
9188         -(DBL_MIN_10_EXP).  Reported by palme@uni-wuppertal.de (Hubert
9189         Palme).
9190         
9191         * str.h: Include stdarg.h.  Reported by palme@uni-wuppertal.de
9192         (Hubert Palme) and Micah Altman <maltman@www-vdc.fas.harvard.edu>.
9193
9194 Thu Feb  5 00:18:21 1998  Ben Pfaff  <blp@gnu.org>
9195
9196         * html.c: (struct html_driver_ext) Move into htmlP.h.
9197         (html_preopen_driver) Initialize cp_x, cp_y.
9198         (html_submit) Implement as call to output_tab_table().
9199         (change_attributes) New function.
9200         (escape_string) New function.
9201         (output_tab_table) New function.
9202
9203         * list.q: (write_all_headers) Add code for writing headers for the
9204         html driver.
9205         (clean_up) Write out the html close-table tag.
9206         (determine_layout) Ignore html driver.
9207         (list_cases) Write html data.
9208
9209         * som.c: (som_submit) Move more of the code into output_table().
9210
9211         * tab.c: (static var hit) Make a global var and rename tab_hit.
9212         (static var tab_table_class) Make a global var.
9213
9214         * htmlP.h: New file.
9215
9216 Tue Feb  3 16:12:18 1998  Ben Pfaff  <blp@gnu.org>
9217
9218         * dump-sysfile.c: Removed.
9219
9220         * html.c: (preclose) Change comment in emitted code.
9221
9222         * matrix-data.c: Debugging off by default.  Comment fixes.
9223         (static var container) New var.
9224         (cmd_matrix_data) Create and destroy container.  Initialize
9225         is_per_factor[] to 0s.  Move code into new function
9226         string_to_content_type().  Require split values to be present in
9227         the data when ROWTYPE_ is explicit.  Call specific function, not
9228         general read_matrices().
9229         (string_to_content_type) New function.
9230         (context) Exclude all whitespace, not just spaces.
9231         (mget_token) A dot is a number.  Add assertion.
9232         (static var data) Renamed nr_data.
9233         (static var factor_values) Renamed nr_factor_values.
9234         (read_matrices) Renamed read_matrices_without_rowtype().  Handle
9235         only specific case.  Close data_file before exit.
9236         (fill_matrix) New function.
9237         (read_data_lines) Renamed nr_read_data_lines().  Remove debug
9238         printing.  Style fixes.  Message fixes.  Move code into
9239         fill_matrix().
9240         (read_matrices_without_rowtype) Rename
9241         matrix_data_read_without_rowtype().  Fix off-by-one error on
9242         loops.  Allocate nr_data[] memory from arena.
9243         (read_matrices_with_rowtype) Removed.
9244         (read_splits) Renamed nr_read_splits().  Style fixes.
9245         (read_factors) Renamed nr_read_factors().
9246         (dump_cell_content) Comment fixes.  Arguments changed.  Change
9247         debug printing.  All references changed.
9248         (output_data) Renamed nr_output_data().
9249         (static var wr_content) New var.
9250         (struct factor_data) New struct.
9251         (static var wr_data) New var.
9252         (static var wr_current) New var.
9253         (matrix_data_source_destroy_source) Removed.
9254         (read_matrices_with_rowtype) New function.
9255         (matrix_data_read_with_rowtype) New function.
9256         (wr_read_splits) New function.
9257         (compare_factors) New function.
9258         (wr_output_data) New function.
9259         (wr_read_rowtype) New function.
9260         (wr_read_factors) New function.
9261         (wr_read_indeps) New function.
9262         (glob var matrix_data_source) Make destroy_source member NULL as
9263         well.
9264
9265 Fri Jan 23 00:09:08 1998  Ben Pfaff  <blp@gnu.org>
9266
9267         * lexer.c: (syntax_error) Give better error message when at end of
9268         file.
9269
9270         * matrix-data.c: (var content_names[]) Fix PROX spelling.  Change
9271         N_SCALAR to output as plain N.
9272         (mdump_token) Change output format.
9273         (context) Fix message output interaction with spaces in input.
9274         (another_token) New function.
9275         (force_eol) Improved error message.
9276         (static var max_cell_index) New var.
9277         (read_matrices) Init `cells'.  factor_values is now per-cell.
9278         Init max_cell_index.
9279         (read_data_lines) Replace `compare' local with new `compare' arg.
9280         Debugging messages changed.  Only read factors if per_factor.
9281         Propagate error return from read_factors(), force_eol().
9282         Copy N_SCALAR values across the N vector.
9283         (read_matrices_without_rowtype) Don't init `cells'.  Don't need to
9284         check parentheses manually since we now have is_per_factor[].
9285         Call read_data_lines() with new args.  Check for end of data after
9286         looping, using another_token().
9287         (read_factors) Arguments changed.  Use max_cell_index to determine
9288         whether to read or compare factors.  Message fixes.
9289         (dump_cell_content) New function.
9290         (output_data) Completely rewritten because content types were
9291         supported to be nested inside factor values, not vice versa.
9292         
9293 Thu Jan 22 00:26:38 1998  Ben Pfaff  <blp@gnu.org>
9294
9295         * lexer.c: (syntax_error) Support formatted varargs messages.
9296
9297         * matrix-data.c: Turn debugging on by default.
9298         (static content_type[]) New array.
9299         (static content_names[]) New array.
9300         (static rowtype_, varname_) New vars.
9301         (static is_per_factor[]) New array.
9302         (static split_values) Moved declaration.
9303         (static n_continuous, first_continuous) New var.
9304         (cmd_matrix_data) Don't init split_values.  Assign ROWTYPE_ to
9305         rowtype_.  Simplify SPLIT code.  Init is_per_factor[].  Assign
9306         VARNAME_ to varname_.  Initialize first_continuous, n_continuous.
9307         Check for continuous variables.
9308         [DEBUGGING] (debug_print) Remove content_names[].
9309         (mdump_token) New macro.
9310         (mget_token_dump) New function.
9311         (mdump_token) New function.
9312         (context) New function.
9313         (mget_token) Fix messages.
9314         (static var data, split_values, factor_values) New vars.
9315         (read_matrices) Manage split_values, factor_values.
9316         (read_data_lines) New function.
9317         (read_matrices_without_rowtype) Implemented.
9318         (read_splits) Message fixes.  Uses `just_read'.
9319         (read_factors) New function.
9320         (output_data) New function.
9321         (matrix_data_source_destroy_source) Close the file handle.
9322         (glob var matrix_source) Change name from "DATA LIST" to "MATRIX
9323         DATA".
9324
9325         * str.c: (strpadcmp) Removed.
9326
9327         * vfm.c: (dump_splits) Initialize i; fix test for end of splits.
9328
9329 Sun Jan 18 00:30:59 1998  Ben Pfaff  <blp@gnu.org>
9330
9331         * Lots of source files: Add cast to unsigned character to calls to
9332         tolower() and toupper().
9333
9334         * aggregate.c: Set default_dict.splits to NULL.
9335
9336         * command.c: (static variable tab[]) Add MATRIX DATA.
9337
9338         * data-in.c: Add debugging defines.  Formatting fixes.
9339
9340         * expr-opt.c: Formatting fixes.
9341
9342         * lexer.c: (syntax_error) Message fixes.
9343
9344         * matrix-data.c: New enum series.
9345         (static vars fmt, section, diag, explicit_rowtype, signle_split,
9346         split_values, n_factors, factors, cells, pop_n, contents,
9347         n_contents) New vars.
9348         (cmd_matrix_data) Finished implementation.
9349         (compare_variables_by_mxd_vartype) New function.
9350         [DEBUGGING] (debug_print) New function.
9351         (static vars mtoken, mtokstr, mtoklen, mtokval) New vars.
9352         (read_matrices) New function.
9353         (read_matrices_without_rowtype) New function.
9354         (read_matrices_with_rowtype) New function.
9355         (read_splits) New function.
9356         (mget_token) New function.
9357         (force_eol) New function.
9358         [0] (test_tokenizer) New function.
9359         (matrix_data_source_destroy_source) New function.
9360         (glob var matrix_data_source) New var.
9361
9362         * misc.h: Include ieeefp.h if present.
9363
9364         * split-file.h: (cmd_split_file) Changes corresponding to struct
9365         dictionary changes.
9366
9367         * str.h: Fix memmem prototype.
9368
9369         * temporary.c: (save_dictionary, restore_dictionary,
9370         free_dictionary) Changes corresponding to struct dictionary
9371         changes.
9372
9373         * var.h: (MXD_* enums) New enum series.
9374         (struct matrix_data_proc) New struct.
9375         (struct split) Removed.
9376         (struct dictionary) Changed `splits' member from `split *' to
9377         `variable **'.
9378         (macro force_create_variable) New macro.  Replaced lots of
9379         create_variable()/assert() calls with calls to this macro.
9380
9381         * vars-atr.c: (discard_variables) Changed assertion.
9382         [GLOBAL_DEBUGGING] (force_create_variable) New function
9383         called by the macro of the same name.
9384         (clear_variable) Changes to delete splits from the dictionary
9385         corresponding to struct dictionary changes.
9386
9387         * vars-prs.c: (parse_variables) [GLOBAL_DEBUGGING] Check for
9388         corrupted variable `index' values in the dictionary passed in
9389         every time this function is called.
9390
9391         * vfm.c: (dump_splits, SPLIT_FILE_procfunc) Changes corresponding
9392         to struct dictionary changes.
9393
9394 Tue Jan 13 23:45:02 1998  Ben Pfaff  <blp@gnu.org>
9395
9396         * Makefile.am: (pspp_SOURCES) Add matrix-data.c.
9397
9398         * command.c: New includes.
9399         (static array cmd_table[]) Add ERASE, HOST, NEW FILE.
9400         (cmd_erase) New function.
9401         [unix] (shell) New function.
9402         (run_command) New function.
9403         (cmd_host) New function.
9404         (cmd_new_file) New function.
9405
9406         * expr-prs.c: (parse_primary) Message fix.
9407
9408         * inpt-pgm.c: Formatting fix.
9409         (cmd_reread) Implement the FILE subcommand.
9410
9411         * matrix-data.c: New file.
9412
9413         * q2c.c: (dump_header) Change output commenting style.
9414
9415         * weight.c: Comment fix.
9416
9417 Tue Jan 13 00:53:39 1998  Ben Pfaff  <blp@gnu.org>
9418
9419         * aggregate.c: (buf64_10x) Renamed buf64_1xx, all references
9420         changed.
9421         (buf_10x) Renamed buf_1xx, all references changed.
9422         (cmd_aggregate) Implemented cases 010, 011, 110, and 111 (all
9423         cases now implemented).
9424         (create_sysfile) New function.
9425         (agr_11x_func) New function.
9426
9427         * data-in.c: (parse_numeric) Work properly if there's an
9428         explicitly coded decimal point in the data and decimal places are
9429         specified on DATA LIST.  Bug reported by Dr Eberhard W Lisse
9430         <el@linux.lisse.na>.
9431
9432         * get.c: (cmd_get, cmd_save_internal) Allow extraneous slash
9433         before file specification on GET, SAVE, XSAVE.  Bug reported by Dr
9434         Eberhard W Lisse <el@linux.lisse.na>.
9435
9436         * q2c.c: [!HAVE_STRERROR] Include misc/strerror.c, not
9437         strerror.c.  Bug reported by Alexandre Oliva
9438         <oliva@dcc.unicamp.br>.
9439
9440         * sort.c: Include sort.h.  Comment fixes.  A few esthetic fixes.
9441         (static var separate_case_tab) New var.
9442         (cmd_sort_cases) Cancel temporary transformations here.  Free
9443         v_sort before return.
9444         (sort_cases) Run an EXECUTE procedure if SEPARATE is nonzero and
9445         we're reading from a sort stream.  Don't cancel temporary
9446         transformations.  Offload internal sorting to do_internal_sort().
9447         (do_internal_sort) New function.  Handles internal sorting even
9448         when SEPARATE is nonzero.  Doesn't free v_sort.
9449         (do_external_sort) Take new arg SEPARATE.  Only destroy `x' if
9450         it's non-NULL.
9451         (write_initial_runs) Take new arg SEPARATE.  Only destroy the old
9452         sink if SEPARATE is zero.
9453         (read_output_cases) Renamed read_sort_output(), all references
9454         changed.  Now uses separate_case_tab when it exists.
9455         (write_separate) New function.
9456
9457         * vfm.c: (page_to_disk) Destroy memory_source_cases, not
9458         memory_sink_cases.  Don't redundantly call
9459         vfm_source->destroy_source().
9460         (memory_stream_mode) After switching over, set memory_sink_cases
9461         to NULL.
9462
9463 Sat Jan 10 23:35:51 1998  Ben Pfaff  <blp@gnu.org>
9464
9465         * aggregate.c: (struct agr_var) Expand dbl[] array from 2 to 3
9466         elements.
9467         (static var prev_case) New, moved out of aggregate_single_case()
9468         local scope.
9469         (static var buf64_10x, buf_10x) New.
9470         (cmd_aggregate) Initialize prev_case.  Comment fixes.  Implement
9471         the 000, 001, 100, and 101 cases.  Free prev_case.
9472         (parse_aggregate_functions) Disallow scratch variables.
9473         (free_aggregate_functions) Only free agr_dict if non-null.  Use
9474         iter->function to determine numeric/string type, not
9475         iter->src->type.
9476         (aggregate_single_case) Don't manage prev_case.  Initialize
9477         aggregate info after dumping it.
9478         (accumulate_aggregate_info) Fix sum, weighted sum, mean, weighted
9479         mean, stddev, weighted stddev definitions.
9480         (dump_aggregate_info) Implemented.
9481         (initialize_aggregate_info) Renamed from
9482         initialize_aggregate_functions().  Initializes dbl[2].
9483         (agr_00x_trns_proc, agr_00x_end_func, write_case_to_sfm,
9484         agr_10x_trns_proc, agr_10x_trns_free, agr_10x_end_func) New.
9485
9486         * cases.c: (alloc_val) Removed.
9487
9488         * get.c: (cmd_save_internal) Initialize new `dict' member.
9489
9490         * sfm-write.c: (sfm_write_dictionary, write_header,
9491         write_variable, write_value_labels, write_documents) Reorganize,
9492         simplify for new parameter structure.
9493         (write_variable) Only one variable * argument now.
9494
9495         * sfm.h: (struct sfm_write_info) Removed `pri', `sec', and
9496         replaced by new `dict' member.
9497
9498         * temporary.c: (new_dictionary) Initialize n_documents.
9499
9500         * vars-atr.c: (dup_variable) Allocate `value's from dict into
9501         v->fv manually.
9502         (init_variable, replace_variable) Eliminate usage of alloc_val().
9503
9504         * vars-prs.c: (parse_DATA_LIST_vars) Accept PV_NO_SCRATCH option.
9505
9506         * vfm.c: (arrange_compaction) Allow `temporary' value of 2 to
9507         signal that AGGREGATE is to be used for forming final cases.
9508         (close_active_file) Call end_func before stopping lagging.  Cancel
9509         temporary after finishing compaction.
9510         (write_case) Comment fixes.  Cleaned up.
9511         (compact_case) Let AGGREGATE handle compaction when `temporary' is
9512         2.
9513
9514 Sat Jan 10 02:10:47 1998  Ben Pfaff  <blp@gnu.org>
9515
9516         * Makefile.am: (BUILT_SOURCES) Add means.c.
9517         (pspp_SOURCES) Add means.c.
9518         (EXTRA_DIST) Add means.q.
9519
9520         * command.c: (array cmd_table[]) Add MEANS.
9521
9522         * common.h: Esthetic fixes.  Comment fixes.  Test for
9523         MAX_SHORT_STRING greater than 8.
9524         (macros LOWEST, HIGHEST) New.
9525
9526         * data-in.c, data-list.c, recode.c: Comment fixes.
9527
9528         * means.q: New file, base version.
9529
9530         * mis-val.c: (parse_num_or_range, parse_numeric) Replace -DBL_MAX
9531         with LOWEST, DBL_MAX with HIGHEST.
9532
9533         * q2c.c: (dump_vars) Add an enum to array types giving the number
9534         of values for the enum.
9535
9536         * sfm-read.c: (sfm_read_dictionary, read_machine_flt64_info)
9537         Replace second_lowest_value with second_lowest_flt64.
9538
9539         * sfm-write.c: (write_variable, write_rec_7_34) Replace
9540         second_lowest_value with second_lowest_flt64.
9541
9542         * t-test.q: Comment fix.
9543
9544         * temporary.c: (restore_dictionary) Esthetic fix.
9545
9546         * tokens.h: (force_match_id, force_match, force_string, force_int,
9547         force_num, force_id) Replace msg() with syntax_error().
9548
9549         * var.h: (struct means_proc) New.
9550         (struct variable) Add mns member to `p' union.
9551
9552         * vars-prs.c: (parse_variable, parse_dict_variable,
9553         parse_variables, parse_DATA_LIST_vars) Replace msg() with
9554         syntax_error().
9555
9556 Thu Jan  8 22:28:41 1998  Ben Pfaff  <blp@gnu.org>
9557
9558         * Makefile.am: (pspp_SOURCES) Add tab.h.
9559
9560         * Most source files: Added a cast to unsigned char in usages of
9561         the ctype is*() functions.  Replaced `end of command expected'
9562         calls to msg() with calls to syntax_error().
9563
9564         * frequencies.q: (dump_condensed) Fix tab_dim() column reference.
9565
9566         * lexer.c: (hex_val) Removed (was dead code).
9567         (idmatch) Parenthesize function name to avoid macro expansion.
9568
9569         * postscript.c: Comment fixes.
9570         (ps_preopen_driver) Change default font size to 10pt.
9571
9572         * sfm-read.c: (read_variables) Byteswap sv.print, sv.write as
9573         int32s.
9574         (parse_format_spec) Change system-file format spec argument type
9575         to int32.  Parse the format spec with bitwise operators.
9576
9577         * sfmP.h: (struct sysfile_format) Removed.
9578         (struct sysfile_variable) Changed print, write members from
9579         sysfile_format to int32.
9580
9581         * tokens.h: Esthetic fixes.
9582         [__GNUC__] (macro id_match) New macro to hopefully speed up
9583         identifier matching.
9584         (macros match_id, match_tok, match_int) Implemented in
9585         compiler-independent manner; no longer GNU C only.
9586
9587         * vfm.h: Include time.h.
9588
9589 Mon Jan  5 11:06:15 1998  Ben Pfaff  <blp@gnu.org>
9590
9591         * data-list.c: (dump_fixed_table) Change tab_dim().
9592
9593         * dump-sysfile.c: (open_sysfile) Fix mmap() call.
9594
9595         * error.c: Include command.h.
9596
9597         * frequencies.g: Formatting fixes.
9598
9599         * frequencies.q: Add tab_dim() calls.  Make the total cell a
9600         joined cell.
9601
9602         * glob.c: Include command.h.
9603
9604         * sfm-read.c: (struct sfm_fhuser_ext) New members sysmis, highest,
9605         lowest.
9606         (sfm_read_dictionary) Initialize sysmis, highest, lowest.
9607         (sfm_read_machine_flt64_info) Update sysmis, highest, lowest.
9608         (read_variables) Byteswap sv.type; byteswap sv.print, sv.write as
9609         the other elements (is this right?).
9610         (read_variables) Use lowest, highest members.
9611         (parse_format_spec) New arg `vv' for more stringent checking.
9612         (dump_dictionary) Byteswaps nonexplicit data.
9613         (sfm_read_case) Byteswap numeric data.
9614
9615         * som.c: Initialize table_num to 1.
9616         (render_segments) Remember to increment y_index after each table
9617         segment.
9618
9619         * sysfile-info.c: (cmd_sysfile_info) Change tab_dim().  Don't call
9620         avl_count() on a NULL tree.  No title for the second table.
9621         (cmd_display) Handle DISPLAY VECTORS by calling display_vectors().
9622         Handle AS_SCRATCH as AS_NAMES.  Warn if no variables.  Re-enable;
9623         fix call to display_variables().
9624         (display_variables) Default to 4 columns, not 3.  Set up headers.
9625         Column title is Variable, not Name.  Fix index column.
9626         Add joint text.  Add tab_dim().  Handle value labels properly.
9627         Handle DISPLAY LABELS properly.  Draw boxes correctly.
9628         (describe_variable) Value labels don't need titles.  Don't clear
9629         nonexistent index column.
9630         (compare_vectors_by_name) New function.
9631         (display_vectors) New function.
9632
9633         * tab.c: (tab_height) Add assertion.
9634         (tab_null) Add debug code.
9635         (evaluate_dimensions) Add debug code.
9636
9637         * var.h: (struct variable) get_proc data is sometimes used
9638         simultaneously with other per-procedure info, therefore it was
9639         removed from the union.  All references changed.        
9640
9641 Sun Jan  4 18:13:33 1998  Ben Pfaff  <blp@gnu.org>
9642
9643         * ascii.c: (ascii_close_page) Put title on second line of headers
9644         if there is no subtitle.
9645
9646         * command.c: (glob var cur_proc) Move definition here, from
9647         common.c.
9648         (cmd_remark) Emit blank line before remarks.
9649
9650         * command.h: (glob var cur_proc) Move declaration here, from
9651         common.h.
9652
9653         * data-list.c: (dump_fixed_table) Fix messages.
9654         (dump_free_table) Call tab_nat_dim().
9655
9656         * descript.q: (dump_z_table) Modify tab_dim() call.
9657
9658         * frequencies.q: (dump_condensed, dump_statistics) Add tab_dim()
9659         call.
9660         (dump_statistics) Don't output header.
9661
9662         * groff-font.c: Minor format fix.
9663
9664         * html.c: Comment fix.
9665
9666         * list.q: (write_varname) Indent after advancing page.
9667
9668         * output.h: Minor reordering.
9669
9670         * postscript.c: Comment fixes.  Many places, '\n' was replaced by
9671         a reference to eol[].
9672         (struct ps_driver_ext) New member eol[].
9673         (ps_preopen_driver) Initialize eol[].
9674         (ps_postopen_driver) Fix sense of text for text_opt, line_opt
9675         defaults.  Handle headers.  Fix test for minimum page length.
9676         (static var option_tab[]) Add `line-ends'.
9677         (ps_option) Handle line-ends to change eol[].
9678         (postopen) Scale prop_em_width and fixed_width properly.  Set the
9679         prologue title to outp_title if applicable.  Replace the prologue
9680         line ends with eol[].  Call draw_headers() if headers are enabled.
9681         (text_width) New function.
9682         (out_text_plain) New function.
9683         (draw_headers) New function.
9684
9685         * print.c: (dump_table) Call tab_nat_dim().
9686
9687         * som.c: (som_blank_line) Only advance a line if not at the top of
9688         a page.
9689         (som_submit) Move several informational table calls here.
9690         Increment subtable_num if SOMF_NO_TITLE not set.
9691         (output_table) Advance a line if SOMF_NO_SPACING not set.
9692         (render_columns, render_segments, render_simple) Handle spacing
9693         between tables.  Handle table titles.  Remove debug output.
9694
9695         * som.h: (SOMF_*) New enum series.
9696         (struct som_table_class) New member `flags'.
9697
9698         * sysfile-info.c: (cmd_sysfile_info) Calls tab_nat_dim().  No
9699         headers or spacing.
9700         (display_variables) Calls tab_nat_dim().
9701         (describe_variable) Remove restriction on number of value labels.
9702         Make value labels separated by thin lines.
9703
9704         * tab.c: (tab_create) Default `flags' to none.
9705         (tab_float) New arg `w'.  All references changed.
9706         (tab_nat_dim) New function.
9707         (tab_output_text) No title or spacing.
9708         (tab_flags) New function.
9709         (tabi_flags) New function.
9710         (tabi_title) New function.
9711         (strip_height) Removed.
9712         (tabi_render) Skip title when necessary.
9713         (static var tab_tab_class) Add tabi_flags, tabi_title.
9714         (evaluate_dimensions) Disable display of column, row size.
9715         (sum_columns) Add title height to top header.
9716         (render_strip) Moved within file.
9717
9718         * tab.h: (struct tab_table) New member `flags'.
9719
9720         * vfm.c: (dump_splits) Calls tab_nat_dim().  No title.
9721
9722 Sat Jan  3 16:55:44 1998  Ben Pfaff  <blp@gnu.org>
9723
9724         * Most source files: Add `const' attribute in all appropriate
9725         places.
9726         
9727         * sysfile-info.c: (cmd_sysfile_info) Add tab_dim() call, add a
9728         column to the variables table for use by describe_variable().
9729         (cmd_display) Disable for the present.
9730         (display_documents) Don't wrap documents.
9731         (display_variables) Table has four columns now.
9732         (describe_variable) Table has four columns now.  Don't use a
9733         subtable, use joined cells instead.
9734
9735         * tab.c: (tab_create) Don't set `join'.
9736         (tab_realloc) ct array is not made up of a_string's.
9737         Reallocate trh, hrh, h arrays, initialize trh array.  Initialize
9738         cell contents on GLOBAL_DEBUGGING, not DEBUGGING.
9739         (text_format) New function.
9740         (tab_title) Rewritten, uses text_format().
9741         (tab_text) Rewritten, uses text_format().
9742         (tab_joint_text) New function.
9743         (tab_join) Removed.
9744         (static var hit) New variable.
9745         (render_strip) New args r1, r2.  Implement joined cells that fit
9746         on a single page.
9747         (tabi_render) Increment hit.  Pass new args to render_strip().
9748         (evaluate_dimensions) [GLOBAL_DEBUGGING] Check for uninitialized
9749         cells.  For t_naw and t_nah, ignore joined cells and null cells in
9750         calculations.
9751         
9752         * tab.h: (struct tab_join_rect) Removed.
9753         (struct tab_table) Removed `join'.
9754         (TAB_JOIN_MAIN) Removed.
9755         (struct tab_joined_cell) New struct.
9756         (TAT_NOWRAP) New enum.
9757
9758 Fri Jan  2 01:39:58 1998  Ben Pfaff  <blp@gnu.org>
9759
9760         * ascii.c: (ascii_postopen) Replace ASCII_* macros with their
9761         expansions.
9762         (ascii_postopen_driver) Fix initialization of *_spacing so that
9763         the TAL_0 bit doesn't count.
9764
9765         * data-list.c: (dump_fixed_table) Use natural width for Format
9766         column.
9767
9768         * glob.c: (rerange) Removed.
9769         (get_date) Formatting fixes.  Internationalization fix.
9770
9771         * html.c: (html_postopen_driver) Replace HTML_DEFAULT_OUTPUT_FILE
9772         with "pspp.html".
9773
9774         * postscript.c: (ps_postopen_driver) Replace
9775         PS_DEFAULT_OUTPUT_FILE with "pspp.ps".
9776
9777         * som.c: (som_submit) Don't eject page before every table.
9778         (output_table) Fix order of arguments on call to area().
9779         (render_columns) Fix calculation of max_len.
9780         
9781         * tab.c: (tabi_cumulate) Minor change to increase elegance.
9782         (render_strip) New function.
9783         (strip_height) New function.
9784         (tabi_render) Rewrite as calls to render_strip().
9785
9786         * tab.h: (TAT_* enums) Removed TAT_RICH, all references removed.
9787         Renumbered TAT_PRINTF, TAT_TITLE, TAT_FIX to correspond better
9788         with the TAB_* and OUTP_T_* constants.
9789         
9790 Thu Jan  1 11:53:52 1998  Ben Pfaff  <blp@gnu.org>
9791
9792         * Makefile.am: Formatting fixes.
9793
9794         * ascii.c: (ascii_postopen_driver) Initialize *_line_spacing[],
9795         *_line_width[].
9796
9797         * data-list.c: (dump_fixed_table) Add tab_dim() call.
9798
9799         * descript.q: (dump_z_table, display) Add tab_dim() calls.
9800
9801         * dump-sysfile.c: (glob var length) Make type off_t.
9802         (usage) Fix arguments.
9803         (main) Return 0.
9804
9805         * output.h: (OUTP_T_*) Change constants' value to match tab.h.
9806         Now right-justification is the default so many references had to
9807         change.
9808         (struct outp_class) Removed line_width, all references changed.
9809         (OUTP_DEV_*) Add OUTP_DEV_DISABLED.
9810         (struct outp_driver) Add elements horiz_line_width,
9811         vert_line_width, horiz_line_spacing, vert_line_spacing.  Remove
9812         som element.
9813
9814         * postscript.c: (outp_encodings) Formatting fixes.  Fix garbage
9815         collection.
9816         (postopen) Initialize all the informational members of
9817         outp_driver.
9818
9819         * som.c: (som_blank_line) New function, renamed from blank_line(),
9820         all references changed.
9821         (som_submit) Disables drivers whose pages can't be opened.
9822         (render_columns, render_simple, render_segments) Add debug output.
9823         (render_columns) Fix loop range.
9824         (render_simple) Don't try to render the headers, they're taken
9825         care of automatically.  Advance cp_y past the table when done.
9826         (render_segments) Fix loop ranges.
9827
9828         * tab.c: Initialize new members of tab_table.
9829         (tab_vline) Handle trv[]; don't set style for spacing-only lines.
9830         (tab_hline) Handle trh[]; don't set style for spacing-only lines.
9831         (tab_box) Handle trh[], trv[]; don't set style for spacing-only
9832         lines.
9833         (set_expr) Removed.
9834         (tab_dim) New function.
9835         (tab_col_width) Removed.
9836         (tab_row_height) Removed.
9837         (tab_output_text) Call tab_dim().
9838         (tabi_driver) Call evaluate_dimensions(), sum_columns().
9839         (tabi_area) Implemented.
9840         (tabi_cumulate) Implemented.
9841         (tabi_render) Partially implemented, but broken.
9842         (var tab_table_class) Made static.
9843         (evaluate_dimensions) New function.
9844         (sum_columns) New function.
9845
9846         * tab.h: (enum t_*) Now start at t_end.  New: t_ptw, t_nr, t_nc,
9847         t_nah, t_naw, t_neg, t_xch, t_dup, t_lbl, t_jnz, t_sac, t_sar,
9848         t_scr, t_srr, t_sentinel.  Removed: t_nat.
9849         (struct tab_table) New: wl, wr, ht, hb, trh, hrh, trv, wrv, dim,
9850         max_stack_height, w, h.  Removed: ce, re.
9851         (macro blank_line) Removed.
9852         (glob var zero_length) Removed.
9853
9854 Fri Dec 26 15:44:31 1997  Ben Pfaff  <blp@gnu.org>
9855
9856         * Most source files: include some of the new include files broken
9857         out of var.h.
9858         
9859         * Makefile.am: (pspp_SOURCES) Add all the new source files to the
9860         list.
9861
9862         * aggregate.c: (glob var outfile) Make static.
9863
9864         * command.c: (glob var pgm_state) Move here.
9865
9866         * common.c: (glob vars endian, second_lowest_value, pgmname,
9867         finished, curdate, cur_proc, start_interactive, history_file) Move
9868         here.
9869
9870         * descript.q: (structs dsc_z_score, descriptives_trns) Move here.
9871
9872         * file-handle.q: (glob vars files, inline_file) Move here.
9873
9874         * glob.c: Lost lots of glob vars, detailed in individual file
9875         entries.
9876         (init_glob) set_printer, set_screen were obsolete, deleted.
9877         set_cprompt has fewer spaces because pspp has fewer letters than
9878         fiasco.
9879
9880         * inpt-pgm.c: (glob vars inp_init, inp_init_size) Move here.
9881         (inp_nval) Made static.
9882
9883         * lexer.c: (glob vars token, tokval, tokstr, tokstr_size,
9884         tokstr_len, toklongstr, tokint) Move here.
9885
9886         * misc.c: Lost several vars and functions.
9887
9888         * set.q: (all the set_* variables) Move here.
9889
9890         * str.c: (strmaxcpy, strbarepadcpy, strbarepadlencpy, strpadcpy,
9891         blpstrset, strpadcmp, memrev, memrmem, cmp_str) Move here from
9892         misc.c.
9893
9894         * tab.c: (set_expr, tab_col_width, tab_row_height) New functions.
9895
9896         * tab.h: (enum series t_*) New enums.
9897         (struct tab_table) Use arena struct tag.  New members ce, re.
9898
9899         * tokens.h: Comment fixes.
9900
9901         * var.h: Move lots of enums and variables and functions and
9902         structures to other files.  Use and declare a lot more union and
9903         struct tags.  Comment fixes.  
9904
9905         * vector.c: (glob vars vec, nvec) Move here.
9906
9907         * vfm.c: (glob vars reinit_sysmis, reinit_blanks, init_zero,
9908         init_blanks, last_vfm_invocation) Move here.
9909
9910         * cases.h: New file.
9911         (struct long_vec) Move here.
9912         (vec_init, vec_clear, vec_insert, vec_delete, devector, envector)
9913         Move here.
9914
9915         * command.h: New file.
9916         (STATE_* enums) Move here.
9917         (glob var pgm_state) Move here.
9918
9919         * format.c: New file.
9920         (glob var formats) Move here.
9921         (parse_format_specifier_name, fmt_to_string,
9922         check_input_specifier, check_output_specifier,
9923         check_string_specifier, convert_fmt_ItoO, parse_format_specifier)
9924         Move here.
9925
9926         * format.h: New file.  Move functions now in format.c here.
9927         (FMT_* enums) Move here.
9928         (struct fmt_desc) Move here.
9929         (FCAT_* enums) Move here.
9930         (struct fmt_spec) Move here.
9931         (glob vars formats, fmt_parse_ignore_error) Move here.
9932
9933         * inpt-pgm.h: New file.
9934         (INP_* enums) Move here, make #defines into enums.
9935         (glob vars inp_init, inp_init_size) Move here.
9936
9937         * sort.h: New file.
9938         (glob vars v_sort, nv_sort) Move here.
9939         (sort_cases, read_sort_output) Move here.
9940
9941         * vector.h: New file.
9942         (struct vector) Move here, add struct tag.
9943         (glob vars vec, nvec) Move here.
9944         (find_vector) Move here.
9945
9946         * New file.
9947         (glob vars last_vfm_invocation, temp_case, reinit_sysmis,
9948         reinit_blanks, init_zero, init_blanks) Move here.
9949         (struct case_stream) Move here.
9950         (glob vars vfm_source, vfm_sink, vfm_memory_stream,
9951         vfm_disk_stream, sort_stream, data_list_source,
9952         input_program_source, file_type_source, get_source, n_lag) Move
9953         here.
9954         (procedure, write_case, lagged_case, compact_case, page_to_disk)
9955         Move here.
9956                 
9957 Wed Dec 24 22:40:42 1997  Ben Pfaff  <blp@gnu.org>
9958
9959         * Makefile.am: (pspp_SOURCES) Added html.c, som.c, som.h.
9960         (LDADD) Add libdcdflib.
9961
9962         * ascii.c: Comment and formatting fixes.  Almost every external
9963         function had an assert added, checking driver_open and page_open.
9964         (ascii_init_driver) Broken into ascii_preopen_driver,
9965         ascii_postopen_driver, ascii_close_driver.  Manages driver_open.
9966         (ascii_open_page) Sets page_open.
9967         (ascii_close_page) Clears page_open.
9968
9969         * html.c: Comment and formatting fixes.  Almost every external
9970         function had an assert added, checking driver_open and page_open.
9971         (html_init_driver) Broken into html_preopen_driver,
9972         html_postopen_driver, html_close_driver.  Manages driver_open.
9973         (html_open_page) Sets page_open.
9974         (html_close_page) Clears page_open.
9975         (html_submit) Disabled.
9976
9977         * lexer.c: (parse_string) Remove debugging printf.
9978
9979         * list.q: (determine_layout) Open a page if one is not yet open.
9980
9981         * output.c: Comment fixes.
9982         (add_class) Set the class member of the new list element.
9983         (parse_options) Don't handle device type.
9984         (colon_tokenize) New function.
9985         (configure_driver) New four-field format with a field for device
9986         type.  Now initialize driver_open, page_open, next, and prev
9987         fields.  Use new colon_tokenize() function.  Don't do a memory
9988         copy to replace a driver, it doesn't work; instead delete the old
9989         driver and insert a new one.
9990         (destroy_driver) Don't call som_destroy_driver().  Close the page
9991         if it's open.  Find the class in the list of classes and decrement
9992         that reference count.  Remove the driver from the global driver
9993         list.
9994         (outp_iterate_enabled_drivers) Renamed outp_drivers().  All
9995         references changed.  Rewritten.  Don't return a driver that's not
9996         enabled.
9997         (outp_eject_page) All references to som_internal_eject_page()
9998         changed to use this.  Sets cp_x to 0 as well as cp_y.
9999
10000         * output.h: (OUTP_I_* enums) Removed.
10001         (struct som_submission_form) Removed.
10002         (struct outp_class) init_driver broken into preopen_driver,
10003         postopen_driver, and close_driver.  submit changed to take a
10004         som_table argument.
10005
10006         * postscript.c: Comment and formatting fixes.  Almost every
10007         external function had an assert added, checking driver_open and
10008         page_open.
10009         (ps_init_driver) Broken into ps_preopen_driver,
10010         ps_postopen_driver, ps_close_driver.  Manages driver_open.
10011         (ps_open_page) Sets page_open.
10012         (ps_close_page) Clears page_open.
10013
10014         * som.c: New file, base implementation.
10015         
10016         * som.h: (struct som_table) Add struct tag.
10017         (enum SOM_COL_ACROSS) Removed.
10018         (SOM_ROWS, SOM_COLUMNS) New enums.
10019         (struct som_table_class) Add member `cumulate'.  Remove `segment';
10020         change `render' arguments.
10021         (struct som_point, struct som_rect) Removed.
10022         (som_submit_table) Fixed typo, should have been som_submit.
10023
10024         * sysfile-info: (describe_variable) Don't try to insert a
10025         subtable; just destroy it for now.
10026
10027         * t-test.q: Include dcdflib/cdflib.h instead of cdflib.h.  Fix
10028         references to value labels.
10029
10030         * tab.c: (tab_destroy) New function.
10031         (tab_columns) Change argument.
10032         [0] (tab_submit) Remove dead code.
10033         (tab_title) Allocate string from the table's arena.
10034         (tab_output_text) Only free the buffer if we allocated it.
10035         (tab_submit) New function.
10036         (static vars t, d) New static vars.
10037         (tabi_table, tabi_driver, tabi_count, tabi_area, tabi_columns,
10038         tabi_headers, tabi_cumulate, tabi_render) New functions.
10039         (glob var tab_table_class) New global var.
10040
10041         * tab.h: (struct tab_join_rect) Don't use a som_rect; directly
10042         encapsulate the rectangle.  All references changed.
10043         
10044 Sun Dec 21 16:18:58 1997  Ben Pfaff  <blp@gnu.org>
10045
10046         * All header files updated to use struct tags in addition to
10047         typedefs for all structures.  Don't use word `struct' in struct
10048         tags.
10049         
10050         * Makefile.am: (pspp_SOURCES) Remove html.c.
10051         (INCLUDES) Replace the lib/* includes with a single lib/ include;
10052         all references updated.
10053
10054         * command.c: (parse_cmd) Remove call to som_check_workspace.
10055         (output_line) Update to new som.
10056
10057         * data-in.c: (parse_numeric) A single dot is not an error; it is
10058         the system-missing value.
10059
10060         * data-list.c: (dump_fixed_table, dump_free_table) Update to new
10061         som.
10062
10063         * data-out.c: Added `const' as appropriate to many prototypes.
10064         (convert_E, convert_F, convert_CCx) Take double argument instead
10065         of value * argument.
10066         (convert_format_to_string) Call changed functions appropriately.
10067         Instead of modifying the caller's value for FCAT_SHIFT_DECIMAL,
10068         make a local copy of the value.
10069
10070         * descript.q: Remove custom_variables() prototype now provided by
10071         q2c.  
10072         (custom_variables) Don't increment sbc_variables, the caller does
10073         this.
10074         (dump_z_table, display) Update to new som.
10075
10076         * error.c: (vmsg) Add const to prototype.  Remove code to handle
10077         `too many errors' condition.
10078         (check_error_count) New function.
10079         (msg) Add const to prototype.
10080
10081         * filename.c: (open_file) Rewrite for elegance.
10082
10083         * frequencies.q: Remove custom_*() prototypes now provided by q2c.
10084         (dump_full, dump_condensed, dump_statistics) Update for new som.
10085
10086         * list.q: Don't include somP.h.  Change all references to
10087         som_driver_ext to refer to the new members of som_driver.  Change
10088         som_internal_eject_page() references to outp_eject_page().
10089
10090         * main.c: (parse) Rewrite for elegance.  Add call to
10091         check_error_count().
10092
10093         * output.c: (add_class, outp_list_classes, outp_configure_driver)
10094         Rewrite or revise for new outp_driver_class_list structure.
10095         (outp_iterate_enabled_drivers) Fix comparison between disabled
10096         devices and current device type.
10097         (outp_eject_page) New function.
10098
10099         * output.h: Comment fixes.
10100         (struct outp_driver) New members driver_open, page_open, cp_x,
10101         cp_y, font_height, prop_em_width, fixed_width.  Deleted members
10102         ref_count, next.
10103         (struct outp_driver_class_list) New struct.
10104         (outp_class_list) Changed to type outp_driver_class_list; all
10105         references updated.
10106
10107         * print.c: (dump_table, print_trns_proc) Updated for new som.
10108
10109         * q2c.c: (dump_vars) Simplify array subcommand code.  Declare
10110         prototypes for custom subcommands.
10111         (dump_subcommand) Always include the `else'.
10112         (dump_parser) Fix comments in output code.
10113
10114         * set.q: Reordered functions.
10115
10116         * som-frnt.c, som-high.c, som-low.c, somP.h: Removed.
10117         
10118         * som.h: Rewritten from scratch.
10119
10120         * str.h: Remove dead code.
10121
10122         * tab.c, tab.h: New files, base implementation.
10123
10124         * sysfile-info.c: (cmd_sysfile_info, describe_variable) Update to
10125         new som.
10126
10127         * t-test.q: New code from John Williams
10128         <johnr.williams@stonebow.otago.ac.nz>.  Include math.h, cdflib.h.
10129         Many many new static vars and defines.
10130         (precalc, postcalc, g_postcalc, z_postcalc, t_pairs, t_groups,
10131         groups_calc, pairs_calc, z_dev_calc, z_calc) New functions.
10132         (struct value_list) New struct.
10133         (variance, covariance, pooled_variance, oneway, pearson_r, f_sig,
10134         t_crt, t_sig, print_t_groups) New functions.
10135         (cmd_t_test) Implemented.
10136
10137         * temporary.c: (cancel_temporary) Only free the temp_dict if it's
10138         non-NULL.
10139
10140         * vfm.c: (dump_splits) Update to new som.
10141
10142 Thu Dec  4 23:02:22 1997  Ben Pfaff  <blp@gnu.org>
10143
10144         * Makefile.am: (fiasco_SOURCES) Add html.c.
10145
10146         * aggregate.c: Base source.
10147
10148         * ascii.c: (postopen, preclose) Reformat.
10149
10150         * data-out.c, expr-evl.c: Comment fixes.
10151         
10152         * filename.c: (open_file) When opening a file for writing, use
10153         line buffering instead of full buffering for better interactive
10154         performance.  Suggested by Valerio Aimale
10155         <valerio@svpop.com.dist.unige.it>.  Also, recognize special file
10156         names `stdin', `stdout', `stderr'.
10157
10158         * groff-font.c: Comment fixes.
10159
10160         * html.c: New file; base version.
10161
10162         * list.q: (write_all_headers, clean_up, determine_layout,
10163         list_cases) Ignore `special' devices for now.  Needs to be fixed
10164         later.
10165
10166         * output.c: (outp_init) Add html driver to list; reverse list
10167         order.
10168
10169         * output.h: (struct outp_class_struct) New members `special',
10170         `submit'; comment fixes.  All references changed.
10171
10172         * postscript.c: (ps_init_driver) Make defaults for text_opt,
10173         line_opt depend on whether the OUTP_DEV_SCREEN bit is set on the
10174         device.
10175         (postopen) Comment fix.
10176         (preclose) Comment fixes, formatting fixes.  Change x->file.file
10177         references to more proper f->file.
10178
10179         * som-high.c: (som_submit_table) Special classes use their own
10180         renderers.
10181
10182         * som.h: Comment fixes.
10183
10184         * temporary.c: (new_dictionary) Don't try to xstrdup() a NULL
10185         string.
10186         
10187 Tue Dec  2 14:36:07 1997  Ben Pfaff  <blp@gnu.org>
10188
10189         * Makefile.am: (fiasco_SOURCES) Add aggregate.c back in.
10190
10191         * aggregate.c: Still working on this.
10192
10193         * command.c: (cmd_table[]) Add AGGREGATE back in.
10194         (split_words) Make '-' a legal word separator as well as ' '.
10195
10196         * main.c: Comment fixes.
10197
10198         * q2c.c: (dump_parser) Don't require the procedure's full name to
10199         be present, in the generated source.
10200
10201         * t-test.q: Change name to `t-test' from `t test'.  Let PAIRS be
10202         multiply specified and let it be default; let MISSING, CRITERIA,
10203         FORMAT be multiply specified.
10204         (cmd_t_test) Parse command name.  [DEBUGGING] Call debug_print().
10205         (custom_groups) Fix defaults.
10206         (custom_pairs) Check whether this is a PAIRS subcommand before
10207         attempting to parse.  Better garbage collection.  Proper storage
10208         allocation.
10209         [DEBUGGING] (debug_print) New function.
10210
10211         * temporary.c: Comment fixes.
10212         (copy_variable) Don't copy variable name and index.
10213         (save_dictionary) Copy variable name and index by hand.
10214
10215         * vars-atr.c: Comment fixes.
10216         (create_variable) New dictionary argument.  All references
10217         changed.
10218         (common_init_stuff) New dictionary argument.  All references
10219         changed.
10220         (init_variable) New dictionary argument.  All references changed.
10221         (dup_variable) New function.
10222
10223         * vars-prs.c: (parse_variables) If there are any errors, we always
10224         return 0.  Previously, it was possible for some types of errors to
10225         be ignored.
10226         
10227 Sat Nov 22 01:20:59 1997  Ben Pfaff  <blp@gnu.org>
10228
10229         * Makefile.am: (fiasco_SOURCES) For 0.1.5 release, remove
10230         aggregate.c.
10231
10232         * command.c: (cmd_table[]) Comment out AGGREGATE; add T TEST.
10233
10234         * list.q, t-test.q: Remove ALL option from VARLIST declaration in
10235         grammar rules.
10236
10237         * q2c.c: Comment fixes.
10238         (SBC_* enums) Remove SBC_VARLIST_ALL; all references removed.
10239         
10240         * t-test.q: (cmd_list) Rename cmd_t_test.
10241
10242         * temporary.c: (new_dictionary) Don't declare as static.
10243         
10244 Fri Nov 21 00:03:06 1997  Ben Pfaff  <blp@gnu.org>
10245
10246         * aggregate.c: Changes, still not finished.
10247
10248         * file-handle.q, frequencies.q, list.q, set.q: Comment fixes.
10249
10250         * q2c.c: Comment fixes.  Now its output is internationalized.
10251         (get_token) Fix parsing of escapes within literal strings.
10252         (main) Fix bad #line directives in output.
10253
10254         * t-test.q: Base implementation.
10255
10256         * temporary.c: (new_dictionary) New function.
10257         (restore_dictionary) [__CHECKER__] Change fill character to *
10258         (from @).
10259         
10260 Sun Nov 16 01:29:57 1997  Ben Pfaff  <blp@gnu.org>
10261
10262         * Makefile.am: (BUILT_SOURCES, fiasco_SOURCES) Add t-test.c
10263
10264         * aggregate.c: Changes, still not finished.
10265
10266         * descript.q, list.q: Comment fixes.
10267
10268         * q2c.c: Almost completely rewritten.
10269
10270         * t-test.q: New file, not complete.
10271
10272 Fri Nov 14 00:14:48 1997  Ben Pfaff  <blp@gnu.org>
10273
10274         * aggregate.c: Changes, still not finished.
10275
10276         * sort.c: (sort_cases) Call cancel_temporary() instead of doing it
10277         by hand.
10278
10279         * temporary.c: (cancel_temporary) New function.
10280
10281         * vars-atr.c: (discard_variables) Call cancel_temporary() instead
10282         of doing it by hand.
10283
10284         * vfm.c: (close_active_file) After restoring a TEMPORARY
10285         dictionary, set temp_dict to NULL.  Cancel TEMPORARY through
10286         cancel_temporary().
10287         (SPLIT_FILE_procfunc) Comment fix.
10288
10289 Tue Oct 28 16:08:45 1997  Ben Pfaff  <blp@gnu.org>
10290
10291         * Makefile.am: (fiasco_SOURCES) Add aggregate.c.
10292
10293         * aggregate.c: New file, not finished yet.
10294
10295         * command.c: (cmd_table) Add AGGREGATE.
10296
10297         * common.h: (pgm_state) Move declaration to var.h.
10298
10299         * lexer.c: (bin_value_func, oct_value_func, hex_value_func) i18n
10300         fixes.
10301         (parse_string) Message fix.
10302
10303         * recode.c: Comment fix.
10304
10305         * sfm-read.c: (read_variables) Code esthetic fixes.
10306         (write_header) Default date is `Jan', not `JAN'.
10307
10308         * sfmP.h: (bswap_int32) [!__linux__] Fix off-by-one errors.
10309
10310         * sort.c: (cmd_sort_cases) Farm the work out to new function
10311         parse_sort_variables().
10312         (parse_sort_variables) New function.
10313         (sort_cases) New function.  Cancels temporary transformations,
10314         which sorting didn't do previously.
10315         (cmd_sort_cases) Better garbage collection on error.  Uses
10316         do_external_sort().
10317         (write_initial_runs, merge_once) Improved code esthetics.
10318         (sort_stream_read) Reduced to one call to read_output_cases().
10319         (read_output_cases) New function.
10320
10321         * var-labs.c: (cmd_variable_labels) Re-enabled truncation of
10322         variable labels to 120 characters.
10323
10324         * var.h: Comment fixes.
10325         (glob var pgm_state) From common.h.
10326
10327         * vars-atr.c: (discard_variables) Set pgm_state to STATE_INIT.
10328
10329         * vars-prs.c: (parse_DATA_LIST_vars) Support PV_SINGLE in
10330         options.  Set *names to NULL on error.
10331
10332         * vfm.c: (memory_stream_init) Assert compaction_nval != 0.
10333
10334 Thu Oct  9 09:59:49 1997  Ben Pfaff  <blp@gnu.org>
10335
10336         * sfm-write.c, vfm.c: [HAVE_UNISTD] #include <unistd.h>, needed by
10337         SunOS4.  From Alexandre Oliva <oliva@dcc.unicamp.br>.
10338
10339 Wed Oct  8 18:55:24 1997  Ben Pfaff  <blp@gnu.org>
10340
10341         * vfm.c: (page_to_disk) Added missing local variables.
10342
10343 Tue Oct  7 20:23:17 1997  Ben Pfaff  <blp@gnu.org>
10344
10345         * get.c: Comment fix.
10346
10347         * sort.c: (cmd_sort_cases) Attempt to perform internal sort if the
10348         source is anything other than a disk stream, not just if it's in a
10349         memory stream.  Call page_to_disk() before external sort.
10350         (allocate_cases) Message fix.
10351
10352         * vfm.c: (prepare_for_writing) Warn user when paging workspace to
10353         disk.
10354         (page_to_disk) New function.
10355
10356 Sun Oct  5 15:56:14 1997  Ben Pfaff  <blp@gnu.org>
10357
10358         * Makefile.am: (INCLUDES) Include .. instead of $(top_srcdir).
10359
10360         * common.h: (macro strerror) Remove.  From Alexandre Oliva
10361         <oliva@dcc.unicamp.br>.
10362
10363         * get.c: (dict_delete_run) The number of variables to delete is
10364         not necessarily the number of variables that need to be shifted
10365         up.
10366         (trim_dictionary) Don't set *options to 0.  Fix bug that caused
10367         too many variables to be deleted.
10368
10369         * postscript.c: Comment fix.
10370
10371         * q2c.c: Include strerror.c.  From Alexandre Oliva
10372         <oliva@dcc.unicamp.br>.
10373
10374         * set.q: #undef ON and OFF.  From Alexandre Oliva
10375         <oliva@dcc.unicamp.br>.
10376
10377         * sfm-read.c: (sfm_read_dictionary) Don't set the file class too
10378         early, otherwise errors cause a bad free().
10379
10380         * str.h: (macro nvsprintf) s/FORMATS/FORMAT/ typo.  From Alexandre
10381         Oliva <oliva@dcc.unicamp.br>.
10382
10383         * temporary.c: (save_dictionary) Don't allocate memory if
10384         n_documents is 0.
10385
10386         * vfm.c: (memory_stream_write) Message fix.
10387
10388 Sat Oct  4 16:20:43 1997  Ben Pfaff  <blp@gnu.org>
10389
10390         * command.c: (static var cmd_table[]) Define REPEATING DATA
10391         command.
10392
10393         * common.h: Added support for broken systems that are missing
10394         EXIT_SUCCESS, EXIT_FAILURE, RAND_MAX, and/or strerror().
10395
10396         * Many source files: Replace syntax error messages via msg() with
10397         call to syntax_error().
10398
10399         * data-list.c: (dump_fixed_table) Add support for dumping table
10400         for REPEATING DATA as well as DATA LIST FIXED.
10401         (cmd_repeating_data) Allows and requires `/' between subcommands.
10402         Does proper thing with allowing rpd.starts_end to stay 0.  Allows
10403         CONTINUED specifications to be omitted.  Forces CONTINUED to be
10404         specified if ID is.  Calculates starts_end, cont_end from logical
10405         record length as reported by fhp.  Calls dump_fixed_table() if
10406         requested.  Fixed length of record copied by memcpy.
10407         (parse_num_or_var) Sets `num' to 0, not NOT_INT, for variables.
10408         Message fix.
10409         (realize_value) Returns sensible value for out-of-range variable
10410         values.
10411         (rpd_parse_record) New argument `ofs'.  Fixed confusion between
10412         length of occurrences and length of line.  Added warning for
10413         fields that exceed the line length.  Fixed infinite loop.
10414         (read_one_set_of_repetitions) Numerous minor changes for more
10415         complete SPSS compliance.  Message fixes.
10416
10417         * dfm.c: (dfm_close) If the file being closed is the inline file,
10418         read all the remaining data before closing it.
10419         (dfm_get_record) Don't close the file on lossage, as either it
10420         has been closed already or it doesn't belong to us.
10421
10422         * error.c: (puts_stdout) New function.
10423         (vmsg) Use puts_stdout instead of puts.
10424
10425         * file-handle.q: (fh_record_width) New function.
10426
10427         * inpt-pgm.c: (init_case) Fixed buffer overrun when inp_nval % 4
10428         == 0.
10429         (clear_case) Ditto.
10430         (input_program_source_read) Made an old kluge an approved method.
10431
10432         * lexer.c: (syntax_error) New function.
10433
10434         * misc.c: [BROKEN_RAND] (ansi_rand, ansi_srand; static var next)
10435         New.
10436
10437         * output.c: (oupt_get_paper_size) Message fix.
10438
10439         * q2c.c: Numerous fixes to formatting of generated code made to
10440         conform to GNU coding standards.  Uses syntax_error() in generated
10441         code.  Other miscellaneous generated message fixes.  Added support
10442         for broken systems that are missing EXIT_SUCCESS, EXIT_FAILURE,
10443         RAND_MAX, and/or strerror().
10444
10445 Sat Oct  4 02:09:56 1997  Ben Pfaff  <blp@gnu.org>
10446
10447         * data-in.c: Comment fixes.
10448
10449         * data-list.c: (struct repeating_data_trns) New member `id_spec'.
10450         (find_variable_input_spec) New function.
10451         (cmd_repeating_data) Initializes id_spec.
10452         (rpd_parse_record) Implemented.
10453         (read_one_set_of_repetitions) Returns -3 by default in order to
10454         kluge out some potential bugs.
10455
10456         * data-out.c: Comment fixes.
10457
10458         * file-type.c: (internal_cmd_record_type) Message fix.
10459
10460         * inpt-pgm.c: (input_program_source_read) Special temporary kluge
10461         for handling -3 return value.
10462
10463 Sat Sep 20 23:58:15 1997  Ben Pfaff  <blp@gnu.org>
10464
10465         * data-list.c: Comment fixes.
10466         (struct dls_var_spec) Reordered members.
10467         (read_from_data_list_fixed) Restructured.
10468         (struct repeating_data_trns) Reordered members.  Renamed `starts'
10469         as `starts_beg', `ends' as `starts_end'.
10470         (cmd_repeating_data) Calculates length of repeated data if
10471         necessary and possible.
10472         (parse_num_or_var) Don't allow string variables.
10473         (realize_value) New function.
10474         (rpd_msg) New function.
10475         (rpd_parse_record) New function.  Currently stubbed out.
10476         (read_one_set_of_repetitions) Implemented.
10477
10478         * inpt-pgm.c: (input_program_source_read) Comment fix.
10479
10480 Thu Sep 18 21:34:57 1997  Ben Pfaff  <blp@gnu.org>
10481
10482         * command.c: (cmd_end_repeat_p) Removed.
10483         (init_cmd_parser) Doesn't set cmd_end_repeat_p.
10484         (parse_cmd_name) Removed.
10485
10486         * data-list.c: Comment fixes.
10487         (data_list_pgm) Removed `eof' member.
10488         (static var first) New var.
10489         (cmd_data_list) Sets `first'.  Ensures that DATA LIST uses the
10490         FILE TYPE file inside FILE TYPE structures.
10491         (append_var_spec) Appends to *first, not dls.spec.
10492         (parse_fixed) Message fixes.
10493         (struct rpd_num_or_var) New.
10494         (struct repeating_data_trns) New.
10495         (static var rpd) New.
10496         (cmd_repeating_data) New function.
10497         (parse_num_or_var) New function.
10498         (parse_repeating_data) New function.
10499         (read_one_set_of_repetitions) New function.
10500
10501         * file-type.c: (cmd_file_type) Message fixes.  Always
10502         default_handle to FILE TYPE file handle.
10503         (internal_cmd_record_type) Message fixes.
10504
10505 Wed Aug 20 14:22:03 1997  Ben Pfaff  <blp@gnu.org>
10506
10507         * repeat.c: Comment fix.  Disable debugging.
10508
10509         * temporary.c: (restore_dictionary) Sets splits to NULL and
10510         n_splits to 0 before destroying the variables because now doing
10511         this tries to remove split variables.
10512
10513         * vars-atr.c: (discard_variables) Asserts that n_splits is 0 after
10514         destroying the dictionary.
10515         (clear_variable) Removes a variable from splits after destroying
10516         it.
10517
10518 Mon Aug 18 18:06:55 1997  Ben Pfaff  <blp@gnu.org>
10519
10520         * cmdline.c: (set_compat) Removed.
10521         (pick_compat) Removed.
10522         (parse_command_line) Removed -c option.
10523         (pre_syntax_message) Removed -c option.
10524         (usage) Remove compatibility code.
10525
10526         * common.h: (macros VER_PC, VER_WND, VER_X) Removed.
10527         (glob var compat) Removed.
10528
10529         * compute.c: (type_check) Fixed messages about type mismatches.
10530
10531         * data-list.c: (cmd_data_list) Removed compatibility code.
10532         (fixed_parse_compatible) Calls convert_negative_to_dash().
10533         Fixed bug where it only set the variable in fx.spec if it created
10534         the variable itself.
10535         (dump_fmt_list) Spelling fix.
10536         (cut_field) Removed compatibility code.
10537
10538         * dfm.c: (cmd_begin_data) Don't require a command terminator on
10539         BEGIN DATA command.
10540
10541         * expr-evl.c: (evaluate_expression) Implement LAG.
10542
10543         * expr-prs.c: (parse_add) Calls convert_negative_to_dash().
10544         (parse_neg) Calls convert_negative_to_dash().
10545         (LAG_func) Increases n_lag to the lag requested.  Fixed assignment
10546         bug.
10547
10548         * expr.h: (struct expression_struct) Removed member max_lag.
10549
10550         * file-type.c: (parse_col_spec) Calls convert_negative_to_dash().
10551         (internal_cmd_record_type) Removed special handling to produce
10552         negative numbers from dash tokens.
10553
10554         * getline.c: (static var DO_REPEAT_level) New var.
10555         (getl_add_DO_REPEAT_file) Increments DO_REPEAT_level.
10556         (handle_line_buffer) Copies the line into getl_buf; doesn't call
10557         copy_with_DO_REPEAT_substitutions().
10558         (getl_read_line) Maintains value of getl_mode.  Calls
10559         perform_DO_REPEAT_substitutions() whenever DO_REPEAT_level is
10560         positive.
10561         (getl_close_file) Decrements DO_REPEAT_level when appropriate.
10562
10563         * getline.h: (getl_mode) New glob var.
10564
10565         * glob.c: Comment fixes.
10566         (init_glob) Restructured.  Sets set_seed.
10567         (init_compat_dependent) Removed.  All references removed.
10568         (get_date) Format changed from MM/DD/YY to DD MMM YYYY.
10569         (__htonl, __htons) Removed.  (What were these for?)
10570
10571         * lexer.c: (static var tbl) Dash set to class CNUM.
10572         (make_hexit) New function from data-out.c.
10573         (get_token_representation) Rewritten.
10574         (convert_negative_to_dash) New function.
10575         (lex_init_compat_dependent) Removed.
10576         (yylex) A dash is parsed as part of a number if it is followed by
10577         a digit.  The ASCII representation of a number is copied to
10578         tokstr.  String parsing farmed out to parse_string().  Comment
10579         fixes.
10580         (bin_value_func, oct_value_func, hex_value_func, parse_string) New
10581         functions.
10582         (preprocess_line) Line processing depends on interactive/batch
10583         mode, not on compatibility mode.  Removed PC+ compatibility code.
10584
10585         * loop.c: (loop_3_trns_proc) Comment fix.
10586
10587         * main.c: Remove dead code.
10588         (main) Remove call to init_compat_dependent().
10589
10590         * misc.c: (convert_fmt_ItoO) Make E format conversion more
10591         conformant.
10592
10593         * print.c: (parse_string_argument) Calls
10594         convert_negative_to_dash().
10595         (fixed_parse_compatible) Calls convert_negative_to_dash().
10596
10597         * repeat.c: (RPT_* defines) Removed.
10598         (struct rpt_numeric) Removed.
10599         (struct repeat_entry) New member type, changed `replacement' from
10600         char * to char **.
10601         (clean_up) Deallocation adapted to new repeat_entry.
10602         (internal_cmd_do_repeat) `type' defaults to 0.  Remove lookahead()
10603         usage.  Creates vars for `type' of 1.
10604         (parse_ids) Sets type of 1.  Adapted to new repeat_entry.
10605         (store_numeric) Rewritten, new interface.
10606         (parse_numbers) Rewritten.
10607         (parse_strings) Rewritten.
10608         (find_DO_REPEAT_substitution) New function.
10609         (perform_DO_REPEAT_substitutions) New function.
10610         (copy_with_DO_REPEAT_substitutions) Removed.
10611         (debug_print) Rewritten.
10612
10613         * set.q: Comment fix.
10614         (custom_results) Removed compatibility code.
10615         (internal_cmd_set) Removed SET EMULATION subcommand.  Removed
10616         compatibility code.
10617
10618         * sysfile-info.c: (cmd_display) Removed compatibility code.
10619
10620         * tokens.h: Comment fixes.
10621         (token types enum) Removed `toktype' typedef name for this int
10622         type.  Removed SUBST.  Restructured.
10623
10624         * vars-atr.c: (discard_variables) Sets n_lag to 0.
10625
10626         * vars-prs.c: Comment fix.
10627
10628         * vfm.c: Comment fixes.
10629         (glob var n_lag) New var.
10630         (static vars lag_count, lag_head, lag_queue) New vars.
10631         (procedure) Removed argument nlag.
10632         (setup_lag) New function.
10633         (close_active_file) Discards lagging state.
10634         (lag_case) New function.
10635         (lagged_case) New function.
10636         (write_case) Lags a case if lagging.
10637
10638         * weight.c: (cmd_weight) Removed compatibility code.
10639         
10640 Sun Aug 17 22:34:40 1997  Ben Pfaff  <blp@gnu.org>
10641
10642         * getline.h: (struct getl_script) New members loop_index, macros.
10643
10644         * getline.c: (getl_add_file) Sets first_line field to NULL.
10645         (getl_add_DO_REPEAT_file) New function.
10646         (handle_line_buffer) When the current line's length is negative,
10647         set the filename and line number.  Increment line number after
10648         reading line.  Pass the line to
10649         copy_with_DO_REPEAT_substitutions() for processing.
10650         (getl_close_file) Free DO REPEAT lines before freeing the
10651         filename, and just set the filename to NULL when doing this,
10652         because otherwise the filename gets freed twice.
10653
10654         * glob.c: (glob var queuing) Removed.  All references removed.
10655
10656         * lexer.c: Comment fixes.
10657         (get_token_representation) New function.
10658
10659         * repeat.c: Comment fixes.
10660         (struct repeat_entry) Replaced type and v union members with a
10661         simple string.
10662         (append_record) New function.
10663         (internal_cmd_do_repeat) Started reforming it for the new
10664         repeat_entry struct.  Properly records filename changes in the
10665         getl_line_buf.  Fixed improper use of = for ==.  Fixed sense of
10666         strncasecmp() result usage.  Uses append_record() to simplify.
10667         Properly discards END REPEAT line.  Calls getl_add_DO_REPEAT_file
10668         to add in the file.
10669
10670         (copy_with_DO_REPEAT_substitutions) Started coding.
10671
10672         [DEBUGGING] (debug_print_lines) New function.
10673
10674         * set.q: (custom_results, internal_cmd_set) s/VER_PCP40/VER_PC/;
10675
10676         * tokens.h: (macro is_id1, is_idn) New macros.
10677
10678 Sat Aug 16 10:57:41 1997  Ben Pfaff  <blp@gnu.org>
10679
10680         * cmdline.c: (static var pre_syntax_message) Changed `win'
10681         compatibility mode to `wnd'.
10682
10683         * data-list.c: (fixed_parse_spss) Renamed
10684         fixed_parse_compatible().
10685
10686         * glob.c: (init_glob) Excise unused code for
10687         program_invocation_short_name.
10688
10689         * lexer.c: (preprocess_line) Leading indentors are ignored in Wnd
10690         as well as in X.
10691
10692         * print.c: (fixed_parse_spss) Renamed fixed_parse_compatible().
10693
10694         * set.q: `win' compatibility renamed `wnd'.
10695
10696 Thu Aug 14 22:11:12 1997  Ben Pfaff  <blp@gnu.org>
10697
10698         * filename.c: [__WIN32__] Change the included Windows header files
10699         (again).
10700         (absolute_filename_p) [__MSDOS__] A filename with a colon as the
10701         second character is absolute.
10702         (dirname) Fix logic error.  Don't printf() the results.
10703         (prepend_dir) Don't printf() the results.
10704
10705         * getline.c: (handle_line_buffer) New function.
10706         (getl_read_line) Reads line with handle_line_buffer() when
10707         appropriate.
10708         (getl_close_file) Discard line buffer data.
10709
10710         * getline.h: Comment fixes.
10711         (struct getl_line_list) New struct.
10712         (getl_script_struct) Added line buffer members.  These are hooks
10713         for use by DO REPEAT to allow it to insert virtual source code
10714         into the program.
10715
10716         * glob.c: (init_glob) [__DJGPP__ || (__WIN32__ && __BORLANDC__)]
10717         Override Borland C++ stupidity that claims Windows has a console
10718         window size of 0x3.
10719
10720         * repeat.c: This is in the process of being restructured from
10721         using a token-buffering approach to the DO REPEAT facility to
10722         using the more flexible approach of a line-buffering approach in
10723         conjunction with the getline module.  Comment fixes.
10724         (struct tok_struct) Removed.
10725         (static vars queue_index, queue_head, queue) Removed.
10726         (static vars line_buf_head, line_buf_tail) New vars.
10727         (internal_cmd_do_repeat) Instead of queuing tokens, queue lines.
10728         Not complete.
10729         (pull_queue, destroy_queue) Removed.
10730         [DEBUGGING] (debug_print_tokens) Removed.
10731
10732 Tue Aug  5 13:57:58 1997  Ben Pfaff  <blp@gnu.org>
10733
10734         * file-handle.q: (prepend_current_directory) New function.
10735         (internal_cmd_file_handle, fh_get_handle_by_filename) Prepends
10736         current directory before normalizing filename.
10737
10738         * filename.c: (gnu_getcwd) New function.
10739         (absolute_filename_p) New function.
10740         (search_path) New argument, PREPEND.  All references changed to
10741         pass NULL except those explicitly mentioned.  Uses
10742         absolute_filename_p().  Prepends PREPEND before trying the
10743         filename.
10744         (dirname, prepend_dir) New functions.
10745
10746         * getline.c: (getl_get_current_directory) New function.
10747         (getl_include) Passes getl_get_current_directory() as PREPEND arg
10748         to search_path().
10749                 
10750 Sun Aug  3 11:42:36 1997  Ben Pfaff  <blp@gnu.org>
10751
10752         * In several source files, the term `script' was replaced with
10753         `syntax file' inside error messages.  Usage of the term `script'
10754         in the sense of a syntax file is now deprecated.
10755
10756         * cmdline.c: (static vars pre_syntax_message, post_syntax_message)
10757         Updated messages.
10758
10759         * dump-sysfile.c: (usage) Update message.
10760
10761         * getline.c: (getl_read_line) Ignore lines beginning with `#!'.
10762
10763         * getline.h: (glob var getl_include_path) Declare extern.
10764
10765         * list.q: Define EXTERN as extern before #including somP.h.
10766
10767         * var.h: Remove declaration of `disptype' variable.
10768
10769         * vfm.c: (close_active_file) After switching the data sink to a
10770         data source, set vfm_sink to NULL, because it doesn't exist any
10771         more.
10772
10773 Thu Jul 17 21:41:44 1997  Ben Pfaff  <blp@gnu.org>
10774
10775         * glob.c: [__BORLANDC__] Include math.h.  Define _matherr() and
10776         _matherrl() to ignore all math errors.
10777
10778         * sfm-read.c: (read_value_labels) When reading the labels from
10779         disk, read the little parts separately instead of as a struct;
10780         this avoids alignment problems.
10781
10782         * sfm-write.c: (struct sfm_fhuser_ext) New member `elem_type'.
10783         (sfm_write_dictionary) Sets elem_type and frees it on lossage.
10784         (write_header) Allocates and initializes elem_type.
10785         (sfm_write_case) Uses elem_type to determine how to handle each
10786         flt64 element.
10787         (sfm_close) Frees elem_type.
10788
10789         * sfmP.h: Comment fix.
10790         [__BORLANDC__] Uses #pragma -a to adjust structure member
10791         alignment.
10792         
10793 Thu Jul 17 01:55:12 1997  Ben Pfaff  <blp@gnu.org>
10794
10795         * Makefile.am: (fiasco_SOURCES) Remove display.c.
10796
10797         * common.c: Fix typo.
10798
10799         * dfm.c: (read_record) Remove strncasecmp() emulation and fix the
10800         sense of the condition.
10801
10802         * expr-evl.c: (macro ALLOC_STRING_SPACE) [!PAGED_STACK] Add
10803         line-continuation backslash.
10804
10805         * filename.c: [__WIN32__] Include <windef.h> before <winbase.h>.
10806
10807         * frequencies.q: (custom_grouped, add_percentile) Don't use a
10808         non-constant expression as an argument to sizeof.
10809
10810         * glob.c: [__WIN32__ && __BORLANDC__] When including <conio.h>,
10811         undefine gettext macro because that's a conio function.
10812
10813         * hash.h: (hsh_prime_tab declaration) Remove.
10814
10815         * list.q: (write_fallback_headers) Move `leader' allocation out of
10816         main loop.  Change to local_alloc() allocation.
10817
10818         * output.h: Formatting fixes.  Put __attribute__ in right place on
10819         function prototypes.
10820
10821         * sfm-read.c: (read_machine_flt64_info, read_variables) Change
10822         incorrect `SECOND_LOWEST_VALUE' references to proper
10823         `second_lowest_value'.
10824
10825         * som-frnt.c: (EXTERN macro) Define as `extern' instead of null
10826         value.  This way 2 out of 3 of the som files define the vars
10827         extern, the correct way, that actually works under BC++.
10828         (som_set_float) Don't use nonconstant initializers for a struct.
10829
10830         * som-high.c: Add the standard alloca() header.
10831         (replicate_table) Add prototype.
10832
10833         Merged DISPLAY routine.
10834         * sysfile-info.c: (AS_*) New enum series.
10835         (cmd_sysfile_info) Gutted.  Calls describe_variable() to do the
10836         dirty work.
10837         (cmd_display, display_macros, display_documents,
10838         display_variables) Stolen from defunct display.c.
10839         (describe_variable) New function.
10840
10841         * temporary.c: [0] (display_tree) New debug function.
10842         (copy_variable) Performs shallow copy of value labels instead of
10843         deep copy; i.e., just copys the AVL tree and increments the
10844         reference counts.
10845
10846         * val-labs.c: Comment fixes.
10847         (do_value_labels) Optionally skip leading forward slash.
10848         (get_label) Creates only a single value label instead of many
10849         copies of one, and sets the reference count.
10850
10851         * display.c: Removed.
10852
10853         * dump-sysfile.c: New file, not yet complete.
10854
10855 Fri Jul 11 23:02:18 1997  Ben Pfaff  <blp@gnu.org>
10856
10857         For lots of source files I added more verbose_msg's.  These aren't
10858         listed below as they have tested as being benign.  In some cases
10859         these replaced debug_printf() calls.
10860
10861         * output.c: (outp_read_devices) Message fix.
10862
10863         * postscript.c: (output_encodings) Message fix.  Reports errors on
10864         fclose().
10865         (postopen) Message fix.
10866         
10867 Fri Jul 11 14:09:40 1997  Ben Pfaff  <blp@gnu.org>
10868
10869         * dfm.c: (dfm_close) Don't call fclose() for a NULL FILE.
10870
10871         * filename.c: (close_file_ext) Set f->file to NULL *after* closing
10872         it.
10873
10874         * main.c: Remove <malloc.h> #include.
10875
10876         * mis-val.c: (parse_numeric) Set .f member for each missing[]
10877         instead of trying to just set the missing[] itself, which is a
10878         gcc-specific idiom.
10879
10880         * sfm-read.c: (read_variables) Same.
10881
10882         * str.h: Add memmem() prototype.
10883
10884         * val-labs.c, var-labs.c: Replace <malloc.h> with <stdlib.h>.
10885
10886 Thu Jul 10 22:13:53 1997  Ben Pfaff  <blp@gnu.org>
10887
10888         * Makefile.am: (q2c) Don't include any libraries in the link.
10889
10890         * dfm.c: (force_line_buffer_extension) New macro.
10891         (count_tabs) New function.
10892         (tabs_To_spaces) New function.
10893         (read_record) Calls tabs_to_spaces() on the line being processed.
10894
10895         * q2c.c: Disabled i18n for this proglet so that libintl.a doesn't
10896         have to be compiled twice (once for CC, once for LOCAL_CC).
10897  
10898 Sun Jul  6 19:14:33 1997  Ben Pfaff  <blp@gnu.org>
10899
10900         * Makefile.am: (INCLUDES) Add intl directory; fix directories.
10901         (LDADD) Add @INTLLIBS@.
10902         (q2c) Add LIBS, @INTLLIBS@ to link step.
10903
10904         * inpt-pgm.c: Turn off debugging.
10905
10906         * postscript.c: (postopen) Format fix.  local_free() blocks
10907         returned by local_alloc(); don't free() them.
10908
10909 Sat Jul  5 23:44:51 1997  Ben Pfaff  <blp@gnu.org>
10910
10911         * data-in.c: (parse_string_as_format) Comment fix.  Fix check for
10912         string length.
10913
10914         * data-list.c: (read_from_data_list_fixed) Pass proper value for
10915         LEN arg, not simply the full string length.
10916
10917         * sort.c: (allocate_file_handles) Check SPSS compatible temp file
10918         directories before generic temp file directories.
10919
10920         * vfm.c: Disable debugging.
10921
10922 Fri Jul  4 13:26:41 1997  Ben Pfaff  <blp@gnu.org>
10923
10924         * get.c: Comment fix.
10925         (cmd_save_internal) Always passes GTSV_OPT_SAVE option.
10926
10927 Wed Jun 25 22:52:28 1997  Ben Pfaff  <blp@gnu.org>
10928
10929         * expr-prs.c: (debug_print_postfix) Conditionally included on
10930         GLOBAL_DEBUGGING.  Removed out_header() reference.
10931
10932         * exprP.h: Removed #undef GLOBAL_DEBUGGING.
10933
10934 Sun Jun 22 22:00:28 1997  Ben Pfaff  <blp@gnu.org>
10935
10936         * ascii.c: Removed obsolete ascii_close_page() prototype.
10937
10938         * command.c: (output_line) Comment fix.
10939
10940         * data-in.c: Formatting fix.
10941         (parse_string_as_format) Now the `fc' argument is used only for
10942         the purpose of error messages; it is not an index into the string
10943         passed.  All references changed.
10944
10945         * data-list.c: Comment fix.
10946         (cut_field) Comment fix.  Now returns the column number of the
10947         position of the field cut out on success.
10948         (parse_field) Added `column' argument.  Puts the column numbers in
10949         the error message.
10950         (read_from_data_list_free, read_from_data_list_list) Record the
10951         column number returned by cut_field(), pass it to parse_field().
10952
10953         * dfm.c: Comment fix.
10954
10955         * do-ifP.h: Comment fix.
10956
10957         * expr-prs.c: (SYSMIS_func) Implemented string-type arguments for
10958         the SYSMIS function.
10959
10960         * expr.h, exprP.h: Comment fix.
10961
10962         * glob.c: (init_glob) Only calls setlocale() and family if
10963         ENABLE_NLS set.
10964
10965         * hash.h: Comment fix.
10966
10967         * include.c: Comment fix.
10968
10969         * output.c: Comment fix.
10970
10971         * postscript.c: (ps_line_intersection) Simplified assertion.
10972
10973         * repeat.c: Comment fix.
10974
10975         * vars-atr.c: Comment fix.
10976
10977         * vars-prs.c: Comment fix.
10978
10979         * vfm.c: (vector_initialization) [DEBUGGING] Fixed undefined
10980         behavior with usage of postincrement.
10981         (memory_stream_read) Discards cases as it goes. 
10982
10983 Sun Jun 15 16:45:17 1997  Ben Pfaff  <blp@gnu.org>
10984
10985         * Makefile.am: Cleans q2c, not just distcleans it.  Distcleans
10986         foo.
10987
10988         * Most source files: Includes debug-print.h, related comment
10989         fixes.
10990
10991         * cases.c: (alloc_val) Removed complex allocation code.  Merely
10992         increments default_dict.nval and returns the former value.
10993         (envector, devector) Removed references to lv member of struct
10994         variable.
10995
10996         * common.h: (macro VME) Replaced complex definition with simple
10997         one.
10998
10999         * data-list.c: (cmd_data_list) Sets vfm_source instead of
11000         read_active_file and cancel_input_pgm.
11001         (read_from_data_list, cancel_data_list) Removed.
11002         (data_list_source_read, data_list_source_destroy_source) New
11003         functions.
11004         (glob var data_list_source) New var.
11005
11006         * dfm.c: (open_file_r, open_file_w) Simplified debug output.
11007         (cmd_begin_data) Improved criteria for an input program accessing
11008         the inline file.  Still not perfect.
11009
11010         * do-if.c: (do_if_trns_proc) Simplified debug output.
11011
11012         * expr-prs.c: Comment fixes.
11013         [DEBUGGING] (debug_print_postfix) Simplified debug output.
11014
11015         * file-handle.q: (fh_close_handle) Simplified debug output.
11016
11017         * file-type.c: Comment fixes.
11018         (cmd_file_type) Sets vfm_source instead of read_active_file and
11019         cancel_input_pgm.
11020         (cmd_end_file_type) On failure, discards variables in place of
11021         just canceling the input program.
11022         (read_from_file_type) Renamed file_type_source_read.
11023         (cancel_file_type) Renamed file_type_source_destroy_source.
11024         (glob var file_type_source) New var.
11025
11026         * get.c: (GTSV_* enum series) New enums GTSV_OPT_SAVE, GTSV_NONE.
11027         (cmd_get) Initializes options to GTSV_NONE before passing to
11028         trim_dictionary().  Removed `lv' reference.  Sets vfm_source
11029         instead of read_active_file and cancel_input_pgm.
11030         (cmd_save_internal) Initializes options before passing to
11031         trim_dictionary().  Local var `nval' removed.
11032         (dict_delete_run) Comment fixes.
11033         (trim_dictionary) Comment fixes.  Disallows scratch variables if
11034         GTSV_OPT_SAVE set in options.
11035         (read_from_get) Renamed get_source_read.
11036         (cancel_get) Renamed get_source_destroy_source.
11037         (glob var get_source) New var.
11038
11039         * inpt-pgm.c: (cmd_input_program) Sets vfm_source instead of
11040         read_active_file and cancel_input_pgm.
11041         (read_from_input_program) Renamed input_program_source_read.
11042         Simplified debug output.
11043         (cancel_input_program) Renamed
11044         input_program_source_destroy_source.
11045         (glob var input_program_source) New var.
11046
11047         * loop.c: (loop_1_trns_proc) Simplified debug output.
11048
11049         * main.c: (dump_token) Made eof output more explicit.
11050
11051         * sfm-read.c: (read_variables, dump_dictionary) Removed `lv'
11052         references.
11053
11054         * sort.c: (cmd_sort_cases) Disallows scratch variables.  Removed
11055         code for always-memory or always-disk cases.  malloc's case-list
11056         based on vfm_source_info.ncases.  Explicit support for
11057         memory_stream via memory_source_cases.
11058         (do_external_sort) Sets vfm_source instead of read_active_file and
11059         cancel_input_pgm.
11060         (allocate_file_handles) The temporary directory permissions are
11061         set to 0700 instead of 0777.
11062         (allocate_cases) Formatting fixes.  Simplified debug output.
11063         (output_record) Compacts the case if necessary before writing it
11064         out.
11065         (close_handle, open_handle_w) Simplified debug output.
11066         (write_initial_runs) Destroys vfm_sink, then sets it to
11067         sort_stream.  Writes records to memory based on
11068         vfm_sink_info.case_size.
11069         (write_to_sort_cases) Renamed sort_stream_write().
11070         (merge) Simplified error handling.  Simplified debug output.
11071         Formatting fixes.
11072         (read_from_external_sort) Renamed sort_stream_read().
11073         Reads records based on vfm_source_info.case_size.
11074         (sort_stream_write) Writes records to memory based on
11075         vfm_sink_info.case_size.
11076         (sort_stream_mode) New function.
11077         (glob var sort_stream) New variable.
11078
11079         * temporary.c: (cmd_temporary) Simplified debug output.
11080         (copy_variable) Removed references to `lv'.
11081
11082         * title.c: (get_title) Simplified debug output.
11083
11084         * var.h: Comment fixes.
11085         (struct get_proc) Removed member `lv'.
11086         (struct variable) Removed member `lv'.  Comment fixes.
11087         (glob vars read_active_file, write_active_file, cancel_input_pgm)
11088         Removed.
11089         (struct case_stream) New.
11090
11091         * vars-atr.c: (discard_variables) Changed cancel_input_pgm,
11092         read_active_file references to use vfm_source.
11093         (init_variable, replace_variable) Removed references to `lv'.
11094
11095         * vfm.c: Comment fixes.
11096         (glob var vfm_source, vfm_sink, vfm_source_info, vfm_sink_info)
11097         New variables.
11098         (static var queue, qh, qt, n_lag) Removed.  All references
11099         removed.
11100         (glob var compaction_necessary, compaction_nval, compaction_case,
11101         paging) New variables.
11102         (record_case) Removed.
11103         (procedure) Comment fixes.  Calls vfm_source->read() instead of
11104         read_active_file().
11105         (lag) Removed.
11106         (prepare_for_writing, arrange_compaction, make_temp_case,
11107         vector_initialization, setup_filter) New function.
11108         (open_active_file) Most of the code moved into the abovementioned
11109         new functions.  Now sets temp_dict to &default_dict if there is no
11110         temporary dictionary, for convenience.  New debug output.
11111         (close_active_file) Deals with changing the sink to the source.
11112         Calls finish_compaction().  Frees compaction_case.  Mostly
11113         rewritten.
11114         (glob vars disk_source_file, disk_sink_file) New vars.
11115         (destroy_active_file, read_from_memory) Removed.
11116         (disk_stream_init, disk_stream_read, disk_stream_write,
11117         disk_stream_mode, disk_stream_destroy_source,
11118         disk_stream_destroy_sink) New functions.
11119         (glob var vfm_disk_stream) New var.
11120         (glob vars memory_source_cases, memory_sink_cases,
11121         memory_sink_iter, memory_sink_max_cases) New vars.
11122         (memory_stream_init, memory_stream_read, memory_stream_write,
11123         memory_stream_mode, memory_stream_destroy_source,
11124         memory_stream_destroy_sink) New functions.
11125         (glob var vfm_memory_stream) New var.
11126         (write_case) Local var `i' renamed `cur_trns'; local var `retval'
11127         named `more_cases'.  Simplified debug output.  Otherwise mostly
11128         rewritten.
11129         (record_case) Moved into the stream drivers.  Removed.
11130         (transform) Removed (was dead code).
11131         (SPLIT_FILE_procfunc) s/vfm_replacement/vfm_sink_info/.  In the
11132         common case that the splits don't change, we don't need to copy
11133         the case into prev_case again--pointless.
11134         (compact_case) New function.
11135         (finish_compaction) New function.
11136
11137         * vfmP.h: Comment fixes.
11138         (DEV_* enum series) Removed. 
11139         (struct storage) Renamed `stream_info'.  Removed variant record.
11140         Removed `device' member.
11141
11142         * debug-print.h: New file.
11143         
11144 Sun Jun  8 01:12:38 1997  Ben Pfaff  <blp@gnu.org>
11145
11146         * autorecode.c: Turned off debugging.
11147
11148         * data-list.c: (destroy_dls) Closes the associated file handle.
11149
11150         * descript.q: (custom_variables) Added PV_NO_SCRATCH to
11151         parse_variables() options.
11152
11153         * dfm.c: (open_file_r) Removed gratuituous argument to msg() call.
11154
11155         * display.c: (display_variables) Really fixed null cell bug.
11156
11157         * file-handle.q: (fh_close_handle) Changed debugging message.
11158
11159         * frequencies.q: (custom_variables) Added PV_NO_SCRATCH to
11160         parse_variables() options.
11161
11162         * list.q: Added PV_NO_SCRATCH in q2c varlist options.
11163         (cmd_list) Fails if no variables specified.
11164         (determine_layout) Writes blank lines manually.
11165
11166         * loop.c: (loop_1_trns_proc) Made debugging code only print
11167         messages if debugging.
11168
11169         * q2c.c: (dump_subcommand) Appends sbc->message to SBC_VARLIST
11170         parse_variables() arguments.
11171         (main) Parses optional parenthesized options to varlist
11172         subcommands into sbc->message.
11173
11174         * sfm-read.c: Format fix.
11175
11176         * var.h: (FV_*) New enum series.
11177         (PV_*) New enum PV_NO_SCRATCH.
11178
11179         * vars-prs.c: (find_var) Removed.
11180         (fill_all_vars) Takes FV_* enum instead of boolean third
11181         argument.  Rewritten to deal with scratch as well as system
11182         variables.
11183         (parse_variables) Error message on scratch variable if
11184         PV_NO_SCRATCH set.
11185
11186         * vfm.c: (static var virt_begin_func) New var.
11187         (procedure) Sets up virt_begin_func.
11188         (SPLIT_FILE_procfunc) For the first case, calls virt_begin_func()
11189         after dump_splits().  For succeeding groups changes, calls
11190         virt_begin_func() instead of begin_func().      
11191
11192 Fri Jun  6 22:42:23 1997  Ben Pfaff  <blp@gnu.org>
11193
11194         * count.c, data-out.c, file-handle.q, list.q, loop.c: Turned off
11195         debugging.
11196
11197         * dfm.c: Added some debugging messages, disabled by default.
11198         (open_file_r) Fixed error message.
11199         (read_record) On eof on inline_file, instead of calling
11200         fh_close_handle(), simply jump to eof label like a normal file.
11201         Message fixes.
11202
11203         * display.c: Thin lines between rows for certain kinds of
11204         listing.  Fixed `null cell' bug.
11205
11206         * error.c: (failure) Flush stdout, stderr before failing.
11207
11208         * file-handle.q: (fh_close_handle) Added debugging message.
11209
11210         * frequencies.q: (dump_full) Bottom line extends across entire
11211         table width.  Changed title formatting.
11212         (dump_condensed) Changed title formatting.
11213         (dump_statistics) Fixed title formatting.
11214
11215         * glob.c: (init_glob) Moved initialization of cur_proc out of #if.
11216         Sets default value of set_format.
11217
11218         * list.q: (cmd_list) Calls blank_line() before determine_layout().
11219         Passes write_all_headers() to procedure() as pre-group func.
11220         (write_all_headers) New function.
11221         (determine_layout) Removed calls to write_header().
11222         Calls blank_line() before and after write_fallback_headers().
11223
11224         * recode.c: (recode_trns_free) Only attempts to free head->map if
11225         non-NULL.
11226
11227         * sfm-read.c: (read_variables) Allows `#' at beginning of system
11228         file variable names but gives a warning.  Sets `left' based on
11229         first character being/not being `#'.  On lossage frees dict->var.
11230
11231         * som-high.c: (som_draw_title) Simplified title formatting.
11232
11233         * vfm.c: (dump_splits) Fixed and changed splits formatting.
11234
11235 Thu Jun  5 22:51:15 1997  Ben Pfaff  <blp@gnu.org>
11236
11237         * autorecode.c: (cmd_autorecode) Sets h_trans to NULL at
11238         beginning.  Frees v_src, v_dest on successful exit.  Frees
11239         h_trans[*], h_trans on lossage.
11240         (recode) Frees h_trans[*], h_trans.
11241
11242         * dfm.c: (dfm_close) Formatting change.
11243         (open_inline_file) Now passed a dfm_fhuser_ext to initialize; no
11244         longer allocates its own in inline_file.
11245         (open_file_r) Passes the local dfm_fhuser_ext to
11246         open_inline_file().
11247         (open_file_w) Message fix. 
11248         (read_record) Buffer reallocation strategy changed.  Frees
11249         ext->line even in inline_file to prevent leaks.
11250         (dfm_put_record) Fixed bug where `ext' was cached before the file
11251         was opened and thus it would be NULL when the file really was
11252         open.
11253         (cmd_begin_data) Sets up inline_file basics itself, then calls
11254         open_inline_file() for the dfm_fhuser_ext.  Formatting fix.
11255
11256         * list.q: (write_line) Formatting fix.
11257         (clean_up) Minor strategy change.  Sets proportional font after
11258         finishing cleanup.
11259         (determine_layout) Sets fixed font before writing regular headers,
11260         or after writing fallback headers.
11261
11262         * modify-vars.c: (cmd_modify_vars) Frees variable lists for DROP
11263         and KEEP vars after using them.
11264
11265         * postscript.c: (ps_init_driver) Frees x->family.
11266         (postopen) When loading fonts, free the temporary font name buffer
11267         after using it.
11268         (ps_text_set_font_by_position) Free temporary font name buffer
11269         after using it.
11270         (text) Fixed code that calculated `lig' so that `lig' always gets
11271         initialized.  Formatting fix.
11272
11273         * som-low.c: (get_cell_size, som_get_table_size) `prop_height' ->
11274         `font_height'.
11275         [GLOBAL_DEBUGGIGN] (check_table) Use arena_alloc() to allocate
11276         cells, not xmalloc(), so that the cells will get destroyed
11277         automatically.
11278
11279         * sysfile-info.c: (cmd_sysfile_info) Frees the dictionary after
11280         using it.
11281
11282 Tue Jun  3 23:33:22 1997  Ben Pfaff  <blp@gnu.org>
11283
11284         * ascii.c: (ascii_text_draw) Always sets metrics for strings that
11285         are drawn.
11286
11287         * dfm.c: Comment fix.
11288
11289         * list.q: Comment fixes.  Include somP.h.  Removed static vars
11290         table, n_columns, n_rows, part.  New struct list_ext.  New static
11291         var line_buf.
11292         (n_lines_remaining, n_chars_width, write_line) New functions.
11293         (cmd_list, list_cases) Rewritten.
11294         (begin_row, end_row, flush_table) Removed.
11295         (write_header, clean_up, write_varname, write_fallback_headers,
11296         determine_layout) New functions.
11297
11298         * output.c: (outp_iterate_enabled_drivers) Minor reformat.
11299
11300         * output.h: Comment fix.
11301
11302         * postscript.c: Comment fix.
11303         (struct ps_driver_ext) Removed prop_size, fixed_size members;
11304         added font_size.  All references changed.
11305         (ps_init_driver) Initializes font_size.  Simplified space checking
11306         code.
11307         (static var option_tab[]) Removed prop-size, fixed-size; added
11308         font-size.
11309         (ps_option) Handles font_size.
11310
11311         * som-high.c: Moved prototypes into somP.h.
11312         (som_init_driver) New function.
11313         (som_submit_table) Moved some code into new function
11314         som_init_driver().
11315         (build_target) Moved some code into new function
11316         som_internal_eject_page().
11317         (som_eject_page) Uses som_internal_eject_page().
11318         (som_internal_eject_page) New function.
11319
11320         * som-low.c: Moved prototypes into somP.h.
11321
11322         * som.h: Formatting fixes.
11323
11324         * somP.h: (struct som_driver_ext) Removed em_width;
11325         added prop_em_width, fixed_width.
11326
11327 Mon Jun  2 14:25:25 1997  Ben Pfaff  <blp@gnu.org>
11328
11329         * Makefile.am: Added `localedir' definition.  Added
11330         -DLOCALEDIR="..." to DEFS.  Added -I. to INCLUDES.
11331
11332         * ascii.c: (macro draw_line) Fixed capitalization.
11333
11334         * ascii.c, autorecode.c, cases.c, cmdline.c, command.c, common.c,
11335         compute.c, count.c, data-in.c, data-list.c, data-out.c,
11336         descript.q, dfm.c, display.c, do-if.c, error.c, expr-evl.c,
11337         expr-opt.c, expr-prs.c, file-handle.q, file-type.c, filename.c,
11338         formats.c, frequencies.q, get.c, getline.c, glob.c, groff-font.c,
11339         hash.c, heap.c, include.c, inpt-pgm.c, lexer.c, list.q, loop.c,
11340         main.c, mis-val.c, misc.c, modify-vars.c, numeric.c, output.c,
11341         postscript.c, print.c, q2c.c, recode.c, rename-vars.c, repeat.c,
11342         sample.c, sel-if.c, sfm-read.c, sfm-write.c, sfmP.h, som-frnt.c,
11343         som-high.c, som-low.c, sort.c, split-file.c, sysfile-info.c,
11344         temporary.c, title.c, tokens.h, val-labs.c, var-labs.c,
11345         vars-atr.c, vars-prs.c, vector.c, vfm.c, weight.c: Marked strings
11346         for internationlization.
11347
11348         * glob.c: [HAVE_LOCALE_H] Includes locale.h.
11349
11350 Sun Jun  1 23:31:18 1997  Ben Pfaff  <blp@gnu.org>
11351
11352         * do-if.c, sort.c, val-labs.c: Comment fixes.
11353
11354         * glob.c: (init_glob) Uncommented, updated i18n support.
11355         
11356         * arena.c, ascii.c, data-in.c, descript.q, error.c, expr-evl.c,
11357         expr-opt.c, expr-prs.c, filename.c, frequencies.q, groff-font.c,
11358         output.c, postscript.c, sfm-read.c, som-high.c, vars-prs.c: Made
11359         the declarations of macros taking arguments a lot nicer.
11360
11361 Sun Jun  1 17:22:04 1997  Ben Pfaff  <blp@gnu.org>
11362
11363         * error.h: Removed CE, CW aliases for SE, SW.
11364
11365         * q2c.c: Removed explicit streq() definition since it's duplicated
11366         in str.h.
11367         
11368         * approx.h, error.h, font.h, hash.h, misc.h, output.h, somP.h,
11369         stats.h, str.h, tokens.h: Made the declarations of macros taking
11370         arguments a lot nicer-looking of <pinard@iro.umontreal.ca>.
11371         Comment fixes.
11372
11373 Sun Jun  1 12:02:06 1997  Ben Pfaff  <blp@gnu.org>
11374
11375         * cmdline.c: Comment fixes.
11376         (pick_compat) Changed return type to int.  Now, instead of setting
11377         glob var `compat' to the emulation, returns the emulation.  All
11378         references changed.
11379         (parse_command_line) Added terminating null to end of
11380         `long_options' array definition.
11381         (pre_syntax_message) Fixes.
11382         (usage) Shows the default emulation in the syntax message by
11383         calling pick_compat().
11384
11385         * getline.c: (getl_add_include_dir) Separates paths with
11386         PATH_DELIMITER, not DIR_SEPARATOR.
11387
11388         * glob.c: (init_glob) Fixed references to DEFAULT_VER_PCP40,
11389         DEFAULT_VER_WIN61, DEFAULT_VER_X40.
11390
11391         * output.c: (outp_configure_macro) Make earlier definitions for a
11392         particular key override later ones for the same key.
11393         
11394 Fri May 30 19:40:49 1997  Ben Pfaff  <blp@gnu.org>
11395
11396         * ascii.c: Comment fixes.
11397
11398         * output.c: (outp_get_paper_size)
11399         s/STAT_OUTPUT_INIT_FILE/STAT_OUTPUT_PAPERSIZE_FILE/.
11400         
11401 Sun May 25 22:34:07 1997  Ben Pfaff  <blp@gnu.org>
11402
11403         * ascii.c, postscript.c, sfm-read.c, sfm-write.c, sort.c: Include
11404         <errno.h>.  GNU libc 2 enforces this!
11405
11406         * command.c: (parse_cmd) Fixed problem with `else' clause being
11407         paired with wrong `if'.  Comment fix.
11408
11409 Fri May  9 16:53:52 1997  Ben Pfaff  <blp@gnu.org>
11410
11411         * getline.c: [!HAVE_LIBREADLINE] (read_console) Changed
11412         blp_getline() to getline().
11413
11414         * output.c: (outp_eval_dimension) Changed the fix from last time;
11415         there was no variable `a'.
11416
11417         * q2c.c: (get_line) Fixed boundary condition overrun bug.
11418
11419 Mon May  5 21:58:22 1997  Ben Pfaff  <blp@gnu.org>
11420
11421         * output.c: (outp_evaluate_dimension) Fixed handling of negative
11422         numbers having fractional parts.  Added case of a fraction without
11423         a whole-number part.
11424
11425 Fri May  2 22:08:05 1997  Ben Pfaff  <blp@gnu.org>
11426
11427         * ascii.c: (ascii_text_get_font_position) Removed.
11428
11429         * expr.h, exprP.h: Disabled debugging.
11430
11431         * groff-font.c, postscript.c: Changed `groff' to `Groff' in
11432         several places.
11433
11434         * output.h: (struct outp_class_struct) Removed
11435         text_get_font_position method.  All references deleted.
11436
11437         * postscript.c: Big change here.  Fontmaps were completely
11438         eliminated because of a change in philosophy.  Comment fixes.
11439         (struct ps_fontmap, ps2dit_map, font_family, dit2family_map)
11440         Removed.
11441         (struct ps_driver_ext) `position', `fontmap', `prop_name',
11442         `fixed_name' members removed.  New members `prop_family',
11443         `fixed_family'.  `family' member changed to type char *.
11444         (static var ps_fontmaps) Removed.
11445         () Removed.
11446         (ps_init_driver) Removed obsolete references, updated.
11447         Initializes `translate_x', `translate_y', `scale'.  Doesn't read
11448         fontmap, of course.  Refers to font names through internal_name
11449         rather than subversive means.  Frees proper items.
11450         (static var option_tab[]) Removed `fontmap-file' option; renamed
11451         `fixed-font', `prop-font'.
11452         (ps_option) Corresponds to option_tab[].
11453         (read_fontmap, release_fontmap, ps_to_dit, compare_ps2dit,
11454         hash_ps2dit, compare_dit2family, hash_dit2family, compare_family,
11455         hash_family) Removed.
11456         (postopen) Generates font names from family names.  Gets
11457         PostScript font name properly.  New prologue file comment `!!!'
11458         style.
11459         (ps_open_page) Adds translate_x, translate_y to BP prologue
11460         function; gives SF argument floating-point format.
11461         (ps_text_set_font_by_name) Doesn't try to map PostScript->Groff
11462         font name.  Doesn't change font family.
11463         (ps_text_set_font_by_position) Generates Groff font name from font
11464         family name instead of through table lookup.
11465         (ps_text_set_font_by_family) Renamed `ps_text_set_font_family',
11466         all references changed.  Reduced to simple string assignment.
11467         (ps_get_font_name) Removed.
11468         (ps_get_font_family) Reduced to string return.
11469         (text) Doesn't save `position' since it no longer exists.  Ugly
11470         kluge to save font family--fix soon?
11471         (load_font) Removed PostScript name argument.
11472         
11473 Thu May  1 14:58:59 1997  Ben Pfaff  <blp@gnu.org>
11474
11475         * postscript.c: Comment fix.
11476         (ps_open_page) Puts scale factor in PostScript output.
11477         
11478 Sat Apr 26 11:49:32 1997  Ben Pfaff  <blp@gnu.org>
11479
11480         * Makefile.am: Distcleans q2c.
11481
11482 Wed Apr 23 21:33:48 1997  Ben Pfaff  <blp@gnu.org>
11483
11484         * ascii.c: (delineate) Sets text size even if width is zero.
11485
11486         * command.c: Comment fix.
11487         (static var cmd_table[]) Re-enabled EVALUATE command.
11488         (parse_cmd) Lotsa comment fixes.  Fixed infinite loop in parsing
11489         of comments in script files.  Now more liberal on criteria for
11490         performing a state transition--if *anything* happened correctly,
11491         not just if *everything* happened correctly.
11492
11493         * data-out.c: (convert_F) Comment fix.  Why in the fsck does
11494         Checker segfault on formatting large numbers and why in the fsck
11495         hadn't I noticed this before?
11496
11497         * expr.h, exprP.h: No longer turn off GLOBAL_DEBUGGING.
11498
11499         * list.q: (cmd_list) Commented out the actual output routine
11500         because of various problems.  Probably will abandon the idea of
11501         using the general `crushed tables' for the LIST procedure.
11502
11503         * temporary.c: (restore_dictionary) Sets var_by_name to NULL after
11504         clearing it.  Allocates a new var_by_name dictionary before trying
11505         to add members to it.
11506
11507         * vars-atr.c: [DEBUGGING] (dump_one_var_node) Removed argument
11508         `sib'.  Changed type of `node' argument.
11509         [DEBUGGING] (dump_var_tree) Replaced avlwalk() with
11510         avl_walk_inorder().
11511         (clear_variable) Only dumps the var tree if var_by_name non-NULL.
11512         [DEBUGGING] Only deletes the variable from var_by_name if that var
11513         non-NULL.
11514
11515 Fri Apr 18 16:48:41 1997  Ben Pfaff  <blp@gnu.org>
11516
11517         * Makefile.am: Added include files to SOURCES.  Added
11518         frequencies.q to EXTRA_DIST.  Removed include/ from INCLUDES.  Now
11519         includes rules for q2c.  Added `boast' target.
11520
11521 Fri Apr 18 15:42:22 1997  Ben Pfaff  <blp@gnu.org>
11522
11523         * Makefile.am: Maintainer-clean Makefile.in.
11524         
11525         * Makefile.am: Fixed redundant EXTRA_DIST line.
11526
11527         * ascii.c: Comment fixes.
11528         (ascii_line_vert) Fixed overly aggressive range check.
11529
11530         * display.c: Removed dead code.
11531
11532         * list.q: Turn debugging on.
11533         (flush_table) New debug code.
11534
11535         * sfm-read.c: (read_value_labels) malloc's the structure before
11536         trying to assign to its members.
11537
11538         * sfm-write.c: Comment fix.
11539
11540         * som-high.c: (som_submit_table) Sets som.t and som.d on each call
11541         to output_table().
11542         (output_table) No arguments anymore--gets them through `som'
11543         global.  New debug code.  In crushed tables, now sets `htv' as
11544         well as `hv' to avoid bad confusion later.
11545         (dump_crush_page) New debug code.
11546
11547         * som-low.c: (som_dump_crush_page) New debug code.
11548
11549 Thu Mar 27 01:11:29 1997  Ben Pfaff  <blp@gnu.org>
11550
11551         All source files: Broke long lines into multiple lines.
11552         
11553         * ascii.c: (ascii_close_page) Uses host_system var in place of
11554         HOST_SYSTEM constant.
11555
11556         * cmdline.c: (var syntax_message[]) Broke into
11557         pre_syntax_message[] and post_syntax_message[].
11558         (usage) Outputs both parts, separated by driver list.
11559
11560         * error.h: Fixed broken formatting.
11561
11562         * expr-opt.c: (str_search, str_rsearch) New functions.
11563
11564         * misc.c: (blp_getdelim) Removed.  All references changed to
11565         `getdelim'.
11566         (str_search, str_rsearch) Removed.
11567         (memrmem) New function.
11568
11569         * misc.h: (blp_getline) Removed.  All reference changed to
11570         `getline'.
11571
11572         * stat.h: New file.
11573
11574         * filename.c: Includes "stat.h", not <sys/stat.h>.
11575         (blp_getenv) Uses host_system var instead of HOST_SYSTEM constant.
11576
11577         * output.c: (outp_list_classes) Changed output formatting.
11578
11579         * sfm-write.c: (write_header) Uses host_system var instead of
11580         HOST_SYSTEM constant.
11581         (write_rec_7_34) Extracts version numbers from the version string.
11582         Untested.
11583
11584         * sort.c: Includes "stat.h", not <sys/stat.h>.
11585
11586         * str.c: (strcasecmp) Removed.
11587
11588         * title.c: (cmd_document) Uses host_system var instead of
11589         HOST_SYSTEM constant.
11590
11591         * version.c: Generated on-the-fly by the Makefile instead of being
11592         static.
11593
11594         * str.h: Comment fixes.  Doesn't substitute for missing memmove or
11595         memcpy.
11596         [!HAVE_STRNCASECMP] Declares strncasecmp().
11597
11598         * version.h: Removed stray character.  Comment fixes.
11599         (vars host_system, build_system) New vars.
11600
11601 Mon Mar 24 21:47:31 1997  Ben Pfaff  <blp@gnu.org>
11602
11603         * Most source files: Changed formatting of copyright notice; fixed
11604         FSF address; reformatted to better conform to GNU standards;
11605         comment fixes.  Added markups to prevent GNU indent from messing
11606         up my beautiful formatting :-).
11607         
11608         * q2c.c: (get_line) Ignores lines that begin with `/* *INDENT' so
11609         that GNU indent markups can be passed through without problems.
11610
11611 Wed Feb 19 21:30:31 1997  Ben Pfaff  <blp@gnu.org>
11612
11613         * get.c: Turned off debugging.
11614
11615         * glob.c: (init_glob) Turned on save-file compression by default.
11616
11617         * sfm-write.c: (sfm_write_case) Fixed bug which resulted in less
11618         compression than was possible in save files.
11619
11620 Sun Feb 16 20:57:20 1997  Ben Pfaff  <blp@gnu.org>
11621
11622         * data-out.c: (convert_F) Comment fixes.  Debug message fixes.
11623
11624         * frequencies.q: Removed Fiasco extensions.  Updated calculation
11625         algorithms.  Polished output format. 
11626         (struct frq_info_struct) Removed members `max_degree', `min_n',
11627         all references removed.
11628         (macro frq_extensions) Removed.
11629         (static vars min_n, max_degree) Removed, all references removed.
11630         (internal_cmd_frequencies) Doesn't handle extensions.  Doesn't
11631         calculate `min_n', `max_degree'.
11632         (postcalc) Passes new arg to dump_statistics().
11633         (dump_full) Honor NOLABEL option.  Buggy?  Adds variable name
11634         title.
11635         (dump_condensed) Adds variable name title.
11636         (sum_freqs) Removed.
11637         (calc_stats) Updated calculation algorithm.
11638         (dump_statistics) Removed warning for too-few observations.
11639         Changed table formatting.  Adds variable name title if passed new
11640         arg is nonzero.
11641
11642         * output.h: Comment fix.
11643
11644         * recode.c, sample.c, sort.c: Disabled debug code.
11645
11646         * som-frnt.c: (som_set_value, som_set_float, som_set_text)
11647         Improved debug code.
11648
11649         * var.h: (enum series frq_*) Removed Fiasco extensions.
11650
11651 Sat Feb 15 21:26:53 1997  Ben Pfaff  <blp@gnu.org>
11652
11653         * command.c: Added PROCESS IF to command table.
11654
11655         * Lots & lots of places, removed checks for NULLs preceding calls
11656         to free_expression(), which itself checks.
11657
11658         * descript.q: Removed Fiasco extensions.  Removed optimizations
11659         for non-weighted active files.  Implemented some options.
11660         Finished polishing output format.  Comment fixes.  Merged
11661         `descript.g'.
11662         (static vars n_glob_miss_list, n_glob_valid, n_glob_missing,
11663         max_degree, min_n) Removed.
11664         (macro dsc_extensions) Removed.
11665         (struct dsc_info_struct) Removed `min_n' member, all references
11666         fixed.
11667         (internal_cmd_descriptives) Removed calculation of min_n,
11668         max_degree.  Only deals with one `calc' routine instead of two
11669         flavors.
11670         (precalc) Eliminated redundancy.  Updated for changes to
11671         descriptives_proc structure.
11672         (calc) Moved here from `descript.g'.  Rewritten to calculate
11673         statistics via `moments about the mean' rather than by summing,
11674         summing squares, summing cubes, and so on.
11675         (postcalc) Rewritten for new-style statistical calculation.
11676         (display) Removed support for displaying variables across rows.
11677         No longer crushes the descriptives table.  Removed ancient code.
11678         Added display of N, by variable and listwise.
11679
11680         * descript.g: Removed; merged into `descript.q'.
11681
11682         * expr-evl.c: (evaluate_expression) Now returns a double.  For
11683         numeric results, it returns the result as well as storing it in
11684         the passed `value' structure if non-NULL.  For string results it
11685         just returns 0.0 and it must be passed non-NULL.  Many references
11686         to this function were optimized by use of this change, especially
11687         but not exclusively in `compute.c'.
11688
11689         * frequencies.g: Comment fix.
11690
11691         * glob.c: (glob var process_if_expr) New global var.
11692
11693         * postscript.c: (static var option_tab[]) Corrected entry for
11694         `fixed_size'.
11695         (postopen) Sets x->size to x->prop_size.
11696         (ps_text_set_font_by_name) Sets font size as well as typeface for
11697         PROP and FIXED fonts.
11698         
11699         * sel-if.c: (cmd_process_if) New function.
11700
11701         * sfm-write.c: (struct sfm_fhuser_ext) New member `n_cases'.
11702         (sfm_write_dictionary) Sets `n_cases' to 0.
11703         (sfm_write_case) Increments `n_cases'.
11704         (sfm_close) Attempts to seek the system file back to the header
11705         and write the number of cases in its proper slot.
11706
11707         * som-frnt.c: (som_insert_table) Masks off expansion options since
11708         only SOPT_X_NORM seems to work sensibly.
11709
11710         * som-low.c: (get_cell_size) Fixed bug when a table cell was sized
11711         with a `fixed' value of 2.
11712
11713         * sort.c: (cmd_sort_cases) Cancels PROCESS IF.
11714
11715         * sysfile-info.c: (cmd_sysfile_info) Doesn't display more than 10
11716         value labels; uses SOPT_NONE instead of SOPT_X_BOTH.
11717
11718         * var.h: (enum series dsc_*) Removed Fiasco extensions.
11719         (struct descriptives_proc) Removed `miss_noweight'; new members
11720         `X_bar', `M2', `M3', `M4', `min', `max'.
11721
11722         * vars-atr.c: (discard_variables) Cancels PROCESS IF.
11723
11724         * vfm.c: (close_active_file) Cancels PROCESS IF.
11725         (write_case) Doesn't process cases unselected by PROCESS IF.
11726
11727 Fri Feb 14 23:32:58 1997  Ben Pfaff  <blp@gnu.org>
11728
11729         * glob.c: (glob var err) Removed.
11730
11731         * sysfile-info.c: (cmd_sysfile_info) When adjusting table size,
11732         doesn't have to take into account number of value labels since
11733         they're in a subtable anyway.  Also, doesn't display more than 10
11734         value labels since we can't yet break pages in subtables.
11735
11736 Tue Feb  4 15:15:50 1997  Ben Pfaff  <blp@gnu.org>
11737
11738         * som-frnt.c: (som_change_table_size) Simple change for elegance
11739         that shouldn't change behavior.
11740         (som_set_value) Comment fix.
11741
11742         * som-high.c: (som_submit_table) Message fix.
11743
11744 Wed Jan 22 21:54:00 1997  Ben Pfaff  <blp@gnu.org>
11745
11746         * command.c: Added SYSFILE INFO to command table.
11747
11748         * file-handle.q: (fh_handle_filename) New function.
11749
11750         * get.c: (save_trns_proc) Fixed a bug in padding of output data
11751         with spaces.
11752
11753         * main.c: (parse) New return value for command functions, -3.
11754
11755         * misc.h: Comment fix.
11756
11757         * output.h: Comment fixes.
11758         (macro COMPONENTS) Removed.
11759
11760         * postscript.c: (write_text) Modified literal_chars[] so that `('
11761         and ')' are not written to the output in strings as literals.
11762
11763         * sfm-read.c: (sfm_read_dictionary) New argument.
11764         (read_header) New argument.  Sets the information structure's
11765         values from the header information.  
11766         (read_variables) [__CHECKER__] Redefines isalnum()--some sort of
11767         bizarre Checker problem, I guess.
11768         (read_variables) Proper cleanup on lossage.
11769
11770         * sfm.h: (struct sfm_read_info) New struct for use by
11771         sfm_read_dictionary().
11772
11773         * som-frnt.c: (som_create_table) New argument CREATE_FLAGS,
11774         currently used just for tables that can be dynamically resized and
11775         thus have to be allocated with arena_malloc() instead of
11776         arena_alloc().  All references changed.
11777         (som_change_table_size) New function.
11778         (som_insert_table) Bugfix: now inserts `cell', not `c'!
11779
11780         * som-high.c: [GLOBAL_DEBUGGING] (check_table) Moved to som-low.c.
11781         (som_submit_table) [GLOBAL_DEBUGGING] Doesn't call check_table()
11782         any more.
11783
11784         * som-low.c: (draw_cell) Calls draw_table_cell() for SCON_TABLE
11785         cells.
11786         (draw_intersection) Now takes an argument specifying the table in
11787         question.  All references changed.
11788         (draw_table_cell) New function.
11789         (som_get_table_size) [GLOBAL_DEBUGGING] Calls check_table().
11790         (som_get_table_size) Many nice new explanatory comments.
11791         [GLOBAL_DEBUGGING] (check_table) Moved here from som-high.c.
11792
11793         * som.h: New enum series SOM_CREATE_* for use as create flags with
11794         som_create_table().
11795
11796         * str.h: Moved a comment here from TODO.
11797
11798         * sysfile-info.c: New file.  Reference implementation.
11799
11800 Sun Jan 19 14:22:11 1997  Ben Pfaff  <blp@gnu.org>
11801
11802         * command.c: Added RENAME VARIABLES to table of commands.
11803
11804         * data-in.c: (dls_error) Sets `cust_field'.
11805         (parse_N) Message fix.
11806         (parse_day_count) New function.
11807         (to_roman) Never outputs VX as a `short form' of V.
11808         (parse_month) Fixed parsing of Roman numerals.
11809         (parse_trailer) Message fix.
11810         (parse_DATE, parse_ADATE, parse_EDATE, parse_SDATE, parse_JDATE,
11811         parse_QYR, parse_MOYR, parse_WKYR, parse_DTIME) Issue a message if
11812         the date is invalid.
11813         (parse_SDATE) Fixed swapped day, year.
11814         (parse_JDATE) Fixed bug for dates in 1582.
11815         (parse_DTIME) Allows days not between 1 and 31.
11816         (parse_numeric) Makes local copy of f.type for easier usage.
11817         FMT_DOLLAR fixed.
11818
11819         * data-out.c: (convert_F) When outputting as scientific, properly
11820         sets f.type as fp->type.
11821         (insert_commas) Fixed operator precedence problem with setting of
11822         nitems.  Changed strcpy to memcpy (no null terminator). 
11823         (convert_date) Fixed FMT_JDATE: added 1900 to year.
11824         (convert_CCx) Essentially rewritten, but now it works.
11825
11826         * display.c: (cmd_display) Added DISPLAY FILE LABEL (undocumented
11827         feature of Fiasco).
11828         (display_documents) Implemented.
11829
11830         * error.c: (glob var cust_field) New var.
11831         (vmsg) Displays cust_field as part of message classes DE and DW.
11832
11833         * formats.c: (debug_print) Fixed to compile under updated
11834         dictionary format.
11835
11836         * get.c: (cmd_get, cmd_save_internal) Close file handle on
11837         failure.
11838
11839         * misc.c: (parse_format_specifier) Formatting fix.
11840
11841         * modify-vars.c: (struct var_modification) Renamed `n_reorder' as
11842         `n_rename' for clarity.
11843         (cmd_modify_vars) Initializes `forward' and `positional' at
11844         appropriate times.  Frees lists of vars to rename on failure.
11845         Comment fix.  Frees memory on success.  
11846         (rearrange_dict) Simplified `for' loop condition.
11847
11848         * rename-vars.c: New file (reference implementation).
11849         
11850         * set.q: (internal_cmd_set) Fixed `emu' test condition.
11851
11852         * sfm-read.c: (read_header) File label is created only if file
11853         label in file is not blank.
11854         (read_variables) Initializes `dict' local variable.
11855         (read_documents) Proper behavior on lossage.
11856
11857         * sfm-write.c: (write_header) Doesn't blank out the file label
11858         (why was this here to begin with?!)
11859
11860         * temporary.c: (save_dictionary) File label is copied only if
11861         non-NULL.  Doesn't try to xstrdup() dictionary documents.
11862         Adapted so as to not irritate Checker.
11863         (free_dictionary) Only destroys var_by_name if non-NULL.
11864
11865         * title.c: (cmd_file_label) Doesn't skip FILE, LABEL tokens.
11866         (cmd_document) Doesn't skip DOCUMENT token.  Adds some header
11867         lines to the document, indents the document.  Also, it works now.
11868         (add_document_line) New function.
11869
11870         * var.h: (struct dictionary) Reordering.
11871
11872         * vars-prs.c: (parse_variables) On lossage, only local_free()'s
11873         bits if it was allocated to begin with.
11874
11875 Thu Jan 16 13:08:57 1997  Ben Pfaff  <blp@gnu.org>
11876
11877         * command.c: Added MODIFY VARS to list of commands.
11878
11879         * configure.in: Updated custom macros for autoconf 2.12.  Removed
11880         mmap reference; fixed termcap library reference.
11881
11882         * display.c: (display_variables) Fixed a few bugs although it's
11883         still not well written.
11884
11885         * error.c: [!__CHECKER__] (chkr_disp_call_chain) New function.
11886         (induce_segfault) Calls chkr_disp_call_chain() instead of
11887         inducing an actual SIGSEGV.
11888
11889         * expr-opt.c: (evaluate_tree) Swapped order of arguments to
11890         str_search() and str_rsearch().  Fixed tests for matches on
11891         OP_INDEX and OP_RINDEX.
11892
11893         * filename.c: (good_getcwd) Removed as the new libc for Checker
11894         doesn't contain this bug, apparently.
11895
11896         * misc.c: (str_search, str_rsearch) Changed order of arguments for
11897         consistency with GNU memmem.
11898         (blp_getdelim) Changed `len' from `int' to `size_t'.
11899
11900         * modify-vars.c: Reference implementation.
11901
11902         * som-frnt.c: (zero_length) New global var.
11903         (som_create_table) Message fix.
11904
11905         * som.h: Added gcc attributions to som_set_text(),
11906         som_output_text() prototypes.  blank_line() refers to
11907         zero_length[] instead of a literal null string to suppress gcc
11908         warnings.
11909
11910         * sort.c: (do_external_sort) Fixed fencepost error on lossage.
11911         (allocate_cases) Decrements x_max so the last element of x[] can
11912         be used by the algorithm.
11913
11914         * var.h: Changed minor details of `variable' declaration.  
11915         (struct modify_vars_proc) New struct.
11916         (struct variable) Added field p.mfv.
11917
11918         * vars-atr.c: Comment fix.
11919
11920         * vars-prs.c: (fill_all_vars) More optimal implementation.
11921
11922         * vfm.c: (dump_splits) Sets the last byte of temp_buf to a null
11923         character, which it shouldn't have to do but printf() seems to
11924         read the null byte even though I supply a maximum length...
11925
11926 Fri Jan 10 20:22:08 1997  Ben Pfaff  <blp@gnu.org>
11927
11928         * command.c: Removed command alias X for QUIT.
11929         (parse_cmd) Fixed comment parsing.
11930
11931         * dfm.c: (struct dfm_fhuser_ext) Fields `len', `size' are now of
11932         type size_t.
11933         (read_record) Fixed references to len, size.
11934         (dfm_get_record) Restructured.
11935
11936         * file-handle.h: (struct file_handle) Field `lrecl' now of type
11937         size_t.
11938
11939         * file-handle.q: (internal_cmd_file_handle) Checks for nonpositive
11940         record length.
11941
11942         * modify-vars.c: New file.  Not complete.
11943         
11944         * set.q: (set_ccx) Fixed operator precedence problem regarding ^
11945         and ==.
11946
11947         * sfm-read.c: (bswap_flt64, read_header, write_variable) Fixed
11948         problems caused by int/size_t differences.
11949
11950         * sort.c: (output_record, merge_once) Cast `size_t's to `int's in
11951         appropriate spots.
11952
11953         * str.c: (strcasecmp) Fixed bug that cropped up when the strings
11954         being compared were of equal length.
11955
11956 Thu Jan  2 19:08:23 1997  Ben Pfaff  <blp@gnu.org>
11957
11958         * command.c: Added DOCUMENT, DROP DOCUMENTS, FILE LABEL.
11959
11960         * lexer.c: (get_dotted_rest_of_line) New function.
11961
11962         * sel-if.c: (cmd_filter) Cannot choose string or scratch variables
11963         as filters.
11964
11965         * sfm-read.c: (sfm_read_dictionary) Calls read_documents() to read
11966         type 6 records.  Frees the dictionary properly.
11967         (read_header) Initializes the dictionary instead of letting
11968         read_variables() do it.  Sets the dictionary file label from the
11969         system file.
11970         (read_documents) New function.
11971
11972         * sfm-write.c: (sfm_write_dictionary) Calls write_documents() to
11973         write type 6 record if appropriate.
11974         (write_header) Writes file label from dictionary.
11975         (write_documents) New function.
11976
11977         * temporary.c: (save_dictionary, restore_dictionary,
11978         free_dictionary) Properly handle new fields in dictionary struct.
11979
11980         * title.c: (get_title) Returns after failure().
11981         (cmd_file_label, cmd_document, cmd_drop_documents) New functions
11982         for new commands FILE LABEL, DOCUMENT, DROP DOCUMENTS.  Untested.
11983
11984         * var.h: (struct dictionary) New fields `label', `n_documents',
11985         `documents'.
11986
11987 Wed Jan  1 22:08:10 1997  Ben Pfaff  <blp@gnu.org>
11988
11989         * command.c: Added FILTER to list of commands.
11990
11991         * frequencies.g: [WEIGHTING] Removed test for weighting!=-1 since
11992         it's always true.
11993
11994         * get.c: (cmd_save_internal) Removed weighting code since it's now
11995         handled by sfm-write.c.  Properly commented out debug code.
11996
11997         * glob.c: (glob var weighting) Removed.
11998
11999         * sel-if.c: Comment fixes.
12000         (cmd_filter) New function.
12001
12002         * sfm-read.c: (struct sfm_fhuser_ext) New field `weight_index'.
12003         (sfm_read_dictionary) Sets weighting variable direct in the
12004         created dictionary now.  (Apparently we previously didn't support
12005         weighting on GET?)
12006         (read_header) Sets weight_index field in sfm_fhuser_ext from
12007         header read from disk.
12008
12009         * sfm-write.c: (sfm_write_dictionary) Comment fix.
12010         (write_header) Now sets the weighting in the header from the
12011         passed primary dictionary instead of from the sfm_write_info.
12012
12013         * sfm.h: (struct sfm_write_info) Removed field `weight'.
12014
12015         * som-high.c: (dump_crush_table) Fixed a couple of assertions that
12016         broke on boundary conditions.
12017
12018         * var.h: (struct dictionary) New fields `weight_var',
12019         `weight_index', and `filter_var'.
12020         (glob var weighting) Removed.  This is now part of struct
12021         dictionary.  All references changed; the less mechanical changes
12022         are described above.
12023
12024         * vars-atr.c: (find_dict_variable) New function.
12025
12026         * vfm.c: (static var filter_index) New variable.
12027         (open_active_file) Initializes filter_index from default_dict.
12028         (write_case) Calls proc_func() only if the filter variable is
12029         nonzero; this implements FILTER behavior.
12030
12031         * weight.c: (static var weight_varname) Removed.
12032         (cmd_weight) Modified default_dict instead of glob vars.
12033         (update_weighting) Changed the signature to modify a dictionary
12034         instead of glob vars.  Now returns the weighting variable.
12035         (get_weighting_variable) Removed; its function is absorbed by
12036         update_weighting().
12037         (stop_weighting) Operates on a dictionary now.
12038
12039 Wed Jan  1 17:00:59 1997  Ben Pfaff  <blp@gnu.org>
12040
12041         * sort.c: Removed debugging info from messages.
12042         (do_external_sort) Cleans up after itself by deleting the
12043         temporary directory on failure.  (On success it is deleted by the
12044         input program.)
12045         (allocate_cases) Removed debug code.  Added clean up code.
12046         (output_record) Removed debug code.
12047         (merge) Added code to close all the input files that are currently
12048         open.  This is a likely location for bugs, because I'm not sure
12049         about boundary conditions.  Removed an unnecesary heap_delete().
12050         (merge_once) Removed input file "optimization" that in fact
12051         screwed up the rest of the code.  Message and comment fixes.
12052
12053 Sun Dec 29 21:36:48 1996  Ben Pfaff  <blp@gnu.org>
12054
12055         * error.c: [__CHECKER__] (induce_segfault) Flushes output streams.
12056
12057         * heap.c: (heap_delete) New argument.
12058
12059         * sort.c: Finished implementation of external sort.
12060
12061         * vfm.c: (read_from_disk) Returns after a disk error.
12062
12063 Sun Dec 22 23:10:39 1996  Ben Pfaff  <blp@gnu.org>
12064
12065         * sort.c: (static var state) Removed.
12066         (static vars max_handles, tmp_basename, tmp_extname,
12067         huffman_queue) New variables.
12068         (do_external_sort) Moved most code to new functions.
12069         Creates huffman_queue.
12070         (allocate_file_handles, allocate_cases) New functions.
12071         (static vars run_no, run_length, file_index, case_count) New
12072         variables. 
12073         (output_record) Returns success.  Now really writes to the output
12074         file.
12075         (begin_run, end_run) New functions.
12076         (write_initial_runs) Returns success.  Initializes run_no to -1.
12077         Calls begin_run(), end_run() at appropriate times.  Outputs debug
12078         messages.
12079         (write_to_sort_cases) Calls begin_run(), end_run() at appropriate
12080         times.
12081         (merge) New function.
12082
12083         * heap.c, heap.h: New files.  Hopefully in near-final form.
12084
12085 Sat Dec 21 21:51:04 1996  Ben Pfaff  <blp@gnu.org>
12086
12087         * glob.c: Added write_active_file to global vars.
12088
12089         * sort.c: Several new miscellaneous static variables.
12090         (cmd_sort_cases) Big comment fix.
12091         (perform_case_2) Renamed `do_external_sort' and completely
12092         rewritten.
12093         (case_2_proc_func) Removed.
12094         (output_record, write_initial_runs, write_to_sort_cases,
12095         compare_record) New functions.
12096
12097         * vfm.c: [DEBUGGING] (index_to_varname) Excised bit rot.
12098
12099 Tue Dec 17 18:57:59 1996  Ben Pfaff  <blp@gnu.org>
12100
12101         * sort.c: (perform_case_2) Changed the method for allocation of
12102         lots of memory--now allocates one case at a time in hopes that
12103         more cases can be allocated with heavily fragmented memory.
12104
12105         * var.h: (write_active_file) New global var.
12106
12107         * vfm.c: (procedure, close_active_file, write_case,
12108         SPLIT_FILE_procfunc) Now allow beginfunc, procfunc, and endfunc
12109         arguments to procedure() to be NULL.  All references to
12110         procedure() that made use of dummy functions were changed to NULL
12111         functions.
12112         (open_active_file) If write_active_file is non-NULL, the output
12113         device becomes DEV_PGM (a new enum).
12114         (close_active_file) Sets write_active_file to NULL.
12115         (read_from_memory) Comment fix.
12116         (record_case) Calls write_active_file() when the output device is
12117         DEV_PGM.
12118
12119 Sun Dec 15 15:32:16 1996  Ben Pfaff  <blp@gnu.org>
12120
12121         * sort.c: New file.
12122
12123         * autorecode.c: (cmd_autorecode) Fixed parsing of options.
12124         Fixed checking for duplicate varnames.
12125         (recode) xmalloc()'s the transformation instead of arena_alloc()'ing
12126         it.
12127         (autorecode_trns_free) Destroys hash tables for each recoding
12128         specification.
12129         (autorecode_proc_func) Compares NULL to *vpp instead of vpp.
12130
12131         * command.c: Added SORT CASES to cmd_table.
12132         (null_func, null_int_func) Prototyped.
12133
12134         * descript.g: (calc_weight, calc_noweight) Computes own case
12135         number now.
12136         
12137         * frequencies.q: (dump_statistics) Fixed problem with
12138         too-few-cases warning message.
12139
12140         * get.c: (cmd_save_internal) Handles weighting properly.
12141
12142         * hash.c: (hsh_dump) Output format changed.
12143         (force_hsh_insert) Actually works now, prototype changed.
12144
12145         * list.q: (static var case_num) New variable.
12146         (cmd_list) Initializes case_num.
12147         (list_cases) Increments case_num.
12148
12149         * var.h: Added definitions for SORT CASES.  Comment fixes.
12150
12151         * vfm.c: Some definitions moved to new file vfmP.h.  Comment
12152         fixes.  `active' renamed vfm_active, `rep' renamed
12153         vfm_replacement, all references changed.
12154         (procedure) The procfunc no longer receives a case number.  All
12155         references changed.
12156         (write_case) Subtle reordering.
12157         (SPLIT_FILE_procfunc) Counts cases differently.  Slightly less
12158         redundant.
12159
12160         * weight.c: (get_weighting_variable) New function.
12161
12162         * vfmP.h: New file with definitions from vfm.c.
12163
12164 Sat Dec 14 10:35:30 1996  Ben Pfaff  <blp@gnu.org>
12165
12166         * command.c: (FILE_TYPE_okay) Commented out some tests because
12167         they're clumsy and not yet needed.
12168
12169         * var.h: Most *_trns structures moved to their respective source
12170         files.  Some were moved into a new file, do-ifP.h.  Comment fixes.
12171         (union any_trns) Changed to a typedef for trns_header.
12172         (struct input_program_pgm) Removed.
12173
12174         * vars-prs.c: (parse_variables) Only local_free()'s bits if it
12175         was allocated in the first place.
12176
12177 Fri Dec 13 21:30:53 1996  Ben Pfaff  <blp@gnu.org>
12178
12179         * autorecode.c: New file.
12180         
12181         * command.c: Added AUTORECODE to command table; re-enabled SET.
12182
12183         * data-out.c: (convert_F) Handles infinities and NaNs properly.
12184
12185         * error.c: (vmsg) Comment fixes.
12186
12187         * hash.c: Comment fix.
12188         (hashpjw_d) New function.
12189         (hashpjw) Reimplemented as call to more general function
12190         hashpjw_d().
12191         (internal_comparison_fn) Initializes pointers properly.
12192         (hsh_sort) [GLOBAL_DEBUGGING] New debugging code.
12193         (force_hsh_insert, force_hsh_find) New debugging wrapper
12194         functions.
12195
12196         * main.c: (main) Message fix.
12197
12198         * output.c: (outp_read_devices) Message fix.
12199
12200         * set.q: Comment fixes.
12201         (custom_results) Implemented Wnd/X form of subcommand.
12202         (set_routing) New function.
12203         (internal_cmd_set) Implemented ERRORS, MESSAGES.
12204
12205         * settings.h: (SET_ROUTE_*) New enum series.
12206         (set_results) Renamed set_results_file, all references changed.
12207         (set_messages) Removed.
12208         (glob vars set_errors, set_messages, set_results) New vars.
12209
12210         * title.c: (get_title) Remembers to xstrdup() the result of
12211         get_rest_of_line().
12212
12213         * var.h: (arc_item, arc_spec, autorecode_trns) New structures for
12214         use by AUTORECODE.
12215         (union any_trns) New element `arc'.
12216
12217 Fri Dec  6 23:53:47 1996  Ben Pfaff  <blp@gnu.org>
12218
12219         * command.c: (output_line) Removed references to set_screen.
12220
12221         * error.c: (static var terminating) New var.
12222         (hcf) Sets terminating to 1.
12223         (vmsg) If terminating is nonzero, does not attempt to call hcf().
12224         This prevents an infinite loop if an error occurs within hcf().
12225
12226         * expr-evl.c: (evaluate_expression) [__CHECKER__] Replaced case
12227         statement circumlocution with `case 42000' trick.
12228         (evaluate_expression) New support for OP_STR_MIS.
12229
12230         * expr-opt.c: (evaluate_expression) [__CHECKER__] Replaced case
12231         statement circumlocution with `case 42000' trick.
12232         (dump_node) Handles OP_STR_MIS.
12233
12234         * expr-prs.c: (MISSING_func, SYSMIS_func) Rewrote to handle string
12235         variables exceptions.
12236         (parse_function) Message fix.
12237         (ops[]) Added OP_STR_MIS.
12238
12239         * expr.h: Added OP_STR_MIS to OP_* enum.  Comment fixes.
12240
12241         * exprP.h: [__CHECKER__] Removed case statement circumlocution.
12242
12243         * glob.c: Removed set_scrnfile glob var.
12244         (init_glob) set_errorbreak set to 0 by default.
12245
12246         * groff-font.c: Changed included files.
12247         (groff_read_font) Initializes font_arena local var correctly.
12248         (default_font) New function.
12249
12250         * output.c: Comment fixes.
12251         (glob var disabled_devices) New variable.
12252         [GLOBAL_DEBUGGING] (static var iterating_driver_list) New
12253         variable.
12254         [GLOBAL_DEBUGGING] (reentrancy) New function.
12255         [GLOBAL_DEBUGGING] (outp_read_devices, outp_done, find_driver,
12256         outp_iterate_enabled_drivers) Calls to reentrancy().
12257         (destroy_list) New function.
12258         (outp_done) Moved code to destroy_list().
12259         (parse_options) Parses `listing', `screen', `printer' options
12260         internally.
12261         (configure_driver) Sets new `device' member of driver.
12262         (outp_iterate_enabled_drivers, outp_enable_device) New functions.
12263
12264         * output.h: Comment fixes.  New enum series OUTP_DEV_*.
12265         (struct outp_driver_struct) New member `device'.
12266
12267         * postscript.c: (find_encoding_file) Doesn't display its own error
12268         messages.
12269         (default_encoding) New function.
12270         (switch_font) Calls default_encoding() if no encoding can be
12271         found.
12272         (text) Makes up a character metric if none exists for the desired
12273         character.
12274         (load_font) Properly copies a fallback filename.  Calls
12275         default_font() for a font if none at all are known.
12276
12277         * set.q: Comment fixes.  Removed OUTPUT subcommand.
12278         (custom_listing) Calls outp_enable_device() to enable/disable
12279         listing device.
12280         (turn_screen_on) Removed.
12281         (internal_cmd_set) Calls outp_enable_device() to enable/disable
12282         screen, printer devices.
12283
12284         * settings.h: Comment fixes.
12285         (glob vars set_output, set_printer, set_screen, set_scrnfile)
12286         Removed.
12287
12288         * som-high.c: (som_submit_table, som_eject_page) Use
12289         outp_iterate_enabled_drivers() instead of iterating
12290         outp_driver_list directly.
12291
12292 Wed Dec  4 21:34:17 1996  Ben Pfaff  <blp@gnu.org>
12293
12294         * data-in.c: (parse_EDATE, parse_SDATE) New functions.
12295         (parse_string_as_format) Handles new formats.
12296         (parse_numeric) Now handles DOT and PCT formats.
12297
12298         * data-out.c: (convert_E, convert_F, insert_commas) Handle DOT
12299         format now.
12300         (convert_date) Handle EDATE and SDATE formats.
12301         (convert_CCx) Now if there's not room for the currency characters,
12302         converts it as F format if it's positive instead of giving up
12303         quickly.  Also fixed save-and-restore bug with decimal point
12304         characters.  
12305         (convert_format_to_string) Handles new formats.
12306
12307         * misc.c: (formats[]) Added new formats.
12308         (convert_fmt_ItoO) Supports new formats.
12309
12310         * sfm-read.c: (parse_format_spec) Supports new formats.  Better
12311         data checking.  New argument, all references changed.
12312
12313         * sfm-write.c: (write_format_spec) Supports new formats.
12314
12315         * var.h: New formats FMT_DOT, FMT_PCT, FMT_EDATE, FMT_SDATE.
12316         Comment fixes.
12317
12318 Sun Dec  1 17:19:00 1996  Ben Pfaff  <blp@gnu.org>
12319
12320         * cmdline.c: Comment fixes.
12321         (parse_command_line) Changed return type to void.
12322
12323         * data-in.c: (parse_string_as_format) Added FMT_CCA...FMT_CCE to
12324         switch.
12325         (parse_numeric) Handles international numbers (comma as decimal
12326         point).  Some reformatting.
12327
12328         * data-list.c: (parse_free) Default output format is now
12329         set_format instead of hard-coded F8.2.
12330         (read_from_data_list_list) Emits error message on undefined data
12331         only if set_undefined is nonzero.
12332
12333         * data-out.c: (convert_E) Changes decimal point from period to
12334         comma if appropriate.  Restructured.  Better comments.
12335         (convert_F) Changes decimal point from period to comma if
12336         appropriate.
12337         (insert_commas) Major bug with handling of negative values fixed.
12338         Also, inserts periods instead of commas if appropriate.
12339         (convert_CCx) New function.
12340         (convert_format_to_string) Added FMT_CCA...FMT_CCE to switch.
12341         (num_to_string) Changed `.' to set_decimal.
12342
12343         * dfm.c: Comment fixes.
12344         (dfm_close) Frees ext->line even in inline_file.
12345         (open_inline_file) New function.
12346         (open_file_r) When opening the inline file: now properly
12347         recognizes `BEGIN DATA.' line, and calls open_inline_file() to
12348         finish up.
12349         (read_record) Calls fh_close_handle() instead of dfm_close() to
12350         close the inline file.  Makes a copy of the line getl_buf to avoid
12351         interlock problems.
12352         (dfm_get_record) Restructured.  Now checks the return value of
12353         open_file_r().
12354         (cmd_begin_data) Moved open code into open_inline_file().  Relaxed
12355         checking for use of inline file.  No longer tries to close inline
12356         file.
12357
12358         * error.c: (glob var error_already_flagged) New var.
12359         (vmsg) Message change.  Now checks max number of errors/warnings,
12360         acts on it.
12361
12362         * file-handle.q: (fh_handle_name) Now allows closing of
12363         inline_file.
12364         (fh_init_files) Reformatted.
12365
12366         * get.c: (trim_dictionary) Checks SCOMP option instead of COMP.
12367
12368         * getline.c: (getl_include) Fixed bug that popped up when called
12369         when file queue was empty.
12370         (read_console) Resets error_count, warning_count,
12371         error_already_flagged to zero.
12372
12373         * glob.c: Many changes to update list of variables.
12374         (init_compat_dependent) Now this function is called whenever
12375         `compat' changes.  It now sets set_seed only if it hasn't
12376         previously been referenced.  It now calls
12377         lex_init_compat_dependent().
12378
12379         * include.c: (cmd_include_at) Frees temporary buffer instead of
12380         line buffer.  
12381         (cmd_include) Doesn't make copy of include file name.
12382
12383         * lexer.c: Comment fixes.
12384         (init_lex) Moved some code into new function
12385         lex_init_compat_dependent().
12386         (lex_init_compat_dependent) New function.
12387         (hex_val) Simplified.
12388         (preprocess_line) Uses set_endcmd instead of hardcoding `.'.
12389
12390         * main.c: Comment fixes.
12391         (main) Reformatted.
12392
12393         * misc.c: (formats[]) Added FMT_CCA...FMT_CCE.
12394         (check_input_specifier) Disallows FMT_CCA...FMT_CCE.
12395         (convert_fmt_ItoO) Detects FMT_CCA...FMT_CCE.
12396         (setup_randomize) Sets set_seed_used.
12397
12398         * set.q: Comment fixes.
12399         (custom_results) Conditionalizes on `compat'.
12400         (custom_log) Calls custom_journal().
12401         (set_ccx) New function.
12402         (cmd_set) Calls init_compat_dependent() when `compat' changes.
12403         Calls set_ccx() to handle CCA...CCE.  Sets set_grouping
12404         when set_decimal changes.  Range-checks values for MITERATE,
12405         MNEST.  Message fixes.
12406
12407         * settings.h: Comment fixes.
12408         (struct set_cust_currency) New struct.
12409         (set_cc[], set_grouping, set_seed_used) New global vars.
12410
12411         * var.h: (FMT_CCA...FMT_CCE) New output formats.
12412         (FCAT_OUTPUT_ONLY) New FCAT_* constant.
12413
12414 Thu Nov 28 23:14:07 1996  Ben Pfaff  <blp@gnu.org>
12415
12416         * glob.c: Revised variables to correspond to settings.h.
12417         (init_glob) Initializes variables from settings.h properly.
12418
12419         * set.q: Began long-overdue major revision to correspond to new
12420         philosophy.  Most code changed. 
12421
12422         * settings.h: Mostly changed; reorganized, reordered, large new
12423         comment.
12424
12425 Thu Nov 28 19:46:10 1996  Ben Pfaff  <blp@gnu.org>
12426
12427         * get.c: (cmd_save_internal) No longer forces compression off.
12428
12429         * sfm-read.c: (read_compressed_data) If eof is reached when
12430         reading a new instruction octet, only signal error if we're in the
12431         middle of a case.
12432
12433         * sfm-write.c: (COMPRESSION_BIAS) New #define.
12434         (struct sfm_fhuser_ext) New member `end'.
12435         (write_header) Refers to COMPRESSION_BIAS instead of magic 100.0.
12436         (ensure_buf_space) New function.
12437         (sfm_write_case) Reimplemented in order to support compression.
12438         (sfm_close) Writes out the remaining contents of the compression
12439         buffer if any.
12440
12441 Wed Nov 27 23:18:35 1996  Ben Pfaff  <blp@gnu.org>
12442
12443         * command.c: Defined SAVE and XSAVE commands in command table.
12444
12445         * common.h: second_lowest_value is of type flt64, not double.
12446
12447         * file-handle.h: Comment fix.
12448
12449         * get.c: Comment fixes.
12450         (static var `trns') New.
12451         (save_write_case_func, save_trns_proc, save_trns_free, null_func,
12452         cmd_save_internal, cmd_save, cmd_xsave) New functions.
12453         (dict_delete_run) Clears the variables and frees them now.
12454         (trim_dictionary) Sets default for compression.
12455         On KEEP subcommand, frees deleted variables as well as clearing
12456         them.  Finally got the sense of the test for deleting all
12457         variables correct.
12458         [DEBUGGING] (dump_dict_variables) Message fix.
12459
12460         * glob.c: (init_glob) set_compression set to 1 by default.
12461
12462         * list.q: Properly #includes config.h.
12463
12464         * misc.h: New macro REM_RND_UP.
12465
12466         * settings.h: Comment fix.
12467
12468         * sfm-read.c: (structs sysfile_header, sysfile_format,
12469         sysfile_variable; inline function bswap_int32) Moved to new file
12470         sfmP.h.
12471         (corrupt_msg) [__CHECKER__] No longer induces segfault.
12472         (sfm_read_dictionary) Fixed bug caused by failing to initialize
12473         var_by_index.
12474         (read_machine_flt64_info) Fixed some problems caused by confusion
12475         between flt64 and double types.
12476         (read_header) Message fix.
12477         (read_variables) Fixed set of cases in which we byte-swap sv.print
12478         and sv.write.  Fixed confusion of flt64 and double.
12479
12480         * sfm.h: (struct sfm_write_info) New.
12481
12482         * som-high.c: (som_draw_title) Properly frees `s'.
12483
12484         * temporary.c: (save_dictionary) Comment fix.
12485
12486         * var.h: Comment fixes.  New FMT_* enum, FMT_NUMBER_OF_FORMATS.
12487         (struct trns_header) Formatting fix.
12488         (struct save_trns) New.
12489
12490         * vars-atr.c: (discard_variables) Comment fix.
12491
12492         * sfm-write.c: New file, baseline release.
12493
12494         * sfmP.h: New file, baseline release.
12495
12496 Sun Nov 24 14:53:53 1996  Ben Pfaff  <blp@gnu.org>
12497
12498         * cmdline.c: (parse_command_line) `--version' output updated.
12499         (glob var syntax_message[]) Added my e-mail address.
12500
12501         * file-handle.q, lexer.c, vfm.c: Changed many instances of
12502         `illegal' to `invalid'.
12503
12504         * sfm-read.c: (struct sfm_fhuser_ext) New fields used as
12505         uncompression buffer.
12506         (sfm_close) Frees decompression buffer.
12507         (sfm_read_dictionary) Initializes decompression buffer.
12508         (buffer_input, read_compressed_data) New functions.
12509         (sfm_read_case) Restructured; now calls read_compressed_data() to
12510         handle compressed system file data.
12511
12512         * var.h: Comment fix.
12513
12514 Mon Nov 11 15:34:09 1996  Ben Pfaff  <blp@gnu.org>
12515
12516         * dfm.c: (dfm_close) Does not set h->{ext,class} because the
12517         caller handles it.
12518          
12519         * get.c: New comments.  New static var `get_file'.
12520         (cmd_get) Now fully implemented.  Calls discard_variables();
12521         initializes fv and lv for all variables; new debug code; sets
12522         up the dictionary; sets up the input program.
12523         (read_from_get, cancel_get) New functions.
12524
12525         * sfm-read.c: Comment fixes.
12526         (sfm_close) New static function.
12527         (sfm_read_dictionary) Properly sets up the class of the
12528         file_handle.  No longer cares what size the data is in records of
12529         type 7.  Also, on failure, properly cleans up the file_handle and
12530         free()s some stuff.
12531         (read_variables) No longer thinks it knows `nval' of the
12532         dictionary.  Now sets p.get.fv, etc., instead of speculatively
12533         setting fv itself.
12534         (read_value_labels) Fixed off-by-one error in indexing of
12535         var_by_index[].
12536         (sfm_read_case) New function.
12537         (sfm_r_class) New static var.
12538
12539         * var.h: (get_proc) New struct.
12540         (struct variable) New member p.get.
12541
12542 Thu Nov  7 20:52:28 1996  Ben Pfaff  <blp@gnu.org>
12543
12544         * get.c: Removed GTSV_OPT_MAP because of a misinterpretation of
12545         the manual's meaning.
12546         (rename_variables) New function.
12547         (trim_variables) Doesn't try to parse MAP any more.  Removed debug
12548         code.  Now properly reorders the dictionary on the KEEP keyword.
12549
12550         * sfm-read.c: (read_value_labels) Fixed some bugs regarding
12551         garbage collection.
12552
12553         * vars-atr.c: (clear_variable) New argument `dictionary *'.
12554         (rename_variable) New function.
12555         (free_val_lab) Reformatted.
12556
12557 Thu Nov  7 17:29:16 1996  Ben Pfaff  <blp@gnu.org>
12558
12559         * var.h: Reindented entire file.  Comment fixes.
12560         (glob vars var, var_by_name, nvar, N, nval, n_splits, splits)
12561         Removed.
12562         (glob var default_dict) New.
12563         (struct indirect_dictionary) Removed.
12564
12565         * Many other source files were changed to add `default_dict.'
12566         before all references to the dictionary of the active file.
12567         
12568         * vars-atr.c: (make_indirect_dictionary) Removed.
12569
12570         * glob.c: Reindented all variable declarations.  Updated for
12571         changed var.h.  Comment fixes.
12572
12573         * temporary.c: (restore_dictionary, save_dictionary) Simplified
12574         because now we can mainly copy dictionary structs.
12575
12576         * vars-prs.c: (is_dict_varname, parse_dict_variable,
12577         parse_variables) Takes dictionary instead of indirect_dictionary
12578         first argument.
12579         (parse_variables) Instead of calling make_indirect_dictionary,
12580         just sets DICT to &default_dict if DICT is NULL.  Of course, lots
12581         of `*dict.' references had to be changed to `dict->'.  Removed
12582         debug code.
12583
12584 Thu Nov  7 15:48:52 1996  Ben Pfaff  <blp@gnu.org>
12585
12586         * get.c: Added GTSV_OPT_* series of enums.
12587         (trim_dictionary, dict_delete_run) New functions.
12588         [DEBUGGING] (dump_dict_variables) New function.
12589         (cmd_get) Calls trim_dictionary() to get dictionary fully set-up.
12590         [DEBUGGING] Calls dump_dict_variables() to display results.
12591
12592         * glob.c: (cmp_variable) Now a public function declared in var.h.
12593
12594         * sfm-read.c: Turned off debug code.  Comment fixes.
12595         (read_machine_int32_info, read_machine_flt64_info) New functions
12596         to parse type 7 records.
12597         (sfm_read_dictionary) Properly byteswaps several fields now.
12598         Calls read_machine_*_info() to parse type 7 subtypes 3 and 4
12599         records.  [DEBUGGING] Dumps dictionary.
12600         (read_variables) Sets `index' field of variables created properly.
12601         Constructs avl tree of variables in dictionary.  [DEBUGGING] No
12602         longer dumps dictionary.
12603         (read_value_labels) Properly byteswaps fields.  [DEBUGGING] New
12604         debug code.
12605         [DEBUGGING] (dump_dictionary) No longer stubbed out.
12606
12607         * temporary.c: (restore_dictionary) Destroys `var_by_name' glob
12608         var before destroying any variables just to save a little time.
12609
12610         * var.h: (struct variable) Reordered in order to make name[] the
12611         first member; this makes pointers to `variable' pointers to the
12612         variable name, simplifying avl trees, etc.
12613         (struct indirect_dictionary) New struct.
12614
12615         * vars-atr.c: (find_variable) Rewritten for efficiency.
12616         (make_indirect_dictionary, is_dict_varname, parse_dict_variable)
12617         New functions.
12618         (is_varname) Rewritten for efficiency.
12619         (parse_variables) New argument, which is a `dictionary *'.  All
12620         references changed.  This function now reads variable names from
12621         the dictionary passed, or from the default dictionary if NULL.
12622
12623 Tue Nov  5 18:34:59 1996  Ben Pfaff  <blp@gnu.org>
12624
12625         * misc.h: Added new macro DIV_RND_UP to perform integer division,
12626         rounding up.  Changed many references to ROUND_UP to use this
12627         instead.
12628
12629         * sfm-read.c: Includes avl.h.
12630         (corrupt_msg) Induces a segfault under Checker.
12631         (macro assertive_bufread) New.  Many references to bufread() now
12632         use this instead.
12633         (sfm_read_dictionary) Split up into several functions.  Added code
12634         to read dictionary records following the the type 2 records.  Not
12635         quite complete.  New variable `var_by_index'.
12636         (read_header, read_variables) New functions extracted from
12637         sfm_read_dictionary().
12638         (read_value_labels) New function.
12639         (bufread) Checks ferror() if fread() doesn't return the expected
12640         value; if ferror() is zero it's just EOF.
12641         (dump_dictionary) Stubbed out.
12642
12643         * BTW: The source code now exceeds 50000 lines!
12644         
12645 Mon Nov  4 22:03:28 1996  Ben Pfaff  <blp@gnu.org>
12646
12647         * command.c: Added GET to cmd_table[].
12648
12649         * list.q: Removed reference to alloca headers.
12650         (cmd_list) Gave prototype.
12651
12652         * sfm-read.c: Added DEBUGGING comments.
12653         (sfm_read_dictionary) Checks bias correctly.  Sets
12654         dict->var_by_name to NULL.  Calculates long_string_count
12655         correctly.  realloc's dict->var[] array to minimum size.
12656         [DEBUGGING] Calls dump_dictionary.
12657         [DEBUGGING] (dump_dictionary) New function.
12658
12659         * temporary.c: (save_dictionary) Sets var_by_name to NULL.
12660         (restore_dictionary) If the dictionary contains a non-NULL
12661         var_by_name, uses that instead of generating one.
12662         (free_dictionary) Destroys var_by_name.
12663
12664         * var.h: (struct dictionary) Added field `var_by_name'.
12665
12666         * get.c: New file, not complete.
12667
12668 Sun Nov  3 12:24:36 1996  Ben Pfaff  <blp@gnu.org>
12669
12670         * mis-val.c: New enums MV_NOR_*.  New struct num_or_range.
12671         (parse_num_or_range) New function.
12672         (parse_numeric) Reimplemented in order to support LOW THRU <n> and
12673         <n> THRU HIGH missing values.
12674
12675         * output.h: [__GNUC__>1 && __OPTIMIZE__] (width, height) Made
12676         __attribute__((const)).
12677
12678         * q2c.c: (get_token) Merged isdigit || isalpha into isalnum.
12679
12680         * sfm-read.c: Finished reference implementation.
12681
12682         * sfm.h: Includes var.h.
12683
12684         * var.h: Comment fixes.
12685         (struct `variable') Reordered some fields.
12686
12687         * vars-atr.c: (is_num_user_missing) Added support for MISSING_*
12688         constants added previously.
12689
12690 Wed Oct 30 17:13:08 1996  Ben Pfaff  <blp@gnu.org>
12691
12692         * common.h: Comment fixes.  Added declaration of
12693         `second_lowest_value' as variable or macro.  Made `compat_type',
12694         `pgm_state_type' into anonymous enums.
12695
12696         * display.c: Comment fix.
12697
12698         * glob.c: [ENDIAN==UNKNOWN] Added definition for `endian' global
12699         var.
12700         [!defined SECOND_LOWEST_VALUE] Added definition for
12701         `second_lowest_value' global var.
12702         (compat, pgm_state global vars) Changed types to `int'.
12703         (init_glob) Initializes `second_lowest_value'.
12704
12705         * sfm-read.c: Continued work, not complete.
12706
12707         * var.h: Added new MISSING_* constants to handle LOWEST and
12708         HIGHEST.
12709
12710 Sat Oct 26 23:06:06 1996  Ben Pfaff  <blp@gnu.org>
12711
12712         * sfm-read.c: New file, not complete.
12713
12714         * cases.c: (vec_insert) Changed vector expansion algorithm.
12715         (vec_delete) Fixed bug that screwed up deletion sometimes, it was
12716         mucking up the RECODE transformation in particular.
12717         (envector) Harmless change in notation.
12718
12719         dfm is now fairly well tested again.  
12720         * dfm.c: (dfm_get_record) Only returns ext->ptr if ext is
12721         non-NULL--duh.
12722         (cmd_begin_data) if(ext->line) replaced by if(ext && ext->line).
12723
12724         * recode.c: Comment fix.
12725
12726         * sfm.h: Interface should be fairly final now, or at least for a
12727         day or so...
12728
12729         * vfm.c: [DEBUGGING] (index_to_varname) New function.
12730         (open_active_file) [DEBUGGING] Translates ccase indices into
12731         variable names now to make it easier to understand what's really
12732         going on.
12733
12734 Sat Oct 26 20:46:31 1996  Ben Pfaff  <blp@gnu.org>
12735
12736         * data-in.c: Comment fix.
12737
12738         * data-list.c: Includes dfm.h.
12739         (do_reading) Uses new function dfm_push_cust().
12740
12741         * data-out.c: (convert_time, convert_WKDAY, convert_MONTH) Added
12742         `return 1;' at end.
12743
12744         * file-handle.h: Completely changed.  Some parts split off into
12745         new file dfm.h.  Implemented in file-handle.q.
12746         (enum FH_*) Removed.
12747         (struct fh_ext_class) New struct.
12748         (struct file_handle) Retained only these fields: name, norm_fn,
12749         fn, recform, lrecl, mode.  New fields class, ext.
12750         (get_handle_by_name, get_handle_by_filename, parse_file_handle,
12751         close_handle, handle_name) Added `fh_' prefix to name, all
12752         references changed.
12753
12754         * dfm.h: New file, implemented in dfm.c.
12755         (get_record, put_record, fwd_record, bkwd_record, set_record,
12756         get_cur_col) Functions moved from file-handle.h, now prefixed with
12757         `dfm_'.
12758         (dfm_push_cust) New function.
12759
12760         * sfm.h: New file.  Incomplete.
12761
12762         * dfm.c: All functions adjusted/rewritten for new dfm/fhp
12763         interface.  Functions reordered, comments changed.  Not well
12764         tested, probably full of bugs.
12765         (struct dfm_fhuser_ext) New struct.
12766         (dfm_close) New function.
12767         (open_file_r) Pickier about finding `BEGIN DATA.' line.
12768         (open_file_w) User messages changed.
12769         (get_record) Comment fixed.
12770         (read_record) Increments ext->ln even for inline_file.  Calls
12771         dfm_close() for inline_file when `END DATA.' encountered.
12772         (dfm_get_record) Experimental restructuring.
12773         (dfm_push_cust) New function.
12774         (cmd_begin_data) Detects whether the inline file was fully read by
12775         checking whether it is still open; detects whether it was read at
12776         all by checking whether the line number is greater than zero.
12777
12778         * file-handle.q: All functions adjust/rewritten for new dfm/fhp
12779         interface.  Functions reordered, comments changed.  Not well
12780         tested, probably full of bugs.
12781         (init_file_handle) Removed initializers for obsolete fields, added
12782         new fields.
12783         (fh_close_handle) Much simpler, now mainly calls the class
12784         function.
12785         (fh_init_files) Renamed inline file internal filename.
12786
12787         * file-type.c: Includes dfm.h.
12788         (read_from_file_type) Doesn't use dfm internal state anymore.
12789
12790         * inpt-pgm.c, print.c: Include dfm.h.
12791
12792         * recode.c: (internal_cmd_recode) Casts strlen() return value to
12793         int in comparison with other int.
12794
12795         * som-high.c: (build_target) Fixed operator precedence problem in
12796         if statement (& versus ==).
12797
12798 Sat Oct 26 10:39:25 1996  Ben Pfaff  <blp@gnu.org>
12799
12800         * dfm.c: (read_record) Can now read fixed-length records; not
12801         tested.
12802         (put_record) Can now write fixed-length records; not tested.
12803
12804         * file-handle.h: FH_* defines changed to enums.  New enum series
12805         FH_RF_*, FH_MD_*.
12806         (struct file_handle) New members recform, lrecl, mode.
12807
12808         * file-handle.q: Parser changed.
12809         (internal_cmd_file_handle) Added support for new /RECFORM, /MODE,
12810         /LRECL subcommands.  These are compatible with Windows.
12811         (init_file_handle) Initializes recform, mode fields.
12812
12813         * q2c.c: (get_line) When outputting `!' comment lines, now
12814         increments the output file line number so that `#line' directives
12815         are correct.
12816         (make_identifier) New function that converts an arbitrary string
12817         into a valid C identifier.
12818         (dump_vars) Calls make_identifier() in two places in order to
12819         suppress some errors for bad identifiers.
12820         (make_match) Allows TRUE as synonym for YES and FALSE as synonym
12821         for NO.  Allows numbers to be prefixed by underscores to make them
12822         acceptable C identifiers but still to be parsed as numbers by the
12823         Fiasco lexer.
12824
12825 Thu Oct 24 20:13:42 1996  Ben Pfaff  <blp@gnu.org>
12826
12827         * command.c: Re-enabled RECODE, SAMPLE, SELECT IF.
12828         
12829         * dfm.c: Comment fixes. (get_record) Gives error if file handle
12830         was opened for writing.
12831         (open_file_w) New function.
12832         (read_record) Uses strncasecmp if available.  Improved error
12833         messages, comments.
12834         (put_record) New function.
12835
12836         * file-handle.h: Moved function comments into dfm.c and
12837         file-handle.q.  Comment fixes.  Removed declarations of
12838         tilde_expand() and normalize_filename().
12839         (struct file_handle) Changed `open' from boolean to enumerated
12840         field to allow for three states--closed, open for reading, open
12841         for writing--all references changed.
12842
12843         * file-handle.q: Includes filename.h.
12844
12845         * print.c: (CMD_* enums) Renamed PRT_* and moved into var.h; all
12846         references changed.
12847         (alloc_line) Makes allowance for line terminator characters in
12848         calculations.
12849         (print_trns_proc) Now handles OUTFILE, WRITE differences.
12850         (print_space_trns_proc) Handles OUTFILE differences.
12851
12852         * recode.c, sample.c: Comment fixes.
12853
12854         * var.h: (struct print_trns) Changed boolean field `eject' to
12855         bitmapped field `options'; all references changed.  New enums
12856         PRT_* for use with this field.
12857
12858         * exception.h, test-exception.c: Removed.
12859
12860 Thu Oct 24 17:47:14 1996  Ben Pfaff  <blp@gnu.org>
12861
12862         * ascii.c: (delineate) Turned off debug output.
12863
12864         * common.c: [Checker and Linux] (__assert_fail, __eprintf) Moved
12865         to error.c.
12866
12867         * data-in.c: (parse_string_as_format) Sets the entire string value
12868         to spaces, not just the short string part of it.  Is this correct
12869         now? 
12870
12871         * data-out.c: (convert_date) Fixed DATETIME format problems with
12872         decimal places, removed debug code.
12873
12874         * dfm.c: (open_file_r) Fixed bug where an error would occur in the
12875         middle of parsing BEGIN DATA that would cause the lexer to read
12876         from a wild pointer `prog'; now calls new function
12877         preprocess_line() in lexer.c.
12878
12879         * error.c: [__CHECKER__] (hcf) Calls induce_segfault() on improper
12880         termination.
12881         [Checker and Linux] (__assert_fail, _eprintf) Moved from common.c.
12882         Now call induce_segfault() to induce the segfault.
12883         (induce_segfault) New function.
12884
12885         * expr-opt.c: Comment fix.
12886         (parse_sysvar) New function.
12887         (parse_primary) Added system variable support--calls
12888         parse_sysvar().
12889         (global var ops) Added OP_CASENUM operator.
12890
12891         * expr.h: Comment fixes.
12892         (OP_* enum) added OP_CASENUM operator.
12893         (struct casenum_node) New struct.
12894         (union any_union_union) New member `cas' of type `casenum_node'.
12895
12896         * glob.c: (global var last_vfm_invocation) New var.
12897         (init_glob) Initializes last_vfm_invocation.
12898
12899         * lexer.c: (lookahead) Fixed reversed condition on if statement.
12900
12901         * getline.c: (get_line) Split into get_line() and preprocess_line().
12902         (preprocess_line) New function.
12903
12904         * var.h: Declares last_vfm_invocation.
12905
12906         * vfm.c: (procedure) Sets last_vfm_invocation.
12907
12908 Wed Oct 23 21:53:43 1996  Ben Pfaff  <blp@gnu.org>
12909
12910         * command.c: (parse_cmd) Fixed bad assertion related to
12911         lookahead().
12912
12913         * data-in.c: (parse_month) Implemented to parse months according
12914         to full interpretation of standard.
12915         (to_roman) New function.
12916         (parse_wk_delimiter) Bug fix (forgot to skip `WK' in string).
12917         (parse_weekday) Bug fix (forgot to skip all the day name).
12918
12919         * data-list.c: (read_from_data_list_fixed) Fixed bug that screwed
12920         up parsing of multirecord data items.  Also fixed user message.
12921
12922         * data-out.c: Comment fix.
12923         (year2, year4, convert_date, convert_time, convert_WKDAY,
12924         convert_MONTH) New functions to support time & date output.
12925         (convert_format_to_string) Calls new time & date output routines.
12926
12927         * expr-prs.c: (nary_num_func) Found a bug, but didn't fix it yet.
12928
12929         * lexer.c: (lookahead) Noted a previously unnoticed caveat in
12930         comment.
12931
12932         * main.c: [DEBUGGING] (dump_token) Updated to handle getline.h.
12933
12934         * misc.c: (global var formats) Fixed declarations of DATETIME,
12935         TIME, DTIME.
12936
12937         * postscript.c: (text) Fixed a pair of bugs in the reallocation of
12938         the output_char buffer.
12939
12940         * vars-prs.c: (parse_DATA_LIST_vars) Fixed a failure to free
12941         memory bug.  Fixed user messages.
12942
12943 Tue Oct 22 17:27:04 1996  Ben Pfaff  <blp@gnu.org>
12944
12945         * Removed #pragma argsused from lots of places.
12946         
12947         * data-in.c: Implemented zoned decimal and time-date formats.
12948         Untested.  This is a huge chunk of code--maybe 1000 lines and 50
12949         new functions.
12950
12951         * data-out.c: Implemented zoned decimal format.
12952
12953         * expr.h: Moved yrmoda() declaration here from exprP.h.
12954
12955         * misc.c: (global var formats) Minor fixes--added
12956         FCAT_SHIFT_DECIMAL to formats N and Z.
12957         (convert_fmt_ItoO) Added support for format Z.
12958
12959         * som-frnt.c: (som_set_value) Fixed bug regarding string values.
12960
12961 Mon Oct 21 20:39:59 1996  Ben Pfaff  <blp@gnu.org>
12962
12963         * command.c: (parse_cmd) [GLOBAL_DEBUGGING] Inserted call to
12964         som_check_workspace() that is activated between commands.
12965
12966         * data-list.c: (dump_fixed_table, dump_free_table) Finished these
12967         for good, I hope.
12968
12969         * list.q: (begin_row) Changed title expansion style from
12970         SOPT_X_VERT to SOPT_X_SHSP.
12971
12972         * som-frnt.c: Now includes `somP.h'.
12973         (som_push_workspace, som_pop_workspace) New functions that, taken
12974         together, form a solution to the recursive table building problem
12975         mentioned yesterday.  Surrounded every table output routine
12976         throughout the program with calls to these functions.
12977         [GLOBAL_DEBUGGING] (som_check_workspace) New function.
12978         (som_create_table) Checks that there's an active workspace.
12979         (som_destroy_all_tables, som_crush) Removed.
12980
12981         * som-high.c: (global var som_preserve_tables) Removed, all
12982         references deleted.
12983         (som_submit_table) Checks that there's an active workspace.
12984         (dump_columnated_table) Doesn't columnate tables that would have
12985         just one row per column.
12986         (dump_crush_page, som_dump_crush_page) Removed debugging code.
12987         (som_dump_crush_page) Moved row number labels from left side of
12988         tables to right side.
12989         (som_get_table_size) Added support for SOPT_X_SHSP.
12990
12991         * som.h: New cell expansion type SOPT_X_SHSP.
12992
12993         * somP.h: (global vars arena_stack, n_arena_stack, m_arena_stack)
12994         New vars.
12995         (global var curtab_arena) Moved from som-frnt.c.
12996
12997 Sun Oct 20 13:45:28 1996  Ben Pfaff  <blp@gnu.org>
12998
12999         * ascii.c: [GLOBAL_DEBUGGING] (SUPPRESS_WARNINGS) New debug option
13000         that causes bad location warnings to be suppressed.
13001         (delineate) Saves current font when calling draw_text(); fixed
13002         handling of NULLs when backing up.  Also fixed line-wrapping bug.
13003
13004         * command.c: Re-enabled `LEAVE', `NUMERIC', `PRINT', `PRINT EJECT',
13005         `PRINT FORMATS', `PRINT SPACE', `STRING', `TITLE', `WRITE'.
13006
13007         * common.c: Added code to cause assertion failure to dump core
13008         when run under Checker.
13009
13010         * data-list.c: (dump_fixed_table) Fixed some inconsistencies, but
13011         there are still bugs.
13012
13013         * glob.c: (__eprintf) Removed.
13014
13015         * list.q: Inserted som_preserve_tables kluge that prevents tables
13016         from being thrown away due to recursive table building through
13017         som_output_line being called from a transformation during the LIST
13018         procedure invocation.  This is a general problem that must be
13019         solved in a better way since it applies to all procedures in
13020         general.
13021         (begin_row) Changed title options to SOM_X_VERT from SOM_X_BOTH.
13022         (flush_table) Removed SOM_TOPT_PRESERVE from submission options.
13023
13024         * numeric.c: Fixed several errors in the form of msg() calls.
13025
13026         * print.c: Updated for use of som.
13027         (dump_table) Reimplemented.
13028         (print_trns_proc) Calls som_eject_page() instead of eject_page().
13029         Calls som_output_text() instead of outs_line().
13030
13031         * som-frnt.c: (som_destroy_all_tables) Sets som_preserve_tables to
13032         0.
13033         (som_output_text) Function moved from som-low.c.  Interface
13034         changed.
13035
13036         * som-high.c: (som_preserve_tables) New global public variable
13037         declared in som.h.
13038         (som_submit_table) Destroys the tables only if som_preserve_tables
13039         is 0.
13040         (paginate_horizontally) Bugfix: sets som.mpw even if there's only
13041         one subrow per row.  Now labels subrows if there's more than one
13042         subrow per row.
13043         (dump_crush_table) Added wishlist comment.
13044         (som_eject_page) New public function declared in som.h.
13045
13046         * som-low.c: (som_dump_crush_page) Draws row labels if there's
13047         more than one subrow per row.
13048         (som_output_text) Moved to som-frnt.c.
13049
13050         * som.h: (SOM_TOPT_PRESERVE) Removed.
13051
13052         * title.c: (get_title) Changed interface.
13053         (cmd_title) Changed `title' to `outp_title'.
13054         (cmd_subtitle) Changed `subtitle' to `outp_subtitle'.
13055
13056 Sun Oct 20 09:04:15 1996  Ben Pfaff  <blp@gnu.org>
13057
13058         * list.q: (flush_table) Conforms to new partial options in
13059         som_submission_form.
13060
13061         * som-high.c: (paginate_horizontally) Changed form of subrow
13062         number labels.
13063         (build_target) Omits spacing before table if
13064         SOM_TOPT_PARTIAL_OMIT_TOP is selected.
13065         (dump_crush_page) Changed interface.  Only trims bottom rule if
13066         SOM_TOPT_PARTIAL_OMIT_BTM is not selected.
13067         (dump_crush_table) Handles partial tables.
13068         (output_row_label) New function.
13069         (som_dump_crush_page) Emits subrow number labels.  Draws vertical
13070         rule on the right edge of narrow subrows.
13071
13072         * som.h: Changed SOM_SUB_PARTIAL_* series of submission type
13073         constants to a series of SOM_TOPT_PARTIAL_* submission options.
13074         All references updated.
13075
13076 Fri Oct 18 19:46:49 1996  Ben Pfaff  <blp@gnu.org>
13077
13078         * misc.c: Comment fix.
13079
13080         * som-high.c: (examine_table) Treats crushed tables separates for
13081         purpose of determining header size.
13082         (paginate_horizontally) Allots space for line numbers in crushed
13083         tables with lots of subrows per row.  Calculates the `maximum page
13084         width', the width of the widest horizontal page.
13085         (build_target) Removed trim argument; all references changed.
13086         Stricter assertions.  (dump_crush_page) New function.
13087         (dump_crush_table) Reimplemented.
13088
13089         * som-low.c: (som_dump_page) Uses new RULE_ROW &c. constants.
13090         (som_dump_crush_page) Reimplemented, interface changed.
13091
13092         * somP.h: Many many new helper macros for use with crushed tables.
13093         (global var som) Removed `tv', `cum_y' members; all references
13094         removed.  New members `mpw', `digit_space'.
13095
13096 Sun Sep 29 19:37:03 1996  Ben Pfaff  <blp@gnu.org>
13097
13098         * arena.c: (arena_alloc) [!DISCRETE_BLOCKS] Removed `size'
13099         variable, changed to constant 1024.
13100         (arena_ca_strdup) Changed `sizeof(a_string)' to
13101         `sizeof(c_string)'.
13102         (arena_ca_strdup) [!DISCRETE_BLOCKS] Changed bad cast from
13103         `(c_string *)' to `(char *)'; this fixed some offset problems.
13104
13105         * filename.c: (readlink_malloc) Changed initial allocation from
13106         100 bytes to 128.
13107         (good_getcwd) Changed from xmalloc() to local_alloc(); removed
13108         comment.
13109
13110         * postscript.c: (read_fontmap) Fixed leak by changing &owner to
13111         &fm->owner in several places.
13112
13113         * som-high.c: (output_table) Changed interface to rest of world.
13114         (examine_crush_table) Removed.  Crushed tables are re-broken now,
13115         in preparation for rewrite.
13116
13117         * som.h: Comment fix.
13118
13119 Sat Sep 28 21:28:07 1996  Ben Pfaff  <blp@gnu.org>
13120
13121         * ascii.c: (ascii_init_driver) Disposes of x->file.filename and x
13122         itself in the cleanup stage.
13123
13124         * descript.q: (display) At least temporarily, changed the table
13125         format to a crushed table.
13126
13127         * list.q: (begin_row) At least temporarily, added horizontal lines
13128         between cases.
13129
13130         * som-high.c: (examine_crush_table) Sets som.hh to the width of
13131         the horizontal "headers," that is, to the width of the far left
13132         and far right rules.
13133         (justify_pagination) Sets som.th to the width of the widest row
13134         in the crushed table.  Fixed inner loop off-by-one error.
13135
13136         * som-low.c: (som_dump_crush_page) Added code to draw horizontal
13137         rules.
13138
13139         * somP.h: Comment fix.
13140
13141 Fri Sep 27 20:08:39 1996  Ben Pfaff  <blp@gnu.org>
13142
13143         * filename.c: (open_file_ext) Now, doesn't set f->file to NULL
13144         before closing it; also, opens the constructed filename `s'
13145         instead of f->filename.
13146
13147         * postscript.c: Moved initialization of x->loaded, x->prop,
13148         x->fixed, x->current, also the add_encoding() calls, into
13149         postopen().
13150         (preclose) Destroys x->combos; sets x->loaded, x->combos to NULL;
13151         sets x->last_font to NULL; sets x->next_combo to zero.
13152
13153         * som-high.c: (crushed_row_height) Moved definition farther up.
13154         (som_submit_table) Doesn't calculate line width, font size until
13155         after calling open_page(), to accomodate changes to PostScript
13156         driver.
13157         (vert_headers) Removed; equivalent functionality moved to
13158         examine_table(), examine_crush_table().
13159         (justify_pagination) Replaced with different algorithm.
13160         (dump_crush_table) Bugfix that caused tables to fail to be clipped
13161         at the bottom of the page.
13162
13163 Thu Sep 26 22:20:26 1996  Ben Pfaff  <blp@gnu.org>
13164
13165         * command.c: Added cmd_list back into cmd_table.
13166
13167         * freq.c, frequencies.q, repeat.c, list.q, vars-atr.c, vfm.c:
13168         Comment fix: `#define DEBUGGING' --> `#define DEBUGGING 1'.
13169
13170         * list.q: (flush_table) Updated to new som_submission_form format.
13171
13172         * som-frnt.c: Comment fix.
13173
13174         * som-high.c: Changed `#endif' to `#undef EXTERN'.
13175         (output_table) Calls som_get_table_size() directly; handles
13176         crushed tables.
13177         (examine_crush_table) New function; calls vert_headers().
13178         (examine_table) Moved some code into new function, vert_headers().
13179         (justify_pagination) New function.
13180         (dump_plain_table) Removed `static' from `cy'.
13181         (dump_crush_table) New function.
13182
13183         * som-low.c: (som_dump_crush_page) New function.
13184
13185         * som.h: Comment fixes.
13186         (enum SOM_TOPT_CRUSH) New.
13187         (SOM_SUB_PARTIAL_BEG, SOM_SUB_PARTIAL_MID, SOM_SUB_PARTIAL_END)
13188         Temporarily set to zero to make do with LIST procedure.
13189
13190         * somP.h: Re-ordering.
13191
13192 Wed Sep 25 19:36:11 1996  Ben Pfaff  <blp@gnu.org>
13193
13194         * som.c: Split into som-frnt.c, som-high.c, som-low.c.
13195
13196         * somP.h: New file for use by som-high.c, som-low.c.
13197
13198         * q2c.c: Added definition for VME.
13199         (get_line) Now dumps `!' comment lines to the output file
13200         verbatim.
13201
13202         * crosstabs.q, descript.q, file-handle.q, frequencies.q, list.q,
13203         set.q: Changed format of `!' comment lines.
13204
13205 Tue Sep 24 18:39:09 1996  Ben Pfaff  <blp@gnu.org>
13206
13207         * All source files: Added copyright notice.
13208
13209         * common.c: (xmalloc, xrealloc, xstrdup) Cast size_t's to unsigned
13210         longs in msg() calls.
13211
13212         * con32s.c: (xmalloc, xrealloc) Updated from common.c.
13213
13214         * q2c.c: (xmalloc, xrealloc, xstrdup) Updated from common.c.
13215
13216 Sat Sep 21 23:16:31 1996  Ben Pfaff  <blp@gnu.org>
13217
13218         * output.c: (outp_read_devices) Changed criteria for
13219         distinguishing different types of lines.
13220
13221 Fri Sep 20 22:52:28 1996  Ben Pfaff  <blp@gnu.org>
13222
13223         * cmdline.c: Changed syntax message.
13224
13225         * filename.c: (good_getcwd) Bug fix (?).
13226         (normalize_filename) [__BORLANDC__] Uses _fullpath() library
13227         function.
13228         (search_path) Appends DIR_SEPARATOR to directory name only if it
13229         does not already end with one.
13230
13231         * glob.c: Checks STAT_PAGER envvar before PAGER.
13232
13233         * output.c: Checks environment variables instead of just local
13234         macros.
13235
13236 Tue Sep 10 21:39:00 1996  Ben Pfaff  <blp@gnu.org>
13237
13238         * arena.c: (arena_destroy) Swatted a subtle bug that cropped up
13239         when the pointer passed to the function was within the arena
13240         itself, so that it couldn't properly be set to NULL _after the
13241         arena was freed_.
13242
13243         * command.c: Re-enabled DISPLAY.
13244
13245         * display.c: Rewritten to handle tables.  Untested.
13246
13247         * filename.c: (search_path) Fixed memory leak.
13248
13249         * frequencies.q: (cmd_frequencies) Frees v_variables.
13250         (postcalc) Calls cleanup_freq_tab() after displaying statistics.
13251         (cleanup_freq_tab) New function to garbage collect.
13252         (dump_full) Elegantized.
13253
13254         * main.c: New comment.
13255
13256         * output.h: New tag for tagged quotes: TAG_NEWLINE.
13257
13258         * postscript.c: Comment fix.
13259         (release_fontmap, free_font_entry) New functions.
13260         (ps_init_driver) Sets free_font_entry() as the freefunc for
13261         hashtable `loaded'.  Calls release_fontmap() when destroying a
13262         driver; also frees the output filename; also frees the
13263         ps_driver_ext block.
13264         (free_ps_encoding) Frees the filename as well as the encoding
13265         block.
13266         (output_encodings) Frees the line buffer and pops the msg-filename
13267         stack.
13268         (read_fontmap) Frees the fontmap filename and the line buffer.
13269         (postopen, preclose) Misc. garbage collection fixes.
13270         (ps_open_page) Destroys the `combos' hash table; sets `last_font'
13271         to NULL; this fixes some output problems.
13272         (text) Handles TAG_NEWLINE.  Untested.
13273
13274         * som.c: (cell_byte_size) Merged SCON_VALUE and SCON_TEXT cases.
13275         (som_set_string) Removed.  All references changed to
13276         `som_set_text'.
13277         (som_set_text) Rewritten.  New interface.  More general.
13278
13279         * som.h: Minor format changes.
13280         (struct som_value_cell) Removed; all references changed to
13281         `som_text_cell'.
13282         (enums SOT_*) Changed.
13283
13284 Mon Sep  9 21:43:13 1996  Ben Pfaff  <blp@gnu.org>
13285
13286         * command.c: Re-enabled SPLIT FILE.
13287
13288         * postscript.c: Comment fix.
13289
13290         * som.h: Added `SOT_NONE'.
13291
13292         * split-file.h: (cmd_split_file) Removed superfluous parenthesis.
13293
13294         * vfm.c: (dump_splits) Reimplemented.
13295
13296 Sat Sep  7 22:35:12 1996  Ben Pfaff  <blp@gnu.org>
13297
13298         * Compiled the project under gcc 2.7.2, which gave some new
13299         warnings.  This led to many additions of casts from unsigned to
13300         int sprinkled throughout the code.
13301         
13302         * arena.c: Many uses of `unsigned' changed to `size_t'.
13303
13304         * command.c: Added END FILE, END REPEAT to command table.
13305         (var cmd_end_repeat) Renamed cmd_end_repeat_p.
13306         (find_command, FILE_TYPE_okay) Not commented out anymore.
13307         (parse_cmd) Calls FILE_TYPE_okay again.
13308         (output_line) Added calls to som_output_text() to put the line
13309         in the output files.
13310
13311         * common.c: (macro VME) Format changes.
13312         (xstrdup) Asserts that its argument is not NULL.
13313         
13314         * data-list.c: Implemented dump_fixed_table().
13315         
13316         * inpt-pgm.c: Formatting changes.  Comment changes.
13317         (end_case_proc) Renamed end_case_trns_proc.
13318         (cmd_end_file, end_file_trns_proc) New functions.
13319
13320         * misc.c: Many uses of `int' and `unsigned' changed to `size_t'.
13321
13322         * misc.h: (local_strdup) New macro corresponding to strdup() but
13323         allocating its data through local_alloc() if possible--that is, if
13324         GNU C is in use.
13325
13326         * postscript.c: Comment changes.
13327         (quote_ps_name, quote_ps_string, output_encodings) New functions.
13328         (output_line, add_string) New macros supporting
13329         output_encodings().
13330         (postopen) Fixed contents of ${fixed-font} and ${prop-font}
13331         substitution vars.  Calls output_encodings() when a line
13332         consisting of `!encodings' is encountered.
13333         (preclose) Some code moved into quote_ps_string().
13334         (dump_line) Changed into macro supporting dump_fancy_line().
13335         (switch_font) Now outputs DSC "%%IncludeResource: font (...)"
13336         command when appropriate.
13337         (write_text) Fixed `literal_char' array (I think it's fixed, at
13338         least.)
13339         (text) Fixed bug when width was zero.  Now exits immediately on
13340         zero height_left.  Now, when executing `goto restart;', checks
13341         that cp<end, so that we don't read beyond end-of-string.  Also,
13342         outputs the correct code to the output file by outputting the code
13343         from the metric instead of the internal metric index.
13344
13345         * repeat.c: (cmd_end_repeat) New function.
13346
13347         * som.c: (var som) `headers' renamed `options' and semantics
13348         changed.  All references changed.
13349         (draw_title) `if(px!=-1 || px!=-1)' --> `if(px!=-1 || py!=-1)'.
13350         (build_target) Only inserts spacing if SOM_TOPT_SPACING not
13351         selected.
13352         (som_text_table) Removed.
13353         (som_output_text) New function.
13354
13355         * som.h: (struct som_submission_form) Removed `header', `reuse',
13356         replaced with bitmapped field `options'.
13357         (SOM_TOPT_*) New enum set for som_submission_form.options.
13358         (SOT_*) New enum set for som_output_text().
13359
13360         * temporary.c: (copy_variable) When copying the var label, only
13361         calls xstrdup() if it's non-NULL.
13362
13363         * var.h: (enum type `vartype') Removed; all references changed to
13364         `int'.
13365
13366         * vars-atr.c: (init_variable) Changed local var `nbytes' from
13367         `int' to `size_t'.
13368
13369 Thu Sep  5 22:05:56 1996  Ben Pfaff  <blp@gnu.org>
13370
13371         * font.h: Comment changes.
13372
13373         * groff-font.c: (groff_read_font) Initializes `name' field to
13374         NULL.  Handles `encoding' field.
13375
13376         * hash.c: (hsh_dump) [GLOBAL_DEBUGGING] Output formatting changes.
13377
13378         * postscript.c: (struct font_entry) Removed `position' field.
13379         (struct ps_font_combo) New struct.
13380         (struct ps_driver_ext) Removed field `next_position'.  New fields
13381         `combos', `next_combo'.  `last_font' field changed from
13382         `font_entry *' to `ps_font_combo *'.
13383         (ps_init_driver) Reformatted; handles new fields.  When
13384         OPO_AUTO_ENCODE is set, adds the two default fonts' encodings to
13385         the encoding list.
13386         (get_encoding, find_encoding_file) New functions.
13387         (add_encoding) Some code moved out into find_encoding_file().
13388         (postopen) Changed value for ${title}.
13389         (preclose) Sets `loaded' field to NULL after destroying the hash
13390         table.
13391         (ps_open_page) Added comment.  Inits the `combos' and `next_combo'
13392         fields.
13393         (ps_text_set_font_by_position) Figures out the current family if
13394         not known.
13395         (compare_ps_combo, hash_ps_combo, free_ps_combo) New functions.
13396         (switch_font) Implemented.
13397         (write_text) Calls switch_font() more often.  Format changes.
13398         #undefs its macros after they're no longer useful.
13399         (text) Changed `continue' at one point to a jump to the top of the
13400         loop because we don't want `separate' reset to 0 at that point.
13401         (load_font) No longer sets `position' in the font_entry created.
13402
13403 Wed Sep  4 21:45:35 1996  Ben Pfaff  <blp@gnu.org>
13404
13405         * font.h: (struct font_desc) New member `encoding', which is not
13406         properly handled yet.
13407
13408         * glob.c: (init_glob) Some new i18n code, which is probably
13409         screwed up.
13410
13411         * output.c: (outp_read_devices, outp_get_paper_size) Changed
13412         `size' local from `int' to `size_t'.
13413
13414         * postscript.c: New driver configuration parameter `auto-encode'.
13415         New enums OPO_AUTO_ENCODE, ODA_COUNT.
13416         (struct font_entry) New member `position'.
13417         (struct ps_driver_ext) Reordered.  New hash table member
13418         `encodings'; new members `next_position', `next_encoding',
13419         `last_font'.  Members `current', `prop', `fixed' changed from type
13420         `font_desc *' to `font_entry *'; all references changed.
13421         (struct ps_encoding) New struct.
13422         (read_ps_encodings, compare_ps_encoding, hash_ps_encoding,
13423         free_ps_encoding, add_encoding) New functions.
13424         (ps_init_driver) Added OPO_AUTO_ENCODE to default
13425         x->output_options.  Initializes new members of ps_driver_ext.
13426         Changed default value for prologue_fn, encoding_fn.  Calls
13427         read_ps_encodings after loading default fonts.
13428         (option_tab[], ps_option) Handle new configuration parameter.
13429         (switch_font) New function.
13430         (struct output_char) `font' member changed from `font_desc *' to
13431         `font_entry *'.  New member `separate'.
13432         (read_fontmap) Changed `size' from `int' to `size_t'.
13433         (output_line, put_number) New macros for write_text().
13434         (write_text) Optimizes text output by consolidating multiple
13435         calls to PostScript `show' operator.
13436         (text) Keeps track of when text arguments can't be consolidated by
13437         write_text(), and marks those spots in the output stream.
13438         (load_font) Sets `position' of the allocated font_entry to -1, cuz
13439         the font hasn't been switched to by switch_font(), which is where
13440         the position is important--the PostScript is what cares about the
13441         position.
13442
13443 Sat Aug 31 23:52:38 1996  Ben Pfaff  <blp@gnu.org>
13444
13445         * hash.c: (hsh_destroy) Ignores NULL argument.  Doesn't try to
13446         call a NULL free_func.
13447         (hsh_rehash) Elegantized.
13448         (hsh_probe) Fix bug that manifested when the table was expanded
13449         and thus had to change location in memory.  Good thing
13450         too--otherwise could have been much more subtle.
13451         (hsh_find) [GLOBAL_DEBUGGING] Not stubbed out anymore.
13452         (hsh_foreach) New function for hash table iteration.
13453
13454         * hash.h: (struct hsh_iterator) New.
13455
13456         * lexer.c: (parse_tagged_quote) Font and family name strings in
13457         tags are now null-terminated.
13458
13459         * output.c: (outp_evaluate_dimension) Fixed over-aggressive unit
13460         parsing.
13461         (internal_get_paper_size, outp_get_paper_size) Fixed; now work as
13462         documented.  (Never before tested?)
13463
13464         * output.h: Comment changes.
13465
13466         * postscript.c: New driver options `optimize-text-size',
13467         `optimize-line-size', `max-fonts-simult'.  New enum set for
13468         specing cached line types.  Comment fixes.
13469         (struct line_form) New struct.
13470         (struct ps_driver_struct) New members `text_opt', `line_opt',
13471         `max_fonts', `lines'.
13472         (ps_init_driver) Initializes new members of ps_driver_struct.
13473         (user option type enum set) New member `nonneg_int_arg'.
13474         (static var option_tab[]) Supports new options.
13475         (ps_option) Handles new options.
13476         (find_ps_file) Made static.  No longer calls hsh_dump().
13477         (ps_get_var) Made static.
13478         (preclose) Dumps out proper DSC trailer.
13479         (ps_open_page) Elegantized.
13480         (ps_close_page) Calls dump_lines() if appropriate.
13481         (ps_line_horz, ps_line_vert, ps_line_intersection) Reduced to
13482         wrappers around line().
13483         (int_2_compare, compare_line, dump_line, dump_fancy_line,
13484         dump_lines, hash_line, free_line, line) New functions for support
13485         of line caching.
13486         (write_text, text) Made static.
13487         (text) Added to font support, not finished.
13488
13489 Thu Aug 29 21:36:41 1996  Ben Pfaff  <blp@gnu.org>
13490
13491         * font.h: (struct font_desc) New members ascent, descent.
13492
13493         * groff-font.c: (groff_read_font) Calculates font ascent and
13494         descent from the ascent and descent of the `d' and `p' characters,
13495         respectively, as per a suggestion on comp.fonts.
13496
13497         * postscript.c: (ps_open_page, ps_close_page, ps_line_horz,
13498         ps_line_vert, ps_line_intersection) Rewritten to deal with changed
13499         prologue.
13500         (write_text) Handles text right-justification and centering (not
13501         full justification).  Still very inefficient.  (One output line
13502         per character?!)
13503         (struct output_char) Added fields for font and font size.
13504         (text) Many bugfixes.
13505
13506 Sat Aug 24 23:26:00 1996  Ben Pfaff  <blp@gnu.org>
13507
13508         * cmdline.c: (usage) Calls outp_list_classes().
13509
13510         * font.h: Comment fix.
13511
13512         * groff-font.c: New exported global var `space_index'.
13513         (groff_init) New function to initialize `space_index'.
13514         (hash_kern) Casts result to unsigned.
13515         (font_name_to_index) Renamed font_char_name_to_index.  All
13516         references changed.  Also, now returns the value of `space_index'
13517         when passed an ASCII space character as an argument.  Fixed
13518         handling of nulls.
13519         (font_get_kern_adjust) Changed i from `int' to `unsigned'.
13520         Handles passed NULL pointers properly.
13521
13522         * lexer.c: (parse_tagged_quote) Comment fix.  Better range
13523         checking.
13524
13525         * output.c: (outp_list_drivers) Removed.  Removed all references.
13526         
13527         * output.h: Comment fixes.
13528
13529         * postscript.c: (ps_open_global) Calls groff_init().
13530         (output_char) New structure.
13531         (write_text) New function.
13532         (text) No longer stubbed out!  Now the output is correct--with a
13533         few exceptions, one of them being that the page has to be held
13534         upside down into a mirror.
13535
13536 Sun Aug 11 21:31:22 1996  Ben Pfaff  <blp@gnu.org>
13537
13538         * font.h: Comment fix.
13539         
13540         * font.c: (name_to_index) Renamed font_name_to_index, made extern.
13541         All callers changed.
13542         (number_to_index) Renamed font_number_to_index, made extern.  All
13543         callers changed.
13544         (font_get_kern_adjust, font_get_char_metrics) New functions.
13545
13546         * output.h: New constant OUTP_T_INTERNAL_DRAW.
13547
13548         * postscript.c: Changed default line width back to 1/2 point.
13549         (ps_line_horz, ps_line_vert, ps_line_intersection) Now lines are
13550         in the center of the space allotted for them, not just a fixed
13551         offset from the edge of the space; this fixes some bugs.
13552         (ps_line_intersection) Now supports all command line styles.
13553         (ps_text_get_size) Bug fix in computation of em width.
13554         (text) New function, the meat behind ps_text_metrics and
13555         ps_text_draw.  Not complete.
13556         (ps_text_metrics, ps_text_draw) Removed the stub taken from
13557         ascii.c; call text().
13558
13559 Sat Aug 10 23:28:17 1996  Ben Pfaff  <blp@gnu.org>
13560
13561         * arena.c: (arena_free) Assert that the argument is non-NULL.
13562         
13563         * groff-font.c: (add_kern) Calls arena_free() for old_kern if and
13564         only if old_kern is non-NULL.
13565
13566         * postscript.c: (ps_init_driver) Changed default line width to 1
13567         point.
13568         (postopen) New prologue variables.
13569         (ps_line_horz, ps_line_vert, ps_line_intersection) Implements some
13570         more of the common line styles properly, but not all.
13571         (ps_text_metrics) Fixed problem with this stubbed out version that
13572         kept it from taking font sizes into account.
13573
13574 Thu Aug  8 22:31:11 1996  Ben Pfaff  <blp@gnu.org>
13575
13576         * arena.c: (arena_malloc) Bug fix.
13577         (arena_dump) [GLOBAL_DEBUGGING] New function.
13578
13579         * ascii.c: Comment fix.
13580         (count_fancy_chars, delineate) Now static functions.
13581         
13582         * filename.c: (interp_vars) Bug fixes.
13583
13584         * font.h: Comment fixes.
13585
13586         * glob.c: (init_glob) Sets set_viewwidth, set_viewlength at
13587         beginning in case we have an error message to display before
13588         initializing the display.
13589
13590         * groff-font.c: Comment fix.  Changed rehash threshold from 2/3
13591         full to 1/2 full.
13592         (groff_read_font) Bug fixes.
13593         (name_to_index) Increments hash.used.  Sets `name' field of hash
13594         entry properly.
13595         (add_kern) Sets kern_max_used after rehashing.  Other bug fixes.
13596
13597         * hash.c: Return type changed.
13598
13599         * postscript.c: Continued development.  Now marks lines on the
13600         paper, but very buggy.
13601
13602 Sat Aug  3 20:50:35 1996  Ben Pfaff  <blp@gnu.org>
13603
13604         * Changed comments in many source files from `/* xxx /* yyy */' to
13605         `/* xxx */ /* yyy */' for cleanliness.
13606
13607         * arena.c: (arena_sd_strdup) New function.
13608         
13609         * ascii.c: (struct ascii_driver_ext) New member `file'.
13610         (ascii_init_driver) Fills out member `file' for initing; uses
13611         close_file_ext for closing drivers.
13612         (ascii_option) Changed %.*s back to %s because the a_string's are
13613         always null-terminated.
13614         (postopen, preclose) New functions.
13615         (ascii_open_page) Uses new style of open_file_ext.
13616         (ascii_option, commit_line_buf, output_lines) Use ext->file.file
13617         instead of this->output.
13618         (__assert_fail) Removed.
13619
13620         * cmdline.c: Changed syntax_message[].
13621
13622         * error.c: #include's <readline/history.h> only if the history
13623         library is available, not if just the readline library is
13624         available.
13625
13626         * filename.c: (expand_line) Removed alloca() support.
13627         (interp_vars) No longer tilde-expands argument.  Limit on output
13628         length removed.
13629         (tilde_expand) Now treats argument as path rather than filename.
13630         [!unix] Now is a no-op function.
13631         (search_path) Better verbose message formatting.
13632         (open_file, close_file) Comment fixes.
13633         (close_file) [!unix] Doesn't bother with pipes.
13634         (open_file_ext) Completely rewritten, interface revamped.
13635         (close_file_ext) New function.
13636
13637         * font.h: Comment changes.
13638
13639         * frequencies.q: Removed AIX alloca support since it doesn't use
13640         alloca.
13641
13642         * hash.c: Comment changes & additions.
13643         (hsh_create) Initializes entire table instead of first M entries.
13644         (hsh_probe) Stupid bug fixed.  Now it works.
13645         (hsh_dump) [GLOBAL_DEBUGGING] New function.
13646
13647         * main.c: (parse) Detects EOF properly in token-eating loop.
13648         Should the STOP token have its value changed to 0?
13649
13650         * misc.c: (blp_getdelim) [HAVE_GETDELIM] Now it's a macro.
13651         (blp_getline) Now it's a macro.
13652
13653         * output.h: (struct outp_driver) Removed members output, filename.
13654         
13655         * output.c: (outp_init) [!NO_POSTSCRIPT] Installs PostScript
13656         drivers in driver table.
13657         (outp_read_devices) Frees buf.  Warns if there are no active
13658         output drivers.
13659         (outp_configure_clear) Sets outp_configure_vec to NULL after
13660         deleting its elements.
13661         (configure_driver, destroy_driver) Removed references to output,
13662         filename members of outp_driver.
13663         (outp_evaluate_dimension, internal_get_paper_size,
13664         outp_get_paper_size) New functions.
13665
13666         * postscript.c: Continued development.  Now links but doesn't make
13667         any marks on the page.  Lotsa bugs I suppose.
13668
13669         * str.c: (strcasecmp) [!HAVE_STRCASECMP] New function.
13670
13671         * str.h: Comment changes.
13672
13673 Sat Jul 27 22:32:38 1996  Ben Pfaff  <blp@gnu.org>
13674
13675         * Removed dependencies on non-nested comments in several files.
13676         Also removed references to (unix || __unix__) in #if's since
13677         prefh.orig makes those two equivalent.
13678         
13679         * ascii.c: (ascii_open_global) Creates ascii_arena.
13680         (ascii_close_global) Destroys ascii_arena.
13681         (ascii_init_driver) Doesn't create ascii_arena.
13682         (ascii_copy_driver) Removed.
13683         (ascii_option) Possible bugfix regarding %s vs. %.*s with a_string's.
13684         (outp_class ascii_class) Removed ascii_copy_driver reference.
13685
13686         * frequencies.q: Now can display all statistics except median.
13687         Still not finished.
13688
13689         * output.c: Handles outp_class.ref_count so output class
13690         destructors are called properly.
13691         (add_class) Sets ref_count to 0.
13692         (configure_driver) Initializes class if ref_count++ is 0.
13693         (destroy_driver) Destructs class if --ref_count is 0.  Frees the
13694         class output file name.
13695         
13696         * output.h: (struct outp_class) Removed copy_driver, inited.
13697         Added ref_count.
13698
13699         * postscript.c: Completely replaced but not finished.
13700         
13701 Tue Jul 23 21:48:36 1996  Ben Pfaff  <blp@gnu.org>
13702
13703         * approx.h: #includes <float.h>.
13704
13705         * arena.h, arena.c: Many functions changed to take an arena **
13706         instead of an arena *, for consistency.  All callers changed.
13707         (arena_alloc) Now creates a new arena if passed *A that is NULL.
13708         (arena_destroy) Sets *A to NULL.
13709         
13710         * ascii.c: (delineate) Implements OUTP_T_VERT correctly.  Removed
13711         assertion that `width' be positive.
13712
13713         * command.c: Removed #if's from cmd_table.
13714         (walk_cmdtable_func) [0] New function (debug code).
13715         (init_cmd_parser) [0] Dumps out cmd_table (debug code).
13716         (parse_cmd) Doesn't return failure for unimplemented commands.
13717
13718         * common.h: (SYSMIS) Changed from DBL_MAX to -DBL_MAX.
13719         (SYSCODE) New constant macro.
13720
13721         * descript.q: Checks for positive n_variables before performing
13722         analysis.
13723
13724         * file-handle.q: (get_handle_by_filename) Bug fix: passes &f to
13725         avl_find instead of &fp as arg 2.
13726
13727         * frequencies.g, frequencies.q: Continued updating; now compiles &
13728         works again, but not complete.
13729
13730         * main.c: Changes to user messages.
13731
13732         * misc.c: (reverse) [0] New function.
13733
13734         * settings.h: Comment removed.  #includes "common.h".
13735
13736         * som.c: (som_set_null) New function.
13737         (som_set_value, som_set_string, som_set_text) More detailing
13738         assertions.
13739         (som_set_float) Implemented function.
13740         (dump_columnated_table) Bug fix regarding page breaks.
13741         (draw_cell) Bug fix regarding text that spilled out of a cell.
13742         (draw_intersection, draw_horz_rule, draw_vert_rule) No longer draw
13743         null lines.
13744         (get_cell_size) Support SCON_EMPTY cells.
13745         (get_table_size) When calculating rules' widths and heights, mask
13746         out SLIN_SPACING bit.  Added SOPT_X_HLTL support.
13747         
13748         * som.h: (som_any_cell) New option SOPT_X_HTLT.  Removed
13749         SOPT_X_SHADE.
13750         (struct som_submission_form) New member `header'; all users
13751         changed.
13752
13753         * val-labs.c: (get_label) User messages changed.
13754
13755         * var.h: Changed FREQUENCIES structures.
13756
13757         * vars-atr.c: (is_num_user_missing, is_str_user_missing) Made
13758         inline.
13759         
13760 Fri Jul 19 19:11:13 1996  Ben Pfaff  <blp@gnu.org>
13761
13762         * approx.h: Definition of EPSILON now depends on system's
13763         DBL_EPSILON.  Removed GNU C specific code.
13764         (cmpapx) Renamed approx_compare.
13765
13766         * frequencies.g, frequencies.q: Continued updating; still doesn't
13767         compile.
13768
13769         * groff-font.c: (name_to_index) Fix bug that kept it from
13770         compiling.
13771
13772         * hash.c, hash.h: Completed work.
13773
13774         * var.h: Changes to freq_tab, frequencies_proc.
13775         
13776 Wed Jul 17 21:23:36 1996  Ben Pfaff  <blp@gnu.org>
13777
13778         New hashing code.
13779         * hash.c, hash.h: New files.  Not completed.
13780         * Makefile.am: Added hash.c to source file list.
13781         * font.h: (struct font_desc) New member kern_size_p.
13782         * groff-font.c: Uses hash.h.
13783         (hashpjw) Moved to hash.c.
13784         (next_prime_power) Rewrote, renamed hsh_next_prime, moved to
13785         hash.c.
13786         (static var hash) New member size_p.
13787         * var.h: Includes hash.h.
13788         (struct freq_tab) Changed AVL_TREE to hash_tab.
13789
13790         * vars-prs.c: Comment, formatting fixes.
13791
13792         * frequencies.g, frequencies.q: Continued updating.  Not yet
13793         working.
13794
13795         * formats.c: Bug fix.
13796
13797 Tue Jul 16 22:10:04 1996  Ben Pfaff  <blp@gnu.org>
13798
13799         Increasing parallelism between DESCRIPTIVES and FREQUENCIES.
13800         * descript.g: Comment fixes.
13801         * descript.q: Comment fixes.  Moved some declarations into var.h.
13802         Made dsc_info a static table.  Updated FIXMEs.
13803         (internal_cmd_descriptives) Beautified.
13804         
13805         * frequencies.q: Started updating into working order.
13806         * frequencies.g: New file analogous to descript.g.
13807         * var.h: Comment fixes.  Added structures for FREQUENCIES.
13808         
13809         * som.c: Removed vestiges of crushing and partial table support.
13810
13811 Sun Jul 14 15:45:31 1996  Ben Pfaff  <blp@gnu.org>
13812
13813         * Many more changes to som.c especially, but these will not be
13814         documented as I have resolved to remove them.  This patchlevel is
13815         being released solely so that I can fall back to it if I decide
13816         that removing the changes is not a good idea.
13817
13818 Sat Jul 13 09:58:44 1996  Ben Pfaff  <blp@gnu.org>
13819
13820         * som.c: (global var som) New member `cum_y'.
13821         (build_target) Properly handles titles for partial tables.
13822         (dump_partial_beg, dump_partial_mid, dump_partial_end)
13823         Merged into single new function dump_partial().  Fixed problem
13824         with titles on partial tables.
13825         (dump_table) Calls dump_partial() for all parts of partial tables.
13826         (dump_page) Criteria for drawing title changed.
13827         
13828 Fri Jul 12 22:03:36 1996  Ben Pfaff  <blp@gnu.org>
13829
13830         * command.c: (cmd_table) Added LIST, WEIGHT.
13831
13832         * command.c: (cmd_remark) No longer frees `s' since it's not
13833         dynamically allocated.
13834         
13835         * data-out.c: (convert_f) Now correctly handles the case where
13836         abs(v->f)<1 but v->f rounds to a value of 1.00 given the specified
13837         number of decimals.
13838         (som_destroy_all_tables) Removed argument.  All callers changed.
13839         (som_vline, som_hline) Argument validity checking corrected.
13840         (som_set_value) Implemented half-heartedly.
13841         (replicate_table) Copies tables piece-by-piece when using Checker.
13842
13843         * som.h: New line style SLIN_1THIN, currently equivalent to
13844         SLIN_0.  New enum set SOM_SUB_*.
13845         (struct som_submission_form) Removed `seq_no'.  Added `type'.
13846         
13847         * list.q: Newly working file; uses partial tables.
13848         
13849         * som.c: (som_reduce_table) Renamed som_set_table_height().
13850         (som_crush) Removed argument `group'.
13851         (global var som) Removed `nt', `seq_no'.  Added `type'.
13852         (som_submit_table) Arguments changed.
13853         (output_table) Removed partial table code.
13854         (build_target) New arg; partial table support added.  All callers
13855         changed.
13856         (dump_plain_table) Removed partial table code.
13857         (dump_partial_beg, dump_partial_mid, dump_partial_end) New functions.
13858         (dump_table) Supports partial tables.
13859         (dump_page) New argument to allow not drawing top and/or bottom
13860         headers.  All callers changed.  Supports partial tables.
13861
13862 Sat Jul  6 22:22:25 1996  Ben Pfaff  <blp@gnu.org>
13863
13864         * data-out.c: Changed `#include <approx.h>' to `#include
13865         "approx.h".
13866         (convert_F) Comment fix.  Now won't print `-.000', etc.
13867
13868         * descript.q: Now Z-scores work, although there appears to
13869         be a bug (which might actually be in data-out.c:convert_F()).
13870         (descriptives_trns_proc, descriptives_trns_free) New functions.
13871         (run_z_pass) Implemented.
13872         
13873         * var.h: Comment fixes.
13874         (dsc_z_score, descriptives_trns) New structs.
13875         (descriptives_trns) Added to any_trns as `dsc'.
13876
13877         * error.c, error.h: New error class, IS (Installation Script
13878         error), used in those instances where the error is in the
13879         installation, but there is a script file or installation file that
13880         can be usefully referred to.
13881         
13882         * output.c: Change many IE classes to IS classes.
13883
13884         * cases.c, command.c, common.c, crosstabs.q, expr-evl.c,
13885         frequencies.q, list.q, vars-prs.c, vfm.c: Removed reference to
13886         HAVE_MALLOC_H because Borland C++ alloca() is broken, so why
13887         include the corresponding header?
13888         
13889         * glob.c: (init_glob) Don't malloc term_buffer under Checker.
13890         Don't bail out if termcap can't be read.
13891
13892         * som.c: (som_destroy_table) Removed.
13893         (som_reduce_table, som_destroy_all_tables) New functions.
13894         (som_crush) New function, not implemented.
13895         
13896         * som.h: New table option STAB_CRUSH.  Comment fix.  New struct
13897         som_submission_form.  Function prototypes revised.
13898
13899         Outputting huge tables (1000s of rows) a few rows at a time
13900         is supported, though untested.  May even break everything.
13901         Actually, the code doesn't even compile right now.
13902         * som.c: (struct som) New fields htv, nt, seq_no.
13903         (som_submit_table) Multiple arguments changed to a single
13904         pointer to struct submission_form.  Only increments subtable_num
13905         if seq_no is zero.  Only destroys table if it's not going to
13906         be reused.
13907         (replicate_table) New function.
13908         (output_table) Comment fix.
13909         (examine_table) Changed inline code to code calling
13910         replicate_table().  Calculates htv.  Supports partial tables.
13911         (draw_title) Removed comment.
13912         (build_target) Only allows for title on first part of partial
13913         tables.
13914         (dump_plain_table) Only resets table chunk number on first part
13915         of partial tables; FIXME: doesn't work quite right.  Supports
13916         partial tables.
13917         (dump_page) Titles only on first part of partial tables.
13918
13919 Fri Jul  5 20:16:19 1996  Ben Pfaff  <blp@gnu.org>
13920
13921         * Thanks to an unreliable IDE hard drive, I have spent the last
13922         day reconstructing my Debian GNU/Linux installation and redoing
13923         the previous day's changes--somehow I managed to save every file
13924         except for output.c and output.h.  So the following changes could
13925         really be considered independent of the output.c, output.h changes
13926         from Jul 4.
13927
13928         * output.h, output.c: Moved the outp_configure_vec global var,
13929         outp_names struct, and enum set OUTP_S_* from output.h to output.c.
13930         outp_configure_vec is now static.
13931         
13932 Thu Jul  4 20:20:24 1996  Ben Pfaff  <blp@gnu.org>
13933
13934         * The entire philosophy behind configuration of the output drivers
13935         changed.  Now there is a termcap-type configuration where drivers
13936         to be read are determined beforehand, rather than parsing the
13937         entire output init file and storing it in memory & deciding what
13938         to actually use later.  Faster & more memory-efficient at the same
13939         time, cool.
13940         
13941         * output.c: Comment fix.  Removed outp_init_drivers global var.
13942         Removed all references to synonyms.  New structure outp_defn.  New
13943         global vars outp_macros, outp_configure_vec.
13944         (search_name, delete_name, add_name, check_configure_vec,
13945         expand_name, find_defn_value) New static functions.
13946         (outp_configure_clear, outp_configure_add, outp_configure_macro,
13947         outp_read_devices) New extern functions.
13948         (outp_init) Much functionality moved into outp_read_devices.
13949         (outp_read_devices) Format of output init file changed; name of
13950         file is `devices' rather than `output' to avoid Makefile
13951         conflicts.
13952         (outp_clear) Renamed outp_done.
13953         (outp_list_classes) Bug fix, cleaned up.
13954         (outp_list_drivers) Not implemented anymore.
13955         (outp_configure_driver) Now a static function; simplified; now
13956         interpolates macros; supports new structure.
13957         (outp_enable_driver, match_synonym) Removed; all references
13958         removed.
13959         (find_driver) First argument removed.
13960         
13961         * output.h: Global var outp_init_drivers removed; new structure
13962         outp_names; new enum set OUTP_S_*; new global var
13963         outp_configure_vec; function prototypes for output.c exports
13964         updated.
13965         
13966         * main.c: (main) Calls outp_read_devices() after parsing the
13967         command line.
13968         
13969         * cmdline.c: (parse_command_line) New option -v --verbose;
13970         --version changed to -V.  --device option changed syntax to just
13971         take a single device name.  Accepts key=value declaration of
13972         output init file macros.  Syntax message updated.
13973
13974         * filename.c: (expand_line) New function.
13975         (interp_environ_vars) Renamed interp_vars; no longer uses
13976         fixed-size buffer.
13977         (blp_getenv) Allows $ARCH and $VER pseudo-environment-vars to be
13978         overridden by real environment vars.
13979         (search_path) Uses verbose_msg() instead of #ifdef'd printf().
13980         * filename.h: interp_environ_vars() renamed interp_vars().
13981         
13982         * error.c, error.h: Added extern variable `verbosity', message
13983         class MM.
13984         
13985         * error.c: (vmsg) Support message class MM.
13986         (verbose_msg) New function.
13987
13988         * descript.q: (generate_z_varname) Bug fix in generation of
13989         Z-score varnames.
13990         (dump_z_table) Bug fix in column headers.
13991         
13992         * ascii.c: (ascii_init_driver) Changed minimum number of lines per
13993         page from 29 to 15.  Don't set a default for ops[OPS_INIT,
13994         OPS_DONE].  Writes the uninit string when the driver is closed.
13995         (ascii_open_page) Write the init string before the first page.
13996         (output_shorts) Form of main loop changed from `while' to `for'.
13997         Bug fix with overstrikes: the character is printed *after* the
13998         backspace.  Eliminated a lot of `& 0xff' modifiers.
13999         (advance_to_left_margin) New function.
14000         (return_carriage, output_lines) Handle left margin.
14001
14002 Thu Jul  4 00:35:59 1996  Ben Pfaff  <blp@gnu.org>
14003
14004         * ascii.c: New option `carriage-return-style'.
14005
14006         * ascii.c: (count_fancy_chars) New function.
14007         (delineate, text_metrics) Use new function; bug fixes regarding
14008         rich text strings.
14009         (text_draw) Bug fix with rich text.
14010         (output_string, output_shorts) Reordered.
14011         (output_shorts) Now handles boxchars and some overstrike font
14012         changes.
14013         (output_char, return_carriage) New functions.
14014         (output_lines) Now handles overstriking and font changes properly;
14015         some code moved to output_shorts.
14016
14017 Tue Jul  2 22:13:23 1996  Ben Pfaff  <blp@gnu.org>
14018
14019         [GLOBAL_DEBUGGING]
14020         * ascii.c: New member `debug' in ascii_driver_ext.
14021         (ascii_init_driver, delineate) Uses new member.
14022
14023         Now you can set a vertical height on writing text.
14024         * ascii.c: (delineate) Keeps track of vertical position.
14025         (text_draw) No longer considers fully justified text an internal
14026         error.
14027         
14028         * output.h: New flag OUTP_T_VERT; other OUTP_T_ values changed.
14029
14030         Tables' titles are drawn; they can have variable height.
14031         * som.c: `som' struct has new member, title_height.
14032         (draw_title) New argument.  Moved within file.  All caller
14033         changed.
14034         (build_target) New argument, amount of space needed for first row.
14035         Calculates height of title, takes that into account.  All callers
14036         changed.
14037         (dump_plain_table, dump_columnated_table) Took calculation of y1,
14038         y2 out of loop.
14039         (dump_columnated_table) [GLOBAL_DEBUGGING] Debugging code
14040         improved.
14041         (dump_columnated_table) Organized for readability.
14042         (dump_page) Makes use of som.title_height.
14043
14044         * som.c: Many comment bug fixes.
14045
14046         * descript.q: (try_name, generate_z_name) Bug fix regarding
14047         generation of Z-score variable names.
14048         * var.h: Removed num from descriptives_proc; all referents removed.
14049
14050 Mon Jul  1 22:13:39 1996  Ben Pfaff  <blp@gnu.org>
14051
14052         * ascii.c: (ascii_line_horz, ascii_line_vert,
14053         ascii_line_intersection) Added debugging code.
14054
14055         Added a descriptive line above each table to describe it.
14056         * command.c: (parse_cmd) Calls som_new_series.
14057         
14058         * som.c: New static vars table_num, subtable_num.  New `som'
14059         member `title'.
14060         (dump_page) New arguments.
14061         (som_submit_table) Handle new variables.
14062         
14063         * som.c, som.h: (som_submit_table) New arguments.  All callers
14064         changed.
14065         (som_new_series) New function.
14066         (build_target) Makes room for extra line.
14067         (draw_title) New function.
14068         (dump_page) Calls draw_title.  Bug fix: doesn't always set
14069         som.ext->cp to 0.
14070         
14071         Columnation of tables support.
14072         * som.h: Deleted fr, lr, ri from som_table.  Reorganized.
14073         
14074         * som.c: Deleted references to fr, lr, ri.
14075         (som_columnate) Bux fix: sets group member of table.
14076         (som_add_options) Function removed.
14077         (dump_table) Split into three functions; extensively reworked.
14078         
14079         * descript.q: (dump_z_table) Better output table formatting; added
14080         title support to correspond to som.h changes.
14081         (display) Title support.
14082
14083         * output.h: Added OUTP_T_NONE.
14084         
14085 Mon Jul  1 13:00:00 1996  Ben Pfaff  <blp@gnu.org>
14086
14087         * descript.q: Improved handling of Z scores; still not perfect.
14088         
14089         * output.h, ascii.c: Added hook for getting em width of current
14090         font.
14091         
14092         * som.c: Uses new em-width hook.  Added debugging code to
14093         several functions.
14094         (som_columnate) New argument.
14095         (som_add_options) Removed.
14096
14097 Jun 29 17:40:47 1996  Ben Pfaff  <blp@gnu.org>
14098
14099         * som.h, som.c, output.c, output.h, ascii.c: Updated to work with
14100         rules as a property of the table instead of as a property of the
14101         cells.
14102         
14103         * ascii.c: Added `header' to table of options.
14104         
14105         * descript.q: Added even shorter statistic names; modified to work
14106         with new som interface.
14107         
14108         * misc.c (blp_getdelim): Bug fix.
14109         
14110         * version.c: includes 'conf.h'.
14111         
14112 ----------------------------------------------------------------------
14113 Local Variables:
14114 mode: change-log
14115 version-control: never
14116 End: