Fixed bug 23567. Added accessor functions to get/set means and standard deviations...
[pspp-builds.git] / src / language / stats / ChangeLog
1 2008-06-21  Jason Stover  <jhs@math.gcsu.edu>
2
3         * regression.q (reg_stats_coeff): Use new accessor function
4         pspp_coeff_get_sd. Fixed bug 23567. No longer call compute_moments
5         in run_regression. Pass entire design_matrix to pspp_linreg ().
6
7 2008-05-29  John Darrington <john@darrington.wattle.id.au>
8
9         * examine.q: Fixed bug where incorrect levels of dereferencing
10         were applied to pointers.
11
12 2008-04-09  John Darrington <john@darrington.wattle.id.au>
13
14         * regression.q: Fix display of degrees of freedom.
15
16 2008-04-08  Jason Stover  <jhs@math.gcsu.edu>
17
18         * regression.q (identify_indep_vars): Don't panic unless
19         n_indep_vars is 0.
20
21 2008-03-16  Ben Pfaff  <blp@gnu.org>
22
23         Bug #22037.  Thanks to John Darrington for reporting this bug.
24         
25         * crosstabs.q (calc_general): Only the short string prefix of long
26         string variables are tabulated, so we must not copy or zero out
27         more data than that.
28
29 2008-03-10  Jason Stover  <jhs@math.gcsu.edu>
30
31         * regression.q (run_regression): Removed code for EXPORT
32         subcommand. Remove use of coefficient 0 as the intercept.
33
34 2008-02-14  John Darrington <john@darrington.wattle.id.au>
35
36         * examine.q: Fixed counts of missing variables.  Thanks to 
37         Jason Stover for reporting this problem.
38
39 2008-01-02  John Darrington <john@darrington.wattle.id.au>
40
41         *  binomial.c chisquare.c examine.q frequencies.q oneway.q regression.q : updated
42         all users of var_get_value_name to use replacement function var_append_value_name.
43
44 2007-12-07  Ben Pfaff  <blp@gnu.org>
45
46         Patch #6302.
47
48         * crosstabs.q (precalc): Initialize data structures even if the
49         first case cannot be read.  
50
51         * frequencies.q (precalc): Ditto.
52
53 2007-11-03  Ben Pfaff  <blp@gnu.org>
54
55         Allow output files to overwrite input files (bug #21280).
56
57         * aggregate.c (cmd_aggregate): Manage file handle reference
58         counts.
59
60         * correlations.q (internal_cmd_frequencies): Ditto.
61         (cor_custom_matrix): Ditto.
62
63         * regression.q (regression_custom_export): Ditto.
64         (cmd_regression): Ditto.
65
66 2007-10-12  Ben Pfaff  <blp@gnu.org>
67
68         * flip.c (flip_file): No need to conditionally substitute for
69         "fseeko" and "off_t" manually anymore, as gnulib takes care of it
70         for us.
71
72 2007-09-21  Jason Stover  <jhs@wonko.gcsu.edu>
73
74         * regression.q (run_regression): Partial fix of memory leak, bug
75         21056.
76
77 2007-09-19  Ben Pfaff  <blp@gnu.org>
78
79         Fix bug #21108.
80         
81         * aggregate.c (cmd_aggregate): Destroy casereader consistently,
82         even if casereader fails.
83
84         * examine.q (run_examine): Ditto.
85          
86         * glm.q (run_glm): Ditto.
87
88         * oneway.q (run_oneway): Ditto.
89
90         * regression.q (run_regression): Ditto.
91
92         * t-test.q (calculate): Ditto.
93
94         * descriptives.c (calc_descriptives): Ditto.  Also avoid
95         gratuitous casereader_clone.
96
97 2007-09-13  Jason Stover  <jhs@math.gcsu.edu>
98
99         * regression.q (cmd_regression): Move declaration of models in to
100         definition of cmd_regression.
101
102         * regression.q (run_regression): Free mom to fix memory leak.
103
104 2007-09-12  Ben Pfaff  <blp@gnu.org>
105
106         * crosstabs.q (postcalc): Free sorted_tab and the structures that
107         it points to, to plug a memory leak.  Fixes bug #20910.  Thanks to
108         John Darrington for reporting this bug and for review.
109
110 2007-09-04  Ben Pfaff  <blp@gnu.org>
111
112         * crosstabs.q (cmd_crosstabs): Free xtab and the structures that
113         it points to, to plug a memory leak.  Fixes bug #18315.
114
115 2007-08-15  Jason Stover  <jhs@wonko.gcsu.edu>
116
117         * regression.q (identify_indep_vars): Print an error if dependent
118         and independent variables are the same. Fixes bug 19819.
119
120 2007-08-12  Ben Pfaff  <blp@gnu.org>
121
122         * flip.c: Drop use of dict_get_compacted_dict_index_to_case_index
123         and just use the ordinary case indexes.  There seemed to be no
124         reason for the former method.
125
126 2007-08-03  Ben Pfaff  <blp@gnu.org>
127
128         * rank.q (rank_cmd): Instead of sorting by SPLIT FILE vars, group
129         by them.  Fixes bug #17239.
130         Reviewed by John Darrington.
131
132 2007-08-01  Ben Pfaff  <blp@gnu.org>
133
134         Clean up handling of median, by treating it almost like any other
135         percentile.  Fixes bug #17424.  Thanks to John Darrington for
136         review.
137         * frequencies.q (internal_cmd_frequencies): Fix handling of bit
138         masks for `stats' variable.  If median is selected, turn it off
139         and add a 50th percentile.
140         (add_percentile): Simplify code a little.
141         (calc_stats): Drop special casing of median.
142         (dump_statistics): Ditto, except that we label the 50th percentile
143         as "50 (Median)" to make it clear that it's also the median.    
144
145 2007-07-31  Ben Pfaff  <blp@gnu.org>
146
147         Remove integer mode from FREQUENCIES and incidentally fix bug
148         #17421.  Reviewed by John Darrington.
149         * frequencies.q (int_pool): Rename data_pool.
150         (gen_pool): Rename syntax_pool.
151         (enum FRQM_*): Removed.
152         (struct freq_tab): Removed `mode', `vector', `min', `max',
153         `out_of_range', `sysmis' members.
154         (calc): Delete support for integer mode.
155         (precalc): Ditto.
156         (postprocess_freq_tab): Ditto.
157         (cleanup_freq_tab): Ditto.
158         (frq_custom_variables): Ditto.
159
160 2007-07-28 John Darrington <john@darrington.wattle.id.au>
161
162         * t-test.q: Moved the order in which groups are displayed in the 
163         independent samples case, where a cut point is given.
164
165 2007-07-27  Ben Pfaff  <blp@gnu.org>
166
167         * regression.q (run_regression): Move casereader_destroy call so
168         that it always gets called, not just if there was some valid
169         data.  Fixes bug #19581.
170         Reviewed by Jason Stover.
171
172 2007-07-24  Ben Pfaff  <blp@gnu.org>
173
174         * flip.c (struct flip_pgm): Remove `case_size' member (now
175         unused).
176         (cmd_flip): Pass var_cnt as number of cases instead of case_cnt,
177         to fix bug #20494.  Don't assign to `case_size' member, which was
178         unused after assignment.
179         (build_dictionary): When NEWNAMES not used, get the number of
180         variables right, to fix bug #20493.
181
182 2007-07-10  Jason Stover  <jhs@math.gcsu.edu>
183
184         * glm.q: Initial version of the GLM procedure.
185
186 2007-06-06  Ben Pfaff  <blp@gnu.org>
187
188         Adapt case sources, sinks, and clients of procedure code to the
189         new infrastructure.
190         
191         * aggregate.c: Simplify greatly since everything is more uniform
192         now.
193
194         * autorecode.c: Adapt to new procedure code.
195         * binomial.c: Ditto.
196         * chisquare.c: Ditto.
197         * crosstabs.q: Ditto.
198         * descriptives.c: Ditto.
199         * examine.q: Ditto.
200         * npar-summary.c: Ditto.
201         * frequencies.q: Ditto.
202         * npar.q: Ditto.
203         * oneway.q: Ditto.
204         * regression.q: Ditto.
205         * sort-cases.c: Ditto.
206         * t-test.c: Ditto.
207
208         * sort-criteria.c: Rewrite to output a struct case_ordering.
209         
210         * flip.c: Rewrite to be a casereader.
211
212         * rank.q: Simplify greatly since casereaders are much more
213         flexible than what we had before.
214         
215 2007-05-15  Jason Stover  <jhs@math.gcsu.edu>
216
217         * regression.q (run_regression): Tell the user when the data
218         contain no valid cases.
219
220 2007-05-08  Jason Stover  <jhs@math.gcsu.edu>
221
222         * regression.q: Partial fix of bug which caused a crash if
223         dependent variable and independent variable were the same.
224
225 2007-04-16 John Darrington <john@darrington.wattle.id.au>
226
227         * t-test.q: Changed the output width of reported counts and 
228         degrees of freedom, to avoid truncating these values.  Thanks
229         to Seth Woolley for reporting this problem.  A proper fix involves
230         re-thinking the output driver.
231
232 2007-04-12  Jason Stover  <jhs@math.gcsu.edu>
233
234         * regression.q (run_regression): Added if (n_data >0) to fix bug
235         19581.
236
237 2007-03-29  Jason Stover  <jhs@math.gcsu.edu>
238
239         * regression.q (prepare_data): New function.
240
241         * regression.q (compute_moments): New function.
242
243 2007-03-18  Ben Pfaff  <blp@gnu.org>
244
245         * crosstabs.q (static var write): Rename write_style to avoid
246         conflict with POSIX function of same name.
247
248 2007-03-16  Jason Stover  <jhs@math.gcsu.edu>
249
250         * regression.q (run_regression): Added support for moments.
251
252 Sat Feb 17 08:16:00 2007  Ben Pfaff  <blp@gnu.org>
253
254         * flip.c (flip_sink_create): Improve error message when temporary
255         file cannot be created.
256
257 Tue Feb  6 19:58:03 2007  Ben Pfaff  <blp@gnu.org>
258
259         * flip.c (flip_file): Give better error message on end-of-file.
260
261 2007-02-04  Jason Stover  <jhs@math.gcsu.edu>
262
263         * regression.q: Fixed p-value computation in the test for
264         individual regression coefficients.
265
266 Mon Jan 15 11:03:20 2007  Ben Pfaff  <blp@gnu.org>
267
268         Fix bugs found by valgrind when --enable-debug is used with the
269         new case code.  These bugs are hidden when the data set is small
270         enough to find in memory; if a bigger data set that would overflow
271         to disk were used, then data corruption would occur.
272
273         * chisquare.c (create_freq_hash): Pass free_freq_mutable_hash to
274         hsh_create as free function.  Make copy of data put into hash.
275
276         * oneway.q (free_value): New function.
277         (run_oneway): Use free_value as arg to hsh_create.  Make copy of
278         data put into hash.
279
280         * rank.q (rank_cases): Don't access data in case after we've given
281         away the case.
282
283 Tue Jan  9 19:16:11 2007  Ben Pfaff  <blp@gnu.org>
284
285         Fix bug #18739.
286         
287         * aggregate.c (parse_aggregate_functions) Initialize
288         function_name.
289
290 Fri Dec 22 14:04:09 2006  Ben Pfaff  <blp@gnu.org>
291
292         Simplify missing value handling.
293         
294         * aggregate.c (struct agr_var): Remove `bool include_missing', add
295         `enum mv_class exclude'.  Remove `int missing', add `bool
296         saw_missing'.  Update users.
297
298         * descriptives.c (struct dsc_trns): Removed `int
299         include_user_missing', add `enum mv_class exclude'.  Update users.
300         (struct dsc_proc): Ditto.
301
302         * examine.q: (static var value_is_missing): Rename
303         `exclude_values', change type to `enum mv_class'.  Update users.
304
305         * rank.q: Ditto.
306
307 Fri Dec 22 19:22:18 WST 2006 John Darrington <john@darrington.wattle.id.au>
308
309         * frequencies.q : Fixed bug #17420, where the table bounds were overun
310         when /FORMAT=nolabels was given.
311
312 Wed Dec 20 18:45:31 WST 2006 John Darrington <john@darrington.wattle.id.au>
313
314         * binomial.c binomial.h : New files.  Thanks to Jason Stover 
315           for assistance with these.
316
317         * chisquare.c chisquare.h freq.c freq.h npar-summary.c npar-summary.h 
318           npar.h npar.q: New files.  Implementing NPAR TESTS.
319
320         * frequencies.q  : Moved  structure definitions into freq.[ch]
321
322 Sat Dec 16 22:26:44 2006  Ben Pfaff  <blp@gnu.org>
323
324         Make it possible to pull cases from the active file with a
325         function call, instead of requiring indirection through a callback
326         function.
327
328         * aggregate.c (cmd_aggregate): Take advantage of new procedure
329         interface.
330         (agr_to_active_file): Removed.
331         (presorted_agr_to_sysfile): Removed.
332
333         * autorecode.c (cmd_autorecode): Take advantage of new procedure
334         interface.
335         (autorecode_proc_func): Removed.
336
337         * flip.c (struct flip_pgm): New members to allow conformance with
338         new case_source_class interface.
339         (cmd_flip): Adapt to new case_source_class interface.
340         (flip_source_read): Ditto.
341         (flip_source_destroy): Ditto.
342
343 Sat Dec 16 12:54:27 2006  Ben Pfaff  <blp@gnu.org>
344
345         * rank.q (rank_custom_variables): Allow grouping variables to be
346         strings.  Fixes bug #18533.  Thanks to John Darrington for review.
347
348 Sat Dec  9 18:47:51 2006  Ben Pfaff  <blp@gnu.org>
349
350         * regression.q (is_depvar): Compare variable pointers instead of
351         variable names.
352
353 Thu Dec  7 15:26:25 WST 2006 John Darrington <john@darrington.wattle.id.au>
354
355         * examine.q: Allocated the categorical values for the dependent and 
356         independent variables, on the heap.  Hence they can be of any width.
357
358 Wed Dec  6 21:14:26 2006  Ben Pfaff  <blp@gnu.org>
359
360         * regression.q (reg_inserted): Compare variable pointers instead
361         of variable indexes.
362
363 Mon Dec  4 22:33:46 2006  Ben Pfaff  <blp@gnu.org>
364
365         * crosstabs.q (insert_summary): Use var_to_string for labeling.
366         (output_pivot_table) Ditto.
367         (submit) Ditto.
368
369         * frequencies.q (setup_z_trns): Ditto.
370         (dump_full) Ditto.
371         (dump_condensed) Ditto.
372         (dump_statistics) Ditto.
373         
374
375 Sun Nov  5 08:31:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
376
377         * t-test.q, oneway.q: Changed to use the new casefilter structure.
378
379 Sat Oct 14 16:52:28 2006  Ben Pfaff  <blp@gnu.org>
380
381         * rank.q: (rank_sorted_casefile) Add some missing case_destroy()
382         calls to fix a memory leak.
383
384 Sun Oct  8 09:45:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
385
386         * rank.q: Plugged a small memory leak which occurred under error
387         conditions.
388         
389 Sat Oct  7 11:06:01 WST 2006 John Darrington <john@darrington.wattle.id.au>
390
391         * rank.q: Implemented most of the RANK command.
392
393 2006-07-14  Jason Stover  <jhs@math.gcsu.edu>
394
395         * regression.q (run_regression): New function to move knowledge of
396         pspp_linreg_cache out of math/coefficient.[ch].
397
398 Sat Jul  1 17:41:46 2006  Ben Pfaff  <blp@gnu.org>
399
400         Fix bug #11612, "q2c documentation does not agree with code".
401         
402         * examine.q: Audit use of q2c "+" prefixes that indicate that a
403         command may appear multiple times.
404
405         * frequencies.q: Ditto.
406
407         * oneway.q: Ditto.
408
409         * regression.q: Ditto.
410
411         * t-test.q: Ditto.
412
413 Fri Jun 23 14:18:22 2006  Ben Pfaff  <blp@gnu.org>
414
415         Support long string variables on FREQUENCIES, as
416         an extension when in enhanced algorithms mode.  For Greg Hunt
417         <greg@firmansyah.com>.
418         
419         * frequencies.q: (struct freq) Change `v' member from union value
420         to union value *.  Update all references.
421         (struct var_freqs) Add width, print members to represent effective
422         variable width and display format.
423         (calc) Copy entire long string value into the hash table.
424         (frq_custom_variables) Set new width, print members.
425         (hash_value_alpha) Get width from var_freqs.
426         (compare_value_alpha_a) Ditto.
427         (compare_freq_alpha_a) Ditto.
428         (compare_freq_alpha_d) Ditto.
429         (dump_full) Get display format from var_freqs.
430         (dump_condensed) Ditto.
431
432 Mon Jun 19 22:07:13 2006  Ben Pfaff  <blp@gnu.org>
433
434         * frequencies.q: (dump_full) Only put the first MAX_SHORT_STRING
435         bytes of string variables into the output cells, seeing as we only
436         copy that many.
437         (dump_condensed) Ditto.
438
439 Mon Jun 19 21:52:05 2006  Ben Pfaff  <blp@gnu.org>
440
441         Fixes a bug reported by Greg Hunt <greg@firmansyah.com>.
442         
443         * frequencies.q: (hsh_hash_bytes) We only copy the first
444         MAX_SHORT_STRING bytes of string variables, so we must only
445         compare that many bytes, even if the string variable is longer.
446         (compare_value_alpha_a) Ditto.
447         (compare_freq_alpha_a) Ditto.
448         (compare_freq_alpha_d) Ditto.
449
450 2006-05-11  Jason Stover  <jhs@math.gcsu.edu>
451
452         * regression.q: Adjusted code to account for cache->coeff being a
453         pspp_linreg_coeff **.
454
455 Sun May  7 18:31:25 2006  Ben Pfaff  <blp@gnu.org>
456
457         Fix memory leak.
458         
459         * aggregate.c (cmd_aggregate): Free default_dict before replacing
460         it.
461
462 Sun May  7 17:09:19 2006  Ben Pfaff  <blp@gnu.org>
463
464         * flip.c (flip_file): Check return value of pool_fclose().
465
466 Sat May  6 16:00:13 2006  Ben Pfaff  <blp@gnu.org>
467
468         Get rid of `char *c' member in union value, for cleanliness.
469         
470         * aggregate.c: (union agr_argument) New union.
471         (struct agr_var) Change element type of arg[] from union value to
472         union agr_argument.
473         (parse_aggregate_functions) Change local variable types likewise.
474
475         * autorecode.c: (union arc_value) New union.
476         (struct arc_item) Change "from" from union value to union
477         arc_value.
478         (recode) Change local variable from union value to union
479         arc_value.
480         (autorecode_trns_proc) Ditto.
481         (compare_alpha_value) Ditto.
482         (hash_alpha_value) Ditto.
483         (compare_numeric_value) Ditto.
484         (hash_numeric_value) Ditto.
485         (autorecode_proc_func) Ditto.
486
487 Sat May  6 10:43:33 2006  Ben Pfaff  <blp@gnu.org>
488
489         Continue reforming procedure execution.  In this phase, get rid of
490         the output code for SPLIT FILE groups in procedure.c, which really
491         shouldn't be doing any output.  Move it into the individual
492         procedures instead.  This also adds some flexibility.
493
494         * crosstabs.q (precalc): Call output_split_file_values().
495
496         * descriptives.c (calc_descriptives): Ditto.
497
498         * examine.q (run_examine): Ditto.
499         
500         * frequencies.q (precalc): Ditto.
501
502         * oneway.q (run_oneway): Ditto.
503
504         * regression.q (run_regression): Ditto.
505
506         * t-test.q (calculate): Ditto.
507
508 Wed May  3 23:05:31 2006  Ben Pfaff  <blp@gnu.org>
509
510         Continue reforming procedure execution.  In this phase, get rid of
511         many global variables, consolidating procedure execution in
512         procedure.c.  Encapsulate transformations in new "struct
513         trns_chain".  Also, change implementation of N OF CASES, FILTER,
514         and PROCESS IF from special cases to transformations.
515          
516         * aggregate.c (cmd_aggregate) Use discard_variables().
517         
518 2006-04-28  Jason Stover  <jhs@math.gcsu.edu>
519
520         * regression.q (regression_trns_resid_proc): Pass only the
521         variables used in the model to (*model->residual)().
522
523         * regression.q (regression_trns_pred_proc): Pass only the
524         variables used in the model to (*model->pred)().
525
526 2006-04-26  Jason Stover  <jhs@math.gcsu.edu>
527
528         * regression.q: Added support for multiple transformations.
529         
530         * regression.q (regression_trns_resid_proc): New function.
531
532         * regression.q (regression_trns_pred_proc): New function.
533
534         * regression.q (subcommand_save): Added support for saving
535         predicted values.
536
537         * regression.q (regression_trns_free): New function. 
538
539         * regression.q (reg_get_name): New function.
540
541         * regression.q (reg_save_var): New function.
542
543 Tue Apr 25 13:18:56 2006  Ben Pfaff  <blp@gnu.org>
544
545         * rank.q (parse_rank_function): Use SE instead of ME for parse
546         errors.
547
548 Tue Apr 25 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
549
550         * flip.c (flip_sink_write): Use snprintf() to simplify a bit of
551         code.
552
553 2006-04-21  Jason Stover  <jhs@math.gcsu.edu>
554
555         * regression.q (try_name): New function. (Partly copied from
556         try_name in descriptives.c.)
557
558         * regression.q (subcommand_save): Choose residual variable names
559         correctly. 
560
561 2006-04-20  Jason Stover  <jhs@math.gcsu.edu>
562
563         * regression.q (cmd_regression): Moved call to subcommand_save()
564         outside multipass_procedure_with_splits().
565         
566         * regression.q (regression_trns_proc): Fixed value counter n_vals
567         before calling *model->residual().
568
569 2006-04-19  Jason Stover  <jhs@math.gcsu.edu>
570
571         * regression.q (regression_trns_proc): Fixed the look-up of the
572         number of variables.
573
574 2006-04-18  Jason Stover  <jhs@math.gcsu.edu>
575
576         * regression.q (regression_trns_proc): Look up the residual
577         variable in the linear regression cache.
578
579         * regression.q (subcommand_save): Set the residual variable in the
580         linear regression cache.
581
582 2006-04-17  Jason Stover  <jason@wonko.gcsu.edu>
583
584         * regression.q (regression_trns_proc): Accept case_idx as an int
585         to match the definition of trns_proc_func.
586
587 2006-04-17  Jason Stover  <jhs@math.gcsu.edu>
588
589         * regression.q (regression_trns_proc): New function.
590
591         * regression.q (subcommand_save): Create variable residuals and
592         add a transformation to assign values to them. Also free the
593         linreg_cache if the SAVE command was not called. Removed the
594         casereading loop. Placed actual computation of residuals in
595         regression_trns_proc.
596
597         * regression.q (run_regression): Moved call to free
598         pspp_linreg_cache to subcommand_save.
599
600 Sat Apr 15 18:01:03 2006  Ben Pfaff  <blp@gnu.org>
601
602         * examine.q (output_examine): Add casts to fix warnings.
603
604 2006-04-07  Jason Stover  <jhs@math.gcsu.edu>
605
606         * regression.q (subcommand_save): New function.
607
608 2006-04-04  Jason Stover  <jhs@math.gcsu.edu>
609
610         * regression.q: New function reg_has_categorical () to tell
611         whether a pspp_linreg_struct was made with any variables of type
612         ALPHA.
613
614         * regression.q: (subcommand_export): Call
615         reg_print_categorical_encoding() only if the model uses any
616         categorical variables.
617
618 Mon Mar 27 16:00:42 2006  Ben Pfaff  <blp@gnu.org>
619
620         * crosstabs.q: (output_pivot_table) Drop spurious space from
621         message.
622
623 2006-03-15  Jason Stover  <jhs@math.gcsu.edu>
624
625         * regression.q: Added custom syntax parser for VARIABLES subcommand
626
627         * regression.q: Moved most instructions for run_regression ()
628         inside the loop over dependent variables.
629
630 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
631         
632         * Moved files from src directory