src/language/stats/ChangeLog

   1 2007-09-19  Ben Pfaff  <blp@gnu.org>
   2
   3         Fix bug #21108.
   4
   5         * aggregate.c (cmd_aggregate): Destroy casereader consistently,
   6         even if casereader fails.
   7
   8         * examine.q (run_examine): Ditto.
   9
  10         * glm.q (run_glm): Ditto.
  11
  12         * oneway.q (run_oneway): Ditto.
  13
  14         * regression.q (run_regression): Ditto.
  15
  16         * t-test.q (calculate): Ditto.
  17
  18         * descriptives.c (calc_descriptives): Ditto.  Also avoid
  19         gratuitous casereader_clone.
  20
  21 2007-09-13  Jason Stover  <jhs@debs.hoobahooba.net>
  22
  23         * regression.q (cmd_regression): Move declaration of models in to
  24         definition of cmd_regression.
  25
  26         * regression.q (run_regression): Free mom to fix memory leak.
  27
  28 2007-09-12  Ben Pfaff  <blp@gnu.org>
  29
  30         * crosstabs.q (postcalc): Free sorted_tab and the structures that
  31         it points to, to plug a memory leak.  Fixes bug #20910.  Thanks to
  32         John Darrington for reporting this bug and for review.
  33
  34 2007-09-04  Ben Pfaff  <blp@gnu.org>
  35
  36         * crosstabs.q (cmd_crosstabs): Free xtab and the structures that
  37         it points to, to plug a memory leak.  Fixes bug #18315.
  38
  39 2007-08-15  Jason Stover  <jhs@wonko.gcsu.edu>
  40
  41         * regression.q (identify_indep_vars): Print an error if dependent
  42         and independent variables are the same. Fixes bug 19819.
  43
  44 2007-08-12  Ben Pfaff  <blp@gnu.org>
  45
  46         * flip.c: Drop use of dict_get_compacted_dict_index_to_case_index
  47         and just use the ordinary case indexes.  There seemed to be no
  48         reason for the former method.
  49
  50 2007-08-03  Ben Pfaff  <blp@gnu.org>
  51
  52         * rank.q (rank_cmd): Instead of sorting by SPLIT FILE vars, group
  53         by them.  Fixes bug #17239.
  54         Reviewed by John Darrington.
  55
  56 2007-08-01  Ben Pfaff  <blp@gnu.org>
  57
  58         Clean up handling of median, by treating it almost like any other
  59         percentile.  Fixes bug #17424.  Thanks to John Darrington for
  60         review.
  61         * frequencies.q (internal_cmd_frequencies): Fix handling of bit
  62         masks for `stats' variable.  If median is selected, turn it off
  63         and add a 50th percentile.
  64         (add_percentile): Simplify code a little.
  65         (calc_stats): Drop special casing of median.
  66         (dump_statistics): Ditto, except that we label the 50th percentile
  67         as "50 (Median)" to make it clear that it's also the median.
  68
  69 2007-07-31  Ben Pfaff  <blp@gnu.org>
  70
  71         Remove integer mode from FREQUENCIES and incidentally fix bug
  72         #17421.  Reviewed by John Darrington.
  73         * frequencies.q (int_pool): Rename data_pool.
  74         (gen_pool): Rename syntax_pool.
  75         (enum FRQM_*): Removed.
  76         (struct freq_tab): Removed `mode', `vector', `min', `max',
  77         `out_of_range', `sysmis' members.
  78         (calc): Delete support for integer mode.
  79         (precalc): Ditto.
  80         (postprocess_freq_tab): Ditto.
  81         (cleanup_freq_tab): Ditto.
  82         (frq_custom_variables): Ditto.
  83
  84 2007-07-28 John Darrington <john@darrington.wattle.id.au>
  85
  86         * t-test.q: Moved the order in which groups are displayed in the
  87         independent samples case, where a cut point is given.
  88
  89 2007-07-27  Ben Pfaff  <blp@gnu.org>
  90
  91         * regression.q (run_regression): Move casereader_destroy call so
  92         that it always gets called, not just if there was some valid
  93         data.  Fixes bug #19581.
  94         Reviewed by Jason Stover.
  95
  96 2007-07-24  Ben Pfaff  <blp@gnu.org>
  97
  98         * flip.c (struct flip_pgm): Remove `case_size' member (now
  99         unused).
 100         (cmd_flip): Pass var_cnt as number of cases instead of case_cnt,
 101         to fix bug #20494.  Don't assign to `case_size' member, which was
 102         unused after assignment.
 103         (build_dictionary): When NEWNAMES not used, get the number of
 104         variables right, to fix bug #20493.
 105
 106 2007-07-10  Jason Stover  <jhs@math.gcsu.edu>
 107
 108         * glm.q: Initial version of the GLM procedure.
 109
 110 2007-06-06  Ben Pfaff  <blp@gnu.org>
 111
 112         Adapt case sources, sinks, and clients of procedure code to the
 113         new infrastructure.
 114
 115         * aggregate.c: Simplify greatly since everything is more uniform
 116         now.
 117
 118         * autorecode.c: Adapt to new procedure code.
 119         * binomial.c: Ditto.
 120         * chisquare.c: Ditto.
 121         * crosstabs.q: Ditto.
 122         * descriptives.c: Ditto.
 123         * examine.q: Ditto.
 124         * npar-summary.c: Ditto.
 125         * frequencies.q: Ditto.
 126         * npar.q: Ditto.
 127         * oneway.q: Ditto.
 128         * regression.q: Ditto.
 129         * sort-cases.c: Ditto.
 130         * t-test.c: Ditto.
 131
 132         * sort-criteria.c: Rewrite to output a struct case_ordering.
 133
 134         * flip.c: Rewrite to be a casereader.
 135
 136         * rank.q: Simplify greatly since casereaders are much more
 137         flexible than what we had before.
 138
 139 2007-05-15  Jason Stover  <jhs@math.gcsu.edu>
 140
 141         * regression.q (run_regression): Tell the user when the data
 142         contain no valid cases.
 143
 144 2007-05-08  Jason Stover  <jhs@math.gcsu.edu>
 145
 146         * regression.q: Partial fix of bug which caused a crash if
 147         dependent variable and independent variable were the same.
 148
 149 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 150
 151         * t-test.q: Changed the output width of reported counts and
 152         degrees of freedom, to avoid truncating these values.  Thanks
 153         to Seth Woolley for reporting this problem.  A proper fix involves
 154         re-thinking the output driver.
 155
 156 2007-04-12  Jason Stover  <jhs@math.gcsu.edu>
 157
 158         * regression.q (run_regression): Added if (n_data >0) to fix bug
 159         19581.
 160
 161 2007-03-29  Jason Stover  <jhs@math.gcsu.edu>
 162
 163         * regression.q (prepare_data): New function.
 164
 165         * regression.q (compute_moments): New function.
 166
 167 2007-03-18  Ben Pfaff  <blp@gnu.org>
 168
 169         * crosstabs.q (static var write): Rename write_style to avoid
 170         conflict with POSIX function of same name.
 171
 172 2007-03-16  Jason Stover  <jhs@math.gcsu.edu>
 173
 174         * regression.q (run_regression): Added support for moments.
 175
 176 Sat Feb 17 08:16:00 2007  Ben Pfaff  <blp@gnu.org>
 177
 178         * flip.c (flip_sink_create): Improve error message when temporary
 179         file cannot be created.
 180
 181 Tue Feb  6 19:58:03 2007  Ben Pfaff  <blp@gnu.org>
 182
 183         * flip.c (flip_file): Give better error message on end-of-file.
 184
 185 2007-02-04  Jason Stover  <jhs@math.gcsu.edu>
 186
 187         * regression.q: Fixed p-value computation in the test for
 188         individual regression coefficients.
 189
 190 Mon Jan 15 11:03:20 2007  Ben Pfaff  <blp@gnu.org>
 191
 192         Fix bugs found by valgrind when --enable-debug is used with the
 193         new case code.  These bugs are hidden when the data set is small
 194         enough to find in memory; if a bigger data set that would overflow
 195         to disk were used, then data corruption would occur.
 196
 197         * chisquare.c (create_freq_hash): Pass free_freq_mutable_hash to
 198         hsh_create as free function.  Make copy of data put into hash.
 199
 200         * oneway.q (free_value): New function.
 201         (run_oneway): Use free_value as arg to hsh_create.  Make copy of
 202         data put into hash.
 203
 204         * rank.q (rank_cases): Don't access data in case after we've given
 205         away the case.
 206
 207 Tue Jan  9 19:16:11 2007  Ben Pfaff  <blp@gnu.org>
 208
 209         Fix bug #18739.
 210
 211         * aggregate.c (parse_aggregate_functions) Initialize
 212         function_name.
 213
 214 Fri Dec 22 14:04:09 2006  Ben Pfaff  <blp@gnu.org>
 215
 216         Simplify missing value handling.
 217
 218         * aggregate.c (struct agr_var): Remove `bool include_missing', add
 219         `enum mv_class exclude'.  Remove `int missing', add `bool
 220         saw_missing'.  Update users.
 221
 222         * descriptives.c (struct dsc_trns): Removed `int
 223         include_user_missing', add `enum mv_class exclude'.  Update users.
 224         (struct dsc_proc): Ditto.
 225
 226         * examine.q: (static var value_is_missing): Rename
 227         `exclude_values', change type to `enum mv_class'.  Update users.
 228
 229         * rank.q: Ditto.
 230
 231 Fri Dec 22 19:22:18 WST 2006 John Darrington <john@darrington.wattle.id.au>
 232
 233         * frequencies.q : Fixed bug #17420, where the table bounds were overun
 234         when /FORMAT=nolabels was given.
 235
 236 Wed Dec 20 18:45:31 WST 2006 John Darrington <john@darrington.wattle.id.au>
 237
 238         * binomial.c binomial.h : New files.  Thanks to Jason Stover
 239           for assistance with these.
 240
 241         * chisquare.c chisquare.h freq.c freq.h npar-summary.c npar-summary.h
 242           npar.h npar.q: New files.  Implementing NPAR TESTS.
 243
 244         * frequencies.q  : Moved  structure definitions into freq.[ch]
 245
 246 Sat Dec 16 22:26:44 2006  Ben Pfaff  <blp@gnu.org>
 247
 248         Make it possible to pull cases from the active file with a
 249         function call, instead of requiring indirection through a callback
 250         function.
 251
 252         * aggregate.c (cmd_aggregate): Take advantage of new procedure
 253         interface.
 254         (agr_to_active_file): Removed.
 255         (presorted_agr_to_sysfile): Removed.
 256
 257         * autorecode.c (cmd_autorecode): Take advantage of new procedure
 258         interface.
 259         (autorecode_proc_func): Removed.
 260
 261         * flip.c (struct flip_pgm): New members to allow conformance with
 262         new case_source_class interface.
 263         (cmd_flip): Adapt to new case_source_class interface.
 264         (flip_source_read): Ditto.
 265         (flip_source_destroy): Ditto.
 266
 267 Sat Dec 16 12:54:27 2006  Ben Pfaff  <blp@gnu.org>
 268
 269         * rank.q (rank_custom_variables): Allow grouping variables to be
 270         strings.  Fixes bug #18533.  Thanks to John Darrington for review.
 271
 272 Sat Dec  9 18:47:51 2006  Ben Pfaff  <blp@gnu.org>
 273
 274         * regression.q (is_depvar): Compare variable pointers instead of
 275         variable names.
 276
 277 Thu Dec  7 15:26:25 WST 2006 John Darrington <john@darrington.wattle.id.au>
 278
 279         * examine.q: Allocated the categorical values for the dependent and
 280         independent variables, on the heap.  Hence they can be of any width.
 281
 282 Wed Dec  6 21:14:26 2006  Ben Pfaff  <blp@gnu.org>
 283
 284         * regression.q (reg_inserted): Compare variable pointers instead
 285         of variable indexes.
 286
 287 Mon Dec  4 22:33:46 2006  Ben Pfaff  <blp@gnu.org>
 288
 289         * crosstabs.q (insert_summary): Use var_to_string for labeling.
 290         (output_pivot_table) Ditto.
 291         (submit) Ditto.
 292
 293         * frequencies.q (setup_z_trns): Ditto.
 294         (dump_full) Ditto.
 295         (dump_condensed) Ditto.
 296         (dump_statistics) Ditto.
 297
 298
 299 Sun Nov  5 08:31:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
 300
 301         * t-test.q, oneway.q: Changed to use the new casefilter structure.
 302
 303 Sat Oct 14 16:52:28 2006  Ben Pfaff  <blp@gnu.org>
 304
 305         * rank.q: (rank_sorted_casefile) Add some missing case_destroy()
 306         calls to fix a memory leak.
 307
 308 Sun Oct  8 09:45:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
 309
 310         * rank.q: Plugged a small memory leak which occurred under error
 311         conditions.
 312
 313 Sat Oct  7 11:06:01 WST 2006 John Darrington <john@darrington.wattle.id.au>
 314
 315         * rank.q: Implemented most of the RANK command.
 316
 317 2006-07-14  Jason Stover  <jhs@math.gcsu.edu>
 318
 319         * regression.q (run_regression): New function to move knowledge of
 320         pspp_linreg_cache out of math/coefficient.[ch].
 321
 322 Sat Jul  1 17:41:46 2006  Ben Pfaff  <blp@gnu.org>
 323
 324         Fix bug #11612, "q2c documentation does not agree with code".
 325
 326         * examine.q: Audit use of q2c "+" prefixes that indicate that a
 327         command may appear multiple times.
 328
 329         * frequencies.q: Ditto.
 330
 331         * oneway.q: Ditto.
 332
 333         * regression.q: Ditto.
 334
 335         * t-test.q: Ditto.
 336
 337 Fri Jun 23 14:18:22 2006  Ben Pfaff  <blp@gnu.org>
 338
 339         Support long string variables on FREQUENCIES, as
 340         an extension when in enhanced algorithms mode.  For Greg Hunt
 341         <greg@firmansyah.com>.
 342
 343         * frequencies.q: (struct freq) Change `v' member from union value
 344         to union value *.  Update all references.
 345         (struct var_freqs) Add width, print members to represent effective
 346         variable width and display format.
 347         (calc) Copy entire long string value into the hash table.
 348         (frq_custom_variables) Set new width, print members.
 349         (hash_value_alpha) Get width from var_freqs.
 350         (compare_value_alpha_a) Ditto.
 351         (compare_freq_alpha_a) Ditto.
 352         (compare_freq_alpha_d) Ditto.
 353         (dump_full) Get display format from var_freqs.
 354         (dump_condensed) Ditto.
 355
 356 Mon Jun 19 22:07:13 2006  Ben Pfaff  <blp@gnu.org>
 357
 358         * frequencies.q: (dump_full) Only put the first MAX_SHORT_STRING
 359         bytes of string variables into the output cells, seeing as we only
 360         copy that many.
 361         (dump_condensed) Ditto.
 362
 363 Mon Jun 19 21:52:05 2006  Ben Pfaff  <blp@gnu.org>
 364
 365         Fixes a bug reported by Greg Hunt <greg@firmansyah.com>.
 366
 367         * frequencies.q: (hsh_hash_bytes) We only copy the first
 368         MAX_SHORT_STRING bytes of string variables, so we must only
 369         compare that many bytes, even if the string variable is longer.
 370         (compare_value_alpha_a) Ditto.
 371         (compare_freq_alpha_a) Ditto.
 372         (compare_freq_alpha_d) Ditto.
 373
 374 2006-05-11  Jason Stover  <jhs@math.gcsu.edu>
 375
 376         * regression.q: Adjusted code to account for cache->coeff being a
 377         pspp_linreg_coeff **.
 378
 379 Sun May  7 18:31:25 2006  Ben Pfaff  <blp@gnu.org>
 380
 381         Fix memory leak.
 382
 383         * aggregate.c (cmd_aggregate): Free default_dict before replacing
 384         it.
 385
 386 Sun May  7 17:09:19 2006  Ben Pfaff  <blp@gnu.org>
 387
 388         * flip.c (flip_file): Check return value of pool_fclose().
 389
 390 Sat May  6 16:00:13 2006  Ben Pfaff  <blp@gnu.org>
 391
 392         Get rid of `char *c' member in union value, for cleanliness.
 393
 394         * aggregate.c: (union agr_argument) New union.
 395         (struct agr_var) Change element type of arg[] from union value to
 396         union agr_argument.
 397         (parse_aggregate_functions) Change local variable types likewise.
 398
 399         * autorecode.c: (union arc_value) New union.
 400         (struct arc_item) Change "from" from union value to union
 401         arc_value.
 402         (recode) Change local variable from union value to union
 403         arc_value.
 404         (autorecode_trns_proc) Ditto.
 405         (compare_alpha_value) Ditto.
 406         (hash_alpha_value) Ditto.
 407         (compare_numeric_value) Ditto.
 408         (hash_numeric_value) Ditto.
 409         (autorecode_proc_func) Ditto.
 410
 411 Sat May  6 10:43:33 2006  Ben Pfaff  <blp@gnu.org>
 412
 413         Continue reforming procedure execution.  In this phase, get rid of
 414         the output code for SPLIT FILE groups in procedure.c, which really
 415         shouldn't be doing any output.  Move it into the individual
 416         procedures instead.  This also adds some flexibility.
 417
 418         * crosstabs.q (precalc): Call output_split_file_values().
 419
 420         * descriptives.c (calc_descriptives): Ditto.
 421
 422         * examine.q (run_examine): Ditto.
 423
 424         * frequencies.q (precalc): Ditto.
 425
 426         * oneway.q (run_oneway): Ditto.
 427
 428         * regression.q (run_regression): Ditto.
 429
 430         * t-test.q (calculate): Ditto.
 431
 432 Wed May  3 23:05:31 2006  Ben Pfaff  <blp@gnu.org>
 433
 434         Continue reforming procedure execution.  In this phase, get rid of
 435         many global variables, consolidating procedure execution in
 436         procedure.c.  Encapsulate transformations in new "struct
 437         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 438         and PROCESS IF from special cases to transformations.
 439
 440         * aggregate.c (cmd_aggregate) Use discard_variables().
 441
 442 2006-04-28  Jason Stover  <jhs@math.gcsu.edu>
 443
 444         * regression.q (regression_trns_resid_proc): Pass only the
 445         variables used in the model to (*model->residual)().
 446
 447         * regression.q (regression_trns_pred_proc): Pass only the
 448         variables used in the model to (*model->pred)().
 449
 450 2006-04-26  Jason Stover  <jhs@math.gcsu.edu>
 451
 452         * regression.q: Added support for multiple transformations.
 453
 454         * regression.q (regression_trns_resid_proc): New function.
 455
 456         * regression.q (regression_trns_pred_proc): New function.
 457
 458         * regression.q (subcommand_save): Added support for saving
 459         predicted values.
 460
 461         * regression.q (regression_trns_free): New function.
 462
 463         * regression.q (reg_get_name): New function.
 464
 465         * regression.q (reg_save_var): New function.
 466
 467 Tue Apr 25 13:18:56 2006  Ben Pfaff  <blp@gnu.org>
 468
 469         * rank.q (parse_rank_function): Use SE instead of ME for parse
 470         errors.
 471
 472 Tue Apr 25 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 473
 474         * flip.c (flip_sink_write): Use snprintf() to simplify a bit of
 475         code.
 476
 477 2006-04-21  Jason Stover  <jhs@math.gcsu.edu>
 478
 479         * regression.q (try_name): New function. (Partly copied from
 480         try_name in descriptives.c.)
 481
 482         * regression.q (subcommand_save): Choose residual variable names
 483         correctly.
 484
 485 2006-04-20  Jason Stover  <jhs@math.gcsu.edu>
 486
 487         * regression.q (cmd_regression): Moved call to subcommand_save()
 488         outside multipass_procedure_with_splits().
 489
 490         * regression.q (regression_trns_proc): Fixed value counter n_vals
 491         before calling *model->residual().
 492
 493 2006-04-19  Jason Stover  <jhs@math.gcsu.edu>
 494
 495         * regression.q (regression_trns_proc): Fixed the look-up of the
 496         number of variables.
 497
 498 2006-04-18  Jason Stover  <jhs@math.gcsu.edu>
 499
 500         * regression.q (regression_trns_proc): Look up the residual
 501         variable in the linear regression cache.
 502
 503         * regression.q (subcommand_save): Set the residual variable in the
 504         linear regression cache.
 505
 506 2006-04-17  Jason Stover  <jason@wonko.gcsu.edu>
 507
 508         * regression.q (regression_trns_proc): Accept case_idx as an int
 509         to match the definition of trns_proc_func.
 510
 511 2006-04-17  Jason Stover  <jhs@math.gcsu.edu>
 512
 513         * regression.q (regression_trns_proc): New function.
 514
 515         * regression.q (subcommand_save): Create variable residuals and
 516         add a transformation to assign values to them. Also free the
 517         linreg_cache if the SAVE command was not called. Removed the
 518         casereading loop. Placed actual computation of residuals in
 519         regression_trns_proc.
 520
 521         * regression.q (run_regression): Moved call to free
 522         pspp_linreg_cache to subcommand_save.
 523
 524 Sat Apr 15 18:01:03 2006  Ben Pfaff  <blp@gnu.org>
 525
 526         * examine.q (output_examine): Add casts to fix warnings.
 527
 528 2006-04-07  Jason Stover  <jhs@math.gcsu.edu>
 529
 530         * regression.q (subcommand_save): New function.
 531
 532 2006-04-04  Jason Stover  <jhs@math.gcsu.edu>
 533
 534         * regression.q: New function reg_has_categorical () to tell
 535         whether a pspp_linreg_struct was made with any variables of type
 536         ALPHA.
 537
 538         * regression.q: (subcommand_export): Call
 539         reg_print_categorical_encoding() only if the model uses any
 540         categorical variables.
 541
 542 Mon Mar 27 16:00:42 2006  Ben Pfaff  <blp@gnu.org>
 543
 544         * crosstabs.q: (output_pivot_table) Drop spurious space from
 545         message.
 546
 547 2006-03-15  Jason Stover  <jhs@math.gcsu.edu>
 548
 549         * regression.q: Added custom syntax parser for VARIABLES subcommand
 550
 551         * regression.q: Moved most instructions for run_regression ()
 552         inside the loop over dependent variables.
 553
 554 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 555
 556         * Moved files from src directory