src/language/stats/ChangeLog

   1 2007-10-12  Ben Pfaff  <blp@gnu.org>
   2
   3         * flip.c (flip_file): No need to conditionally substitute for
   4         "fseeko" and "off_t" manually anymore, as gnulib takes care of it
   5         for us.
   6
   7 2007-09-21  Jason Stover  <jhs@wonko.gcsu.edu>
   8
   9         * regression.q (run_regression): Partial fix of memory leak, bug
  10         21056.
  11
  12 2007-09-19  Ben Pfaff  <blp@gnu.org>
  13
  14         Fix bug #21108.
  15
  16         * aggregate.c (cmd_aggregate): Destroy casereader consistently,
  17         even if casereader fails.
  18
  19         * examine.q (run_examine): Ditto.
  20
  21         * glm.q (run_glm): Ditto.
  22
  23         * oneway.q (run_oneway): Ditto.
  24
  25         * regression.q (run_regression): Ditto.
  26
  27         * t-test.q (calculate): Ditto.
  28
  29         * descriptives.c (calc_descriptives): Ditto.  Also avoid
  30         gratuitous casereader_clone.
  31
  32 2007-09-13  Jason Stover  <jhs@debs.hoobahooba.net>
  33
  34         * regression.q (cmd_regression): Move declaration of models in to
  35         definition of cmd_regression.
  36
  37         * regression.q (run_regression): Free mom to fix memory leak.
  38
  39 2007-09-12  Ben Pfaff  <blp@gnu.org>
  40
  41         * crosstabs.q (postcalc): Free sorted_tab and the structures that
  42         it points to, to plug a memory leak.  Fixes bug #20910.  Thanks to
  43         John Darrington for reporting this bug and for review.
  44
  45 2007-09-04  Ben Pfaff  <blp@gnu.org>
  46
  47         * crosstabs.q (cmd_crosstabs): Free xtab and the structures that
  48         it points to, to plug a memory leak.  Fixes bug #18315.
  49
  50 2007-08-15  Jason Stover  <jhs@wonko.gcsu.edu>
  51
  52         * regression.q (identify_indep_vars): Print an error if dependent
  53         and independent variables are the same. Fixes bug 19819.
  54
  55 2007-08-12  Ben Pfaff  <blp@gnu.org>
  56
  57         * flip.c: Drop use of dict_get_compacted_dict_index_to_case_index
  58         and just use the ordinary case indexes.  There seemed to be no
  59         reason for the former method.
  60
  61 2007-08-03  Ben Pfaff  <blp@gnu.org>
  62
  63         * rank.q (rank_cmd): Instead of sorting by SPLIT FILE vars, group
  64         by them.  Fixes bug #17239.
  65         Reviewed by John Darrington.
  66
  67 2007-08-01  Ben Pfaff  <blp@gnu.org>
  68
  69         Clean up handling of median, by treating it almost like any other
  70         percentile.  Fixes bug #17424.  Thanks to John Darrington for
  71         review.
  72         * frequencies.q (internal_cmd_frequencies): Fix handling of bit
  73         masks for `stats' variable.  If median is selected, turn it off
  74         and add a 50th percentile.
  75         (add_percentile): Simplify code a little.
  76         (calc_stats): Drop special casing of median.
  77         (dump_statistics): Ditto, except that we label the 50th percentile
  78         as "50 (Median)" to make it clear that it's also the median.
  79
  80 2007-07-31  Ben Pfaff  <blp@gnu.org>
  81
  82         Remove integer mode from FREQUENCIES and incidentally fix bug
  83         #17421.  Reviewed by John Darrington.
  84         * frequencies.q (int_pool): Rename data_pool.
  85         (gen_pool): Rename syntax_pool.
  86         (enum FRQM_*): Removed.
  87         (struct freq_tab): Removed `mode', `vector', `min', `max',
  88         `out_of_range', `sysmis' members.
  89         (calc): Delete support for integer mode.
  90         (precalc): Ditto.
  91         (postprocess_freq_tab): Ditto.
  92         (cleanup_freq_tab): Ditto.
  93         (frq_custom_variables): Ditto.
  94
  95 2007-07-28 John Darrington <john@darrington.wattle.id.au>
  96
  97         * t-test.q: Moved the order in which groups are displayed in the
  98         independent samples case, where a cut point is given.
  99
 100 2007-07-27  Ben Pfaff  <blp@gnu.org>
 101
 102         * regression.q (run_regression): Move casereader_destroy call so
 103         that it always gets called, not just if there was some valid
 104         data.  Fixes bug #19581.
 105         Reviewed by Jason Stover.
 106
 107 2007-07-24  Ben Pfaff  <blp@gnu.org>
 108
 109         * flip.c (struct flip_pgm): Remove `case_size' member (now
 110         unused).
 111         (cmd_flip): Pass var_cnt as number of cases instead of case_cnt,
 112         to fix bug #20494.  Don't assign to `case_size' member, which was
 113         unused after assignment.
 114         (build_dictionary): When NEWNAMES not used, get the number of
 115         variables right, to fix bug #20493.
 116
 117 2007-07-10  Jason Stover  <jhs@math.gcsu.edu>
 118
 119         * glm.q: Initial version of the GLM procedure.
 120
 121 2007-06-06  Ben Pfaff  <blp@gnu.org>
 122
 123         Adapt case sources, sinks, and clients of procedure code to the
 124         new infrastructure.
 125
 126         * aggregate.c: Simplify greatly since everything is more uniform
 127         now.
 128
 129         * autorecode.c: Adapt to new procedure code.
 130         * binomial.c: Ditto.
 131         * chisquare.c: Ditto.
 132         * crosstabs.q: Ditto.
 133         * descriptives.c: Ditto.
 134         * examine.q: Ditto.
 135         * npar-summary.c: Ditto.
 136         * frequencies.q: Ditto.
 137         * npar.q: Ditto.
 138         * oneway.q: Ditto.
 139         * regression.q: Ditto.
 140         * sort-cases.c: Ditto.
 141         * t-test.c: Ditto.
 142
 143         * sort-criteria.c: Rewrite to output a struct case_ordering.
 144
 145         * flip.c: Rewrite to be a casereader.
 146
 147         * rank.q: Simplify greatly since casereaders are much more
 148         flexible than what we had before.
 149
 150 2007-05-15  Jason Stover  <jhs@math.gcsu.edu>
 151
 152         * regression.q (run_regression): Tell the user when the data
 153         contain no valid cases.
 154
 155 2007-05-08  Jason Stover  <jhs@math.gcsu.edu>
 156
 157         * regression.q: Partial fix of bug which caused a crash if
 158         dependent variable and independent variable were the same.
 159
 160 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 161
 162         * t-test.q: Changed the output width of reported counts and
 163         degrees of freedom, to avoid truncating these values.  Thanks
 164         to Seth Woolley for reporting this problem.  A proper fix involves
 165         re-thinking the output driver.
 166
 167 2007-04-12  Jason Stover  <jhs@math.gcsu.edu>
 168
 169         * regression.q (run_regression): Added if (n_data >0) to fix bug
 170         19581.
 171
 172 2007-03-29  Jason Stover  <jhs@math.gcsu.edu>
 173
 174         * regression.q (prepare_data): New function.
 175
 176         * regression.q (compute_moments): New function.
 177
 178 2007-03-18  Ben Pfaff  <blp@gnu.org>
 179
 180         * crosstabs.q (static var write): Rename write_style to avoid
 181         conflict with POSIX function of same name.
 182
 183 2007-03-16  Jason Stover  <jhs@math.gcsu.edu>
 184
 185         * regression.q (run_regression): Added support for moments.
 186
 187 Sat Feb 17 08:16:00 2007  Ben Pfaff  <blp@gnu.org>
 188
 189         * flip.c (flip_sink_create): Improve error message when temporary
 190         file cannot be created.
 191
 192 Tue Feb  6 19:58:03 2007  Ben Pfaff  <blp@gnu.org>
 193
 194         * flip.c (flip_file): Give better error message on end-of-file.
 195
 196 2007-02-04  Jason Stover  <jhs@math.gcsu.edu>
 197
 198         * regression.q: Fixed p-value computation in the test for
 199         individual regression coefficients.
 200
 201 Mon Jan 15 11:03:20 2007  Ben Pfaff  <blp@gnu.org>
 202
 203         Fix bugs found by valgrind when --enable-debug is used with the
 204         new case code.  These bugs are hidden when the data set is small
 205         enough to find in memory; if a bigger data set that would overflow
 206         to disk were used, then data corruption would occur.
 207
 208         * chisquare.c (create_freq_hash): Pass free_freq_mutable_hash to
 209         hsh_create as free function.  Make copy of data put into hash.
 210
 211         * oneway.q (free_value): New function.
 212         (run_oneway): Use free_value as arg to hsh_create.  Make copy of
 213         data put into hash.
 214
 215         * rank.q (rank_cases): Don't access data in case after we've given
 216         away the case.
 217
 218 Tue Jan  9 19:16:11 2007  Ben Pfaff  <blp@gnu.org>
 219
 220         Fix bug #18739.
 221
 222         * aggregate.c (parse_aggregate_functions) Initialize
 223         function_name.
 224
 225 Fri Dec 22 14:04:09 2006  Ben Pfaff  <blp@gnu.org>
 226
 227         Simplify missing value handling.
 228
 229         * aggregate.c (struct agr_var): Remove `bool include_missing', add
 230         `enum mv_class exclude'.  Remove `int missing', add `bool
 231         saw_missing'.  Update users.
 232
 233         * descriptives.c (struct dsc_trns): Removed `int
 234         include_user_missing', add `enum mv_class exclude'.  Update users.
 235         (struct dsc_proc): Ditto.
 236
 237         * examine.q: (static var value_is_missing): Rename
 238         `exclude_values', change type to `enum mv_class'.  Update users.
 239
 240         * rank.q: Ditto.
 241
 242 Fri Dec 22 19:22:18 WST 2006 John Darrington <john@darrington.wattle.id.au>
 243
 244         * frequencies.q : Fixed bug #17420, where the table bounds were overun
 245         when /FORMAT=nolabels was given.
 246
 247 Wed Dec 20 18:45:31 WST 2006 John Darrington <john@darrington.wattle.id.au>
 248
 249         * binomial.c binomial.h : New files.  Thanks to Jason Stover
 250           for assistance with these.
 251
 252         * chisquare.c chisquare.h freq.c freq.h npar-summary.c npar-summary.h
 253           npar.h npar.q: New files.  Implementing NPAR TESTS.
 254
 255         * frequencies.q  : Moved  structure definitions into freq.[ch]
 256
 257 Sat Dec 16 22:26:44 2006  Ben Pfaff  <blp@gnu.org>
 258
 259         Make it possible to pull cases from the active file with a
 260         function call, instead of requiring indirection through a callback
 261         function.
 262
 263         * aggregate.c (cmd_aggregate): Take advantage of new procedure
 264         interface.
 265         (agr_to_active_file): Removed.
 266         (presorted_agr_to_sysfile): Removed.
 267
 268         * autorecode.c (cmd_autorecode): Take advantage of new procedure
 269         interface.
 270         (autorecode_proc_func): Removed.
 271
 272         * flip.c (struct flip_pgm): New members to allow conformance with
 273         new case_source_class interface.
 274         (cmd_flip): Adapt to new case_source_class interface.
 275         (flip_source_read): Ditto.
 276         (flip_source_destroy): Ditto.
 277
 278 Sat Dec 16 12:54:27 2006  Ben Pfaff  <blp@gnu.org>
 279
 280         * rank.q (rank_custom_variables): Allow grouping variables to be
 281         strings.  Fixes bug #18533.  Thanks to John Darrington for review.
 282
 283 Sat Dec  9 18:47:51 2006  Ben Pfaff  <blp@gnu.org>
 284
 285         * regression.q (is_depvar): Compare variable pointers instead of
 286         variable names.
 287
 288 Thu Dec  7 15:26:25 WST 2006 John Darrington <john@darrington.wattle.id.au>
 289
 290         * examine.q: Allocated the categorical values for the dependent and
 291         independent variables, on the heap.  Hence they can be of any width.
 292
 293 Wed Dec  6 21:14:26 2006  Ben Pfaff  <blp@gnu.org>
 294
 295         * regression.q (reg_inserted): Compare variable pointers instead
 296         of variable indexes.
 297
 298 Mon Dec  4 22:33:46 2006  Ben Pfaff  <blp@gnu.org>
 299
 300         * crosstabs.q (insert_summary): Use var_to_string for labeling.
 301         (output_pivot_table) Ditto.
 302         (submit) Ditto.
 303
 304         * frequencies.q (setup_z_trns): Ditto.
 305         (dump_full) Ditto.
 306         (dump_condensed) Ditto.
 307         (dump_statistics) Ditto.
 308
 309
 310 Sun Nov  5 08:31:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
 311
 312         * t-test.q, oneway.q: Changed to use the new casefilter structure.
 313
 314 Sat Oct 14 16:52:28 2006  Ben Pfaff  <blp@gnu.org>
 315
 316         * rank.q: (rank_sorted_casefile) Add some missing case_destroy()
 317         calls to fix a memory leak.
 318
 319 Sun Oct  8 09:45:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
 320
 321         * rank.q: Plugged a small memory leak which occurred under error
 322         conditions.
 323
 324 Sat Oct  7 11:06:01 WST 2006 John Darrington <john@darrington.wattle.id.au>
 325
 326         * rank.q: Implemented most of the RANK command.
 327
 328 2006-07-14  Jason Stover  <jhs@math.gcsu.edu>
 329
 330         * regression.q (run_regression): New function to move knowledge of
 331         pspp_linreg_cache out of math/coefficient.[ch].
 332
 333 Sat Jul  1 17:41:46 2006  Ben Pfaff  <blp@gnu.org>
 334
 335         Fix bug #11612, "q2c documentation does not agree with code".
 336
 337         * examine.q: Audit use of q2c "+" prefixes that indicate that a
 338         command may appear multiple times.
 339
 340         * frequencies.q: Ditto.
 341
 342         * oneway.q: Ditto.
 343
 344         * regression.q: Ditto.
 345
 346         * t-test.q: Ditto.
 347
 348 Fri Jun 23 14:18:22 2006  Ben Pfaff  <blp@gnu.org>
 349
 350         Support long string variables on FREQUENCIES, as
 351         an extension when in enhanced algorithms mode.  For Greg Hunt
 352         <greg@firmansyah.com>.
 353
 354         * frequencies.q: (struct freq) Change `v' member from union value
 355         to union value *.  Update all references.
 356         (struct var_freqs) Add width, print members to represent effective
 357         variable width and display format.
 358         (calc) Copy entire long string value into the hash table.
 359         (frq_custom_variables) Set new width, print members.
 360         (hash_value_alpha) Get width from var_freqs.
 361         (compare_value_alpha_a) Ditto.
 362         (compare_freq_alpha_a) Ditto.
 363         (compare_freq_alpha_d) Ditto.
 364         (dump_full) Get display format from var_freqs.
 365         (dump_condensed) Ditto.
 366
 367 Mon Jun 19 22:07:13 2006  Ben Pfaff  <blp@gnu.org>
 368
 369         * frequencies.q: (dump_full) Only put the first MAX_SHORT_STRING
 370         bytes of string variables into the output cells, seeing as we only
 371         copy that many.
 372         (dump_condensed) Ditto.
 373
 374 Mon Jun 19 21:52:05 2006  Ben Pfaff  <blp@gnu.org>
 375
 376         Fixes a bug reported by Greg Hunt <greg@firmansyah.com>.
 377
 378         * frequencies.q: (hsh_hash_bytes) We only copy the first
 379         MAX_SHORT_STRING bytes of string variables, so we must only
 380         compare that many bytes, even if the string variable is longer.
 381         (compare_value_alpha_a) Ditto.
 382         (compare_freq_alpha_a) Ditto.
 383         (compare_freq_alpha_d) Ditto.
 384
 385 2006-05-11  Jason Stover  <jhs@math.gcsu.edu>
 386
 387         * regression.q: Adjusted code to account for cache->coeff being a
 388         pspp_linreg_coeff **.
 389
 390 Sun May  7 18:31:25 2006  Ben Pfaff  <blp@gnu.org>
 391
 392         Fix memory leak.
 393
 394         * aggregate.c (cmd_aggregate): Free default_dict before replacing
 395         it.
 396
 397 Sun May  7 17:09:19 2006  Ben Pfaff  <blp@gnu.org>
 398
 399         * flip.c (flip_file): Check return value of pool_fclose().
 400
 401 Sat May  6 16:00:13 2006  Ben Pfaff  <blp@gnu.org>
 402
 403         Get rid of `char *c' member in union value, for cleanliness.
 404
 405         * aggregate.c: (union agr_argument) New union.
 406         (struct agr_var) Change element type of arg[] from union value to
 407         union agr_argument.
 408         (parse_aggregate_functions) Change local variable types likewise.
 409
 410         * autorecode.c: (union arc_value) New union.
 411         (struct arc_item) Change "from" from union value to union
 412         arc_value.
 413         (recode) Change local variable from union value to union
 414         arc_value.
 415         (autorecode_trns_proc) Ditto.
 416         (compare_alpha_value) Ditto.
 417         (hash_alpha_value) Ditto.
 418         (compare_numeric_value) Ditto.
 419         (hash_numeric_value) Ditto.
 420         (autorecode_proc_func) Ditto.
 421
 422 Sat May  6 10:43:33 2006  Ben Pfaff  <blp@gnu.org>
 423
 424         Continue reforming procedure execution.  In this phase, get rid of
 425         the output code for SPLIT FILE groups in procedure.c, which really
 426         shouldn't be doing any output.  Move it into the individual
 427         procedures instead.  This also adds some flexibility.
 428
 429         * crosstabs.q (precalc): Call output_split_file_values().
 430
 431         * descriptives.c (calc_descriptives): Ditto.
 432
 433         * examine.q (run_examine): Ditto.
 434
 435         * frequencies.q (precalc): Ditto.
 436
 437         * oneway.q (run_oneway): Ditto.
 438
 439         * regression.q (run_regression): Ditto.
 440
 441         * t-test.q (calculate): Ditto.
 442
 443 Wed May  3 23:05:31 2006  Ben Pfaff  <blp@gnu.org>
 444
 445         Continue reforming procedure execution.  In this phase, get rid of
 446         many global variables, consolidating procedure execution in
 447         procedure.c.  Encapsulate transformations in new "struct
 448         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 449         and PROCESS IF from special cases to transformations.
 450
 451         * aggregate.c (cmd_aggregate) Use discard_variables().
 452
 453 2006-04-28  Jason Stover  <jhs@math.gcsu.edu>
 454
 455         * regression.q (regression_trns_resid_proc): Pass only the
 456         variables used in the model to (*model->residual)().
 457
 458         * regression.q (regression_trns_pred_proc): Pass only the
 459         variables used in the model to (*model->pred)().
 460
 461 2006-04-26  Jason Stover  <jhs@math.gcsu.edu>
 462
 463         * regression.q: Added support for multiple transformations.
 464
 465         * regression.q (regression_trns_resid_proc): New function.
 466
 467         * regression.q (regression_trns_pred_proc): New function.
 468
 469         * regression.q (subcommand_save): Added support for saving
 470         predicted values.
 471
 472         * regression.q (regression_trns_free): New function.
 473
 474         * regression.q (reg_get_name): New function.
 475
 476         * regression.q (reg_save_var): New function.
 477
 478 Tue Apr 25 13:18:56 2006  Ben Pfaff  <blp@gnu.org>
 479
 480         * rank.q (parse_rank_function): Use SE instead of ME for parse
 481         errors.
 482
 483 Tue Apr 25 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 484
 485         * flip.c (flip_sink_write): Use snprintf() to simplify a bit of
 486         code.
 487
 488 2006-04-21  Jason Stover  <jhs@math.gcsu.edu>
 489
 490         * regression.q (try_name): New function. (Partly copied from
 491         try_name in descriptives.c.)
 492
 493         * regression.q (subcommand_save): Choose residual variable names
 494         correctly.
 495
 496 2006-04-20  Jason Stover  <jhs@math.gcsu.edu>
 497
 498         * regression.q (cmd_regression): Moved call to subcommand_save()
 499         outside multipass_procedure_with_splits().
 500
 501         * regression.q (regression_trns_proc): Fixed value counter n_vals
 502         before calling *model->residual().
 503
 504 2006-04-19  Jason Stover  <jhs@math.gcsu.edu>
 505
 506         * regression.q (regression_trns_proc): Fixed the look-up of the
 507         number of variables.
 508
 509 2006-04-18  Jason Stover  <jhs@math.gcsu.edu>
 510
 511         * regression.q (regression_trns_proc): Look up the residual
 512         variable in the linear regression cache.
 513
 514         * regression.q (subcommand_save): Set the residual variable in the
 515         linear regression cache.
 516
 517 2006-04-17  Jason Stover  <jason@wonko.gcsu.edu>
 518
 519         * regression.q (regression_trns_proc): Accept case_idx as an int
 520         to match the definition of trns_proc_func.
 521
 522 2006-04-17  Jason Stover  <jhs@math.gcsu.edu>
 523
 524         * regression.q (regression_trns_proc): New function.
 525
 526         * regression.q (subcommand_save): Create variable residuals and
 527         add a transformation to assign values to them. Also free the
 528         linreg_cache if the SAVE command was not called. Removed the
 529         casereading loop. Placed actual computation of residuals in
 530         regression_trns_proc.
 531
 532         * regression.q (run_regression): Moved call to free
 533         pspp_linreg_cache to subcommand_save.
 534
 535 Sat Apr 15 18:01:03 2006  Ben Pfaff  <blp@gnu.org>
 536
 537         * examine.q (output_examine): Add casts to fix warnings.
 538
 539 2006-04-07  Jason Stover  <jhs@math.gcsu.edu>
 540
 541         * regression.q (subcommand_save): New function.
 542
 543 2006-04-04  Jason Stover  <jhs@math.gcsu.edu>
 544
 545         * regression.q: New function reg_has_categorical () to tell
 546         whether a pspp_linreg_struct was made with any variables of type
 547         ALPHA.
 548
 549         * regression.q: (subcommand_export): Call
 550         reg_print_categorical_encoding() only if the model uses any
 551         categorical variables.
 552
 553 Mon Mar 27 16:00:42 2006  Ben Pfaff  <blp@gnu.org>
 554
 555         * crosstabs.q: (output_pivot_table) Drop spurious space from
 556         message.
 557
 558 2006-03-15  Jason Stover  <jhs@math.gcsu.edu>
 559
 560         * regression.q: Added custom syntax parser for VARIABLES subcommand
 561
 562         * regression.q: Moved most instructions for run_regression ()
 563         inside the loop over dependent variables.
 564
 565 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 566
 567         * Moved files from src directory