src/language/stats/ChangeLog

   1 2007-09-21  Jason Stover  <jhs@wonko.gcsu.edu>
   2
   3         * regression.q (run_regression): Partial fix of memory leak, bug
   4         21056.
   5
   6 2007-09-19  Ben Pfaff  <blp@gnu.org>
   7
   8         Fix bug #21108.
   9
  10         * aggregate.c (cmd_aggregate): Destroy casereader consistently,
  11         even if casereader fails.
  12
  13         * examine.q (run_examine): Ditto.
  14
  15         * glm.q (run_glm): Ditto.
  16
  17         * oneway.q (run_oneway): Ditto.
  18
  19         * regression.q (run_regression): Ditto.
  20
  21         * t-test.q (calculate): Ditto.
  22
  23         * descriptives.c (calc_descriptives): Ditto.  Also avoid
  24         gratuitous casereader_clone.
  25
  26 2007-09-13  Jason Stover  <jhs@debs.hoobahooba.net>
  27
  28         * regression.q (cmd_regression): Move declaration of models in to
  29         definition of cmd_regression.
  30
  31         * regression.q (run_regression): Free mom to fix memory leak.
  32
  33 2007-09-12  Ben Pfaff  <blp@gnu.org>
  34
  35         * crosstabs.q (postcalc): Free sorted_tab and the structures that
  36         it points to, to plug a memory leak.  Fixes bug #20910.  Thanks to
  37         John Darrington for reporting this bug and for review.
  38
  39 2007-09-04  Ben Pfaff  <blp@gnu.org>
  40
  41         * crosstabs.q (cmd_crosstabs): Free xtab and the structures that
  42         it points to, to plug a memory leak.  Fixes bug #18315.
  43
  44 2007-08-15  Jason Stover  <jhs@wonko.gcsu.edu>
  45
  46         * regression.q (identify_indep_vars): Print an error if dependent
  47         and independent variables are the same. Fixes bug 19819.
  48
  49 2007-08-12  Ben Pfaff  <blp@gnu.org>
  50
  51         * flip.c: Drop use of dict_get_compacted_dict_index_to_case_index
  52         and just use the ordinary case indexes.  There seemed to be no
  53         reason for the former method.
  54
  55 2007-08-03  Ben Pfaff  <blp@gnu.org>
  56
  57         * rank.q (rank_cmd): Instead of sorting by SPLIT FILE vars, group
  58         by them.  Fixes bug #17239.
  59         Reviewed by John Darrington.
  60
  61 2007-08-01  Ben Pfaff  <blp@gnu.org>
  62
  63         Clean up handling of median, by treating it almost like any other
  64         percentile.  Fixes bug #17424.  Thanks to John Darrington for
  65         review.
  66         * frequencies.q (internal_cmd_frequencies): Fix handling of bit
  67         masks for `stats' variable.  If median is selected, turn it off
  68         and add a 50th percentile.
  69         (add_percentile): Simplify code a little.
  70         (calc_stats): Drop special casing of median.
  71         (dump_statistics): Ditto, except that we label the 50th percentile
  72         as "50 (Median)" to make it clear that it's also the median.
  73
  74 2007-07-31  Ben Pfaff  <blp@gnu.org>
  75
  76         Remove integer mode from FREQUENCIES and incidentally fix bug
  77         #17421.  Reviewed by John Darrington.
  78         * frequencies.q (int_pool): Rename data_pool.
  79         (gen_pool): Rename syntax_pool.
  80         (enum FRQM_*): Removed.
  81         (struct freq_tab): Removed `mode', `vector', `min', `max',
  82         `out_of_range', `sysmis' members.
  83         (calc): Delete support for integer mode.
  84         (precalc): Ditto.
  85         (postprocess_freq_tab): Ditto.
  86         (cleanup_freq_tab): Ditto.
  87         (frq_custom_variables): Ditto.
  88
  89 2007-07-28 John Darrington <john@darrington.wattle.id.au>
  90
  91         * t-test.q: Moved the order in which groups are displayed in the
  92         independent samples case, where a cut point is given.
  93
  94 2007-07-27  Ben Pfaff  <blp@gnu.org>
  95
  96         * regression.q (run_regression): Move casereader_destroy call so
  97         that it always gets called, not just if there was some valid
  98         data.  Fixes bug #19581.
  99         Reviewed by Jason Stover.
 100
 101 2007-07-24  Ben Pfaff  <blp@gnu.org>
 102
 103         * flip.c (struct flip_pgm): Remove `case_size' member (now
 104         unused).
 105         (cmd_flip): Pass var_cnt as number of cases instead of case_cnt,
 106         to fix bug #20494.  Don't assign to `case_size' member, which was
 107         unused after assignment.
 108         (build_dictionary): When NEWNAMES not used, get the number of
 109         variables right, to fix bug #20493.
 110
 111 2007-07-10  Jason Stover  <jhs@math.gcsu.edu>
 112
 113         * glm.q: Initial version of the GLM procedure.
 114
 115 2007-06-06  Ben Pfaff  <blp@gnu.org>
 116
 117         Adapt case sources, sinks, and clients of procedure code to the
 118         new infrastructure.
 119
 120         * aggregate.c: Simplify greatly since everything is more uniform
 121         now.
 122
 123         * autorecode.c: Adapt to new procedure code.
 124         * binomial.c: Ditto.
 125         * chisquare.c: Ditto.
 126         * crosstabs.q: Ditto.
 127         * descriptives.c: Ditto.
 128         * examine.q: Ditto.
 129         * npar-summary.c: Ditto.
 130         * frequencies.q: Ditto.
 131         * npar.q: Ditto.
 132         * oneway.q: Ditto.
 133         * regression.q: Ditto.
 134         * sort-cases.c: Ditto.
 135         * t-test.c: Ditto.
 136
 137         * sort-criteria.c: Rewrite to output a struct case_ordering.
 138
 139         * flip.c: Rewrite to be a casereader.
 140
 141         * rank.q: Simplify greatly since casereaders are much more
 142         flexible than what we had before.
 143
 144 2007-05-15  Jason Stover  <jhs@math.gcsu.edu>
 145
 146         * regression.q (run_regression): Tell the user when the data
 147         contain no valid cases.
 148
 149 2007-05-08  Jason Stover  <jhs@math.gcsu.edu>
 150
 151         * regression.q: Partial fix of bug which caused a crash if
 152         dependent variable and independent variable were the same.
 153
 154 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 155
 156         * t-test.q: Changed the output width of reported counts and
 157         degrees of freedom, to avoid truncating these values.  Thanks
 158         to Seth Woolley for reporting this problem.  A proper fix involves
 159         re-thinking the output driver.
 160
 161 2007-04-12  Jason Stover  <jhs@math.gcsu.edu>
 162
 163         * regression.q (run_regression): Added if (n_data >0) to fix bug
 164         19581.
 165
 166 2007-03-29  Jason Stover  <jhs@math.gcsu.edu>
 167
 168         * regression.q (prepare_data): New function.
 169
 170         * regression.q (compute_moments): New function.
 171
 172 2007-03-18  Ben Pfaff  <blp@gnu.org>
 173
 174         * crosstabs.q (static var write): Rename write_style to avoid
 175         conflict with POSIX function of same name.
 176
 177 2007-03-16  Jason Stover  <jhs@math.gcsu.edu>
 178
 179         * regression.q (run_regression): Added support for moments.
 180
 181 Sat Feb 17 08:16:00 2007  Ben Pfaff  <blp@gnu.org>
 182
 183         * flip.c (flip_sink_create): Improve error message when temporary
 184         file cannot be created.
 185
 186 Tue Feb  6 19:58:03 2007  Ben Pfaff  <blp@gnu.org>
 187
 188         * flip.c (flip_file): Give better error message on end-of-file.
 189
 190 2007-02-04  Jason Stover  <jhs@math.gcsu.edu>
 191
 192         * regression.q: Fixed p-value computation in the test for
 193         individual regression coefficients.
 194
 195 Mon Jan 15 11:03:20 2007  Ben Pfaff  <blp@gnu.org>
 196
 197         Fix bugs found by valgrind when --enable-debug is used with the
 198         new case code.  These bugs are hidden when the data set is small
 199         enough to find in memory; if a bigger data set that would overflow
 200         to disk were used, then data corruption would occur.
 201
 202         * chisquare.c (create_freq_hash): Pass free_freq_mutable_hash to
 203         hsh_create as free function.  Make copy of data put into hash.
 204
 205         * oneway.q (free_value): New function.
 206         (run_oneway): Use free_value as arg to hsh_create.  Make copy of
 207         data put into hash.
 208
 209         * rank.q (rank_cases): Don't access data in case after we've given
 210         away the case.
 211
 212 Tue Jan  9 19:16:11 2007  Ben Pfaff  <blp@gnu.org>
 213
 214         Fix bug #18739.
 215
 216         * aggregate.c (parse_aggregate_functions) Initialize
 217         function_name.
 218
 219 Fri Dec 22 14:04:09 2006  Ben Pfaff  <blp@gnu.org>
 220
 221         Simplify missing value handling.
 222
 223         * aggregate.c (struct agr_var): Remove `bool include_missing', add
 224         `enum mv_class exclude'.  Remove `int missing', add `bool
 225         saw_missing'.  Update users.
 226
 227         * descriptives.c (struct dsc_trns): Removed `int
 228         include_user_missing', add `enum mv_class exclude'.  Update users.
 229         (struct dsc_proc): Ditto.
 230
 231         * examine.q: (static var value_is_missing): Rename
 232         `exclude_values', change type to `enum mv_class'.  Update users.
 233
 234         * rank.q: Ditto.
 235
 236 Fri Dec 22 19:22:18 WST 2006 John Darrington <john@darrington.wattle.id.au>
 237
 238         * frequencies.q : Fixed bug #17420, where the table bounds were overun
 239         when /FORMAT=nolabels was given.
 240
 241 Wed Dec 20 18:45:31 WST 2006 John Darrington <john@darrington.wattle.id.au>
 242
 243         * binomial.c binomial.h : New files.  Thanks to Jason Stover
 244           for assistance with these.
 245
 246         * chisquare.c chisquare.h freq.c freq.h npar-summary.c npar-summary.h
 247           npar.h npar.q: New files.  Implementing NPAR TESTS.
 248
 249         * frequencies.q  : Moved  structure definitions into freq.[ch]
 250
 251 Sat Dec 16 22:26:44 2006  Ben Pfaff  <blp@gnu.org>
 252
 253         Make it possible to pull cases from the active file with a
 254         function call, instead of requiring indirection through a callback
 255         function.
 256
 257         * aggregate.c (cmd_aggregate): Take advantage of new procedure
 258         interface.
 259         (agr_to_active_file): Removed.
 260         (presorted_agr_to_sysfile): Removed.
 261
 262         * autorecode.c (cmd_autorecode): Take advantage of new procedure
 263         interface.
 264         (autorecode_proc_func): Removed.
 265
 266         * flip.c (struct flip_pgm): New members to allow conformance with
 267         new case_source_class interface.
 268         (cmd_flip): Adapt to new case_source_class interface.
 269         (flip_source_read): Ditto.
 270         (flip_source_destroy): Ditto.
 271
 272 Sat Dec 16 12:54:27 2006  Ben Pfaff  <blp@gnu.org>
 273
 274         * rank.q (rank_custom_variables): Allow grouping variables to be
 275         strings.  Fixes bug #18533.  Thanks to John Darrington for review.
 276
 277 Sat Dec  9 18:47:51 2006  Ben Pfaff  <blp@gnu.org>
 278
 279         * regression.q (is_depvar): Compare variable pointers instead of
 280         variable names.
 281
 282 Thu Dec  7 15:26:25 WST 2006 John Darrington <john@darrington.wattle.id.au>
 283
 284         * examine.q: Allocated the categorical values for the dependent and
 285         independent variables, on the heap.  Hence they can be of any width.
 286
 287 Wed Dec  6 21:14:26 2006  Ben Pfaff  <blp@gnu.org>
 288
 289         * regression.q (reg_inserted): Compare variable pointers instead
 290         of variable indexes.
 291
 292 Mon Dec  4 22:33:46 2006  Ben Pfaff  <blp@gnu.org>
 293
 294         * crosstabs.q (insert_summary): Use var_to_string for labeling.
 295         (output_pivot_table) Ditto.
 296         (submit) Ditto.
 297
 298         * frequencies.q (setup_z_trns): Ditto.
 299         (dump_full) Ditto.
 300         (dump_condensed) Ditto.
 301         (dump_statistics) Ditto.
 302
 303
 304 Sun Nov  5 08:31:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
 305
 306         * t-test.q, oneway.q: Changed to use the new casefilter structure.
 307
 308 Sat Oct 14 16:52:28 2006  Ben Pfaff  <blp@gnu.org>
 309
 310         * rank.q: (rank_sorted_casefile) Add some missing case_destroy()
 311         calls to fix a memory leak.
 312
 313 Sun Oct  8 09:45:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
 314
 315         * rank.q: Plugged a small memory leak which occurred under error
 316         conditions.
 317
 318 Sat Oct  7 11:06:01 WST 2006 John Darrington <john@darrington.wattle.id.au>
 319
 320         * rank.q: Implemented most of the RANK command.
 321
 322 2006-07-14  Jason Stover  <jhs@math.gcsu.edu>
 323
 324         * regression.q (run_regression): New function to move knowledge of
 325         pspp_linreg_cache out of math/coefficient.[ch].
 326
 327 Sat Jul  1 17:41:46 2006  Ben Pfaff  <blp@gnu.org>
 328
 329         Fix bug #11612, "q2c documentation does not agree with code".
 330
 331         * examine.q: Audit use of q2c "+" prefixes that indicate that a
 332         command may appear multiple times.
 333
 334         * frequencies.q: Ditto.
 335
 336         * oneway.q: Ditto.
 337
 338         * regression.q: Ditto.
 339
 340         * t-test.q: Ditto.
 341
 342 Fri Jun 23 14:18:22 2006  Ben Pfaff  <blp@gnu.org>
 343
 344         Support long string variables on FREQUENCIES, as
 345         an extension when in enhanced algorithms mode.  For Greg Hunt
 346         <greg@firmansyah.com>.
 347
 348         * frequencies.q: (struct freq) Change `v' member from union value
 349         to union value *.  Update all references.
 350         (struct var_freqs) Add width, print members to represent effective
 351         variable width and display format.
 352         (calc) Copy entire long string value into the hash table.
 353         (frq_custom_variables) Set new width, print members.
 354         (hash_value_alpha) Get width from var_freqs.
 355         (compare_value_alpha_a) Ditto.
 356         (compare_freq_alpha_a) Ditto.
 357         (compare_freq_alpha_d) Ditto.
 358         (dump_full) Get display format from var_freqs.
 359         (dump_condensed) Ditto.
 360
 361 Mon Jun 19 22:07:13 2006  Ben Pfaff  <blp@gnu.org>
 362
 363         * frequencies.q: (dump_full) Only put the first MAX_SHORT_STRING
 364         bytes of string variables into the output cells, seeing as we only
 365         copy that many.
 366         (dump_condensed) Ditto.
 367
 368 Mon Jun 19 21:52:05 2006  Ben Pfaff  <blp@gnu.org>
 369
 370         Fixes a bug reported by Greg Hunt <greg@firmansyah.com>.
 371
 372         * frequencies.q: (hsh_hash_bytes) We only copy the first
 373         MAX_SHORT_STRING bytes of string variables, so we must only
 374         compare that many bytes, even if the string variable is longer.
 375         (compare_value_alpha_a) Ditto.
 376         (compare_freq_alpha_a) Ditto.
 377         (compare_freq_alpha_d) Ditto.
 378
 379 2006-05-11  Jason Stover  <jhs@math.gcsu.edu>
 380
 381         * regression.q: Adjusted code to account for cache->coeff being a
 382         pspp_linreg_coeff **.
 383
 384 Sun May  7 18:31:25 2006  Ben Pfaff  <blp@gnu.org>
 385
 386         Fix memory leak.
 387
 388         * aggregate.c (cmd_aggregate): Free default_dict before replacing
 389         it.
 390
 391 Sun May  7 17:09:19 2006  Ben Pfaff  <blp@gnu.org>
 392
 393         * flip.c (flip_file): Check return value of pool_fclose().
 394
 395 Sat May  6 16:00:13 2006  Ben Pfaff  <blp@gnu.org>
 396
 397         Get rid of `char *c' member in union value, for cleanliness.
 398
 399         * aggregate.c: (union agr_argument) New union.
 400         (struct agr_var) Change element type of arg[] from union value to
 401         union agr_argument.
 402         (parse_aggregate_functions) Change local variable types likewise.
 403
 404         * autorecode.c: (union arc_value) New union.
 405         (struct arc_item) Change "from" from union value to union
 406         arc_value.
 407         (recode) Change local variable from union value to union
 408         arc_value.
 409         (autorecode_trns_proc) Ditto.
 410         (compare_alpha_value) Ditto.
 411         (hash_alpha_value) Ditto.
 412         (compare_numeric_value) Ditto.
 413         (hash_numeric_value) Ditto.
 414         (autorecode_proc_func) Ditto.
 415
 416 Sat May  6 10:43:33 2006  Ben Pfaff  <blp@gnu.org>
 417
 418         Continue reforming procedure execution.  In this phase, get rid of
 419         the output code for SPLIT FILE groups in procedure.c, which really
 420         shouldn't be doing any output.  Move it into the individual
 421         procedures instead.  This also adds some flexibility.
 422
 423         * crosstabs.q (precalc): Call output_split_file_values().
 424
 425         * descriptives.c (calc_descriptives): Ditto.
 426
 427         * examine.q (run_examine): Ditto.
 428
 429         * frequencies.q (precalc): Ditto.
 430
 431         * oneway.q (run_oneway): Ditto.
 432
 433         * regression.q (run_regression): Ditto.
 434
 435         * t-test.q (calculate): Ditto.
 436
 437 Wed May  3 23:05:31 2006  Ben Pfaff  <blp@gnu.org>
 438
 439         Continue reforming procedure execution.  In this phase, get rid of
 440         many global variables, consolidating procedure execution in
 441         procedure.c.  Encapsulate transformations in new "struct
 442         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 443         and PROCESS IF from special cases to transformations.
 444
 445         * aggregate.c (cmd_aggregate) Use discard_variables().
 446
 447 2006-04-28  Jason Stover  <jhs@math.gcsu.edu>
 448
 449         * regression.q (regression_trns_resid_proc): Pass only the
 450         variables used in the model to (*model->residual)().
 451
 452         * regression.q (regression_trns_pred_proc): Pass only the
 453         variables used in the model to (*model->pred)().
 454
 455 2006-04-26  Jason Stover  <jhs@math.gcsu.edu>
 456
 457         * regression.q: Added support for multiple transformations.
 458
 459         * regression.q (regression_trns_resid_proc): New function.
 460
 461         * regression.q (regression_trns_pred_proc): New function.
 462
 463         * regression.q (subcommand_save): Added support for saving
 464         predicted values.
 465
 466         * regression.q (regression_trns_free): New function.
 467
 468         * regression.q (reg_get_name): New function.
 469
 470         * regression.q (reg_save_var): New function.
 471
 472 Tue Apr 25 13:18:56 2006  Ben Pfaff  <blp@gnu.org>
 473
 474         * rank.q (parse_rank_function): Use SE instead of ME for parse
 475         errors.
 476
 477 Tue Apr 25 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 478
 479         * flip.c (flip_sink_write): Use snprintf() to simplify a bit of
 480         code.
 481
 482 2006-04-21  Jason Stover  <jhs@math.gcsu.edu>
 483
 484         * regression.q (try_name): New function. (Partly copied from
 485         try_name in descriptives.c.)
 486
 487         * regression.q (subcommand_save): Choose residual variable names
 488         correctly.
 489
 490 2006-04-20  Jason Stover  <jhs@math.gcsu.edu>
 491
 492         * regression.q (cmd_regression): Moved call to subcommand_save()
 493         outside multipass_procedure_with_splits().
 494
 495         * regression.q (regression_trns_proc): Fixed value counter n_vals
 496         before calling *model->residual().
 497
 498 2006-04-19  Jason Stover  <jhs@math.gcsu.edu>
 499
 500         * regression.q (regression_trns_proc): Fixed the look-up of the
 501         number of variables.
 502
 503 2006-04-18  Jason Stover  <jhs@math.gcsu.edu>
 504
 505         * regression.q (regression_trns_proc): Look up the residual
 506         variable in the linear regression cache.
 507
 508         * regression.q (subcommand_save): Set the residual variable in the
 509         linear regression cache.
 510
 511 2006-04-17  Jason Stover  <jason@wonko.gcsu.edu>
 512
 513         * regression.q (regression_trns_proc): Accept case_idx as an int
 514         to match the definition of trns_proc_func.
 515
 516 2006-04-17  Jason Stover  <jhs@math.gcsu.edu>
 517
 518         * regression.q (regression_trns_proc): New function.
 519
 520         * regression.q (subcommand_save): Create variable residuals and
 521         add a transformation to assign values to them. Also free the
 522         linreg_cache if the SAVE command was not called. Removed the
 523         casereading loop. Placed actual computation of residuals in
 524         regression_trns_proc.
 525
 526         * regression.q (run_regression): Moved call to free
 527         pspp_linreg_cache to subcommand_save.
 528
 529 Sat Apr 15 18:01:03 2006  Ben Pfaff  <blp@gnu.org>
 530
 531         * examine.q (output_examine): Add casts to fix warnings.
 532
 533 2006-04-07  Jason Stover  <jhs@math.gcsu.edu>
 534
 535         * regression.q (subcommand_save): New function.
 536
 537 2006-04-04  Jason Stover  <jhs@math.gcsu.edu>
 538
 539         * regression.q: New function reg_has_categorical () to tell
 540         whether a pspp_linreg_struct was made with any variables of type
 541         ALPHA.
 542
 543         * regression.q: (subcommand_export): Call
 544         reg_print_categorical_encoding() only if the model uses any
 545         categorical variables.
 546
 547 Mon Mar 27 16:00:42 2006  Ben Pfaff  <blp@gnu.org>
 548
 549         * crosstabs.q: (output_pivot_table) Drop spurious space from
 550         message.
 551
 552 2006-03-15  Jason Stover  <jhs@math.gcsu.edu>
 553
 554         * regression.q: Added custom syntax parser for VARIABLES subcommand
 555
 556         * regression.q: Moved most instructions for run_regression ()
 557         inside the loop over dependent variables.
 558
 559 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 560
 561         * Moved files from src directory