src/language/stats/ChangeLog

   1 2007-08-12  Ben Pfaff  <blp@gnu.org>
   2
   3         * flip.c: Drop use of dict_get_compacted_dict_index_to_case_index
   4         and just use the ordinary case indexes.  There seemed to be no
   5         reason for the former method.
   6
   7 2007-08-03  Ben Pfaff  <blp@gnu.org>
   8
   9         * rank.q (rank_cmd): Instead of sorting by SPLIT FILE vars, group
  10         by them.  Fixes bug #17239.
  11         Reviewed by John Darrington.
  12
  13 2007-08-01  Ben Pfaff  <blp@gnu.org>
  14
  15         Clean up handling of median, by treating it almost like any other
  16         percentile.  Fixes bug #17424.  Thanks to John Darrington for
  17         review.
  18         * frequencies.q (internal_cmd_frequencies): Fix handling of bit
  19         masks for `stats' variable.  If median is selected, turn it off
  20         and add a 50th percentile.
  21         (add_percentile): Simplify code a little.
  22         (calc_stats): Drop special casing of median.
  23         (dump_statistics): Ditto, except that we label the 50th percentile
  24         as "50 (Median)" to make it clear that it's also the median.
  25
  26 2007-07-31  Ben Pfaff  <blp@gnu.org>
  27
  28         Remove integer mode from FREQUENCIES and incidentally fix bug
  29         #17421.  Reviewed by John Darrington.
  30         * frequencies.q (int_pool): Rename data_pool.
  31         (gen_pool): Rename syntax_pool.
  32         (enum FRQM_*): Removed.
  33         (struct freq_tab): Removed `mode', `vector', `min', `max',
  34         `out_of_range', `sysmis' members.
  35         (calc): Delete support for integer mode.
  36         (precalc): Ditto.
  37         (postprocess_freq_tab): Ditto.
  38         (cleanup_freq_tab): Ditto.
  39         (frq_custom_variables): Ditto.
  40
  41 2007-07-28 John Darrington <john@darrington.wattle.id.au>
  42
  43         * t-test.q: Moved the order in which groups are displayed in the
  44         independent samples case, where a cut point is given.
  45
  46 2007-07-27  Ben Pfaff  <blp@gnu.org>
  47
  48         * regression.q (run_regression): Move casereader_destroy call so
  49         that it always gets called, not just if there was some valid
  50         data.  Fixes bug #19581.
  51         Reviewed by Jason Stover.
  52
  53 2007-07-24  Ben Pfaff  <blp@gnu.org>
  54
  55         * flip.c (struct flip_pgm): Remove `case_size' member (now
  56         unused).
  57         (cmd_flip): Pass var_cnt as number of cases instead of case_cnt,
  58         to fix bug #20494.  Don't assign to `case_size' member, which was
  59         unused after assignment.
  60         (build_dictionary): When NEWNAMES not used, get the number of
  61         variables right, to fix bug #20493.
  62
  63 2007-07-10  Jason Stover  <jhs@math.gcsu.edu>
  64
  65         * glm.q: Initial version of the GLM procedure.
  66
  67 2007-06-06  Ben Pfaff  <blp@gnu.org>
  68
  69         Adapt case sources, sinks, and clients of procedure code to the
  70         new infrastructure.
  71
  72         * aggregate.c: Simplify greatly since everything is more uniform
  73         now.
  74
  75         * autorecode.c: Adapt to new procedure code.
  76         * binomial.c: Ditto.
  77         * chisquare.c: Ditto.
  78         * crosstabs.q: Ditto.
  79         * descriptives.c: Ditto.
  80         * examine.q: Ditto.
  81         * npar-summary.c: Ditto.
  82         * frequencies.q: Ditto.
  83         * npar.q: Ditto.
  84         * oneway.q: Ditto.
  85         * regression.q: Ditto.
  86         * sort-cases.c: Ditto.
  87         * t-test.c: Ditto.
  88
  89         * sort-criteria.c: Rewrite to output a struct case_ordering.
  90
  91         * flip.c: Rewrite to be a casereader.
  92
  93         * rank.q: Simplify greatly since casereaders are much more
  94         flexible than what we had before.
  95
  96 2007-05-15  Jason Stover  <jhs@math.gcsu.edu>
  97
  98         * regression.q (run_regression): Tell the user when the data
  99         contain no valid cases.
 100
 101 2007-05-08  Jason Stover  <jhs@math.gcsu.edu>
 102
 103         * regression.q: Partial fix of bug which caused a crash if
 104         dependent variable and independent variable were the same.
 105
 106 2007-04-16 John Darrington <john@darrington.wattle.id.au>
 107
 108         * t-test.q: Changed the output width of reported counts and
 109         degrees of freedom, to avoid truncating these values.  Thanks
 110         to Seth Woolley for reporting this problem.  A proper fix involves
 111         re-thinking the output driver.
 112
 113 2007-04-12  Jason Stover  <jhs@math.gcsu.edu>
 114
 115         * regression.q (run_regression): Added if (n_data >0) to fix bug
 116         19581.
 117
 118 2007-03-29  Jason Stover  <jhs@math.gcsu.edu>
 119
 120         * regression.q (prepare_data): New function.
 121
 122         * regression.q (compute_moments): New function.
 123
 124 2007-03-18  Ben Pfaff  <blp@gnu.org>
 125
 126         * crosstabs.q (static var write): Rename write_style to avoid
 127         conflict with POSIX function of same name.
 128
 129 2007-03-16  Jason Stover  <jhs@math.gcsu.edu>
 130
 131         * regression.q (run_regression): Added support for moments.
 132
 133 Sat Feb 17 08:16:00 2007  Ben Pfaff  <blp@gnu.org>
 134
 135         * flip.c (flip_sink_create): Improve error message when temporary
 136         file cannot be created.
 137
 138 Tue Feb  6 19:58:03 2007  Ben Pfaff  <blp@gnu.org>
 139
 140         * flip.c (flip_file): Give better error message on end-of-file.
 141
 142 2007-02-04  Jason Stover  <jhs@math.gcsu.edu>
 143
 144         * regression.q: Fixed p-value computation in the test for
 145         individual regression coefficients.
 146
 147 Mon Jan 15 11:03:20 2007  Ben Pfaff  <blp@gnu.org>
 148
 149         Fix bugs found by valgrind when --enable-debug is used with the
 150         new case code.  These bugs are hidden when the data set is small
 151         enough to find in memory; if a bigger data set that would overflow
 152         to disk were used, then data corruption would occur.
 153
 154         * chisquare.c (create_freq_hash): Pass free_freq_mutable_hash to
 155         hsh_create as free function.  Make copy of data put into hash.
 156
 157         * oneway.q (free_value): New function.
 158         (run_oneway): Use free_value as arg to hsh_create.  Make copy of
 159         data put into hash.
 160
 161         * rank.q (rank_cases): Don't access data in case after we've given
 162         away the case.
 163
 164 Tue Jan  9 19:16:11 2007  Ben Pfaff  <blp@gnu.org>
 165
 166         Fix bug #18739.
 167
 168         * aggregate.c (parse_aggregate_functions) Initialize
 169         function_name.
 170
 171 Fri Dec 22 14:04:09 2006  Ben Pfaff  <blp@gnu.org>
 172
 173         Simplify missing value handling.
 174
 175         * aggregate.c (struct agr_var): Remove `bool include_missing', add
 176         `enum mv_class exclude'.  Remove `int missing', add `bool
 177         saw_missing'.  Update users.
 178
 179         * descriptives.c (struct dsc_trns): Removed `int
 180         include_user_missing', add `enum mv_class exclude'.  Update users.
 181         (struct dsc_proc): Ditto.
 182
 183         * examine.q: (static var value_is_missing): Rename
 184         `exclude_values', change type to `enum mv_class'.  Update users.
 185
 186         * rank.q: Ditto.
 187
 188 Fri Dec 22 19:22:18 WST 2006 John Darrington <john@darrington.wattle.id.au>
 189
 190         * frequencies.q : Fixed bug #17420, where the table bounds were overun
 191         when /FORMAT=nolabels was given.
 192
 193 Wed Dec 20 18:45:31 WST 2006 John Darrington <john@darrington.wattle.id.au>
 194
 195         * binomial.c binomial.h : New files.  Thanks to Jason Stover
 196           for assistance with these.
 197
 198         * chisquare.c chisquare.h freq.c freq.h npar-summary.c npar-summary.h
 199           npar.h npar.q: New files.  Implementing NPAR TESTS.
 200
 201         * frequencies.q  : Moved  structure definitions into freq.[ch]
 202
 203 Sat Dec 16 22:26:44 2006  Ben Pfaff  <blp@gnu.org>
 204
 205         Make it possible to pull cases from the active file with a
 206         function call, instead of requiring indirection through a callback
 207         function.
 208
 209         * aggregate.c (cmd_aggregate): Take advantage of new procedure
 210         interface.
 211         (agr_to_active_file): Removed.
 212         (presorted_agr_to_sysfile): Removed.
 213
 214         * autorecode.c (cmd_autorecode): Take advantage of new procedure
 215         interface.
 216         (autorecode_proc_func): Removed.
 217
 218         * flip.c (struct flip_pgm): New members to allow conformance with
 219         new case_source_class interface.
 220         (cmd_flip): Adapt to new case_source_class interface.
 221         (flip_source_read): Ditto.
 222         (flip_source_destroy): Ditto.
 223
 224 Sat Dec 16 12:54:27 2006  Ben Pfaff  <blp@gnu.org>
 225
 226         * rank.q (rank_custom_variables): Allow grouping variables to be
 227         strings.  Fixes bug #18533.  Thanks to John Darrington for review.
 228
 229 Sat Dec  9 18:47:51 2006  Ben Pfaff  <blp@gnu.org>
 230
 231         * regression.q (is_depvar): Compare variable pointers instead of
 232         variable names.
 233
 234 Thu Dec  7 15:26:25 WST 2006 John Darrington <john@darrington.wattle.id.au>
 235
 236         * examine.q: Allocated the categorical values for the dependent and
 237         independent variables, on the heap.  Hence they can be of any width.
 238
 239 Wed Dec  6 21:14:26 2006  Ben Pfaff  <blp@gnu.org>
 240
 241         * regression.q (reg_inserted): Compare variable pointers instead
 242         of variable indexes.
 243
 244 Mon Dec  4 22:33:46 2006  Ben Pfaff  <blp@gnu.org>
 245
 246         * crosstabs.q (insert_summary): Use var_to_string for labeling.
 247         (output_pivot_table) Ditto.
 248         (submit) Ditto.
 249
 250         * frequencies.q (setup_z_trns): Ditto.
 251         (dump_full) Ditto.
 252         (dump_condensed) Ditto.
 253         (dump_statistics) Ditto.
 254
 255
 256 Sun Nov  5 08:31:42 WST 2006 John Darrington <john@darrington.wattle.id.au>
 257
 258         * t-test.q, oneway.q: Changed to use the new casefilter structure.
 259
 260 Sat Oct 14 16:52:28 2006  Ben Pfaff  <blp@gnu.org>
 261
 262         * rank.q: (rank_sorted_casefile) Add some missing case_destroy()
 263         calls to fix a memory leak.
 264
 265 Sun Oct  8 09:45:40 WST 2006 John Darrington <john@darrington.wattle.id.au>
 266
 267         * rank.q: Plugged a small memory leak which occurred under error
 268         conditions.
 269
 270 Sat Oct  7 11:06:01 WST 2006 John Darrington <john@darrington.wattle.id.au>
 271
 272         * rank.q: Implemented most of the RANK command.
 273
 274 2006-07-14  Jason Stover  <jhs@math.gcsu.edu>
 275
 276         * regression.q (run_regression): New function to move knowledge of
 277         pspp_linreg_cache out of math/coefficient.[ch].
 278
 279 Sat Jul  1 17:41:46 2006  Ben Pfaff  <blp@gnu.org>
 280
 281         Fix bug #11612, "q2c documentation does not agree with code".
 282
 283         * examine.q: Audit use of q2c "+" prefixes that indicate that a
 284         command may appear multiple times.
 285
 286         * frequencies.q: Ditto.
 287
 288         * oneway.q: Ditto.
 289
 290         * regression.q: Ditto.
 291
 292         * t-test.q: Ditto.
 293
 294 Fri Jun 23 14:18:22 2006  Ben Pfaff  <blp@gnu.org>
 295
 296         Support long string variables on FREQUENCIES, as
 297         an extension when in enhanced algorithms mode.  For Greg Hunt
 298         <greg@firmansyah.com>.
 299
 300         * frequencies.q: (struct freq) Change `v' member from union value
 301         to union value *.  Update all references.
 302         (struct var_freqs) Add width, print members to represent effective
 303         variable width and display format.
 304         (calc) Copy entire long string value into the hash table.
 305         (frq_custom_variables) Set new width, print members.
 306         (hash_value_alpha) Get width from var_freqs.
 307         (compare_value_alpha_a) Ditto.
 308         (compare_freq_alpha_a) Ditto.
 309         (compare_freq_alpha_d) Ditto.
 310         (dump_full) Get display format from var_freqs.
 311         (dump_condensed) Ditto.
 312
 313 Mon Jun 19 22:07:13 2006  Ben Pfaff  <blp@gnu.org>
 314
 315         * frequencies.q: (dump_full) Only put the first MAX_SHORT_STRING
 316         bytes of string variables into the output cells, seeing as we only
 317         copy that many.
 318         (dump_condensed) Ditto.
 319
 320 Mon Jun 19 21:52:05 2006  Ben Pfaff  <blp@gnu.org>
 321
 322         Fixes a bug reported by Greg Hunt <greg@firmansyah.com>.
 323
 324         * frequencies.q: (hsh_hash_bytes) We only copy the first
 325         MAX_SHORT_STRING bytes of string variables, so we must only
 326         compare that many bytes, even if the string variable is longer.
 327         (compare_value_alpha_a) Ditto.
 328         (compare_freq_alpha_a) Ditto.
 329         (compare_freq_alpha_d) Ditto.
 330
 331 2006-05-11  Jason Stover  <jhs@math.gcsu.edu>
 332
 333         * regression.q: Adjusted code to account for cache->coeff being a
 334         pspp_linreg_coeff **.
 335
 336 Sun May  7 18:31:25 2006  Ben Pfaff  <blp@gnu.org>
 337
 338         Fix memory leak.
 339
 340         * aggregate.c (cmd_aggregate): Free default_dict before replacing
 341         it.
 342
 343 Sun May  7 17:09:19 2006  Ben Pfaff  <blp@gnu.org>
 344
 345         * flip.c (flip_file): Check return value of pool_fclose().
 346
 347 Sat May  6 16:00:13 2006  Ben Pfaff  <blp@gnu.org>
 348
 349         Get rid of `char *c' member in union value, for cleanliness.
 350
 351         * aggregate.c: (union agr_argument) New union.
 352         (struct agr_var) Change element type of arg[] from union value to
 353         union agr_argument.
 354         (parse_aggregate_functions) Change local variable types likewise.
 355
 356         * autorecode.c: (union arc_value) New union.
 357         (struct arc_item) Change "from" from union value to union
 358         arc_value.
 359         (recode) Change local variable from union value to union
 360         arc_value.
 361         (autorecode_trns_proc) Ditto.
 362         (compare_alpha_value) Ditto.
 363         (hash_alpha_value) Ditto.
 364         (compare_numeric_value) Ditto.
 365         (hash_numeric_value) Ditto.
 366         (autorecode_proc_func) Ditto.
 367
 368 Sat May  6 10:43:33 2006  Ben Pfaff  <blp@gnu.org>
 369
 370         Continue reforming procedure execution.  In this phase, get rid of
 371         the output code for SPLIT FILE groups in procedure.c, which really
 372         shouldn't be doing any output.  Move it into the individual
 373         procedures instead.  This also adds some flexibility.
 374
 375         * crosstabs.q (precalc): Call output_split_file_values().
 376
 377         * descriptives.c (calc_descriptives): Ditto.
 378
 379         * examine.q (run_examine): Ditto.
 380
 381         * frequencies.q (precalc): Ditto.
 382
 383         * oneway.q (run_oneway): Ditto.
 384
 385         * regression.q (run_regression): Ditto.
 386
 387         * t-test.q (calculate): Ditto.
 388
 389 Wed May  3 23:05:31 2006  Ben Pfaff  <blp@gnu.org>
 390
 391         Continue reforming procedure execution.  In this phase, get rid of
 392         many global variables, consolidating procedure execution in
 393         procedure.c.  Encapsulate transformations in new "struct
 394         trns_chain".  Also, change implementation of N OF CASES, FILTER,
 395         and PROCESS IF from special cases to transformations.
 396
 397         * aggregate.c (cmd_aggregate) Use discard_variables().
 398
 399 2006-04-28  Jason Stover  <jhs@math.gcsu.edu>
 400
 401         * regression.q (regression_trns_resid_proc): Pass only the
 402         variables used in the model to (*model->residual)().
 403
 404         * regression.q (regression_trns_pred_proc): Pass only the
 405         variables used in the model to (*model->pred)().
 406
 407 2006-04-26  Jason Stover  <jhs@math.gcsu.edu>
 408
 409         * regression.q: Added support for multiple transformations.
 410
 411         * regression.q (regression_trns_resid_proc): New function.
 412
 413         * regression.q (regression_trns_pred_proc): New function.
 414
 415         * regression.q (subcommand_save): Added support for saving
 416         predicted values.
 417
 418         * regression.q (regression_trns_free): New function.
 419
 420         * regression.q (reg_get_name): New function.
 421
 422         * regression.q (reg_save_var): New function.
 423
 424 Tue Apr 25 13:18:56 2006  Ben Pfaff  <blp@gnu.org>
 425
 426         * rank.q (parse_rank_function): Use SE instead of ME for parse
 427         errors.
 428
 429 Tue Apr 25 13:16:28 2006  Ben Pfaff  <blp@gnu.org>
 430
 431         * flip.c (flip_sink_write): Use snprintf() to simplify a bit of
 432         code.
 433
 434 2006-04-21  Jason Stover  <jhs@math.gcsu.edu>
 435
 436         * regression.q (try_name): New function. (Partly copied from
 437         try_name in descriptives.c.)
 438
 439         * regression.q (subcommand_save): Choose residual variable names
 440         correctly.
 441
 442 2006-04-20  Jason Stover  <jhs@math.gcsu.edu>
 443
 444         * regression.q (cmd_regression): Moved call to subcommand_save()
 445         outside multipass_procedure_with_splits().
 446
 447         * regression.q (regression_trns_proc): Fixed value counter n_vals
 448         before calling *model->residual().
 449
 450 2006-04-19  Jason Stover  <jhs@math.gcsu.edu>
 451
 452         * regression.q (regression_trns_proc): Fixed the look-up of the
 453         number of variables.
 454
 455 2006-04-18  Jason Stover  <jhs@math.gcsu.edu>
 456
 457         * regression.q (regression_trns_proc): Look up the residual
 458         variable in the linear regression cache.
 459
 460         * regression.q (subcommand_save): Set the residual variable in the
 461         linear regression cache.
 462
 463 2006-04-17  Jason Stover  <jason@wonko.gcsu.edu>
 464
 465         * regression.q (regression_trns_proc): Accept case_idx as an int
 466         to match the definition of trns_proc_func.
 467
 468 2006-04-17  Jason Stover  <jhs@math.gcsu.edu>
 469
 470         * regression.q (regression_trns_proc): New function.
 471
 472         * regression.q (subcommand_save): Create variable residuals and
 473         add a transformation to assign values to them. Also free the
 474         linreg_cache if the SAVE command was not called. Removed the
 475         casereading loop. Placed actual computation of residuals in
 476         regression_trns_proc.
 477
 478         * regression.q (run_regression): Moved call to free
 479         pspp_linreg_cache to subcommand_save.
 480
 481 Sat Apr 15 18:01:03 2006  Ben Pfaff  <blp@gnu.org>
 482
 483         * examine.q (output_examine): Add casts to fix warnings.
 484
 485 2006-04-07  Jason Stover  <jhs@math.gcsu.edu>
 486
 487         * regression.q (subcommand_save): New function.
 488
 489 2006-04-04  Jason Stover  <jhs@math.gcsu.edu>
 490
 491         * regression.q: New function reg_has_categorical () to tell
 492         whether a pspp_linreg_struct was made with any variables of type
 493         ALPHA.
 494
 495         * regression.q: (subcommand_export): Call
 496         reg_print_categorical_encoding() only if the model uses any
 497         categorical variables.
 498
 499 Mon Mar 27 16:00:42 2006  Ben Pfaff  <blp@gnu.org>
 500
 501         * crosstabs.q: (output_pivot_table) Drop spurious space from
 502         message.
 503
 504 2006-03-15  Jason Stover  <jhs@math.gcsu.edu>
 505
 506         * regression.q: Added custom syntax parser for VARIABLES subcommand
 507
 508         * regression.q: Moved most instructions for run_regression ()
 509         inside the loop over dependent variables.
 510
 511 Thu Mar  2 08:40:33 WST 2006 John Darrington <john@darrington.wattle.id.au>
 512
 513         * Moved files from src directory