src/language/stats/t-test.q

   1 /* PSPP - computes sample statistics. -*-c-*-
   2
   3    Copyright (C) 1997-9, 2000 Free Software Foundation, Inc.
   4    Written by John Williams <johnr.williams@stonebow.otago.ac.nz>.
   5    Almost completly re-written by John Darrington 2004
   6
   7    This program is free software; you can redistribute it and/or
   8    modify it under the terms of the GNU General Public License as
   9    published by the Free Software Foundation; either version 2 of the
  10    License, or (at your option) any later version.
  11
  12    This program is distributed in the hope that it will be useful, but
  13    WITHOUT ANY WARRANTY; without even the implied warranty of
  14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15    General Public License for more details.
  16
  17    You should have received a copy of the GNU General Public License
  18    along with this program; if not, write to the Free Software
  19    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
  20    02110-1301, USA. */
  21
  22 #include <config.h>
  23
  24 #include <gsl/gsl_cdf.h>
  25 #include <math.h>
  26 #include <stdio.h>
  27 #include <stdlib.h>
  28
  29 #include <data/case.h>
  30 #include <data/casefile.h>
  31 #include <data/dictionary.h>
  32 #include <data/procedure.h>
  33 #include <data/value-labels.h>
  34 #include <data/variable.h>
  35 #include <data/casefilter.h>
  36
  37 #include <language/command.h>
  38 #include <language/dictionary/split-file.h>
  39 #include <language/lexer/lexer.h>
  40 #include <libpspp/alloc.h>
  41 #include <libpspp/assertion.h>
  42 #include <libpspp/compiler.h>
  43 #include <libpspp/hash.h>
  44 #include <libpspp/magic.h>
  45 #include <libpspp/message.h>
  46 #include <libpspp/message.h>
  47 #include <libpspp/misc.h>
  48 #include <libpspp/str.h>
  49 #include <math/group-proc.h>
  50 #include <math/levene.h>
  51 #include <output/manager.h>
  52 #include <output/table.h>
  53
  54 #include "size_max.h"
  55
  56 #include "gettext.h"
  57 #define _(msgid) gettext (msgid)
  58
  59 /* (headers) */
  60
  61 /* (specification)
  62    "T-TEST" (tts_):
  63      +groups=custom;
  64      testval=double;
  65      +variables=varlist("PV_NO_SCRATCH | PV_NUMERIC");
  66      +pairs=custom;
  67      missing=miss:!analysis/listwise,
  68             incl:include/!exclude;
  69      +format=fmt:!labels/nolabels;
  70      criteria=:cin(d:criteria,"%s > 0. && %s < 1.").
  71 */
  72 /* (declarations) */
  73 /* (functions) */
  74
  75
  76 /* Variable for the GROUPS subcommand, if given. */
  77 static struct variable *indep_var;
  78
  79 enum comparison
  80   {
  81     CMP_LE = -2,
  82     CMP_EQ = 0,
  83   };
  84
  85 struct group_properties
  86 {
  87   /* The comparison criterion */
  88   enum comparison criterion;
  89
  90   /* The width of the independent variable */
  91   int indep_width ;
  92
  93   union {
  94     /* The value of the independent variable at which groups are determined to
  95        belong to one group or the other */
  96     double critical_value;
  97
  98
  99     /* The values of the independent variable for each group */
 100     union value g_value[2];
 101   } v ;
 102
 103 };
 104
 105
 106 static struct group_properties gp ;
 107
 108
 109
 110 /* PAIRS: Number of pairs to be compared ; each pair. */
 111 static int n_pairs = 0 ;
 112 struct pair
 113 {
 114   /* The variables comprising the pair */
 115   struct variable *v[2];
 116
 117   /* The number of valid variable pairs */
 118   double n;
 119
 120   /* The sum of the members */
 121   double sum[2];
 122
 123   /* sum of squares of the members */
 124   double ssq[2];
 125
 126   /* Std deviation of the members */
 127   double std_dev[2];
 128
 129
 130   /* Sample Std deviation of the members */
 131   double s_std_dev[2];
 132
 133   /* The means of the members */
 134   double mean[2];
 135
 136   /* The correlation coefficient between the variables */
 137   double correlation;
 138
 139   /* The sum of the differences */
 140   double sum_of_diffs;
 141
 142   /* The sum of the products */
 143   double sum_of_prod;
 144
 145   /* The mean of the differences */
 146   double mean_diff;
 147
 148   /* The sum of the squares of the differences */
 149   double ssq_diffs;
 150
 151   /* The std deviation of the differences */
 152   double std_dev_diff;
 153 };
 154
 155 static struct pair *pairs=0;
 156
 157 static int parse_value (struct lexer *lexer, union value * v, enum var_type);
 158
 159 /* Structures and Functions for the Statistics Summary Box */
 160 struct ssbox;
 161 typedef void populate_ssbox_func(struct ssbox *ssb,
 162                                             struct cmd_t_test *cmd);
 163 typedef void finalize_ssbox_func(struct ssbox *ssb);
 164
 165 struct ssbox
 166 {
 167   struct tab_table *t;
 168
 169   populate_ssbox_func *populate;
 170   finalize_ssbox_func *finalize;
 171
 172 };
 173
 174 /* Create a ssbox */
 175 void ssbox_create(struct ssbox *ssb,   struct cmd_t_test *cmd, int mode);
 176
 177 /* Populate a ssbox according to cmd */
 178 void ssbox_populate(struct ssbox *ssb, struct cmd_t_test *cmd);
 179
 180 /* Submit and destroy a ssbox */
 181 void ssbox_finalize(struct ssbox *ssb);
 182
 183 /* A function to create, populate and submit the Paired Samples Correlation
 184    box */
 185 void pscbox(void);
 186
 187
 188 /* Structures and Functions for the Test Results Box */
 189 struct trbox;
 190
 191 typedef void populate_trbox_func(struct trbox *trb,
 192                                  struct cmd_t_test *cmd);
 193 typedef void finalize_trbox_func(struct trbox *trb);
 194
 195 struct trbox {
 196   struct tab_table *t;
 197   populate_trbox_func *populate;
 198   finalize_trbox_func *finalize;
 199 };
 200
 201 /* Create a trbox */
 202 void trbox_create(struct trbox *trb,   struct cmd_t_test *cmd, int mode);
 203
 204 /* Populate a ssbox according to cmd */
 205 void trbox_populate(struct trbox *trb, struct cmd_t_test *cmd);
 206
 207 /* Submit and destroy a ssbox */
 208 void trbox_finalize(struct trbox *trb);
 209
 210 /* Which mode was T-TEST invoked */
 211 enum {
 212   T_1_SAMPLE = 0 ,
 213   T_IND_SAMPLES,
 214   T_PAIRED
 215 };
 216
 217
 218 static int common_calc (const struct dictionary *dict,
 219                         const struct ccase *, void *,
 220                         const struct casefilter *filter);
 221 static void common_precalc (struct cmd_t_test *);
 222 static void common_postcalc (struct cmd_t_test *);
 223
 224 static int one_sample_calc (const struct dictionary *dict, const struct ccase *, void *, const struct casefilter *);
 225 static void one_sample_precalc (struct cmd_t_test *);
 226 static void one_sample_postcalc (struct cmd_t_test *);
 227
 228 static int  paired_calc (const struct dictionary *dict, const struct ccase *,
 229                          struct cmd_t_test*, const struct casefilter *);
 230 static void paired_precalc (struct cmd_t_test *);
 231 static void paired_postcalc (struct cmd_t_test *);
 232
 233 static void group_precalc (struct cmd_t_test *);
 234 static int  group_calc (const struct dictionary *dict, const struct ccase *,
 235                         struct cmd_t_test *, const struct casefilter *);
 236 static void group_postcalc (struct cmd_t_test *);
 237
 238
 239 static bool calculate(const struct ccase *first,
 240                       const struct casefile *cf, void *_mode,
 241                       const struct dataset *ds);
 242
 243 static  int mode;
 244
 245 static struct cmd_t_test cmd;
 246
 247 static bool bad_weight_warn = false;
 248
 249
 250 static int compare_group_binary(const struct group_statistics *a,
 251                                 const struct group_statistics *b,
 252                                 const struct group_properties *p);
 253
 254
 255 static unsigned  hash_group_binary(const struct group_statistics *g,
 256                                    const struct group_properties *p);
 257
 258
 259
 260 int
 261 cmd_t_test (struct lexer *lexer, struct dataset *ds)
 262 {
 263   bool ok;
 264
 265   if ( !parse_t_test (lexer, ds, &cmd, NULL) )
 266     return CMD_FAILURE;
 267
 268   if (! cmd.sbc_criteria)
 269     cmd.criteria=0.95;
 270
 271   {
 272     int m=0;
 273     if (cmd.sbc_testval) ++m;
 274     if (cmd.sbc_groups) ++m;
 275     if (cmd.sbc_pairs) ++m;
 276
 277     if ( m != 1)
 278       {
 279         msg(SE,
 280             _("TESTVAL, GROUPS and PAIRS subcommands are mutually exclusive.")
 281             );
 282         free_t_test(&cmd);
 283         return CMD_FAILURE;
 284       }
 285   }
 286
 287   if (cmd.sbc_testval)
 288     mode=T_1_SAMPLE;
 289   else if (cmd.sbc_groups)
 290     mode=T_IND_SAMPLES;
 291   else
 292     mode=T_PAIRED;
 293
 294   if ( mode == T_PAIRED)
 295     {
 296       if (cmd.sbc_variables)
 297         {
 298           msg(SE, _("VARIABLES subcommand is not appropriate with PAIRS"));
 299           free_t_test(&cmd);
 300           return CMD_FAILURE;
 301         }
 302       else
 303         {
 304           /* Iterate through the pairs and put each variable that is a
 305              member of a pair into cmd.v_variables */
 306
 307           int i;
 308           struct hsh_iterator hi;
 309           struct hsh_table *hash;
 310           struct variable *v;
 311
 312           hash = hsh_create (n_pairs, compare_vars_by_name, hash_var_by_name,
 313           0, 0);
 314
 315           for (i=0; i < n_pairs; ++i)
 316             {
 317               hsh_insert(hash,pairs[i].v[0]);
 318               hsh_insert(hash,pairs[i].v[1]);
 319             }
 320
 321           assert(cmd.n_variables == 0);
 322           cmd.n_variables = hsh_count(hash);
 323
 324           cmd.v_variables = xnrealloc (cmd.v_variables, cmd.n_variables,
 325                                        sizeof *cmd.v_variables);
 326           /* Iterate through the hash */
 327           for (i=0,v = (struct variable *) hsh_first(hash,&hi);
 328                v != 0;
 329                v=hsh_next(hash,&hi) )
 330             cmd.v_variables[i++]=v;
 331
 332           hsh_destroy(hash);
 333         }
 334     }
 335   else if ( !cmd.sbc_variables)
 336     {
 337       msg(SE, _("One or more VARIABLES must be specified."));
 338       free_t_test(&cmd);
 339       return CMD_FAILURE;
 340     }
 341
 342   bad_weight_warn = true;
 343
 344   ok = multipass_procedure_with_splits (ds, calculate, &cmd);
 345
 346   n_pairs=0;
 347   free(pairs);
 348   pairs=0;
 349
 350   if ( mode == T_IND_SAMPLES)
 351     {
 352       int v;
 353       /* Destroy any group statistics we created */
 354       for (v = 0 ; v < cmd.n_variables ; ++v )
 355         {
 356           struct group_proc *grpp = group_proc_get (cmd.v_variables[v]);
 357           hsh_destroy (grpp->group_hash);
 358         }
 359     }
 360
 361   free_t_test(&cmd);
 362   return ok ? CMD_SUCCESS : CMD_CASCADING_FAILURE;
 363 }
 364
 365 static int
 366 tts_custom_groups (struct lexer *lexer, struct dataset *ds, struct cmd_t_test *cmd UNUSED, void *aux UNUSED)
 367 {
 368   int n_group_values=0;
 369
 370   lex_match (lexer, '=');
 371
 372   indep_var = parse_variable (lexer, dataset_dict (ds));
 373   if (!indep_var)
 374     {
 375       lex_error (lexer, "expecting variable name in GROUPS subcommand");
 376       return 0;
 377     }
 378
 379   if (var_is_long_string (indep_var))
 380     {
 381       msg (SE, _("Long string variable %s is not valid here."),
 382            var_get_name (indep_var));
 383       return 0;
 384     }
 385
 386   if (!lex_match (lexer, '('))
 387     {
 388       if (var_is_numeric (indep_var))
 389         {
 390           gp.v.g_value[0].f = 1;
 391           gp.v.g_value[1].f = 2;
 392
 393           gp.criterion = CMP_EQ;
 394
 395           n_group_values = 2;
 396
 397           return 1;
 398         }
 399       else
 400         {
 401           msg (SE, _("When applying GROUPS to a string variable, two "
 402                      "values must be specified."));
 403           return 0;
 404         }
 405     }
 406
 407   if (!parse_value (lexer, &gp.v.g_value[0], var_get_type (indep_var)))
 408       return 0;
 409
 410   lex_match (lexer, ',');
 411   if (lex_match (lexer, ')'))
 412     {
 413       if (var_is_alpha (indep_var))
 414         {
 415           msg (SE, _("When applying GROUPS to a string variable, two "
 416                      "values must be specified."));
 417           return 0;
 418         }
 419       gp.criterion = CMP_LE;
 420       gp.v.critical_value = gp.v.g_value[0].f;
 421
 422       n_group_values = 1;
 423       return 1;
 424     }
 425
 426   if (!parse_value (lexer, &gp.v.g_value[1], var_get_type (indep_var)))
 427     return 0;
 428
 429   n_group_values = 2;
 430   if (!lex_force_match (lexer, ')'))
 431     return 0;
 432
 433   if ( n_group_values == 2 )
 434     gp.criterion = CMP_EQ ;
 435   else
 436     gp.criterion = CMP_LE ;
 437
 438
 439   return 1;
 440 }
 441
 442
 443 static int
 444 tts_custom_pairs (struct lexer *lexer, struct dataset *ds, struct cmd_t_test *cmd UNUSED, void *aux UNUSED)
 445 {
 446   struct variable **vars;
 447   size_t n_vars;
 448   size_t n_pairs_local;
 449
 450   size_t n_before_WITH;
 451   size_t n_after_WITH = SIZE_MAX;
 452   int paired ; /* Was the PAIRED keyword given ? */
 453
 454   lex_match (lexer, '=');
 455
 456   n_vars=0;
 457   if (!parse_variables (lexer, dataset_dict (ds), &vars, &n_vars,
 458                         PV_DUPLICATE | PV_NUMERIC | PV_NO_SCRATCH))
 459     {
 460       free (vars);
 461       return 0;
 462     }
 463   assert (n_vars);
 464
 465   n_before_WITH = 0;
 466   if (lex_match (lexer, T_WITH))
 467     {
 468       n_before_WITH = n_vars;
 469       if (!parse_variables (lexer, dataset_dict (ds), &vars, &n_vars,
 470                             PV_DUPLICATE | PV_APPEND
 471                             | PV_NUMERIC | PV_NO_SCRATCH))
 472         {
 473           free (vars);
 474           return 0;
 475         }
 476       n_after_WITH = n_vars - n_before_WITH;
 477     }
 478
 479   paired = (lex_match (lexer, '(') && lex_match_id (lexer, "PAIRED") && lex_match (lexer, ')'));
 480
 481   /* Determine the number of pairs needed */
 482   if (paired)
 483     {
 484       if (n_before_WITH != n_after_WITH)
 485         {
 486           free (vars);
 487           msg (SE, _("PAIRED was specified but the number of variables "
 488                      "preceding WITH (%d) did not match the number "
 489                      "following (%d)."),
 490                n_before_WITH, n_after_WITH );
 491           return 0;
 492         }
 493       n_pairs_local = n_before_WITH;
 494     }
 495   else if (n_before_WITH > 0) /* WITH keyword given, but not PAIRED keyword */
 496     {
 497       n_pairs_local = n_before_WITH * n_after_WITH ;
 498     }
 499   else /* Neither WITH nor PAIRED keyword given */
 500     {
 501       if (n_vars < 2)
 502         {
 503           free (vars);
 504           msg (SE, _("At least two variables must be specified "
 505                      "on PAIRS."));
 506           return 0;
 507         }
 508
 509       /* how many ways can you pick 2 from n_vars ? */
 510       n_pairs_local = n_vars * (n_vars - 1) / 2;
 511     }
 512
 513
 514   /* Allocate storage for the pairs */
 515   pairs = xnrealloc (pairs, n_pairs + n_pairs_local, sizeof *pairs);
 516
 517   /* Populate the pairs with the appropriate variables */
 518   if ( paired )
 519     {
 520       int i;
 521
 522       assert(n_pairs_local == n_vars / 2);
 523       for (i = 0; i < n_pairs_local; ++i)
 524         {
 525           pairs[i].v[n_pairs] = vars[i];
 526           pairs[i].v[n_pairs + 1] = vars[i + n_pairs_local];
 527         }
 528     }
 529   else if (n_before_WITH > 0) /* WITH keyword given, but not PAIRED keyword */
 530     {
 531       int i,j;
 532       size_t p = n_pairs;
 533
 534       for(i=0 ; i < n_before_WITH ; ++i )
 535         {
 536           for(j=0 ; j < n_after_WITH ; ++j)
 537             {
 538               pairs[p].v[0] = vars[i];
 539               pairs[p].v[1] = vars[j+n_before_WITH];
 540               ++p;
 541             }
 542         }
 543     }
 544   else /* Neither WITH nor PAIRED given */
 545     {
 546       size_t i,j;
 547       size_t p=n_pairs;
 548
 549       for(i=0 ; i < n_vars ; ++i )
 550         {
 551           for(j=i+1 ; j < n_vars ; ++j)
 552             {
 553               pairs[p].v[0] = vars[i];
 554               pairs[p].v[1] = vars[j];
 555               ++p;
 556             }
 557         }
 558     }
 559
 560   n_pairs+=n_pairs_local;
 561
 562   free (vars);
 563   return 1;
 564 }
 565
 566 /* Parses the current token (numeric or string, depending on type)
 567     value v and returns success. */
 568 static int
 569 parse_value (struct lexer *lexer, union value * v, enum var_type type)
 570 {
 571   if (type == VAR_NUMERIC)
 572     {
 573       if (!lex_force_num (lexer))
 574         return 0;
 575       v->f = lex_tokval (lexer);
 576     }
 577   else
 578     {
 579       if (!lex_force_string (lexer))
 580         return 0;
 581       strncpy (v->s, ds_cstr (lex_tokstr (lexer)), ds_length (lex_tokstr (lexer)));
 582     }
 583
 584   lex_get (lexer);
 585
 586   return 1;
 587 }
 588
 589
 590 /* Implementation of the SSBOX object */
 591
 592 void ssbox_base_init(struct ssbox *this, int cols,int rows);
 593
 594 void ssbox_base_finalize(struct ssbox *ssb);
 595
 596 void ssbox_one_sample_init(struct ssbox *this,
 597                            struct cmd_t_test *cmd );
 598
 599 void ssbox_independent_samples_init(struct ssbox *this,
 600                                     struct cmd_t_test *cmd);
 601
 602 void ssbox_paired_init(struct ssbox *this,
 603                            struct cmd_t_test *cmd);
 604
 605
 606 /* Factory to create an ssbox */
 607 void
 608 ssbox_create(struct ssbox *ssb, struct cmd_t_test *cmd, int mode)
 609 {
 610     switch (mode)
 611       {
 612       case T_1_SAMPLE:
 613         ssbox_one_sample_init(ssb,cmd);
 614         break;
 615       case T_IND_SAMPLES:
 616         ssbox_independent_samples_init(ssb,cmd);
 617         break;
 618       case T_PAIRED:
 619         ssbox_paired_init(ssb,cmd);
 620         break;
 621       default:
 622         NOT_REACHED ();
 623       }
 624 }
 625
 626
 627
 628 /* Despatcher for the populate method */
 629 void
 630 ssbox_populate(struct ssbox *ssb,struct cmd_t_test *cmd)
 631 {
 632   ssb->populate(ssb,cmd);
 633 }
 634
 635
 636 /* Despatcher for finalize */
 637 void
 638 ssbox_finalize(struct ssbox *ssb)
 639 {
 640   ssb->finalize(ssb);
 641 }
 642
 643
 644 /* Submit the box and clear up */
 645 void
 646 ssbox_base_finalize(struct ssbox *ssb)
 647 {
 648   tab_submit(ssb->t);
 649 }
 650
 651
 652
 653 /* Initialize a ssbox struct */
 654 void
 655 ssbox_base_init(struct ssbox *this, int cols,int rows)
 656 {
 657   this->finalize = ssbox_base_finalize;
 658   this->t = tab_create (cols, rows, 0);
 659
 660   tab_columns (this->t, SOM_COL_DOWN, 1);
 661   tab_headers (this->t,0,0,1,0);
 662   tab_box (this->t, TAL_2, TAL_2, TAL_0, TAL_1, 0, 0, cols -1, rows -1 );
 663   tab_hline(this->t, TAL_2,0,cols-1,1);
 664   tab_dim (this->t, tab_natural_dimensions);
 665 }
 666
 667 void  ssbox_one_sample_populate(struct ssbox *ssb,
 668                               struct cmd_t_test *cmd);
 669
 670 /* Initialize the one_sample ssbox */
 671 void
 672 ssbox_one_sample_init(struct ssbox *this,
 673                            struct cmd_t_test *cmd )
 674 {
 675   const int hsize=5;
 676   const int vsize=cmd->n_variables+1;
 677
 678   this->populate = ssbox_one_sample_populate;
 679
 680   ssbox_base_init(this, hsize,vsize);
 681   tab_title (this->t, _("One-Sample Statistics"));
 682   tab_vline(this->t, TAL_2, 1,0,vsize - 1);
 683   tab_text (this->t, 1, 0, TAB_CENTER | TAT_TITLE, _("N"));
 684   tab_text (this->t, 2, 0, TAB_CENTER | TAT_TITLE, _("Mean"));
 685   tab_text (this->t, 3, 0, TAB_CENTER | TAT_TITLE, _("Std. Deviation"));
 686   tab_text (this->t, 4, 0, TAB_CENTER | TAT_TITLE, _("SE. Mean"));
 687 }
 688
 689 void ssbox_independent_samples_populate(struct ssbox *ssb,
 690                                         struct cmd_t_test *cmd);
 691
 692 /* Initialize the independent samples ssbox */
 693 void
 694 ssbox_independent_samples_init(struct ssbox *this,
 695         struct cmd_t_test *cmd)
 696 {
 697   int hsize=6;
 698   int vsize = cmd->n_variables*2 +1;
 699
 700   this->populate = ssbox_independent_samples_populate;
 701
 702   ssbox_base_init(this, hsize,vsize);
 703   tab_vline (this->t, TAL_GAP, 1, 0,vsize - 1);
 704   tab_title (this->t, _("Group Statistics"));
 705   tab_text (this->t, 1, 0, TAB_CENTER | TAT_TITLE, var_get_name (indep_var));
 706   tab_text (this->t, 2, 0, TAB_CENTER | TAT_TITLE, _("N"));
 707   tab_text (this->t, 3, 0, TAB_CENTER | TAT_TITLE, _("Mean"));
 708   tab_text (this->t, 4, 0, TAB_CENTER | TAT_TITLE, _("Std. Deviation"));
 709   tab_text (this->t, 5, 0, TAB_CENTER | TAT_TITLE, _("SE. Mean"));
 710 }
 711
 712
 713 /* Populate the ssbox for independent samples */
 714 void
 715 ssbox_independent_samples_populate(struct ssbox *ssb,
 716                               struct cmd_t_test *cmd)
 717 {
 718   int i;
 719
 720   const char *val_lab0;
 721   const char *val_lab1;
 722   double indep_value[2];
 723
 724   char prefix[2][3]={"",""};
 725
 726   if ( var_is_numeric (indep_var) )
 727     {
 728       val_lab0 = var_lookup_value_label (indep_var, &gp.v.g_value[0]);
 729       val_lab1 = var_lookup_value_label (indep_var, &gp.v.g_value[1]);
 730     }
 731   else
 732     {
 733       val_lab0 = gp.v.g_value[0].s;
 734       val_lab1 = gp.v.g_value[1].s;
 735     }
 736
 737   if (gp.criterion == CMP_LE )
 738     {
 739       strcpy(prefix[0],"< ");
 740       strcpy(prefix[1],">=");
 741       indep_value[0] = gp.v.critical_value;
 742       indep_value[1] = gp.v.critical_value;
 743     }
 744   else
 745     {
 746       indep_value[0] = gp.v.g_value[0].f;
 747       indep_value[1] = gp.v.g_value[1].f;
 748     }
 749
 750   assert(ssb->t);
 751
 752   for (i=0; i < cmd->n_variables; ++i)
 753     {
 754       struct variable *var = cmd->v_variables[i];
 755       struct hsh_table *grp_hash = group_proc_get (var)->group_hash;
 756       int count=0;
 757
 758       tab_text (ssb->t, 0, i*2+1, TAB_LEFT,
 759                 var_get_name (cmd->v_variables[i]));
 760
 761       if (val_lab0)
 762         tab_text (ssb->t, 1, i*2+1, TAB_LEFT | TAT_PRINTF,
 763                   "%s%s", prefix[0], val_lab0);
 764       else
 765           tab_text (ssb->t, 1, i*2+1, TAB_LEFT | TAT_PRINTF,
 766                     "%s%g", prefix[0], indep_value[0]);
 767
 768
 769       if (val_lab1)
 770         tab_text (ssb->t, 1, i*2+1+1, TAB_LEFT | TAT_PRINTF,
 771                   "%s%s", prefix[1], val_lab1);
 772       else
 773           tab_text (ssb->t, 1, i*2+1+1, TAB_LEFT | TAT_PRINTF,
 774                     "%s%g", prefix[1], indep_value[1]);
 775
 776
 777       /* Fill in the group statistics */
 778       for ( count = 0 ; count < 2 ; ++count )
 779         {
 780           union value search_val;
 781
 782           struct group_statistics *gs;
 783
 784           if ( gp.criterion == CMP_LE )
 785             {
 786               if ( count == 0 )
 787                 {
 788                   /*  less than ( < )  case */
 789                   search_val.f = gp.v.critical_value - 1.0;
 790                 }
 791               else
 792                 {
 793                   /* >= case  */
 794                   search_val.f = gp.v.critical_value + 1.0;
 795                 }
 796             }
 797           else
 798             {
 799               search_val = gp.v.g_value[count];
 800             }
 801
 802           gs = hsh_find(grp_hash, (void *) &search_val);
 803           assert(gs);
 804
 805           tab_float(ssb->t, 2 ,i*2+count+1, TAB_RIGHT, gs->n, 2, 0);
 806           tab_float(ssb->t, 3 ,i*2+count+1, TAB_RIGHT, gs->mean, 8, 2);
 807           tab_float(ssb->t, 4 ,i*2+count+1, TAB_RIGHT, gs->std_dev, 8, 3);
 808           tab_float(ssb->t, 5 ,i*2+count+1, TAB_RIGHT, gs->se_mean, 8, 3);
 809         }
 810     }
 811 }
 812
 813
 814 void ssbox_paired_populate(struct ssbox *ssb,
 815                            struct cmd_t_test *cmd);
 816
 817 /* Initialize the paired values ssbox */
 818 void
 819 ssbox_paired_init(struct ssbox *this, struct cmd_t_test *cmd UNUSED)
 820 {
 821   int hsize=6;
 822
 823   int vsize = n_pairs*2+1;
 824
 825   this->populate = ssbox_paired_populate;
 826
 827   ssbox_base_init(this, hsize,vsize);
 828   tab_title (this->t, _("Paired Sample Statistics"));
 829   tab_vline(this->t,TAL_GAP,1,0,vsize-1);
 830   tab_vline(this->t,TAL_2,2,0,vsize-1);
 831   tab_text (this->t, 2, 0, TAB_CENTER | TAT_TITLE, _("Mean"));
 832   tab_text (this->t, 3, 0, TAB_CENTER | TAT_TITLE, _("N"));
 833   tab_text (this->t, 4, 0, TAB_CENTER | TAT_TITLE, _("Std. Deviation"));
 834   tab_text (this->t, 5, 0, TAB_CENTER | TAT_TITLE, _("SE. Mean"));
 835 }
 836
 837
 838 /* Populate the ssbox for paired values */
 839 void
 840 ssbox_paired_populate(struct ssbox *ssb,struct cmd_t_test *cmd UNUSED)
 841 {
 842   int i;
 843
 844   assert(ssb->t);
 845
 846   for (i=0; i < n_pairs; ++i)
 847     {
 848       int j;
 849
 850       tab_text (ssb->t, 0, i*2+1, TAB_LEFT | TAT_PRINTF , _("Pair %d"),i);
 851
 852       for (j=0 ; j < 2 ; ++j)
 853         {
 854           struct group_statistics *gs;
 855
 856           gs = &group_proc_get (pairs[i].v[j])->ugs;
 857
 858           /* Titles */
 859
 860           tab_text (ssb->t, 1, i*2+j+1, TAB_LEFT,
 861                     var_get_name (pairs[i].v[j]));
 862
 863           /* Values */
 864           tab_float (ssb->t,2, i*2+j+1, TAB_RIGHT, pairs[i].mean[j], 8, 2);
 865           tab_float (ssb->t,3, i*2+j+1, TAB_RIGHT, pairs[i].n, 2, 0);
 866           tab_float (ssb->t,4, i*2+j+1, TAB_RIGHT, pairs[i].std_dev[j], 8, 3);
 867           tab_float (ssb->t,5, i*2+j+1, TAB_RIGHT, pairs[i].std_dev[j]/sqrt(pairs[i].n), 8, 3);
 868
 869         }
 870     }
 871 }
 872
 873 /* Populate the one sample ssbox */
 874 void
 875 ssbox_one_sample_populate(struct ssbox *ssb, struct cmd_t_test *cmd)
 876 {
 877   int i;
 878
 879   assert(ssb->t);
 880
 881   for (i=0; i < cmd->n_variables; ++i)
 882     {
 883       struct group_statistics *gs = &group_proc_get (cmd->v_variables[i])->ugs;
 884
 885       tab_text (ssb->t, 0, i+1, TAB_LEFT, var_get_name (cmd->v_variables[i]));
 886       tab_float (ssb->t,1, i+1, TAB_RIGHT, gs->n, 2, 0);
 887       tab_float (ssb->t,2, i+1, TAB_RIGHT, gs->mean, 8, 2);
 888       tab_float (ssb->t,3, i+1, TAB_RIGHT, gs->std_dev, 8, 2);
 889       tab_float (ssb->t,4, i+1, TAB_RIGHT, gs->se_mean, 8, 3);
 890     }
 891
 892 }
 893
 894
 895
 896 /* Implementation of the Test Results box struct */
 897
 898 void trbox_base_init(struct trbox *self,size_t n_vars, int cols);
 899 void trbox_base_finalize(struct trbox *trb);
 900
 901 void trbox_independent_samples_init(struct trbox *trb,
 902                                     struct cmd_t_test *cmd );
 903
 904 void trbox_independent_samples_populate(struct trbox *trb,
 905                                         struct cmd_t_test *cmd);
 906
 907 void trbox_one_sample_init(struct trbox *self,
 908                       struct cmd_t_test *cmd );
 909
 910 void trbox_one_sample_populate(struct trbox *trb,
 911                                struct cmd_t_test *cmd);
 912
 913 void trbox_paired_init(struct trbox *self,
 914                        struct cmd_t_test *cmd );
 915
 916 void trbox_paired_populate(struct trbox *trb,
 917                       struct cmd_t_test *cmd);
 918
 919
 920
 921 /* Create a trbox according to mode*/
 922 void
 923 trbox_create(struct trbox *trb,
 924              struct cmd_t_test *cmd, int mode)
 925 {
 926     switch (mode)
 927       {
 928       case T_1_SAMPLE:
 929         trbox_one_sample_init(trb,cmd);
 930         break;
 931       case T_IND_SAMPLES:
 932         trbox_independent_samples_init(trb,cmd);
 933         break;
 934       case T_PAIRED:
 935         trbox_paired_init(trb,cmd);
 936         break;
 937       default:
 938         NOT_REACHED ();
 939       }
 940 }
 941
 942 /* Populate a trbox according to cmd */
 943 void
 944 trbox_populate(struct trbox *trb, struct cmd_t_test *cmd)
 945 {
 946   trb->populate(trb,cmd);
 947 }
 948
 949 /* Submit and destroy a trbox */
 950 void
 951 trbox_finalize(struct trbox *trb)
 952 {
 953   trb->finalize(trb);
 954 }
 955
 956 /* Initialize the independent samples trbox */
 957 void
 958 trbox_independent_samples_init(struct trbox *self,
 959                            struct cmd_t_test *cmd UNUSED)
 960 {
 961   const int hsize=11;
 962   const int vsize=cmd->n_variables*2+3;
 963
 964   assert(self);
 965   self->populate = trbox_independent_samples_populate;
 966
 967   trbox_base_init(self,cmd->n_variables*2,hsize);
 968   tab_title(self->t,_("Independent Samples Test"));
 969   tab_hline(self->t,TAL_1,2,hsize-1,1);
 970   tab_vline(self->t,TAL_2,2,0,vsize-1);
 971   tab_vline(self->t,TAL_1,4,0,vsize-1);
 972   tab_box(self->t,-1,-1,-1,TAL_1, 2,1,hsize-2,vsize-1);
 973   tab_hline(self->t,TAL_1, hsize-2,hsize-1,2);
 974   tab_box(self->t,-1,-1,-1,TAL_1, hsize-2,2,hsize-1,vsize-1);
 975   tab_joint_text(self->t, 2, 0, 3, 0,
 976                  TAB_CENTER,_("Levene's Test for Equality of Variances"));
 977   tab_joint_text(self->t, 4,0,hsize-1,0,
 978                  TAB_CENTER,_("t-test for Equality of Means"));
 979
 980   tab_text(self->t,2,2, TAB_CENTER | TAT_TITLE,_("F"));
 981   tab_text(self->t,3,2, TAB_CENTER | TAT_TITLE,_("Sig."));
 982   tab_text(self->t,4,2, TAB_CENTER | TAT_TITLE,_("t"));
 983   tab_text(self->t,5,2, TAB_CENTER | TAT_TITLE,_("df"));
 984   tab_text(self->t,6,2, TAB_CENTER | TAT_TITLE,_("Sig. (2-tailed)"));
 985   tab_text(self->t,7,2, TAB_CENTER | TAT_TITLE,_("Mean Difference"));
 986   tab_text(self->t,8,2, TAB_CENTER | TAT_TITLE,_("Std. Error Difference"));
 987   tab_text(self->t,9,2, TAB_CENTER | TAT_TITLE,_("Lower"));
 988   tab_text(self->t,10,2, TAB_CENTER | TAT_TITLE,_("Upper"));
 989
 990   tab_joint_text(self->t, 9, 1, 10, 1, TAB_CENTER | TAT_PRINTF,
 991                  _("%g%% Confidence Interval of the Difference"),
 992                  cmd->criteria*100.0);
 993
 994 }
 995
 996 /* Populate the independent samples trbox */
 997 void
 998 trbox_independent_samples_populate(struct trbox *self,
 999                                    struct cmd_t_test *cmd )
1000 {
1001   int i;
1002
1003   assert(self);
1004   for (i=0; i < cmd->n_variables; ++i)
1005     {
1006       double p,q;
1007
1008       double t;
1009       double df;
1010
1011       double df1, df2;
1012
1013       double pooled_variance;
1014       double std_err_diff;
1015       double mean_diff;
1016
1017       struct variable *var = cmd->v_variables[i];
1018       struct group_proc *grp_data = group_proc_get (var);
1019
1020       struct hsh_table *grp_hash = grp_data->group_hash;
1021
1022       struct group_statistics *gs0 ;
1023       struct group_statistics *gs1 ;
1024
1025       union value search_val;
1026
1027       if ( gp.criterion == CMP_LE )
1028         search_val.f = gp.v.critical_value - 1.0;
1029       else
1030         search_val = gp.v.g_value[0];
1031
1032       gs0 = hsh_find(grp_hash, (void *) &search_val);
1033       assert(gs0);
1034
1035       if ( gp.criterion == CMP_LE )
1036         search_val.f = gp.v.critical_value + 1.0;
1037       else
1038         search_val = gp.v.g_value[1];
1039
1040       gs1 = hsh_find(grp_hash, (void *) &search_val);
1041       assert(gs1);
1042
1043
1044       tab_text (self->t, 0, i*2+3, TAB_LEFT, var_get_name (cmd->v_variables[i]));
1045
1046       tab_text (self->t, 1, i*2+3, TAB_LEFT, _("Equal variances assumed"));
1047
1048
1049       tab_float(self->t, 2, i*2+3, TAB_CENTER, grp_data->levene, 8,3);
1050
1051       /* Now work out the significance of the Levene test */
1052       df1 = 1; df2 = grp_data->ugs.n - 2;
1053       q = gsl_cdf_fdist_Q(grp_data->levene, df1, df2);
1054
1055       tab_float(self->t, 3, i*2+3, TAB_CENTER, q, 8,3 );
1056
1057       df = gs0->n + gs1->n - 2.0 ;
1058       tab_float (self->t, 5, i*2+3, TAB_RIGHT, df, 2, 0);
1059
1060       pooled_variance = ( (gs0->n )*pow2(gs0->s_std_dev)
1061                           +
1062                           (gs1->n )*pow2(gs1->s_std_dev)
1063                         ) / df  ;
1064
1065       t = (gs0->mean - gs1->mean) / sqrt(pooled_variance) ;
1066       t /= sqrt((gs0->n + gs1->n)/(gs0->n*gs1->n));
1067
1068       tab_float (self->t, 4, i*2+3, TAB_RIGHT, t, 8, 3);
1069
1070       p = gsl_cdf_tdist_P(t, df);
1071       q = gsl_cdf_tdist_Q(t, df);
1072
1073       tab_float(self->t, 6, i*2+3, TAB_RIGHT, 2.0*(t>0?q:p) , 8, 3);
1074
1075       mean_diff = gs0->mean - gs1->mean;
1076       tab_float(self->t, 7, i*2+3, TAB_RIGHT, mean_diff, 8, 3);
1077
1078
1079       std_err_diff = sqrt( pow2(gs0->se_mean) + pow2(gs1->se_mean));
1080       tab_float(self->t, 8, i*2+3, TAB_RIGHT, std_err_diff, 8, 3);
1081
1082
1083       /* Now work out the confidence interval */
1084       q = (1 - cmd->criteria)/2.0;  /* 2-tailed test */
1085
1086       t = gsl_cdf_tdist_Qinv(q,df);
1087       tab_float(self->t, 9, i*2+3, TAB_RIGHT,
1088                 mean_diff - t * std_err_diff, 8, 3);
1089
1090       tab_float(self->t, 10, i*2+3, TAB_RIGHT,
1091                 mean_diff + t * std_err_diff, 8, 3);
1092
1093
1094       {
1095         double se2;
1096       /* Now for the \sigma_1 != \sigma_2 case */
1097       tab_text (self->t, 1, i*2+3+1,
1098                 TAB_LEFT, _("Equal variances not assumed"));
1099
1100
1101       se2 = (pow2(gs0->s_std_dev)/(gs0->n -1) ) +
1102         (pow2(gs1->s_std_dev)/(gs1->n -1) );
1103
1104       t = mean_diff / sqrt(se2) ;
1105       tab_float (self->t, 4, i*2+3+1, TAB_RIGHT, t, 8, 3);
1106
1107       df = pow2(se2) / (
1108                        (pow2(pow2(gs0->s_std_dev)/(gs0->n - 1 ))
1109                         /(gs0->n -1 )
1110                         )
1111                        +
1112                        (pow2(pow2(gs1->s_std_dev)/(gs1->n - 1 ))
1113                         /(gs1->n -1 )
1114                         )
1115                        ) ;
1116       tab_float (self->t, 5, i*2+3+1, TAB_RIGHT, df, 8, 3);
1117
1118       p = gsl_cdf_tdist_P(t, df);
1119       q = gsl_cdf_tdist_Q(t, df);
1120
1121       tab_float(self->t, 6, i*2+3+1, TAB_RIGHT, 2.0*(t>0?q:p) , 8, 3);
1122
1123       /* Now work out the confidence interval */
1124       q = (1 - cmd->criteria)/2.0;  /* 2-tailed test */
1125
1126       t = gsl_cdf_tdist_Qinv(q, df);
1127
1128       tab_float(self->t, 7, i*2+3+1, TAB_RIGHT, mean_diff, 8, 3);
1129
1130
1131       tab_float(self->t, 8, i*2+3+1, TAB_RIGHT, std_err_diff, 8, 3);
1132
1133
1134       tab_float(self->t, 9, i*2+3+1, TAB_RIGHT,
1135                 mean_diff - t * std_err_diff, 8, 3);
1136
1137       tab_float(self->t, 10, i*2+3+1, TAB_RIGHT,
1138                 mean_diff + t * std_err_diff, 8, 3);
1139
1140       }
1141     }
1142 }
1143
1144 /* Initialize the paired samples trbox */
1145 void
1146 trbox_paired_init(struct trbox *self,
1147                            struct cmd_t_test *cmd UNUSED)
1148 {
1149
1150   const int hsize=10;
1151   const int vsize=n_pairs+3;
1152
1153   self->populate = trbox_paired_populate;
1154
1155   trbox_base_init(self,n_pairs,hsize);
1156   tab_title (self->t, _("Paired Samples Test"));
1157   tab_hline(self->t,TAL_1,2,6,1);
1158   tab_vline(self->t,TAL_2,2,0,vsize - 1);
1159   tab_joint_text(self->t,2,0,6,0,TAB_CENTER,_("Paired Differences"));
1160   tab_box(self->t,-1,-1,-1,TAL_1, 2,1,6,vsize-1);
1161   tab_box(self->t,-1,-1,-1,TAL_1, 6,0,hsize-1,vsize-1);
1162   tab_hline(self->t,TAL_1,5,6, 2);
1163   tab_vline(self->t,TAL_GAP,6,0,1);
1164
1165   tab_joint_text(self->t, 5, 1, 6, 1, TAB_CENTER | TAT_PRINTF,
1166                  _("%g%% Confidence Interval of the Difference"),
1167                  cmd->criteria*100.0);
1168
1169   tab_text (self->t, 2, 2, TAB_CENTER | TAT_TITLE, _("Mean"));
1170   tab_text (self->t, 3, 2, TAB_CENTER | TAT_TITLE, _("Std. Deviation"));
1171   tab_text (self->t, 4, 2, TAB_CENTER | TAT_TITLE, _("Std. Error Mean"));
1172   tab_text (self->t, 5, 2, TAB_CENTER | TAT_TITLE, _("Lower"));
1173   tab_text (self->t, 6, 2, TAB_CENTER | TAT_TITLE, _("Upper"));
1174   tab_text (self->t, 7, 2, TAB_CENTER | TAT_TITLE, _("t"));
1175   tab_text (self->t, 8, 2, TAB_CENTER | TAT_TITLE, _("df"));
1176   tab_text (self->t, 9, 2, TAB_CENTER | TAT_TITLE, _("Sig. (2-tailed)"));
1177 }
1178
1179 /* Populate the paired samples trbox */
1180 void
1181 trbox_paired_populate(struct trbox *trb,
1182                               struct cmd_t_test *cmd UNUSED)
1183 {
1184   int i;
1185
1186   for (i=0; i < n_pairs; ++i)
1187     {
1188       double p,q;
1189       double se_mean;
1190
1191       double n = pairs[i].n;
1192       double t;
1193       double df = n - 1;
1194
1195       tab_text (trb->t, 0, i+3, TAB_LEFT | TAT_PRINTF, _("Pair %d"),i);
1196
1197       tab_text (trb->t, 1, i+3, TAB_LEFT | TAT_PRINTF, "%s - %s",
1198                 var_get_name (pairs[i].v[0]),
1199                 var_get_name (pairs[i].v[1]));
1200
1201       tab_float(trb->t, 2, i+3, TAB_RIGHT, pairs[i].mean_diff, 8, 4);
1202
1203       tab_float(trb->t, 3, i+3, TAB_RIGHT, pairs[i].std_dev_diff, 8, 5);
1204
1205       /* SE Mean */
1206       se_mean = pairs[i].std_dev_diff / sqrt(n) ;
1207       tab_float(trb->t, 4, i+3, TAB_RIGHT, se_mean, 8,5 );
1208
1209       /* Now work out the confidence interval */
1210       q = (1 - cmd->criteria)/2.0;  /* 2-tailed test */
1211
1212       t = gsl_cdf_tdist_Qinv(q, df);
1213
1214       tab_float(trb->t, 5, i+3, TAB_RIGHT,
1215                 pairs[i].mean_diff - t * se_mean , 8, 4);
1216
1217       tab_float(trb->t, 6, i+3, TAB_RIGHT,
1218                 pairs[i].mean_diff + t * se_mean , 8, 4);
1219
1220       t = (pairs[i].mean[0] - pairs[i].mean[1])
1221         / sqrt (
1222                 ( pow2 (pairs[i].s_std_dev[0]) + pow2 (pairs[i].s_std_dev[1]) -
1223                   2 * pairs[i].correlation *
1224                   pairs[i].s_std_dev[0] * pairs[i].s_std_dev[1] )
1225                 / (n - 1)
1226                 );
1227
1228       tab_float(trb->t, 7, i+3, TAB_RIGHT, t , 8,3 );
1229
1230       /* Degrees of freedom */
1231       tab_float(trb->t, 8, i+3, TAB_RIGHT, df , 2, 0 );
1232
1233       p = gsl_cdf_tdist_P(t,df);
1234       q = gsl_cdf_tdist_P(t,df);
1235
1236       tab_float(trb->t, 9, i+3, TAB_RIGHT, 2.0*(t>0?q:p) , 8, 3);
1237
1238     }
1239 }
1240
1241 /* Initialize the one sample trbox */
1242 void
1243 trbox_one_sample_init(struct trbox *self, struct cmd_t_test *cmd )
1244 {
1245   const int hsize=7;
1246   const int vsize=cmd->n_variables+3;
1247
1248   self->populate = trbox_one_sample_populate;
1249
1250   trbox_base_init(self, cmd->n_variables,hsize);
1251   tab_title (self->t, _("One-Sample Test"));
1252   tab_hline(self->t, TAL_1, 1, hsize - 1, 1);
1253   tab_vline(self->t, TAL_2, 1, 0, vsize - 1);
1254
1255   tab_joint_text(self->t, 1, 0, hsize-1,0, TAB_CENTER | TAT_PRINTF,
1256                  _("Test Value = %f"), cmd->n_testval[0]);
1257
1258   tab_box(self->t, -1, -1, -1, TAL_1, 1,1,hsize-1,vsize-1);
1259
1260
1261   tab_joint_text(self->t,5,1,6,1,TAB_CENTER  | TAT_PRINTF,
1262                  _("%g%% Confidence Interval of the Difference"),
1263                  cmd->criteria*100.0);
1264
1265   tab_vline(self->t,TAL_GAP,6,1,1);
1266   tab_hline(self->t,TAL_1,5,6,2);
1267   tab_text (self->t, 1, 2, TAB_CENTER | TAT_TITLE, _("t"));
1268   tab_text (self->t, 2, 2, TAB_CENTER | TAT_TITLE, _("df"));
1269   tab_text (self->t, 3, 2, TAB_CENTER | TAT_TITLE, _("Sig. (2-tailed)"));
1270   tab_text (self->t, 4, 2, TAB_CENTER | TAT_TITLE, _("Mean Difference"));
1271   tab_text (self->t, 5, 2, TAB_CENTER | TAT_TITLE, _("Lower"));
1272   tab_text (self->t, 6, 2, TAB_CENTER | TAT_TITLE, _("Upper"));
1273
1274 }
1275
1276
1277 /* Populate the one sample trbox */
1278 void
1279 trbox_one_sample_populate(struct trbox *trb, struct cmd_t_test *cmd)
1280 {
1281   int i;
1282
1283   assert(trb->t);
1284
1285   for (i=0; i < cmd->n_variables; ++i)
1286     {
1287       double t;
1288       double p,q;
1289       double df;
1290       struct group_statistics *gs = &group_proc_get (cmd->v_variables[i])->ugs;
1291
1292
1293       tab_text (trb->t, 0, i+3, TAB_LEFT, var_get_name (cmd->v_variables[i]));
1294
1295       t = (gs->mean - cmd->n_testval[0] ) * sqrt(gs->n) / gs->std_dev ;
1296
1297       tab_float (trb->t, 1, i+3, TAB_RIGHT, t, 8,3);
1298
1299       /* degrees of freedom */
1300       df = gs->n - 1;
1301
1302       tab_float (trb->t, 2, i+3, TAB_RIGHT, df, 8,0);
1303
1304       p = gsl_cdf_tdist_P(t, df);
1305       q = gsl_cdf_tdist_Q(t, df);
1306
1307       /* Multiply by 2 to get 2-tailed significance, makeing sure we've got
1308          the correct tail*/
1309       tab_float (trb->t, 3, i+3, TAB_RIGHT, 2.0*(t>0?q:p), 8,3);
1310
1311       tab_float (trb->t, 4, i+3, TAB_RIGHT, gs->mean_diff, 8,3);
1312
1313
1314       q = (1 - cmd->criteria)/2.0;  /* 2-tailed test */
1315       t = gsl_cdf_tdist_Qinv(q, df);
1316
1317       tab_float (trb->t, 5, i+3, TAB_RIGHT,
1318                  gs->mean_diff - t * gs->se_mean, 8,4);
1319
1320       tab_float (trb->t, 6, i+3, TAB_RIGHT,
1321                  gs->mean_diff + t * gs->se_mean, 8,4);
1322     }
1323 }
1324
1325 /* Base initializer for the generalized trbox */
1326 void
1327 trbox_base_init(struct trbox *self, size_t data_rows, int cols)
1328 {
1329   const size_t rows = 3 + data_rows;
1330
1331   self->finalize = trbox_base_finalize;
1332   self->t = tab_create (cols, rows, 0);
1333   tab_headers (self->t,0,0,3,0);
1334   tab_box (self->t, TAL_2, TAL_2, TAL_0, TAL_0, 0, 0, cols -1, rows -1);
1335   tab_hline(self->t, TAL_2,0,cols-1,3);
1336   tab_dim (self->t, tab_natural_dimensions);
1337 }
1338
1339
1340 /* Base finalizer for the trbox */
1341 void
1342 trbox_base_finalize(struct trbox *trb)
1343 {
1344   tab_submit(trb->t);
1345 }
1346
1347
1348 /* Create , populate and submit the Paired Samples Correlation box */
1349 void
1350 pscbox(void)
1351 {
1352   const int rows=1+n_pairs;
1353   const int cols=5;
1354   int i;
1355
1356   struct tab_table *table;
1357
1358   table = tab_create (cols,rows,0);
1359
1360   tab_columns (table, SOM_COL_DOWN, 1);
1361   tab_headers (table,0,0,1,0);
1362   tab_box (table, TAL_2, TAL_2, TAL_0, TAL_1, 0, 0, cols -1, rows -1 );
1363   tab_hline(table, TAL_2, 0, cols - 1, 1);
1364   tab_vline(table, TAL_2, 2, 0, rows - 1);
1365   tab_dim(table, tab_natural_dimensions);
1366   tab_title(table, _("Paired Samples Correlations"));
1367
1368   /* column headings */
1369   tab_text(table, 2,0, TAB_CENTER | TAT_TITLE, _("N"));
1370   tab_text(table, 3,0, TAB_CENTER | TAT_TITLE, _("Correlation"));
1371   tab_text(table, 4,0, TAB_CENTER | TAT_TITLE, _("Sig."));
1372
1373   for (i=0; i < n_pairs; ++i)
1374     {
1375       double p,q;
1376
1377       double df = pairs[i].n -2;
1378
1379       double correlation_t =
1380         pairs[i].correlation * sqrt(df) /
1381         sqrt(1 - pow2(pairs[i].correlation));
1382
1383
1384       /* row headings */
1385       tab_text(table, 0,i+1, TAB_LEFT | TAT_TITLE | TAT_PRINTF,
1386                _("Pair %d"), i);
1387
1388       tab_text(table, 1,i+1, TAB_LEFT | TAT_TITLE | TAT_PRINTF,
1389                _("%s & %s"),
1390                var_get_name (pairs[i].v[0]),
1391                var_get_name (pairs[i].v[1]));
1392
1393
1394       /* row data */
1395       tab_float(table, 2, i+1, TAB_RIGHT, pairs[i].n, 4, 0);
1396       tab_float(table, 3, i+1, TAB_RIGHT, pairs[i].correlation, 8, 3);
1397
1398       p = gsl_cdf_tdist_P(correlation_t, df);
1399       q = gsl_cdf_tdist_Q(correlation_t, df);
1400
1401       tab_float(table, 4, i+1, TAB_RIGHT, 2.0*(correlation_t>0?q:p), 8, 3);
1402     }
1403
1404   tab_submit(table);
1405 }
1406
1407
1408
1409
1410 /* Calculation Implementation */
1411
1412 /* Per case calculations common to all variants of the T test */
1413 static int
1414 common_calc (const struct dictionary *dict,
1415              const struct ccase *c,
1416              void *_cmd,
1417              const struct casefilter *filter)
1418 {
1419   int i;
1420   struct cmd_t_test *cmd = (struct cmd_t_test *)_cmd;
1421
1422   double weight = dict_get_case_weight (dict, c, &bad_weight_warn);
1423
1424
1425   /* Listwise has to be implicit if the independent variable is missing ?? */
1426   if ( cmd->sbc_groups )
1427     {
1428       if ( casefilter_variable_missing (filter, c, indep_var) )
1429         return 0;
1430     }
1431
1432   for(i = 0; i < cmd->n_variables ; ++i)
1433     {
1434       struct variable *v = cmd->v_variables[i];
1435
1436       if (! casefilter_variable_missing (filter, c, v) )
1437         {
1438           struct group_statistics *gs;
1439           const union value *val = case_data (c, v);
1440           gs = &group_proc_get (cmd->v_variables[i])->ugs;
1441
1442           gs->n += weight;
1443           gs->sum += weight * val->f;
1444           gs->ssq += weight * val->f * val->f;
1445         }
1446     }
1447   return 0;
1448 }
1449
1450 /* Pre calculations common to all variants of the T test */
1451 static void
1452 common_precalc ( struct cmd_t_test *cmd )
1453 {
1454   int i=0;
1455
1456   for(i=0; i< cmd->n_variables ; ++i)
1457     {
1458       struct group_statistics *gs;
1459       gs= &group_proc_get (cmd->v_variables[i])->ugs;
1460
1461       gs->sum=0;
1462       gs->n=0;
1463       gs->ssq=0;
1464       gs->sum_diff=0;
1465     }
1466 }
1467
1468 /* Post calculations common to all variants of the T test */
1469 void
1470 common_postcalc (struct cmd_t_test *cmd)
1471 {
1472   int i=0;
1473
1474   for(i=0; i< cmd->n_variables ; ++i)
1475     {
1476       struct group_statistics *gs;
1477       gs= &group_proc_get (cmd->v_variables[i])->ugs;
1478
1479       gs->mean=gs->sum / gs->n;
1480       gs->s_std_dev= sqrt(
1481                          ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
1482                          ) ;
1483
1484       gs->std_dev= sqrt(
1485                          gs->n/(gs->n-1) *
1486                          ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
1487                          ) ;
1488
1489       gs->se_mean = gs->std_dev / sqrt(gs->n);
1490       gs->mean_diff= gs->sum_diff / gs->n;
1491     }
1492 }
1493
1494 /* Per case calculations for one sample t test  */
1495 static int
1496 one_sample_calc (const struct dictionary *dict,
1497                  const struct ccase *c, void *cmd_,
1498                  const struct casefilter *filter)
1499 {
1500   int i;
1501
1502   struct cmd_t_test *cmd = (struct cmd_t_test *)cmd_;
1503
1504   double weight = dict_get_case_weight (dict, c, &bad_weight_warn);
1505
1506
1507   for(i=0; i< cmd->n_variables ; ++i)
1508     {
1509       struct group_statistics *gs;
1510       struct variable *v = cmd->v_variables[i];
1511       const union value *val = case_data (c, v);
1512
1513       gs= &group_proc_get (cmd->v_variables[i])->ugs;
1514
1515       if ( ! casefilter_variable_missing (filter, c, v))
1516         gs->sum_diff += weight * (val->f - cmd->n_testval[0]);
1517     }
1518
1519   return 0;
1520 }
1521
1522 /* Pre calculations for one sample t test */
1523 static void
1524 one_sample_precalc ( struct cmd_t_test *cmd )
1525 {
1526   int i=0;
1527
1528   for(i=0; i< cmd->n_variables ; ++i)
1529     {
1530       struct group_statistics *gs;
1531       gs= &group_proc_get (cmd->v_variables[i])->ugs;
1532
1533       gs->sum_diff=0;
1534     }
1535 }
1536
1537 /* Post calculations for one sample t test */
1538 static void
1539 one_sample_postcalc (struct cmd_t_test *cmd)
1540 {
1541   int i=0;
1542
1543   for(i=0; i< cmd->n_variables ; ++i)
1544     {
1545       struct group_statistics *gs;
1546       gs= &group_proc_get (cmd->v_variables[i])->ugs;
1547
1548       gs->mean_diff = gs->sum_diff / gs->n ;
1549     }
1550 }
1551
1552
1553
1554 static void
1555 paired_precalc (struct cmd_t_test *cmd UNUSED)
1556 {
1557   int i;
1558
1559   for(i=0; i < n_pairs ; ++i )
1560     {
1561       pairs[i].n = 0;
1562       pairs[i].sum[0] = 0;      pairs[i].sum[1] = 0;
1563       pairs[i].ssq[0] = 0;      pairs[i].ssq[1] = 0;
1564       pairs[i].sum_of_prod = 0;
1565       pairs[i].correlation = 0;
1566       pairs[i].sum_of_diffs = 0;
1567       pairs[i].ssq_diffs = 0;
1568     }
1569
1570 }
1571
1572
1573 static int
1574 paired_calc (const struct dictionary *dict, const struct ccase *c,
1575              struct cmd_t_test *cmd UNUSED, const struct casefilter *filter)
1576 {
1577   int i;
1578
1579   double weight = dict_get_case_weight (dict, c, &bad_weight_warn);
1580
1581   for(i=0; i < n_pairs ; ++i )
1582     {
1583       struct variable *v0 = pairs[i].v[0];
1584       struct variable *v1 = pairs[i].v[1];
1585
1586       const union value *val0 = case_data (c, v0);
1587       const union value *val1 = case_data (c, v1);
1588
1589       if (  ! casefilter_variable_missing (filter, c, v0) &&
1590             ! casefilter_variable_missing (filter, c, v1) )
1591         {
1592           pairs[i].n += weight;
1593           pairs[i].sum[0] += weight * val0->f;
1594           pairs[i].sum[1] += weight * val1->f;
1595
1596           pairs[i].ssq[0] += weight * pow2(val0->f);
1597           pairs[i].ssq[1] += weight * pow2(val1->f);
1598
1599           pairs[i].sum_of_prod += weight * val0->f * val1->f ;
1600
1601           pairs[i].sum_of_diffs += weight * ( val0->f - val1->f ) ;
1602           pairs[i].ssq_diffs += weight * pow2(val0->f - val1->f);
1603         }
1604     }
1605
1606   return 0;
1607 }
1608
1609 static void
1610 paired_postcalc (struct cmd_t_test *cmd UNUSED)
1611 {
1612   int i;
1613
1614   for(i=0; i < n_pairs ; ++i )
1615     {
1616       int j;
1617       const double n = pairs[i].n;
1618
1619       for (j=0; j < 2 ; ++j)
1620         {
1621           pairs[i].mean[j] = pairs[i].sum[j] / n ;
1622           pairs[i].s_std_dev[j] = sqrt((pairs[i].ssq[j] / n -
1623                                               pow2(pairs[i].mean[j]))
1624                                      );
1625
1626           pairs[i].std_dev[j] = sqrt(n/(n-1)*(pairs[i].ssq[j] / n -
1627                                               pow2(pairs[i].mean[j]))
1628                                      );
1629         }
1630
1631       pairs[i].correlation = pairs[i].sum_of_prod / pairs[i].n -
1632         pairs[i].mean[0] * pairs[i].mean[1] ;
1633       /* correlation now actually contains the covariance */
1634
1635       pairs[i].correlation /= pairs[i].std_dev[0] * pairs[i].std_dev[1];
1636       pairs[i].correlation *= pairs[i].n / ( pairs[i].n - 1 );
1637
1638       pairs[i].mean_diff = pairs[i].sum_of_diffs / n ;
1639
1640       pairs[i].std_dev_diff = sqrt (  n / (n - 1) * (
1641                                     ( pairs[i].ssq_diffs / n )
1642                                     -
1643                                     pow2(pairs[i].mean_diff )
1644                                     ) );
1645     }
1646 }
1647
1648 static void
1649 group_precalc (struct cmd_t_test *cmd )
1650 {
1651   int i;
1652   int j;
1653
1654   for(i=0; i< cmd->n_variables ; ++i)
1655     {
1656       struct group_proc *ttpr = group_proc_get (cmd->v_variables[i]);
1657
1658       /* There's always 2 groups for a T - TEST */
1659       ttpr->n_groups = 2;
1660
1661       gp.indep_width = var_get_width (indep_var);
1662
1663       ttpr->group_hash = hsh_create(2,
1664                                     (hsh_compare_func *) compare_group_binary,
1665                                     (hsh_hash_func *) hash_group_binary,
1666                                     (hsh_free_func *) free_group,
1667                                     (void *) &gp );
1668
1669       for (j=0 ; j < 2 ; ++j)
1670         {
1671
1672           struct group_statistics *gs = xmalloc (sizeof *gs);
1673
1674           gs->sum = 0;
1675           gs->n = 0;
1676           gs->ssq = 0;
1677
1678           if ( gp.criterion == CMP_EQ )
1679             {
1680               gs->id = gp.v.g_value[j];
1681             }
1682           else
1683             {
1684               if ( j == 0 )
1685                 gs->id.f = gp.v.critical_value - 1.0 ;
1686               else
1687                 gs->id.f = gp.v.critical_value + 1.0 ;
1688             }
1689
1690           hsh_insert ( ttpr->group_hash, (void *) gs );
1691
1692         }
1693     }
1694
1695 }
1696
1697 static int
1698 group_calc (const struct dictionary *dict,
1699             const struct ccase *c, struct cmd_t_test *cmd,
1700             const struct casefilter *filter)
1701 {
1702   int i;
1703
1704   const double weight =
1705     dict_get_case_weight (dict, c, &bad_weight_warn);
1706
1707   const union value *gv;
1708
1709   if ( casefilter_variable_missing (filter, c, indep_var))
1710     return 0;
1711
1712   gv = case_data (c, indep_var);
1713
1714   for(i=0; i< cmd->n_variables ; ++i)
1715     {
1716       struct variable *var = cmd->v_variables[i];
1717       const union value *val = case_data (c, var);
1718       struct hsh_table *grp_hash = group_proc_get (var)->group_hash;
1719       struct group_statistics *gs;
1720
1721       gs = hsh_find(grp_hash, (void *) gv);
1722
1723       /* If the independent variable doesn't match either of the values
1724          for this case then move on to the next case */
1725       if ( ! gs )
1726         return 0;
1727
1728       if ( ! casefilter_variable_missing (filter, c, var) )
1729         {
1730           gs->n += weight;
1731           gs->sum += weight * val->f;
1732           gs->ssq += weight * pow2(val->f);
1733         }
1734     }
1735
1736   return 0;
1737 }
1738
1739
1740 static void
1741 group_postcalc ( struct cmd_t_test *cmd )
1742 {
1743   int i;
1744
1745   for (i = 0; i < cmd->n_variables ; ++i)
1746     {
1747       struct variable *var = cmd->v_variables[i];
1748       struct hsh_table *grp_hash = group_proc_get (var)->group_hash;
1749       struct hsh_iterator g;
1750       struct group_statistics *gs;
1751       int count=0;
1752
1753       for (gs =  hsh_first (grp_hash,&g);
1754            gs != 0;
1755            gs = hsh_next(grp_hash,&g))
1756         {
1757           gs->mean = gs->sum / gs->n;
1758
1759           gs->s_std_dev= sqrt(
1760                               ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
1761                               ) ;
1762
1763           gs->std_dev= sqrt(
1764                             gs->n/(gs->n-1) *
1765                             ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
1766                             ) ;
1767
1768           gs->se_mean = gs->std_dev / sqrt(gs->n);
1769           count ++;
1770         }
1771       assert(count == 2);
1772     }
1773 }
1774
1775
1776
1777 static bool
1778 calculate(const struct ccase *first, const struct casefile *cf,
1779           void *cmd_, const struct dataset *ds)
1780 {
1781   const struct dictionary *dict = dataset_dict (ds);
1782   struct ssbox stat_summary_box;
1783   struct trbox test_results_box;
1784
1785   struct casereader *r;
1786   struct ccase c;
1787
1788   struct cmd_t_test *cmd = (struct cmd_t_test *) cmd_;
1789
1790   struct casefilter *filter = casefilter_create (cmd->miss != TTS_INCLUDE,
1791                                                  NULL, 0);
1792
1793   if ( cmd->miss == TTS_LISTWISE )
1794     casefilter_add_variables (filter,
1795                               cmd->v_variables, cmd->n_variables);
1796
1797   output_split_file_values (ds, first);
1798   common_precalc (cmd);
1799   for(r = casefile_get_reader (cf, filter);
1800       casereader_read (r, &c) ;
1801       case_destroy (&c))
1802     {
1803       common_calc (dict, &c, cmd, filter);
1804     }
1805
1806   casereader_destroy (r);
1807   common_postcalc (cmd);
1808
1809   switch(mode)
1810     {
1811     case T_1_SAMPLE:
1812       one_sample_precalc (cmd);
1813       for(r = casefile_get_reader (cf, filter);
1814           casereader_read (r, &c) ;
1815           case_destroy (&c))
1816         {
1817           one_sample_calc (dict, &c, cmd, filter);
1818         }
1819       casereader_destroy (r);
1820       one_sample_postcalc (cmd);
1821       break;
1822     case T_PAIRED:
1823       paired_precalc(cmd);
1824       for(r = casefile_get_reader (cf, filter);
1825           casereader_read (r, &c) ;
1826           case_destroy (&c))
1827         {
1828           paired_calc (dict, &c, cmd, filter);
1829         }
1830       casereader_destroy (r);
1831       paired_postcalc (cmd);
1832
1833       break;
1834     case T_IND_SAMPLES:
1835
1836       group_precalc(cmd);
1837       for(r = casefile_get_reader (cf, filter);
1838           casereader_read (r, &c) ;
1839           case_destroy (&c))
1840         {
1841           group_calc (dict, &c, cmd, filter);
1842         }
1843       casereader_destroy (r);
1844       group_postcalc(cmd);
1845
1846       levene (dict, cf, indep_var, cmd->n_variables, cmd->v_variables,
1847               filter);
1848       break;
1849     }
1850
1851   casefilter_destroy (filter);
1852
1853   ssbox_create(&stat_summary_box,cmd,mode);
1854   ssbox_populate(&stat_summary_box,cmd);
1855   ssbox_finalize(&stat_summary_box);
1856
1857   if ( mode == T_PAIRED)
1858       pscbox();
1859
1860   trbox_create(&test_results_box,cmd,mode);
1861   trbox_populate(&test_results_box,cmd);
1862   trbox_finalize(&test_results_box);
1863
1864   return true;
1865 }
1866
1867 short which_group(const struct group_statistics *g,
1868                   const struct group_properties *p);
1869
1870 /* Return -1 if the id of a is less than b; +1 if greater than and
1871    0 if equal */
1872 static int
1873 compare_group_binary(const struct group_statistics *a,
1874                      const struct group_statistics *b,
1875                      const struct group_properties *p)
1876 {
1877   short flag_a;
1878   short flag_b;
1879
1880   if ( p->criterion == CMP_LE )
1881     {
1882       /* less-than-or-equal comparision is not meaningfull for
1883          alpha variables, so we shouldn't ever arrive here */
1884       assert(p->indep_width == 0 ) ;
1885
1886       flag_a = ( a->id.f < p->v.critical_value ) ;
1887       flag_b = ( b->id.f < p->v.critical_value ) ;
1888     }
1889   else
1890     {
1891       flag_a = which_group(a, p);
1892       flag_b = which_group(b, p);
1893     }
1894
1895   if (flag_a < flag_b )
1896     return -1;
1897
1898   return (flag_a > flag_b);
1899 }
1900
1901 /* This is a degenerate case of a hash, since it can only return three possible
1902    values.  It's really a comparison, being used as a hash function */
1903
1904 static unsigned
1905 hash_group_binary(const struct group_statistics *g,
1906                   const struct group_properties *p)
1907 {
1908   short flag = -1;
1909
1910   if ( p->criterion == CMP_LE )
1911     {
1912       /* Not meaningfull to do a less than compare for alpha values ? */
1913       assert(p->indep_width == 0 ) ;
1914       flag = ( g->id.f < p->v.critical_value ) ;
1915     }
1916   else if ( p->criterion == CMP_EQ)
1917     {
1918       flag = which_group(g,p);
1919     }
1920   else
1921     NOT_REACHED ();
1922
1923   return flag;
1924 }
1925
1926 /* return 0 if G belongs to group 0,
1927           1 if it belongs to group 1,
1928           2 if it belongs to neither group */
1929 short
1930 which_group(const struct group_statistics *g,
1931             const struct group_properties *p)
1932 {
1933
1934   if ( 0 == compare_values (&g->id, &p->v.g_value[0], p->indep_width))
1935     return 0;
1936
1937   if ( 0 == compare_values (&g->id, &p->v.g_value[1], p->indep_width))
1938     return 1;
1939
1940   return 2;
1941 }
1942