Fixed a bug causing pspp to crash when computed variables had no format
[pspp-builds.git] / src / t-test.q
index 34c3f07842cc88e4f8a89b98b42c527772e4d84b..3f80214494bde1013c85f05713accbe7fe6df559 100644 (file)
 #include "var.h"
 #include "vfm.h"
 #include "pool.h"
+#include "hash.h"
+#include "stats.h"
+#include "t-test.h"
+#include "levene.h"
 
 /* (specification)
    "T-TEST" (tts_):
-     groups=custom;
-     testval=double;
+     +groups=custom;
+     +testval=double;
      variables=varlist("PV_NO_SCRATCH | PV_NUMERIC");
      pairs=custom;
      +missing=miss:!analysis/listwise,
@@ -55,7 +59,6 @@
 static struct cmd_t_test cmd;
 
 
-
 static struct pool *t_test_pool ;
 
 /* Variable for the GROUPS subcommand, if given. */
@@ -63,13 +66,34 @@ static struct variable *groups;
 
 /* GROUPS: Number of values specified by the user; the values
    specified if any. */
+
 static int n_groups_values;
 static union value groups_values[2];
 
+
 /* PAIRS: Number of pairs to be compared ; each pair. */
-static int n_pairs ;
-typedef struct variable *pair_t[2] ;
-static pair_t *pairs;
+static int n_pairs = 0 ;
+struct pair 
+{
+  /* The variables comprising the pair */
+  struct variable *v[2];
+
+  /* The correlation coefficient between the variables */
+  double correlation;
+
+  /* The sum of the differences */
+  double sum_of_diffs;
+
+  /* The mean of the differences */
+  double mean_diff;
+
+  /* The sum of the squares of the differences */
+  double ssq_diffs;
+
+  /* The std deviation of the differences */
+  double std_dev_diff;
+};
+static struct pair *pairs=0;
 
 
 static int parse_value (union value * v, int type) ;
@@ -99,6 +123,9 @@ void ssbox_populate(struct ssbox *ssb, struct cmd_t_test *cmd);
 /* Submit and destroy a ssbox */
 void ssbox_finalize(struct ssbox *ssb);
 
+/* A function to create, populate and submit the Paired Samples Correlation 
+   box */
+void pscbox(void);
 
 
 /* Structures and Functions for the Test Results Box */
@@ -131,13 +158,26 @@ enum {
 };
 
 
-static int common_calc (struct ccase *);
-static void common_precalc (void);
-static void common_postcalc (void);
+static int common_calc (struct ccase *, void *);
+static void common_precalc (void *);
+static void common_postcalc (void *);
+
+static int one_sample_calc (struct ccase *, void *);
+static void one_sample_precalc (void *);
+static void one_sample_postcalc (void *);
+
+static int  paired_calc (struct ccase *, void *);
+static void paired_precalc (void *);
+static void paired_postcalc (void *);
+
+static void group_precalc (void *);
+static int  group_calc (struct ccase *, void *);
+static void group_postcalc (void *);
+
+
+static int compare_var_name (const void *a_, const void *b_, void *v_ UNUSED);
+static unsigned hash_var_name (const void *a_, void *v_ UNUSED);
 
-static int one_sample_calc (struct ccase *);
-static void one_sample_precalc (void);
-static void one_sample_postcalc (void);
 
 
 int
@@ -160,13 +200,20 @@ cmd_t_test(void)
   if (! cmd.sbc_criteria)
     cmd.criteria=0.95;
 
-  if ( cmd.sbc_testval + cmd.sbc_groups + cmd.sbc_pairs != 1 ) 
-    {
-      msg(SE, 
-         _("Exactly one of TESTVAL, GROUPS or PAIRS subcommands is required")
-         );
-      return CMD_FAILURE;
-    }
+  {
+    int m=0;
+    if (cmd.sbc_testval) ++m;
+    if (cmd.sbc_groups) ++m;
+    if (cmd.sbc_pairs) ++m;
+
+    if ( m != 1)
+      {
+       msg(SE, 
+           _("TESTVAL, GROUPS and PAIRS subcommands are mutually exclusive.")
+           );
+       return CMD_FAILURE;
+      }
+  }
 
   if (cmd.sbc_testval) 
     mode=T_1_SAMPLE;
@@ -175,37 +222,101 @@ cmd_t_test(void)
   else
     mode=T_PAIRED;
 
-  if ( mode == T_PAIRED && cmd.sbc_variables
+  if ( mode == T_PAIRED) 
     {
-      msg(SE, _("VARIABLES subcommand is not appropriate with PAIRS"));
-      return CMD_FAILURE;
+      if (cmd.sbc_variables) 
+       {
+         msg(SE, _("VARIABLES subcommand is not appropriate with PAIRS"));
+         return CMD_FAILURE;
+       }
+      else
+       {
+         /* Iterate through the pairs and put each variable that is a 
+            member of a pair into cmd.v_variables */
+
+         int i;
+         struct hsh_iterator hi;
+         struct hsh_table *hash;
+         struct variable *v;
+
+         hash=hsh_create(n_pairs,compare_var_name,hash_var_name,0,0);
+
+         for (i=0; i < n_pairs; ++i)
+           {
+             hsh_insert(hash,pairs[i].v[0]);
+             hsh_insert(hash,pairs[i].v[1]);
+           }
+
+         assert(cmd.n_variables == 0);
+         cmd.n_variables = hsh_count(hash);
+
+         cmd.v_variables = xrealloc(cmd.v_variables,
+                                    sizeof(struct variable) * cmd.n_variables);
+         /* Iterate through the hash */
+         for (i=0,v = (struct variable *) hsh_first(hash,&hi);
+              v != 0;
+              v=hsh_next(hash,&hi) ) 
+           cmd.v_variables[i++]=v;
+
+         hsh_destroy(hash);
+       }
     }
 
-  procedure(common_precalc,common_calc,common_postcalc);
 
-  if (mode == T_1_SAMPLE)
-    procedure(one_sample_precalc,one_sample_calc,one_sample_postcalc);
+  procedure(common_precalc,common_calc,common_postcalc, NULL);
+
+  switch(mode)
+    {
+    case T_1_SAMPLE:
+      procedure(one_sample_precalc,one_sample_calc,one_sample_postcalc, NULL);
+      break;
+    case T_PAIRED:
+      procedure(paired_precalc,paired_calc,paired_postcalc, NULL);
+      break;
+    case T_IND_SAMPLES:
+      procedure(group_precalc,group_calc,group_postcalc, NULL);
+      levene(groups, cmd.n_variables, cmd.v_variables);
+      break;
+    }
 
   t_test_pool = pool_create ();
 
   ssbox_create(&stat_summary_box,&cmd,mode);
-  trbox_create(&test_results_box,&cmd,mode);
-
   ssbox_populate(&stat_summary_box,&cmd);
-  trbox_populate(&test_results_box,&cmd);
-
   ssbox_finalize(&stat_summary_box);
+
+  if ( mode == T_PAIRED) 
+      pscbox();
+
+  trbox_create(&test_results_box,&cmd,mode);
+  trbox_populate(&test_results_box,&cmd);
   trbox_finalize(&test_results_box);
 
   pool_destroy (t_test_pool);
 
   t_test_pool=0;
+
+
+  n_pairs=0;
+  free(pairs);
+  pairs=0;
+
+
+  if ( mode == T_IND_SAMPLES) 
+    {
+      int i;
+      /* Destroy any group statistics we created */
+      for (i= 0 ; i < cmd.n_variables ; ++i ) 
+       {
+         free(cmd.v_variables[i]->p.t_t.gs);
+       }
+    }
     
   return CMD_SUCCESS;
 }
 
 static int
-tts_custom_groups (struct cmd_t_test *cmd unused)
+tts_custom_groups (struct cmd_t_test *cmd UNUSED)
 {
   lex_match('=');
 
@@ -270,10 +381,11 @@ tts_custom_groups (struct cmd_t_test *cmd unused)
 
 
 static int
-tts_custom_pairs (struct cmd_t_test *cmd unused)
+tts_custom_pairs (struct cmd_t_test *cmd UNUSED)
 {
   struct variable **vars;
   int n_vars;
+  int n_pairs_local;
 
   int n_before_WITH ;
   int n_after_WITH = -1;
@@ -325,11 +437,11 @@ tts_custom_pairs (struct cmd_t_test *cmd unused)
               n_before_WITH, n_after_WITH );
          return 0;
        }
-      n_pairs=n_before_WITH;
+      n_pairs_local=n_before_WITH;
     }
   else if (n_before_WITH > 0) /* WITH keyword given, but not PAIRED keyword */
     {
-      n_pairs=n_before_WITH * n_after_WITH ;
+      n_pairs_local=n_before_WITH * n_after_WITH ;
     }
   else /* Neither WITH nor PAIRED keyword given */
     {
@@ -342,35 +454,36 @@ tts_custom_pairs (struct cmd_t_test *cmd unused)
        }
 
       /* how many ways can you pick 2 from n_vars ? */
-      n_pairs = n_vars * (n_vars -1 ) /2 ;
+      n_pairs_local = n_vars * (n_vars -1 ) /2 ;
     }
 
+
   /* Allocate storage for the pairs */
-  pairs = xrealloc(pairs,sizeof(pair_t) *n_pairs);
+  pairs = xrealloc(pairs, sizeof(struct pair) * (n_pairs + n_pairs_local) );
 
   /* Populate the pairs with the appropriate variables */
   if ( paired ) 
     {
       int i;
 
-      assert(n_pairs == n_vars/2);
-      for (i = 0; i < n_pairs ; ++i)
+      assert(n_pairs_local == n_vars/2);
+      for (i = 0; i < n_pairs_local ; ++i)
        {
-         pairs[i][0] = vars[i];
-         pairs[i][1] = vars[i+n_pairs];
+         pairs[i].v[n_pairs+0] = vars[i];
+         pairs[i].v[n_pairs+1] = vars[i+n_pairs_local];
        }
     }
   else if (n_before_WITH > 0) /* WITH keyword given, but not PAIRED keyword */
     {
       int i,j;
-      int p=0;
+      int p=n_pairs;
 
       for(i=0 ; i < n_before_WITH ; ++i ) 
        {
          for(j=0 ; j < n_after_WITH ; ++j)
            {
-             pairs[p][0] = vars[i];
-             pairs[p][1] = vars[j+n_before_WITH];
+             pairs[p].v[0] = vars[i];
+             pairs[p].v[1] = vars[j+n_before_WITH];
              ++p;
            }
        }
@@ -378,19 +491,21 @@ tts_custom_pairs (struct cmd_t_test *cmd unused)
   else /* Neither WITH nor PAIRED given */
     {
       int i,j;
-      int p=0;
+      int p=n_pairs;
       
       for(i=0 ; i < n_vars ; ++i ) 
        {
          for(j=i+1 ; j < n_vars ; ++j)
            {
-             pairs[p][0] = vars[i];
-             pairs[p][1] = vars[j];
+             pairs[p].v[0] = vars[i];
+             pairs[p].v[1] = vars[j];
              ++p;
            }
        }
     }
 
+  n_pairs+=n_pairs_local;
+
   return 1;
 }
 
@@ -562,6 +677,8 @@ ssbox_independent_samples_populate(struct ssbox *ssb,
 
   for (i=0; i < cmd->n_variables; ++i)
     {
+      int g;
+
       tab_text (ssb->t, 0, i*2+1, TAB_LEFT, cmd->v_variables[i]->name);
 
       if (val_lab1)
@@ -569,10 +686,22 @@ ssbox_independent_samples_populate(struct ssbox *ssb,
       else
        tab_float(ssb->t, 1 ,i*2+1, TAB_LEFT, groups_values[0].f, 2,0);
 
+
       if (val_lab2)
        tab_text (ssb->t, 1, i*2+1+1, TAB_LEFT, val_lab2);
       else
        tab_float(ssb->t, 1 ,i*2+1+1, TAB_LEFT, groups_values[1].f,2,0);
+
+      /* Fill in the group statistics */
+      for ( g=0; g < 2 ; ++g ) 
+       {
+         struct group_statistics *gs = &cmd->v_variables[i]->p.t_t.gs[g];
+
+         tab_float(ssb->t, 2 ,i*2+g+1, TAB_RIGHT, gs->n, 2, 0);
+         tab_float(ssb->t, 3 ,i*2+g+1, TAB_RIGHT, gs->mean, 8, 2);
+         tab_float(ssb->t, 4 ,i*2+g+1, TAB_RIGHT, gs->std_dev, 8, 3);
+         tab_float(ssb->t, 5 ,i*2+g+1, TAB_RIGHT, gs->se_mean, 8, 3);
+       }
     }
 }
 
@@ -582,7 +711,7 @@ void ssbox_paired_populate(struct ssbox *ssb,
 
 /* Initialize the paired values ssbox */
 void 
-ssbox_paired_init(struct ssbox *this, struct cmd_t_test *cmd unused)
+ssbox_paired_init(struct ssbox *this, struct cmd_t_test *cmd UNUSED)
 {
   int hsize=6;
 
@@ -603,26 +732,38 @@ ssbox_paired_init(struct ssbox *this, struct cmd_t_test *cmd unused)
 
 /* Populate the ssbox for paired values */
 void 
-ssbox_paired_populate(struct ssbox *ssb,struct cmd_t_test *cmd unused)
+ssbox_paired_populate(struct ssbox *ssb,struct cmd_t_test *cmd UNUSED)
 {
   int i;
-  struct string ds;
 
   assert(ssb->t);
-  ds_init(t_test_pool,&ds,15);
 
   for (i=0; i < n_pairs; ++i)
     {
-      ds_clear(&ds);
+      int j;
 
-      ds_printf(&ds,_("Pair %d"),i);
+      tab_text (ssb->t, 0, i*2+1, TAB_LEFT | TAT_PRINTF , _("Pair %d"),i);
+
+      for (j=0 ; j < 2 ; ++j) 
+       {
+         struct group_statistics *gs;
+
+         gs=&pairs[i].v[j]->p.t_t.ugs;
+
+         /* Titles */
+
+         tab_text (ssb->t, 1, i*2+j+1, TAB_LEFT, pairs[i].v[j]->name);
+
+         /* Values */
+         tab_float (ssb->t,2, i*2+j+1, TAB_RIGHT, gs->mean, 8, 2);
+         tab_float (ssb->t,3, i*2+j+1, TAB_RIGHT, gs->n, 2, 0);
+         tab_float (ssb->t,4, i*2+j+1, TAB_RIGHT, gs->std_dev, 8, 3);
+         tab_float (ssb->t,5, i*2+j+1, TAB_RIGHT, gs->se_mean, 8, 3);
+
+       }
 
-      tab_text (ssb->t, 0, i*2+1, TAB_LEFT, ds.string);
-      tab_text (ssb->t, 1, i*2+1, TAB_LEFT, pairs[i][0]->name);
-      tab_text (ssb->t, 1, i*2+2, TAB_LEFT, pairs[i][1]->name);
     }
 
-  ds_destroy(&ds);
 }
 
 /* Populate the one sample ssbox */
@@ -635,14 +776,14 @@ ssbox_one_sample_populate(struct ssbox *ssb, struct cmd_t_test *cmd)
 
   for (i=0; i < cmd->n_variables; ++i)
     {
-      struct t_test_proc *ttp;
-      ttp= &cmd->v_variables[i]->p.t_t;
+      struct group_statistics *gs;
+      gs= &cmd->v_variables[i]->p.t_t.ugs;
 
       tab_text (ssb->t, 0, i+1, TAB_LEFT, cmd->v_variables[i]->name);
-      tab_float (ssb->t,1, i+1, TAB_RIGHT, ttp->n, 2, 0);
-      tab_float (ssb->t,2, i+1, TAB_RIGHT, ttp->mean, 8, 2);
-      tab_float (ssb->t,3, i+1, TAB_RIGHT, ttp->std_dev, 8, 2);
-      tab_float (ssb->t,4, i+1, TAB_RIGHT, ttp->se_mean, 8, 3);
+      tab_float (ssb->t,1, i+1, TAB_RIGHT, gs->n, 2, 0);
+      tab_float (ssb->t,2, i+1, TAB_RIGHT, gs->mean, 8, 2);
+      tab_float (ssb->t,3, i+1, TAB_RIGHT, gs->std_dev, 8, 2);
+      tab_float (ssb->t,4, i+1, TAB_RIGHT, gs->se_mean, 8, 3);
     }
   
 }
@@ -712,13 +853,11 @@ trbox_finalize(struct trbox *trb)
 /* Initialize the independent samples trbox */
 void 
 trbox_independent_samples_init(struct trbox *self,
-                          struct cmd_t_test *cmd unused)
+                          struct cmd_t_test *cmd UNUSED)
 {
   const int hsize=11;
   const int vsize=cmd->n_variables*2+3;
 
-  struct string ds;
-
   assert(self);
   self->populate = trbox_independent_samples_populate;
 
@@ -731,7 +870,7 @@ trbox_independent_samples_init(struct trbox *self,
   tab_hline(self->t,TAL_1, hsize-2,hsize-1,2);
   tab_box(self->t,-1,-1,-1,TAL_1, hsize-2,2,hsize-1,vsize-1);
   tab_joint_text(self->t, 2, 0, 3, 0, 
-                TAB_CENTER,_("Levine's Test for Equality of Variances"));
+                TAB_CENTER,_("Levene's Test for Equality of Variances"));
   tab_joint_text(self->t, 4,0,hsize-1,0,
                 TAB_CENTER,_("t-test for Equality of Means"));
 
@@ -745,14 +884,10 @@ trbox_independent_samples_init(struct trbox *self,
   tab_text(self->t,9,2, TAB_CENTER | TAT_TITLE,_("Lower"));
   tab_text(self->t,10,2, TAB_CENTER | TAT_TITLE,_("Upper"));
 
-  ds_init(t_test_pool,&ds,80);
-               
-  ds_printf(&ds,_("%d%% Confidence Interval of the Difference"),
-           (int)round(cmd->criteria*100.0));
-
-  tab_joint_text(self->t,9,1,10,1,TAB_CENTER, ds.string);
+  tab_joint_text(self->t, 9, 1, 10, 1, TAB_CENTER | TAT_PRINTF, 
+                _("%d%% Confidence Interval of the Difference"),
+                (int)round(cmd->criteria*100.0));
 
-  ds_destroy(&ds);
 }
 
 /* Populate the independent samples trbox */
@@ -765,29 +900,165 @@ trbox_independent_samples_populate(struct trbox *self,
   assert(self);
   for (i=0; i < cmd->n_variables; ++i)
     {
+      int which =1;
+      double p,q;
+      int status;
+      double bound;
+
+      double t;
+      double df;
+
+      double df1, df2;
+
+      double pooled_variance;
+      double std_err_diff;
+      double mean_diff;
+
+      struct group_statistics *gs0 = &cmd->v_variables[i]->p.t_t.gs[0];
+      struct group_statistics *gs1 = &cmd->v_variables[i]->p.t_t.gs[1];
+         
       tab_text (self->t, 0, i*2+3, TAB_LEFT, cmd->v_variables[i]->name);
 
       tab_text (self->t, 1, i*2+3, TAB_LEFT, _("Equal variances assumed"));
 
+
+      tab_float(self->t, 2, i*2+3, TAB_CENTER, 
+               cmd->v_variables[i]->p.t_t.levene, 8,3);
+
+
+      /* Now work out the significance of the Levene test */
+
+      which=1; df1 = 1; df2 = cmd->v_variables[i]->p.t_t.ugs.n - 2;
+      cdff(&which,&p,&q,&cmd->v_variables[i]->p.t_t.levene,
+          &df1,&df2,&status,&bound);
+
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating F statistic (cdff returned %d)."),status);
+       }
+
+      tab_float(self->t, 3, i*2+3, TAB_CENTER, q, 8,3 );
+
+      df = gs0->n + gs1->n - 2.0 ;
+      tab_float (self->t, 5, i*2+3, TAB_RIGHT, df, 2, 0);
+
+      pooled_variance = ( (gs0->n )*sqr(gs0->s_std_dev)
+                         + 
+                         (gs1->n )*sqr(gs1->s_std_dev) 
+                       ) / df  ;
+
+      t = (gs0->mean - gs1->mean) / sqrt(pooled_variance) ;
+      t /= sqrt((gs0->n + gs1->n)/(gs0->n*gs1->n)); 
+
+      tab_float (self->t, 4, i*2+3, TAB_RIGHT, t, 8, 3);
+
+
+      which=1; /* get p & q from t & df */
+      cdft(&which, &p, &q, &t, &df, &status, &bound);
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
+
+      tab_float(self->t, 6, i*2+3, TAB_RIGHT, 2.0*(t>0?q:p) , 8, 3);
+
+      mean_diff = gs0->mean - gs1->mean;
+      tab_float(self->t, 7, i*2+3, TAB_RIGHT, mean_diff, 8, 3);
+
+
+      std_err_diff = sqrt( sqr(gs0->se_mean) + sqr(gs1->se_mean));
+      tab_float(self->t, 8, i*2+3, TAB_RIGHT, std_err_diff, 8, 3);
+
+
+      /* Now work out the confidence interval */
+      q = (1 - cmd->criteria)/2.0;  /* 2-tailed test */
+      p = 1 - q ;
+      which=2; /* Calc T from p,q and df */
+      cdft(&which, &p, &q, &t, &df, &status, &bound);
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
+
+      tab_float(self->t, 9, i*2+3, TAB_RIGHT, 
+               mean_diff - t * std_err_diff, 8, 3); 
+
+      tab_float(self->t, 10, i*2+3, TAB_RIGHT, 
+               mean_diff + t * std_err_diff, 8, 3); 
+
+
+      {
+       double se2;
+      /* Now for the \sigma_1 != \sigma_2 case */
       tab_text (self->t, 1, i*2+3+1, 
                TAB_LEFT, _("Equal variances not assumed"));
+
+
+      se2 = (sqr(gs0->s_std_dev)/(gs0->n -1) ) +
+       (sqr(gs1->s_std_dev)/(gs1->n -1) );
+
+      t = mean_diff / sqrt(se2) ;
+      tab_float (self->t, 4, i*2+3+1, TAB_RIGHT, t, 8, 3);
+               
+      df = sqr(se2) / ( 
+                      (sqr(sqr(gs0->s_std_dev)/(gs0->n - 1 )) 
+                       /(gs0->n -1 )
+                       )
+                      + 
+                      (sqr(sqr(gs1->s_std_dev)/(gs1->n - 1 ))
+                       /(gs1->n -1 )
+                       )
+                      ) ;
+      tab_float (self->t, 5, i*2+3+1, TAB_RIGHT, df, 8, 3);
+
+      which=1; /* get p & q from t & df */
+      cdft(&which, &p, &q, &t, &df, &status, &bound);
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
+
+      tab_float(self->t, 6, i*2+3+1, TAB_RIGHT, 2.0*(t>0?q:p) , 8, 3);
+
+      /* Now work out the confidence interval */
+      q = (1 - cmd->criteria)/2.0;  /* 2-tailed test */
+      p = 1 - q ;
+      which=2; /* Calc T from p,q and df */
+      cdft(&which, &p, &q, &t, &df, &status, &bound);
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
+
+
+      tab_float(self->t, 7, i*2+3+1, TAB_RIGHT, mean_diff, 8, 3);
+
+
+      tab_float(self->t, 8, i*2+3+1, TAB_RIGHT, std_err_diff, 8, 3);
+
+
+      tab_float(self->t, 9, i*2+3+1, TAB_RIGHT, 
+               mean_diff - t * std_err_diff, 8, 3); 
+
+      tab_float(self->t, 10, i*2+3+1, TAB_RIGHT, 
+               mean_diff + t * std_err_diff, 8, 3); 
+
+      }
     }
 }
 
 /* Initialize the paired samples trbox */
 void 
 trbox_paired_init(struct trbox *self,
-                          struct cmd_t_test *cmd unused)
+                          struct cmd_t_test *cmd UNUSED)
 {
 
   const int hsize=10;
-  const int vsize=n_pairs*2+3;
-
-  struct string ds;
+  const int vsize=n_pairs+3;
 
   self->populate = trbox_paired_populate;
 
-  trbox_base_init(self,n_pairs*2,hsize);
+  trbox_base_init(self,n_pairs,hsize);
   tab_title (self->t, 0, _("Paired Samples Test"));
   tab_hline(self->t,TAL_1,2,6,1);
   tab_vline(self->t,TAL_2,2,0,vsize);
@@ -797,14 +1068,9 @@ trbox_paired_init(struct trbox *self,
   tab_hline(self->t,TAL_1,5,6, 2);
   tab_vline(self->t,TAL_0,6,0,1);
 
-  ds_init(t_test_pool,&ds,80);
-               
-  ds_printf(&ds,_("%d%% Confidence Interval of the Difference"),
-           (int)round(cmd->criteria*100.0));
-
-  tab_joint_text(self->t,5,1,6,1,TAB_CENTER, ds.string);
-
-  ds_destroy(&ds);
+  tab_joint_text(self->t, 5, 1, 6, 1, TAB_CENTER | TAT_PRINTF, 
+                _("%d%% Confidence Interval of the Difference"),
+                (int)round(cmd->criteria*100.0));
 
   tab_text (self->t, 2, 2, TAB_CENTER | TAT_TITLE, _("Mean"));
   tab_text (self->t, 3, 2, TAB_CENTER | TAT_TITLE, _("Std. Deviation"));
@@ -819,23 +1085,82 @@ trbox_paired_init(struct trbox *self,
 /* Populate the paired samples trbox */
 void 
 trbox_paired_populate(struct trbox *trb,
-                             struct cmd_t_test *cmd unused)
+                             struct cmd_t_test *cmd UNUSED)
 {
   int i;
-  struct string ds;
-
-  ds_init(t_test_pool,&ds,15);  
 
   for (i=0; i < n_pairs; ++i)
     {
-      ds_clear(&ds);
-      ds_printf(&ds,_("Pair %d"),i);
+      int which =1;
+      double p,q;
+      int status;
+      double bound;
+      double se_mean;
+
+      struct variable *v0 = pairs[i].v[0];
+      struct variable *v1 = pairs[i].v[1];
+
+      struct group_statistics *gs0 = &v0->p.t_t.ugs;
+      struct group_statistics *gs1 = &v1->p.t_t.ugs;
+
+      double n = gs0->n;
+      double t;
+      double df = n - 1;
+      
+      tab_text (trb->t, 0, i+3, TAB_LEFT | TAT_PRINTF, _("Pair %d"),i); 
+
+      tab_text (trb->t, 1, i+3, TAB_LEFT | TAT_PRINTF, "%s - %s",
+               pairs[i].v[0]->name, pairs[i].v[1]->name);
+
+      tab_float(trb->t, 2, i+3, TAB_RIGHT, pairs[i].mean_diff, 8, 4);
+
+      tab_float(trb->t, 3, i+3, TAB_RIGHT, pairs[i].std_dev_diff, 8, 5);
+
+      /* SE Mean */
+      se_mean = pairs[i].std_dev_diff / sqrt(n) ;
+      tab_float(trb->t, 4, i+3, TAB_RIGHT, se_mean, 8,5 );
+
+      /* Now work out the confidence interval */
+      q = (1 - cmd->criteria)/2.0;  /* 2-tailed test */
+      p = 1 - q ;
+      which=2; /* Calc T from p,q and df */
+      cdft(&which, &p, &q, &t, &df, &status, &bound);
+
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
+
+      tab_float(trb->t, 5, i+3, TAB_RIGHT, 
+               pairs[i].mean_diff - t * se_mean , 8, 4); 
+
+      tab_float(trb->t, 6, i+3, TAB_RIGHT, 
+               pairs[i].mean_diff + t * se_mean , 8, 4); 
+
+      t = ( gs0->mean - gs1->mean)
+       / sqrt ( 
+               (  sqr(gs0->s_std_dev) + sqr(gs1->s_std_dev)  - 
+                  2 * pairs[i].correlation * gs0->s_std_dev * gs1->s_std_dev              )
+               / (n-1) )
+       ;
+
+      tab_float(trb->t, 7, i+3, TAB_RIGHT, t , 8,3 );
+
+      /* Degrees of freedom */
+      tab_float(trb->t, 8, i+3, TAB_RIGHT, df , 2, 0 );
+
+      which=1;
+      cdft(&which, &p, &q, &t, &df, &status, &bound);
+
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
+
+
+      tab_float(trb->t, 9, i+3, TAB_RIGHT, 2.0*(t>0?q:p) , 8, 3);
 
-      tab_text (trb->t, 0, i*2+3, TAB_LEFT, ds.string);
-      tab_text (trb->t, 1, i*2+3, TAB_LEFT, pairs[i][0]->name);
-      tab_text (trb->t, 1, i*2+4, TAB_LEFT, pairs[i][1]->name);
     }
-  ds_destroy(&ds);
 }
 
 /* Initialize the one sample trbox */
@@ -845,24 +1170,23 @@ trbox_one_sample_init(struct trbox *self, struct cmd_t_test *cmd )
   const int hsize=7;
   const int vsize=cmd->n_variables+3;
 
-  struct string ds;
-  
   self->populate = trbox_one_sample_populate;
 
   trbox_base_init(self, cmd->n_variables,hsize);
   tab_title (self->t, 0, _("One-Sample Test"));
   tab_hline(self->t, TAL_1, 1, hsize - 1, 1);
   tab_vline(self->t, TAL_2, 1, 0, vsize);
-  ds_init(t_test_pool, &ds, 80);
-  ds_printf(&ds,_("Test Value = %f"),cmd->n_testval);
-  tab_joint_text(self->t, 1, 0, hsize-1,0, TAB_CENTER,ds.string);
+
+  tab_joint_text(self->t, 1, 0, hsize-1,0, TAB_CENTER | TAT_PRINTF, 
+                _("Test Value = %f"),cmd->n_testval);
+
   tab_box(self->t, -1, -1, -1, TAL_1, 1,1,hsize-1,vsize-1);
 
-  ds_clear(&ds);
-  ds_printf(&ds,_("%d%% Confidence Interval of the Difference"),
-           (int)round(cmd->criteria*100.0));
-  tab_joint_text(self->t,5,1,6,1,TAB_CENTER, ds.string);
-  ds_destroy(&ds);
+
+  tab_joint_text(self->t,5,1,6,1,TAB_CENTER  | TAT_PRINTF, 
+                _("%d%% Confidence Interval of the Difference"),
+                (int)round(cmd->criteria*100.0));
+
   tab_vline(self->t,TAL_0,6,1,1);
   tab_hline(self->t,TAL_1,5,6,2);
   tab_text (self->t, 1, 2, TAB_CENTER | TAT_TITLE, _("t"));
@@ -891,42 +1215,50 @@ trbox_one_sample_populate(struct trbox *trb, struct cmd_t_test *cmd)
       double df;
       int status;
       double bound;
-      struct t_test_proc *ttp;
-      ttp= &cmd->v_variables[i]->p.t_t;
+      struct group_statistics *gs;
+      gs= &cmd->v_variables[i]->p.t_t.ugs;
 
 
       tab_text (trb->t, 0, i+3, TAB_LEFT, cmd->v_variables[i]->name);
 
-      t = (ttp->mean - cmd->n_testval ) * sqrt(ttp->n) / ttp->std_dev ;
+      t = (gs->mean - cmd->n_testval ) * sqrt(gs->n) / gs->std_dev ;
 
       tab_float (trb->t, 1, i+3, TAB_RIGHT, t, 8,3);
 
       /* degrees of freedom */
-      df = ttp->n - 1;
+      df = gs->n - 1;
 
       tab_float (trb->t, 2, i+3, TAB_RIGHT, df, 8,0);
 
       cdft(&which, &p, &q, &t, &df, &status, &bound);
 
-      assert(status == 0 ); /* FIXME: use proper error message */
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
+
 
-      /* Multiply by 2 to get 2-tailed significance */
-      tab_float (trb->t, 3, i+3, TAB_RIGHT, q*2.0, 8,3);
+      /* Multiply by 2 to get 2-tailed significance, makeing sure we've got 
+        the correct tail*/
+      tab_float (trb->t, 3, i+3, TAB_RIGHT, 2.0*(t>0?q:p), 8,3);
 
-      tab_float (trb->t, 4, i+3, TAB_RIGHT, ttp->mean_diff, 8,3);
+      tab_float (trb->t, 4, i+3, TAB_RIGHT, gs->mean_diff, 8,3);
 
 
       q = (1 - cmd->criteria)/2.0;  /* 2-tailed test */
       p = 1 - q ;
       which=2; /* Calc T from p,q and df */
       cdft(&which, &p, &q, &t, &df, &status, &bound);
-      assert(status == 0 ); /* FIXME: proper error message */
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
 
       tab_float (trb->t, 5, i+3, TAB_RIGHT,
-                ttp->mean_diff - t * ttp->se_mean, 8,4);
+                gs->mean_diff - t * gs->se_mean, 8,4);
 
       tab_float (trb->t, 6, i+3, TAB_RIGHT,
-                ttp->mean_diff + t * ttp->se_mean, 8,4);
+                gs->mean_diff + t * gs->se_mean, 8,4);
     }
 }
 
@@ -953,11 +1285,81 @@ trbox_base_finalize(struct trbox *trb)
 }
 
 
+/* Create , populate and submit the Paired Samples Correlation box */
+void
+pscbox(void)
+{
+  const int rows=1+n_pairs;
+  const int cols=5;
+  int i;
+  
+  struct tab_table *table;
+  
+  table = tab_create (cols,rows,0);
+
+  tab_columns (table, SOM_COL_DOWN, 1);
+  tab_headers (table,0,0,1,0); 
+  tab_box (table, TAL_2, TAL_2, TAL_0, TAL_1, 0, 0, cols -1, rows -1 );
+  tab_hline(table, TAL_2, 0, cols - 1, 1);
+  tab_vline(table, TAL_2, 2, 0, rows - 1);
+  tab_dim(table, tab_natural_dimensions);
+  tab_title(table, 0, _("Paired Samples Correlations"));
+
+  /* column headings */
+  tab_text(table, 2,0, TAB_CENTER | TAT_TITLE, _("N"));
+  tab_text(table, 3,0, TAB_CENTER | TAT_TITLE, _("Correlation"));
+  tab_text(table, 4,0, TAB_CENTER | TAT_TITLE, _("Sig."));
+
+  for (i=0; i < n_pairs; ++i)
+    {
+      int which =1;
+      double p,q;
+
+      int status;
+      double bound;
+
+      double df = pairs[i].v[0]->p.t_t.ugs.n -2;
+
+      double correlation_t = 
+       pairs[i].correlation * sqrt(df) /
+       sqrt(1 - sqr(pairs[i].correlation));
+
+
+      /* row headings */
+      tab_text(table, 0,i+1, TAB_LEFT | TAT_TITLE | TAT_PRINTF, 
+              _("Pair %d"), i);
+      
+      tab_text(table, 1,i+1, TAB_LEFT | TAT_TITLE | TAT_PRINTF, 
+              _("%s & %s"), pairs[i].v[0]->name, pairs[i].v[1]->name);
+
+
+      /* row data */
+      tab_float(table, 3, i+1, TAB_RIGHT, pairs[i].correlation, 8, 3);
+      tab_float(table, 2, i+1, TAB_RIGHT, pairs[i].v[0]->p.t_t.ugs.n , 4, 0);
+
+
+      cdft(&which, &p, &q, &correlation_t, &df, &status, &bound);
+
+      if ( 0 != status )
+       {
+         msg( SE, _("Error calculating T statistic (cdft returned %d)."),status);
+       }
+
+
+      tab_float(table, 4, i+1, TAB_RIGHT, 2.0*(correlation_t>0?q:p), 8, 3);
+      
+    }
+
+  tab_submit(table);
+}
+
+
+
 /* Calculation Implementation */
 
 /* Per case calculations common to all variants of the T test */
 static int 
-common_calc (struct ccase *c)
+common_calc (struct ccase *c, void *aux UNUSED)
 {
   int i;
 
@@ -965,17 +1367,17 @@ common_calc (struct ccase *c)
 
   for(i=0; i< cmd.n_variables ; ++i) 
     {
-      struct t_test_proc *ttp;
+      struct group_statistics *gs;
       struct variable *v = cmd.v_variables[i];
       union value *val = &c->data[v->fv];
 
-      ttp= &cmd.v_variables[i]->p.t_t;
+      gs= &cmd.v_variables[i]->p.t_t.ugs;
 
       if (val->f != SYSMIS) 
        {
-         ttp->n+=weight;
-         ttp->sum+=weight * val->f;
-         ttp->ssq+=weight * val->f * val->f;
+         gs->n+=weight;
+         gs->sum+=weight * val->f;
+         gs->ssq+=weight * val->f * val->f;
        }
     }
   return 0;
@@ -983,48 +1385,51 @@ common_calc (struct ccase *c)
 
 /* Pre calculations common to all variants of the T test */
 static void 
-common_precalc (void)
+common_precalc (void *aux UNUSED)
 {
   int i=0;
-  
+
   for(i=0; i< cmd.n_variables ; ++i) 
     {
-      struct t_test_proc *ttp;
-      ttp= &cmd.v_variables[i]->p.t_t;
+      struct group_statistics *gs;
+      gs= &cmd.v_variables[i]->p.t_t.ugs;
       
-      ttp->sum=0;
-      ttp->n=0;
-      ttp->ssq=0;
-      ttp->sum_diff=0;
+      gs->sum=0;
+      gs->n=0;
+      gs->ssq=0;
+      gs->sum_diff=0;
     }
 }
 
 /* Post calculations common to all variants of the T test */
 void 
-common_postcalc (void)
+common_postcalc (void *aux UNUSED)
 {
   int i=0;
 
   for(i=0; i< cmd.n_variables ; ++i) 
     {
-      struct t_test_proc *ttp;
-      ttp= &cmd.v_variables[i]->p.t_t;
+      struct group_statistics *gs;
+      gs= &cmd.v_variables[i]->p.t_t.ugs;
       
-      ttp->mean=ttp->sum / ttp->n;
-      ttp->std_dev= sqrt(
-                        ttp->n/(ttp->n-1) *
-                        ( (ttp->ssq / ttp->n ) - ttp->mean * ttp->mean )
+      gs->mean=gs->sum / gs->n;
+      gs->s_std_dev= sqrt(
+                        ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
                         ) ;
 
-      ttp->se_mean = ttp->std_dev / sqrt(ttp->n);
+      gs->std_dev= sqrt(
+                        gs->n/(gs->n-1) *
+                        ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
+                        ) ;
 
-      ttp->mean_diff= ttp->sum_diff / ttp->n;
+      gs->se_mean = gs->std_dev / sqrt(gs->n);
+      gs->mean_diff= gs->sum_diff / gs->n;
     }
 }
 
 /* Per case calculations for one sample t test  */
 static int 
-one_sample_calc (struct ccase *c)
+one_sample_calc (struct ccase *c, void *aux UNUSED)
 {
   int i;
 
@@ -1032,14 +1437,14 @@ one_sample_calc (struct ccase *c)
 
   for(i=0; i< cmd.n_variables ; ++i) 
     {
-      struct t_test_proc *ttp;
+      struct group_statistics *gs;
       struct variable *v = cmd.v_variables[i];
       union value *val = &c->data[v->fv];
 
-      ttp= &cmd.v_variables[i]->p.t_t;
+      gs= &cmd.v_variables[i]->p.t_t.ugs;
       
       if (val->f != SYSMIS) 
-       ttp->sum_diff += weight * fabs(val->f - cmd.n_testval);
+       gs->sum_diff += weight * (val->f - cmd.n_testval);
     }
 
   return 0;
@@ -1047,31 +1452,213 @@ one_sample_calc (struct ccase *c)
 
 /* Pre calculations for one sample t test */
 static void 
-one_sample_precalc (void)
+one_sample_precalc (void *aux UNUSED)
 {
   int i=0;
   
   for(i=0; i< cmd.n_variables ; ++i) 
     {
-      struct t_test_proc *ttp;
-      ttp= &cmd.v_variables[i]->p.t_t;
+      struct group_statistics *gs;
+      gs= &cmd.v_variables[i]->p.t_t.ugs;
       
-      ttp->sum_diff=0;
+      gs->sum_diff=0;
     }
 }
 
 /* Post calculations for one sample t test */
 static void 
-one_sample_postcalc (void)
+one_sample_postcalc (void *aux UNUSED)
 {
   int i=0;
   
   for(i=0; i< cmd.n_variables ; ++i) 
     {
-      struct t_test_proc *ttp;
-      ttp= &cmd.v_variables[i]->p.t_t;
+      struct group_statistics *gs;
+      gs= &cmd.v_variables[i]->p.t_t.ugs;
+
+      
+      gs->mean_diff = gs->sum_diff / gs->n ;
+    }
+}
+
+
+
+static int
+compare_var_name (const void *a_, const void *b_, void *v_ UNUSED)
+{
+  const struct variable *a = a_;
+  const struct variable *b = b_;
+
+  return strcmp(a->name,b->name);
+}
+
+static unsigned
+hash_var_name (const void *a_, void *v_ UNUSED)
+{
+  const struct variable *a = a_;
+
+  return hsh_hash_bytes (a->name, strlen(a->name));
+}
+
+
+
+static void 
+paired_precalc (void *aux UNUSED)
+{
+  int i;
+
+  for(i=0; i < n_pairs ; ++i )
+    {
+      pairs[i].correlation=0;
+      pairs[i].sum_of_diffs=0;
+      pairs[i].ssq_diffs=0;
+    }
+
+}
+
+
+static int  
+paired_calc (struct ccase *c, void *aux UNUSED)
+{
+  int i;
+
+  for(i=0; i < n_pairs ; ++i )
+    {
+      struct variable *v0 = pairs[i].v[0];
+      struct variable *v1 = pairs[i].v[1];
+
+      union value *val0 = &c->data[v0->fv];
+      union value *val1 = &c->data[v1->fv];
+
+      pairs[i].correlation += ( val0->f - pairs[i].v[0]->p.t_t.ugs.mean )
+                             *
+                             ( val1->f - pairs[i].v[1]->p.t_t.ugs.mean );
+
+      pairs[i].sum_of_diffs += val0->f - val1->f ;
+      pairs[i].ssq_diffs += sqr(val0->f - val1->f);
+
+    }
+
+  return 0;
+}
+
+static void 
+paired_postcalc (void *aux UNUSED)
+{
+  int i;
 
+  for(i=0; i < n_pairs ; ++i )
+    {
+      const double n = pairs[i].v[0]->p.t_t.ugs.n ;
       
-      ttp->mean_diff = ttp->sum_diff / ttp->n ;
+      pairs[i].correlation /= pairs[i].v[0]->p.t_t.ugs.std_dev * 
+                              pairs[i].v[1]->p.t_t.ugs.std_dev ;
+      pairs[i].correlation /= pairs[i].v[0]->p.t_t.ugs.n -1; 
+
+
+      pairs[i].mean_diff = pairs[i].sum_of_diffs / n ;
+
+
+      pairs[i].std_dev_diff = sqrt (  n / (n - 1) * (
+                                   ( pairs[i].ssq_diffs / n )
+                                   - 
+                                   sqr(pairs[i].mean_diff )
+                                   ) );
     }
 }
+
+static int
+get_group(const union value *val, struct variable *var)
+{
+  if ( 0 == compare_values(val,&groups_values[0],var->width) )
+    return 0;
+  else if (0 == compare_values(val,&groups_values[1],var->width) )
+    return 1;
+
+  /* Never reached */
+  assert(0);
+  return -1;
+}
+
+
+static void 
+group_precalc (void *aux UNUSED)
+{
+  int i;
+  int j;
+
+  for(i=0; i< cmd.n_variables ; ++i) 
+    {
+      struct t_test_proc *ttpr = &cmd.v_variables[i]->p.t_t;
+
+      /* There's always 2 groups for a T - TEST */
+      ttpr->n_groups = 2;
+      ttpr->gs = xmalloc(sizeof(struct group_statistics) * 2) ;
+
+      for (j=0 ; j < 2 ; ++j)
+       {
+         ttpr->gs[j].sum=0;
+         ttpr->gs[j].n=0;
+         ttpr->gs[j].ssq=0;
+         ttpr->gs[j].id = groups_values[j];
+       }
+    }
+
+}
+
+static int  
+group_calc (struct ccase *c, void *aux UNUSED)
+{
+  int i;
+  union value *gv = &c->data[groups->fv];
+
+  double weight = dict_get_case_weight(default_dict,c);
+
+  gv = &c->data[groups->fv];
+
+  for(i=0; i< cmd.n_variables ; ++i) 
+    {
+      int g = get_group(gv,groups);
+
+      struct group_statistics *gs = &cmd.v_variables[i]->p.t_t.gs[g];
+
+      union value *val=&c->data[cmd.v_variables[i]->fv];
+
+      gs->n+=weight;
+      gs->sum+=weight * val->f;
+      gs->ssq+=weight * sqr(val->f);
+    }
+
+  return 0;
+}
+
+
+static void 
+group_postcalc (void *aux UNUSED)
+{
+  int i;
+  int j;
+
+  for(i=0; i< cmd.n_variables ; ++i) 
+    {
+      for (j=0 ; j < 2 ; ++j)
+       {
+         struct group_statistics *gs;
+         gs=&cmd.v_variables[i]->p.t_t.gs[j];
+
+         gs->mean = gs->sum / gs->n;
+         
+         gs->s_std_dev= sqrt(
+                        ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
+                        ) ;
+
+         gs->std_dev= sqrt(
+                        gs->n/(gs->n-1) *
+                        ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
+                        ) ;
+         
+         gs->se_mean = gs->std_dev / sqrt(gs->n);
+       }
+    }
+}
+