Subcommand to export a model as a C function
[pspp-builds.git] / src / t-test.q
index f2759c6ed50e1ce82fc0d188c2be8b55910e6059..5fdb802d633be7246b49c2f639c130e63905cf41 100644 (file)
@@ -16,8 +16,8 @@
 
    You should have received a copy of the GNU General Public License
    along with this program; if not, write to the Free Software
-   Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
-   02111-1307, USA. */
+   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA. */
 
 #include <config.h>
 #include <gsl/gsl_cdf.h>
 #include <stdlib.h>
 #include <math.h>
 #include "alloc.h"
-#include "str.h"
 #include "case.h"
+#include "casefile.h"
 #include "command.h"
-#include "lexer.h"
+#include "dictionary.h"
 #include "error.h"
+#include "group_proc.h"
+#include "hash.h"
+#include "levene.h"
+#include "lexer.h"
 #include "magic.h"
 #include "misc.h"
-#include "tab.h"
+#include "size_max.h"
 #include "som.h"
+#include "str.h"
+#include "tab.h"
 #include "value-labels.h"
 #include "var.h"
 #include "vfm.h"
-#include "hash.h"
-#include "t-test.h"
-#include "casefile.h"
-#include "levene.h"
+
+#include "gettext.h"
+#define _(msgid) gettext (msgid)
+
+/* (headers) */
 
 /* (specification)
    "T-TEST" (tts_):
      +groups=custom;
-     +testval=double;
+     testval=double;
      variables=varlist("PV_NO_SCRATCH | PV_NUMERIC");
      pairs=custom;
      +missing=miss:!analysis/listwise,
 
 
 /* Function to use for testing for missing values */
-static is_missing_func value_is_missing;
+static is_missing_func *value_is_missing;
 
 /* Variable for the GROUPS subcommand, if given. */
 static struct variable *indep_var;
 
-/* GROUPS: Number of values specified by the user; the values
-   specified if any. */
+enum comparison
+  {
+    CMP_LE = -2,
+    CMP_EQ = 0,
+  };
+
+struct group_properties
+{
+  /* The comparison criterion */
+  enum comparison criterion;
+
+  /* The width of the independent variable */
+  int indep_width ;  
+
+  union {
+    /* The value of the independent variable at which groups are determined to 
+       belong to one group or the other */
+    double critical_value;
+    
+
+    /* The values of the independent variable for each group */
+    union value g_value[2];
+  } v ;
+
+};
+
 
-static int n_group_values;
-static union value groups_values[2];
-static enum comparison criteria[2];
+static struct group_properties gp ;
 
 
 
@@ -200,9 +229,6 @@ static int  group_calc (const struct ccase *, struct cmd_t_test *);
 static void group_postcalc (struct cmd_t_test *);
 
 
-static int compare_var_name (const void *a_, const void *b_, void *v_ UNUSED);
-static unsigned hash_var_name (const void *a_, void *v_ UNUSED);
-
 static void calculate(const struct casefile *cf, void *_mode);
 
 static  int mode;
@@ -211,6 +237,17 @@ static struct cmd_t_test cmd;
 
 static int bad_weight_warn;
 
+
+static int compare_group_binary(const struct group_statistics *a, 
+                               const struct group_statistics *b, 
+                               const struct group_properties *p);
+
+
+static unsigned  hash_group_binary(const struct group_statistics *g, 
+                                  const struct group_properties *p);
+
+
+
 int
 cmd_t_test(void)
 {
@@ -232,6 +269,7 @@ cmd_t_test(void)
        msg(SE, 
            _("TESTVAL, GROUPS and PAIRS subcommands are mutually exclusive.")
            );
+        free_t_test(&cmd);
        return CMD_FAILURE;
       }
   }
@@ -248,6 +286,7 @@ cmd_t_test(void)
       if (cmd.sbc_variables) 
        {
          msg(SE, _("VARIABLES subcommand is not appropriate with PAIRS"));
+          free_t_test(&cmd);
          return CMD_FAILURE;
        }
       else
@@ -260,7 +299,7 @@ cmd_t_test(void)
          struct hsh_table *hash;
          struct variable *v;
 
-         hash=hsh_create(n_pairs,compare_var_name,hash_var_name,0,0);
+         hash = hsh_create (n_pairs, compare_var_names, hash_var_name, 0, 0);
 
          for (i=0; i < n_pairs; ++i)
            {
@@ -271,8 +310,8 @@ cmd_t_test(void)
          assert(cmd.n_variables == 0);
          cmd.n_variables = hsh_count(hash);
 
-         cmd.v_variables = xrealloc(cmd.v_variables,
-                                    sizeof(struct variable) * cmd.n_variables);
+         cmd.v_variables = xnrealloc (cmd.v_variables, cmd.n_variables,
+                                       sizeof *cmd.v_variables);
          /* Iterate through the hash */
          for (i=0,v = (struct variable *) hsh_first(hash,&hi);
               v != 0;
@@ -285,15 +324,16 @@ cmd_t_test(void)
   else if ( !cmd.sbc_variables) 
     {
       msg(SE, _("One or more VARIABLES must be specified."));
+      free_t_test(&cmd);
       return CMD_FAILURE;
     }
 
 
   /* If /MISSING=INCLUDE is set, then user missing values are ignored */
   if (cmd.incl == TTS_INCLUDE ) 
-    value_is_missing = is_system_missing;
+    value_is_missing = mv_is_value_system_missing;
   else
-    value_is_missing = is_missing;
+    value_is_missing = mv_is_value_missing;
 
   bad_weight_warn = 1;
 
@@ -305,31 +345,26 @@ cmd_t_test(void)
 
   if ( mode == T_IND_SAMPLES) 
     {
-      int i;
+      int v;
       /* Destroy any group statistics we created */
-      for (i= 0 ; i < cmd.n_variables ; ++i ) 
+      for (v = 0 ; v < cmd.n_variables ; ++v ) 
        {
-         free(cmd.v_variables[i]->p.t_t.gs);
+         struct group_proc *grpp = group_proc_get (cmd.v_variables[v]);
+         hsh_destroy (grpp->group_hash);
        }
     }
     
+  free_t_test(&cmd);
   return CMD_SUCCESS;
 }
 
 static int
 tts_custom_groups (struct cmd_t_test *cmd UNUSED)
 {
+  int n_group_values=0;
 
   lex_match('=');
 
-  if (token != T_ALL && 
-      (token != T_ID || dict_lookup_var (default_dict, tokid) == NULL)
-     ) 
-  {
-    msg(SE,_("`%s' is not a variable name"),tokid);
-    return 0;
-  }
-
   indep_var = parse_variable ();
   if (!indep_var)
     {
@@ -348,41 +383,56 @@ tts_custom_groups (struct cmd_t_test *cmd UNUSED)
     {
       if (indep_var->type == NUMERIC)
        {
-         groups_values[0].f = 1;
-         groups_values[1].f = 2;
-         criteria[0] = criteria[1] = CMP_EQ;
+         gp.v.g_value[0].f = 1;
+         gp.v.g_value[1].f = 2;
+
+         gp.criterion = CMP_EQ;
+         
          n_group_values = 2;
+
          return 1;
        }
       else
        {
-         msg (SE, _("When applying GROUPS to a string variable, at "
-                    "least one value must be specified."));
+         msg (SE, _("When applying GROUPS to a string variable, two "
+                    "values must be specified."));
          return 0;
        }
     }
 
-  if (!parse_value (&groups_values[0],indep_var->type))
+  if (!parse_value (&gp.v.g_value[0], indep_var->type))
       return 0;
 
   lex_match (',');
   if (lex_match (')'))
     {
-      criteria[0] =  CMP_LE;
-      criteria[1] =  CMP_GT;
-      groups_values[1] = groups_values[0];
+      if (indep_var->type != NUMERIC)
+       {
+
+         msg (SE, _("When applying GROUPS to a string variable, two "
+                    "values must be specified."));
+         return 0;
+       }
+      gp.criterion = CMP_LE;
+      gp.v.critical_value = gp.v.g_value[0].f;
+
       n_group_values = 1;
       return 1;
     }
 
-  if (!parse_value (&groups_values[1],indep_var->type))
+  if (!parse_value (&gp.v.g_value[1], indep_var->type))
     return 0;
-  
+
   n_group_values = 2;
   if (!lex_force_match (')'))
     return 0;
 
-  criteria[0] = criteria[1] = CMP_EQ;
+  if ( n_group_values == 2 ) 
+    gp.criterion = CMP_EQ ;
+  else
+    gp.criterion = CMP_LE ;
+
+
   return 1;
 }
 
@@ -391,22 +441,15 @@ static int
 tts_custom_pairs (struct cmd_t_test *cmd UNUSED)
 {
   struct variable **vars;
-  int n_vars;
-  int n_pairs_local;
+  size_t n_vars;
+  size_t n_pairs_local;
 
-  int n_before_WITH ;
-  int n_after_WITH = -1;
+  size_t n_before_WITH;
+  size_t n_after_WITH = SIZE_MAX;
   int paired ; /* Was the PAIRED keyword given ? */
 
   lex_match('=');
 
-  if ((token != T_ID || dict_lookup_var (default_dict, tokid) == NULL)
-      && token != T_ALL)
-    {
-      msg(SE,_("`%s' is not a variable name"),tokid);
-      return 0;
-    }
-
   n_vars=0;
   if (!parse_variables (default_dict, &vars, &n_vars,
                        PV_DUPLICATE | PV_NUMERIC | PV_NO_SCRATCH))
@@ -416,7 +459,7 @@ tts_custom_pairs (struct cmd_t_test *cmd UNUSED)
     }
   assert (n_vars);
 
-  n_before_WITH=0;
+  n_before_WITH = 0;
   if (lex_match (T_WITH))
     {
       n_before_WITH = n_vars;
@@ -444,11 +487,11 @@ tts_custom_pairs (struct cmd_t_test *cmd UNUSED)
               n_before_WITH, n_after_WITH );
          return 0;
        }
-      n_pairs_local=n_before_WITH;
+      n_pairs_local = n_before_WITH;
     }
   else if (n_before_WITH > 0) /* WITH keyword given, but not PAIRED keyword */
     {
-      n_pairs_local=n_before_WITH * n_after_WITH ;
+      n_pairs_local = n_before_WITH * n_after_WITH ;
     }
   else /* Neither WITH nor PAIRED keyword given */
     {
@@ -461,29 +504,29 @@ tts_custom_pairs (struct cmd_t_test *cmd UNUSED)
        }
 
       /* how many ways can you pick 2 from n_vars ? */
-      n_pairs_local = n_vars * (n_vars -1 ) /2 ;
+      n_pairs_local = n_vars * (n_vars - 1) / 2;
     }
 
 
   /* Allocate storage for the pairs */
-  pairs = xrealloc(pairs, sizeof(struct pair) * (n_pairs + n_pairs_local) );
+  pairs = xnrealloc (pairs, n_pairs + n_pairs_local, sizeof *pairs);
 
   /* Populate the pairs with the appropriate variables */
   if ( paired ) 
     {
       int i;
 
-      assert(n_pairs_local == n_vars/2);
-      for (i = 0; i < n_pairs_local ; ++i)
+      assert(n_pairs_local == n_vars / 2);
+      for (i = 0; i < n_pairs_local; ++i)
        {
-         pairs[i].v[n_pairs+0] = vars[i];
-         pairs[i].v[n_pairs+1] = vars[i+n_pairs_local];
+         pairs[i].v[n_pairs] = vars[i];
+         pairs[i].v[n_pairs + 1] = vars[i + n_pairs_local];
        }
     }
   else if (n_before_WITH > 0) /* WITH keyword given, but not PAIRED keyword */
     {
       int i,j;
-      int p=n_pairs;
+      size_t p = n_pairs;
 
       for(i=0 ; i < n_before_WITH ; ++i ) 
        {
@@ -497,8 +540,8 @@ tts_custom_pairs (struct cmd_t_test *cmd UNUSED)
     }
   else /* Neither WITH nor PAIRED given */
     {
-      int i,j;
-      int p=n_pairs;
+      size_t i,j;
+      size_t p=n_pairs;
       
       for(i=0 ; i < n_vars ; ++i ) 
        {
@@ -556,6 +599,7 @@ void ssbox_independent_samples_init(struct ssbox *this,
 void ssbox_paired_init(struct ssbox *this,
                           struct cmd_t_test *cmd);
 
+
 /* Factory to create an ssbox */
 void 
 ssbox_create(struct ssbox *ssb, struct cmd_t_test *cmd, int mode)
@@ -577,6 +621,7 @@ ssbox_create(struct ssbox *ssb, struct cmd_t_test *cmd, int mode)
 }
 
 
+
 /* Despatcher for the populate method */
 void
 ssbox_populate(struct ssbox *ssb,struct cmd_t_test *cmd)
@@ -600,6 +645,8 @@ ssbox_base_finalize(struct ssbox *ssb)
   tab_submit(ssb->t);
 }
 
+
+
 /* Initialize a ssbox struct */
 void 
 ssbox_base_init(struct ssbox *this, int cols,int rows)
@@ -669,31 +716,41 @@ ssbox_independent_samples_populate(struct ssbox *ssb,
 
   char *val_lab0=0;
   char *val_lab1=0;
+  double indep_value[2];
 
   char prefix[2][3]={"",""};
 
   if ( indep_var->type == NUMERIC ) 
     {
-      val_lab0 = val_labs_find( indep_var->val_labs,groups_values[0]); 
-      val_lab1 = val_labs_find( indep_var->val_labs,groups_values[1]);
+      val_lab0 = val_labs_find( indep_var->val_labs,gp.v.g_value[0]); 
+      val_lab1 = val_labs_find( indep_var->val_labs,gp.v.g_value[1]);
     }
   else
     {
-      val_lab0 = groups_values[0].s;
-      val_lab1 = groups_values[1].s;
+      val_lab0 = gp.v.g_value[0].s;
+      val_lab1 = gp.v.g_value[1].s;
     }
 
-  if (n_group_values == 1
+  if (gp.criterion == CMP_LE 
     {
       strcpy(prefix[0],"< ");
       strcpy(prefix[1],">=");
+      indep_value[0] = gp.v.critical_value;
+      indep_value[1] = gp.v.critical_value;
+    }
+  else
+    {
+      indep_value[0] = gp.v.g_value[0].f;
+      indep_value[1] = gp.v.g_value[1].f;
     }
 
   assert(ssb->t);
 
   for (i=0; i < cmd->n_variables; ++i)
     {
-      int g;
+      struct variable *var = cmd->v_variables[i];
+      struct hsh_table *grp_hash = group_proc_get (var)->group_hash;
+      int count=0;
 
       tab_text (ssb->t, 0, i*2+1, TAB_LEFT, cmd->v_variables[i]->name);
 
@@ -701,26 +758,50 @@ ssbox_independent_samples_populate(struct ssbox *ssb,
        tab_text (ssb->t, 1, i*2+1, TAB_LEFT | TAT_PRINTF, 
                  "%s%s", prefix[0], val_lab0);
       else
-       tab_text (ssb->t, 1, i*2+1, TAB_LEFT | TAT_PRINTF, 
-                 "%s%g", prefix[0], groups_values[0].f); 
+         tab_text (ssb->t, 1, i*2+1, TAB_LEFT | TAT_PRINTF, 
+                   "%s%g", prefix[0], indep_value[0]);
 
 
       if (val_lab1)
        tab_text (ssb->t, 1, i*2+1+1, TAB_LEFT | TAT_PRINTF, 
                  "%s%s", prefix[1], val_lab1);
       else
-       tab_text (ssb->t, 1, i*2+1+1, TAB_LEFT | TAT_PRINTF, 
-                 "%s%g", prefix[1], groups_values[1].f); 
+         tab_text (ssb->t, 1, i*2+1+1, TAB_LEFT | TAT_PRINTF, 
+                   "%s%g", prefix[1], indep_value[1]);
+
 
       /* Fill in the group statistics */
-      for ( g=0; g < 2 ; ++g ) 
+      for ( count = 0 ; count < 2 ; ++count ) 
        {
-         struct group_statistics *gs = &cmd->v_variables[i]->p.t_t.gs[g];
+         union value search_val;
 
-         tab_float(ssb->t, 2 ,i*2+g+1, TAB_RIGHT, gs->n, 2, 0);
-         tab_float(ssb->t, 3 ,i*2+g+1, TAB_RIGHT, gs->mean, 8, 2);
-         tab_float(ssb->t, 4 ,i*2+g+1, TAB_RIGHT, gs->std_dev, 8, 3);
-         tab_float(ssb->t, 5 ,i*2+g+1, TAB_RIGHT, gs->se_mean, 8, 3);
+         struct group_statistics *gs;
+
+         if ( gp.criterion == CMP_LE ) 
+           {
+             if ( count == 0 ) 
+               {
+                 /*  less than ( < )  case */
+                 search_val.f = gp.v.critical_value - 1.0;
+               }
+             else
+               {
+                 /* >= case  */
+                 search_val.f = gp.v.critical_value + 1.0;
+               }
+           }
+         else
+           {
+             search_val = gp.v.g_value[count];
+           }
+
+         gs = hsh_find(grp_hash, (void *) &search_val);
+         assert(gs);
+
+         tab_float(ssb->t, 2 ,i*2+count+1, TAB_RIGHT, gs->n, 2, 0);
+         tab_float(ssb->t, 3 ,i*2+count+1, TAB_RIGHT, gs->mean, 8, 2);
+         tab_float(ssb->t, 4 ,i*2+count+1, TAB_RIGHT, gs->std_dev, 8, 3);
+         tab_float(ssb->t, 5 ,i*2+count+1, TAB_RIGHT, gs->se_mean, 8, 3);
        }
     }
 }
@@ -768,7 +849,7 @@ ssbox_paired_populate(struct ssbox *ssb,struct cmd_t_test *cmd UNUSED)
        {
          struct group_statistics *gs;
 
-         gs=&pairs[i].v[j]->p.t_t.ugs;
+         gs = &group_proc_get (pairs[i].v[j])->ugs;
 
          /* Titles */
 
@@ -794,8 +875,7 @@ ssbox_one_sample_populate(struct ssbox *ssb, struct cmd_t_test *cmd)
 
   for (i=0; i < cmd->n_variables; ++i)
     {
-      struct group_statistics *gs;
-      gs= &cmd->v_variables[i]->p.t_t.ugs;
+      struct group_statistics *gs = &group_proc_get (cmd->v_variables[i])->ugs;
 
       tab_text (ssb->t, 0, i+1, TAB_LEFT, cmd->v_variables[i]->name);
       tab_float (ssb->t,1, i+1, TAB_RIGHT, gs->n, 2, 0);
@@ -810,7 +890,7 @@ ssbox_one_sample_populate(struct ssbox *ssb, struct cmd_t_test *cmd)
 
 /* Implementation of the Test Results box struct */
 
-void trbox_base_init(struct trbox *self,int n_vars, int cols);
+void trbox_base_init(struct trbox *self,size_t n_vars, int cols);
 void trbox_base_finalize(struct trbox *trb);
 
 void trbox_independent_samples_init(struct trbox *trb,
@@ -929,20 +1009,43 @@ trbox_independent_samples_populate(struct trbox *self,
       double std_err_diff;
       double mean_diff;
 
-      struct group_statistics *gs0 = &cmd->v_variables[i]->p.t_t.gs[0];
-      struct group_statistics *gs1 = &cmd->v_variables[i]->p.t_t.gs[1];
+      struct variable *var = cmd->v_variables[i];
+      struct group_proc *grp_data = group_proc_get (var);
+
+      struct hsh_table *grp_hash = grp_data->group_hash;
+
+      struct group_statistics *gs0 ;
+      struct group_statistics *gs1 ;
+         
+      union value search_val;
+         
+      if ( gp.criterion == CMP_LE ) 
+       search_val.f = gp.v.critical_value - 1.0;
+      else
+       search_val = gp.v.g_value[0];
+
+      gs0 = hsh_find(grp_hash, (void *) &search_val);
+      assert(gs0);
+
+      if ( gp.criterion == CMP_LE ) 
+       search_val.f = gp.v.critical_value + 1.0;
+      else
+       search_val = gp.v.g_value[1];
+
+      gs1 = hsh_find(grp_hash, (void *) &search_val);
+      assert(gs1);
+
          
       tab_text (self->t, 0, i*2+3, TAB_LEFT, cmd->v_variables[i]->name);
 
       tab_text (self->t, 1, i*2+3, TAB_LEFT, _("Equal variances assumed"));
 
 
-      tab_float(self->t, 2, i*2+3, TAB_CENTER, 
-               cmd->v_variables[i]->p.t_t.levene, 8,3);
+      tab_float(self->t, 2, i*2+3, TAB_CENTER, grp_data->levene, 8,3);
 
       /* Now work out the significance of the Levene test */
-      df1 = 1; df2 = cmd->v_variables[i]->p.t_t.ugs.n - 2;
-      q = gsl_cdf_fdist_Q(cmd->v_variables[i]->p.t_t.levene, df1, df2);
+      df1 = 1; df2 = grp_data->ugs.n - 2;
+      q = gsl_cdf_fdist_Q(grp_data->levene, df1, df2);
 
       tab_float(self->t, 3, i*2+3, TAB_CENTER, q, 8,3 );
 
@@ -1144,7 +1247,7 @@ trbox_one_sample_init(struct trbox *self, struct cmd_t_test *cmd )
   tab_vline(self->t, TAL_2, 1, 0, vsize - 1);
 
   tab_joint_text(self->t, 1, 0, hsize-1,0, TAB_CENTER | TAT_PRINTF, 
-                _("Test Value = %f"),cmd->n_testval);
+                _("Test Value = %f"), cmd->n_testval[0]);
 
   tab_box(self->t, -1, -1, -1, TAL_1, 1,1,hsize-1,vsize-1);
 
@@ -1178,13 +1281,12 @@ trbox_one_sample_populate(struct trbox *trb, struct cmd_t_test *cmd)
       double t;
       double p,q;
       double df;
-      struct group_statistics *gs;
-      gs= &cmd->v_variables[i]->p.t_t.ugs;
+      struct group_statistics *gs = &group_proc_get (cmd->v_variables[i])->ugs;
 
 
       tab_text (trb->t, 0, i+3, TAB_LEFT, cmd->v_variables[i]->name);
 
-      t = (gs->mean - cmd->n_testval ) * sqrt(gs->n) / gs->std_dev ;
+      t = (gs->mean - cmd->n_testval[0] ) * sqrt(gs->n) / gs->std_dev ;
 
       tab_float (trb->t, 1, i+3, TAB_RIGHT, t, 8,3);
 
@@ -1216,9 +1318,9 @@ trbox_one_sample_populate(struct trbox *trb, struct cmd_t_test *cmd)
 
 /* Base initializer for the generalized trbox */
 void 
-trbox_base_init(struct trbox *self, int data_rows, int cols)
+trbox_base_init(struct trbox *self, size_t data_rows, int cols)
 {
-  const int rows = 3 + data_rows;
+  const size_t rows = 3 + data_rows;
 
   self->finalize = trbox_base_finalize;
   self->t = tab_create (cols, rows, 0);
@@ -1296,6 +1398,7 @@ pscbox(void)
 
 
 
+
 /* Calculation Implementation */
 
 /* Per case calculations common to all variants of the T test */
@@ -1316,7 +1419,7 @@ common_calc (const struct ccase *c, void *_cmd)
          struct variable *v = cmd->v_variables[i];
          const union value *val = case_data (c, v->fv);
 
-         if (value_is_missing(val,v) )
+         if (value_is_missing(&v->miss, val) )
            {
              return 0;
            }
@@ -1327,7 +1430,7 @@ common_calc (const struct ccase *c, void *_cmd)
   if ( cmd->sbc_groups )
     {
       const union value *gv = case_data (c, indep_var->fv);
-      if ( value_is_missing(gv,indep_var) )
+      if ( value_is_missing(&indep_var->miss, gv) )
        {
          return 0;
        }
@@ -1340,9 +1443,9 @@ common_calc (const struct ccase *c, void *_cmd)
       struct variable *v = cmd->v_variables[i];
       const union value *val = case_data (c, v->fv);
 
-      gs= &cmd->v_variables[i]->p.t_t.ugs;
+      gs= &group_proc_get (cmd->v_variables[i])->ugs;
 
-      if (! value_is_missing(val,v) )
+      if (! value_is_missing(&v->miss, val) )
        {
          gs->n+=weight;
          gs->sum+=weight * val->f;
@@ -1361,7 +1464,7 @@ common_precalc ( struct cmd_t_test *cmd )
   for(i=0; i< cmd->n_variables ; ++i) 
     {
       struct group_statistics *gs;
-      gs= &cmd->v_variables[i]->p.t_t.ugs;
+      gs= &group_proc_get (cmd->v_variables[i])->ugs;
       
       gs->sum=0;
       gs->n=0;
@@ -1380,7 +1483,7 @@ common_postcalc (  struct cmd_t_test *cmd )
   for(i=0; i< cmd->n_variables ; ++i) 
     {
       struct group_statistics *gs;
-      gs= &cmd->v_variables[i]->p.t_t.ugs;
+      gs= &group_proc_get (cmd->v_variables[i])->ugs;
       
       gs->mean=gs->sum / gs->n;
       gs->s_std_dev= sqrt(
@@ -1415,7 +1518,7 @@ one_sample_calc (const struct ccase *c, void *cmd_)
          struct variable *v = cmd->v_variables[i];
          const union value *val = case_data (c, v->fv);
 
-         if (value_is_missing(val,v) )
+         if (value_is_missing(&v->miss, val) )
            {
              return 0;
            }
@@ -1428,10 +1531,10 @@ one_sample_calc (const struct ccase *c, void *cmd_)
       struct variable *v = cmd->v_variables[i];
       const union value *val = case_data (c, v->fv);
 
-      gs= &cmd->v_variables[i]->p.t_t.ugs;
+      gs= &group_proc_get (cmd->v_variables[i])->ugs;
       
-      if ( ! value_is_missing(val,v))
-       gs->sum_diff += weight * (val->f - cmd->n_testval);
+      if ( ! value_is_missing(&v->miss, val))
+       gs->sum_diff += weight * (val->f - cmd->n_testval[0]);
     }
 
   return 0;
@@ -1446,7 +1549,7 @@ one_sample_precalc ( struct cmd_t_test *cmd )
   for(i=0; i< cmd->n_variables ; ++i) 
     {
       struct group_statistics *gs;
-      gs= &cmd->v_variables[i]->p.t_t.ugs;
+      gs= &group_proc_get (cmd->v_variables[i])->ugs;
       
       gs->sum_diff=0;
     }
@@ -1461,7 +1564,7 @@ one_sample_postcalc (struct cmd_t_test *cmd)
   for(i=0; i< cmd->n_variables ; ++i) 
     {
       struct group_statistics *gs;
-      gs= &cmd->v_variables[i]->p.t_t.ugs;
+      gs= &group_proc_get (cmd->v_variables[i])->ugs;
 
       gs->mean_diff = gs->sum_diff / gs->n ;
     }
@@ -1469,25 +1572,6 @@ one_sample_postcalc (struct cmd_t_test *cmd)
 
 
 
-static int
-compare_var_name (const void *a_, const void *b_, void *v_ UNUSED)
-{
-  const struct variable *a = a_;
-  const struct variable *b = b_;
-
-  return strcmp(a->name,b->name);
-}
-
-static unsigned
-hash_var_name (const void *a_, void *v_ UNUSED)
-{
-  const struct variable *a = a_;
-
-  return hsh_hash_bytes (a->name, strlen(a->name));
-}
-
-
-
 static void 
 paired_precalc (struct cmd_t_test *cmd UNUSED)
 {
@@ -1528,8 +1612,8 @@ paired_calc (const struct ccase *c, void *cmd_)
          const union value *val0 = case_data (c, v0->fv);
          const union value *val1 = case_data (c, v1->fv);
          
-         if ( value_is_missing(val0,v0) ||
-              value_is_missing(val1,v1) )
+         if ( value_is_missing(&v0->miss, val0) ||
+              value_is_missing(&v1->miss, val1) )
            {
              return 0;
            }
@@ -1544,7 +1628,8 @@ paired_calc (const struct ccase *c, void *cmd_)
       const union value *val0 = case_data (c, v0->fv);
       const union value *val1 = case_data (c, v1->fv);
 
-      if ( ( !value_is_missing(val0,v0) && !value_is_missing(val1,v1) ) )
+      if ( ( !value_is_missing(&v0->miss, val0)
+             && !value_is_missing(&v1->miss, val1) ) )
       {
        pairs[i].n += weight;
        pairs[i].sum[0] += weight * val0->f;
@@ -1602,44 +1687,6 @@ paired_postcalc (struct cmd_t_test *cmd UNUSED)
     }
 }
 
-/* Return the group # corresponding to the 
-   independent variable with the value val 
-*/
-static int
-get_group(const union value *val, struct variable *indep)
-{
-  int i; 
-
-  for (i = 0; i < 2  ; ++i )
-    {
-      const int cmp = compare_values(val,&groups_values[i],indep->width) ;
-      switch ( criteria[i])
-       {
-       case CMP_EQ: 
-         if ( 0 == cmp )   return i;
-         break;           
-       case CMP_LT:       
-         if ( 0 >  cmp )  return i;
-         break;           
-       case CMP_LE:       
-         if ( cmp <= 0 )   return i;
-         break;
-       case CMP_GT:
-         if ( cmp > 0 ) return i;
-         break;
-       case CMP_GE:
-         if ( cmp >= 0 ) return i;
-         break;
-       default:
-         assert(0);
-       };
-    }
-
-  /* No groups matched */
-  return -1;
-}
-
-
 static void 
 group_precalc (struct cmd_t_test *cmd )
 {
@@ -1648,23 +1695,42 @@ group_precalc (struct cmd_t_test *cmd )
 
   for(i=0; i< cmd->n_variables ; ++i) 
     {
-      struct t_test_proc *ttpr = &cmd->v_variables[i]->p.t_t;
+      struct group_proc *ttpr = group_proc_get (cmd->v_variables[i]);
 
       /* There's always 2 groups for a T - TEST */
       ttpr->n_groups = 2;
-      ttpr->gs = xmalloc(sizeof(struct group_statistics) * 2) ;
+
+      gp.indep_width = indep_var->width;
+      
+      ttpr->group_hash = hsh_create(2, 
+                                   (hsh_compare_func *) compare_group_binary,
+                                   (hsh_hash_func *) hash_group_binary,
+                                   (hsh_free_func *) free_group,
+                                   (void *) &gp );
 
       for (j=0 ; j < 2 ; ++j)
        {
-         ttpr->gs[j].sum = 0;
-         ttpr->gs[j].n = 0;
-         ttpr->gs[j].ssq = 0;
+
+         struct group_statistics *gs = xmalloc (sizeof *gs);
+
+         gs->sum = 0;
+         gs->n = 0;
+         gs->ssq = 0;
        
-         if ( n_group_values == 2 ) 
-           ttpr->gs[j].id = groups_values[j];
+         if ( gp.criterion == CMP_EQ ) 
+           {
+             gs->id = gp.v.g_value[j];
+           }
          else
-           ttpr->gs[j].id = groups_values[0];
-         ttpr->gs[j].criterion = criteria[j];
+           {
+             if ( j == 0 ) 
+               gs->id.f = gp.v.critical_value - 1.0 ;
+             else
+               gs->id.f = gp.v.critical_value + 1.0 ;
+           }
+         
+         hsh_insert ( ttpr->group_hash, (void *) gs );
+
        }
     }
 
@@ -1674,13 +1740,12 @@ static int
 group_calc (const struct ccase *c, struct cmd_t_test *cmd)
 {
   int i;
-  int g;
 
   const union value *gv = case_data (c, indep_var->fv);
 
   const double weight = dict_get_case_weight(default_dict,c,&bad_weight_warn);
 
-  if ( value_is_missing(gv,indep_var) )
+  if ( value_is_missing(&indep_var->miss, gv) )
     {
       return 0;
     }
@@ -1692,33 +1757,30 @@ group_calc (const struct ccase *c, struct cmd_t_test *cmd)
          struct variable *v = cmd->v_variables[i];
          const union value *val = case_data (c, v->fv);
 
-         if (value_is_missing(val,v) )
+         if (value_is_missing(&v->miss, val) )
            {
              return 0;
            }
        }
     }
 
-
   gv = case_data (c, indep_var->fv);
 
-  g = get_group(gv,indep_var);
-
-
-  /* If the independent variable doesn't match either of the values 
-     for this case then move on to the next case */
-  if (g == -1 ) 
-    return 0;
-
   for(i=0; i< cmd->n_variables ; ++i) 
     {
       struct variable *var = cmd->v_variables[i];
+      const union value *val = case_data (c, var->fv);
+      struct hsh_table *grp_hash = group_proc_get (var)->group_hash;
+      struct group_statistics *gs;
 
-      struct group_statistics *gs = &var->p.t_t.gs[g];
+      gs = hsh_find(grp_hash, (void *) gv);
 
-      const union value *val = case_data (c, var->fv);
+      /* If the independent variable doesn't match either of the values 
+         for this case then move on to the next case */
+      if ( ! gs ) 
+       return 0;
 
-      if ( !value_is_missing(val,var) )
+      if ( !value_is_missing(&var->miss, val) )
        {
          gs->n+=weight;
          gs->sum+=weight * val->f;
@@ -1734,28 +1796,34 @@ static void
 group_postcalc ( struct cmd_t_test *cmd )
 {
   int i;
-  int j;
 
   for(i=0; i< cmd->n_variables ; ++i) 
     {
-      for (j=0 ; j < 2 ; ++j)
-       {
-         struct group_statistics *gs;
-         gs=&cmd->v_variables[i]->p.t_t.gs[j];
+      struct variable *var = cmd->v_variables[i];
+      struct hsh_table *grp_hash = group_proc_get (var)->group_hash;
+      struct hsh_iterator g;
+      struct group_statistics *gs;
+      int count=0;
 
+      for (gs =  hsh_first (grp_hash,&g); 
+          gs != 0; 
+          gs = hsh_next(grp_hash,&g))
+       {
          gs->mean = gs->sum / gs->n;
          
          gs->s_std_dev= sqrt(
-                        ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
-                        ) ;
+                             ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
+                             ) ;
 
          gs->std_dev= sqrt(
-                        gs->n/(gs->n-1) *
-                        ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
-                        ) ;
+                           gs->n/(gs->n-1) *
+                           ( (gs->ssq / gs->n ) - gs->mean * gs->mean )
+                           ) ;
          
          gs->se_mean = gs->std_dev / sqrt(gs->n);
+         count ++;
        }
+      assert(count == 2);
     }
 }
 
@@ -1820,7 +1888,6 @@ calculate(const struct casefile *cf, void *cmd_)
       casereader_destroy (r);
       group_postcalc(cmd);
 
-
       levene(cf, indep_var, cmd->n_variables, cmd->v_variables,
             (cmd->miss == TTS_LISTWISE)?LEV_LISTWISE:LEV_ANALYSIS ,
             value_is_missing);
@@ -1839,3 +1906,80 @@ calculate(const struct casefile *cf, void *cmd_)
   trbox_finalize(&test_results_box);
 
 }
+
+short which_group(const struct group_statistics *g,
+                 const struct group_properties *p);
+
+/* Return -1 if the id of a is less than b; +1 if greater than and 
+   0 if equal */
+static int 
+compare_group_binary(const struct group_statistics *a, 
+                    const struct group_statistics *b, 
+                    const struct group_properties *p)
+{
+  short flag_a;
+  short flag_b;
+  
+  if ( p->criterion == CMP_LE ) 
+    {
+      /* less-than-or-equal comparision is not meaningfull for
+        alpha variables, so we shouldn't ever arrive here */
+      assert(p->indep_width == 0 ) ;
+      
+      flag_a = ( a->id.f < p->v.critical_value ) ;
+      flag_b = ( b->id.f < p->v.critical_value ) ;
+    }
+  else
+    {
+      flag_a = which_group(a, p);
+      flag_b = which_group(b, p);
+    }
+
+  if (flag_a < flag_b ) 
+    return -1;
+
+  return (flag_a > flag_b);
+}
+
+/* This is a degenerate case of a hash, since it can only return three possible
+   values.  It's really a comparison, being used as a hash function */
+
+static unsigned 
+hash_group_binary(const struct group_statistics *g, 
+                 const struct group_properties *p)
+{
+  short flag = -1;
+
+  if ( p->criterion == CMP_LE ) 
+    {
+      /* Not meaningfull to do a less than compare for alpha values ? */
+      assert(p->indep_width == 0 ) ;
+      flag = ( g->id.f < p->v.critical_value ) ; 
+    }
+  else if ( p->criterion == CMP_EQ) 
+    {
+      flag = which_group(g,p);
+    }
+  else
+    assert(0);
+
+  return flag;
+}
+
+/* return 0 if G belongs to group 0, 
+          1 if it belongs to group 1,
+         2 if it belongs to neither group */
+short
+which_group(const struct group_statistics *g,
+           const struct group_properties *p)
+{
+  if ( 0 == compare_values (&g->id, &p->v.g_value[0], p->indep_width))
+    return 0;
+
+  if ( 0 == compare_values (&g->id, &p->v.g_value[1], p->indep_width))
+    return 1;
+
+  return 2;
+}
+