Patch #5672
[pspp-builds.git] / src / language / stats / rank.q
index c102d195c08c3b09227f6fe6864c362f90fd4ea0..f5be9e9a24405bb4351ea8676f52fa7bee033c22 100644 (file)
@@ -1,8 +1,5 @@
 /* PSPP - RANK. -*-c-*-
-
-Copyright (C) 2005, 2006 Free Software Foundation, Inc.
-Author: John Darrington <john@darrington.wattle.id.au>, 
-        Ben Pfaff <blp@gnu.org>.
+Copyright (C) 2005, 2006, 2007 Free Software Foundation, Inc.
 
 This program is free software; you can redistribute it and/or
 modify it under the terms of the GNU General Public License as
@@ -24,6 +21,8 @@ Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
 #include "sort-criteria.h"
 
 #include <data/dictionary.h>
+#include <data/format.h>
+#include <data/missing-values.h>
 #include <data/procedure.h>
 #include <data/variable.h>
 #include <data/case.h>
@@ -65,31 +64,31 @@ Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
 /* (declarations) */
 /* (functions) */
 
-typedef double (*rank_function_t) (double c, double cc, double cc_1, 
+typedef double (*rank_function_t) (double c, double cc, double cc_1,
                                 int i, double w);
 
-static double rank_proportion (double c, double cc, double cc_1, 
+static double rank_proportion (double c, double cc, double cc_1,
                               int i, double w);
 
-static double rank_normal (double c, double cc, double cc_1, 
+static double rank_normal (double c, double cc, double cc_1,
                           int i, double w);
 
-static double rank_percent (double c, double cc, double cc_1, 
+static double rank_percent (double c, double cc, double cc_1,
                            int i, double w);
 
-static double rank_rfraction (double c, double cc, double cc_1, 
+static double rank_rfraction (double c, double cc, double cc_1,
                              int i, double w);
 
-static double rank_rank (double c, double cc, double cc_1, 
+static double rank_rank (double c, double cc, double cc_1,
                         int i, double w);
 
-static double rank_n (double c, double cc, double cc_1, 
+static double rank_n (double c, double cc, double cc_1,
                      int i, double w);
 
-static double rank_savage (double c, double cc, double cc_1, 
+static double rank_savage (double c, double cc, double cc_1,
                      int i, double w);
 
-static double rank_ntiles (double c, double cc, double cc_1, 
+static double rank_ntiles (double c, double cc, double cc_1,
                      int i, double w);
 
 
@@ -117,7 +116,7 @@ static const struct fmt_spec dest_format[n_RANK_FUNCS] = {
   {FMT_F, 8, 4}  /* savage */
 };
 
-static const char *function_name[n_RANK_FUNCS] = {
+static const char * const function_name[n_RANK_FUNCS] = {
   "RANK",
   "NORMAL",
   "PERCENT",
@@ -128,7 +127,7 @@ static const char *function_name[n_RANK_FUNCS] = {
   "SAVAGE"
 };
 
-static rank_function_t rank_func[n_RANK_FUNCS] = {
+static const rank_function_t rank_func[n_RANK_FUNCS] = {
   rank_rank,
   rank_normal,
   rank_percent,
@@ -136,7 +135,7 @@ static rank_function_t rank_func[n_RANK_FUNCS] = {
   rank_proportion,
   rank_n,
   rank_ntiles,
-  rank_savage 
+  rank_savage
   };
 
 
@@ -147,8 +146,8 @@ struct rank_spec
 };
 
 
-/* Function to use for testing for missing values */
-static is_missing_func *value_is_missing;
+/* Categories of missing values to exclude. */
+static enum mv_class exclude_values;
 
 static struct rank_spec *rank_specs;
 static size_t n_rank_specs;
@@ -166,9 +165,10 @@ static int k_ntiles;
 
 static struct cmd_rank cmd;
 
-static struct casefile *rank_sorted_casefile (struct casefile *cf, 
-                                             const struct sort_criteria *, 
-                                             const struct rank_spec *rs, 
+static struct casefile *rank_sorted_casefile (struct casefile *cf,
+                                             const struct sort_criteria *,
+                                             const struct dictionary *,
+                                             const struct rank_spec *rs,
                                              int n_rank_specs,
                                              int idx,
                                              const struct missing_values *miss
@@ -177,7 +177,7 @@ static const char *
 fraction_name(void)
 {
   static char name[10];
-  switch ( cmd.fraction ) 
+  switch ( cmd.fraction )
     {
     case RANK_BLOM:
       strcpy (name, "BLOM");
@@ -199,112 +199,119 @@ fraction_name(void)
 
 /* Create a label on DEST_VAR, describing its derivation from SRC_VAR and F */
 static void
-create_var_label (struct variable *dest_var, 
+create_var_label (struct variable *dest_var,
                  const struct variable *src_var, enum RANK_FUNC f)
 {
   struct string label;
   ds_init_empty (&label);
 
-  if ( n_group_vars > 0 ) 
+  if ( n_group_vars > 0 )
     {
       struct string group_var_str;
       int g;
 
       ds_init_empty (&group_var_str);
 
-      for (g = 0 ; g < n_group_vars ; ++g ) 
+      for (g = 0 ; g < n_group_vars ; ++g )
        {
          if ( g > 0 ) ds_put_cstr (&group_var_str, " ");
-         ds_put_cstr (&group_var_str, group_vars[g]->name);
+         ds_put_cstr (&group_var_str, var_get_name (group_vars[g]));
        }
 
-      ds_put_format (&label, _("%s of %s by %s"), function_name[f], 
-                    src_var->name, ds_cstr (&group_var_str));
+      ds_put_format (&label, _("%s of %s by %s"), function_name[f],
+                    var_get_name (src_var), ds_cstr (&group_var_str));
       ds_destroy (&group_var_str);
     }
   else
-    ds_put_format (&label,_("%s of %s"), function_name[f], src_var->name);  
+    ds_put_format (&label, _("%s of %s"),
+                   function_name[f], var_get_name (src_var));
 
-  dest_var->label = strdup (ds_cstr (&label) );
+  var_set_label (dest_var, ds_cstr (&label));
 
   ds_destroy (&label);
 }
 
 
-static bool 
-rank_cmd (const struct sort_criteria *sc, 
-      const struct rank_spec *rank_specs, int n_rank_specs)
+static bool
+rank_cmd (struct dataset *ds, const struct sort_criteria *sc,
+         const struct rank_spec *rank_specs, int n_rank_specs)
 {
   struct sort_criteria criteria;
   bool result = true;
   int i;
-  const int n_splits = dict_get_split_cnt (default_dict);
+  const int n_splits = dict_get_split_cnt (dataset_dict (ds));
 
   criteria.crit_cnt = n_splits + n_group_vars + 1;
   criteria.crits = xnmalloc (criteria.crit_cnt, sizeof *criteria.crits);
-  for (i = 0; i < n_splits ; i++) 
+  for (i = 0; i < n_splits ; i++)
     {
-      struct variable *v = dict_get_split_vars (default_dict)[i];
-      criteria.crits[i].fv = v->fv;
-      criteria.crits[i].width = v->width;
+      struct variable *v = dict_get_split_vars (dataset_dict (ds))[i];
+      criteria.crits[i].fv = var_get_case_index (v);
+      criteria.crits[i].width = var_get_width (v);
       criteria.crits[i].dir = SRT_ASCEND;
     }
-  for (i = 0; i < n_group_vars; i++) 
+  for (i = 0; i < n_group_vars; i++)
     {
-      criteria.crits[i + n_splits].fv = group_vars[i]->fv;
-      criteria.crits[i + n_splits].width = group_vars[i]->width;
+      criteria.crits[i + n_splits].fv = var_get_case_index (group_vars[i]);
+      criteria.crits[i + n_splits].width = var_get_width (group_vars[i]);
       criteria.crits[i + n_splits].dir = SRT_ASCEND;
     }
   for (i = 0 ; i < sc->crit_cnt ; ++i )
     {
       struct casefile *out ;
-      struct casefile *cf ; 
+      struct casefile *cf ;
       struct casereader *reader ;
       struct casefile *sorted_cf ;
 
       /* Obtain active file in CF. */
-      if (!procedure (NULL, NULL))
-       return false;
-      cf = proc_capture_output ();
+      if (!procedure (ds, NULL, NULL))
+       goto error;
+
+      cf = proc_capture_output (ds);
 
       /* Sort CF into SORTED_CF. */
       reader = casefile_get_destructive_reader (cf) ;
       criteria.crits[criteria.crit_cnt - 1] = sc->crits[i];
-      assert ( sc->crits[i].fv == src_vars[i]->fv );
-      sorted_cf = sort_execute (reader, &criteria);
+      assert ( sc->crits[i].fv == var_get_case_index (src_vars[i]) );
+      sorted_cf = sort_execute (reader, &criteria, NULL);
       casefile_destroy (cf);
 
       out = rank_sorted_casefile (sorted_cf, &criteria,
-                                  rank_specs, n_rank_specs, 
-                                 i, &src_vars[i]->miss)  ;
-      if ( NULL == out ) 
+                                 dataset_dict (ds),
+                                  rank_specs, n_rank_specs,
+                                 i, var_get_missing_values (src_vars[i]));
+      if ( NULL == out )
        {
          result = false ;
          continue ;
        }
-      
-      proc_set_source (storage_source_create (out));
+
+      proc_set_source (ds, storage_source_create (out));
     }
+
   free (criteria.crits);
+  return result ;
 
-  return result ; 
+error:
+  free (criteria.crits);
+  return false ;
 }
 
 /* Hardly a rank function !! */
-static double 
-rank_n (double c UNUSED, double cc UNUSED, double cc_1 UNUSED, 
+static double
+rank_n (double c UNUSED, double cc UNUSED, double cc_1 UNUSED,
          int i UNUSED, double w)
 {
   return w;
 }
 
 
-static double 
-rank_rank (double c, double cc, double cc_1, 
+static double
+rank_rank (double c, double cc, double cc_1,
          int i, double w UNUSED)
 {
   double rank;
-  if ( c >= 1.0 ) 
+  if ( c >= 1.0 )
     {
       switch (cmd.ties)
        {
@@ -349,31 +356,31 @@ rank_rank (double c, double cc, double cc_1,
 }
 
 
-static double 
-rank_rfraction (double c, double cc, double cc_1, 
+static double
+rank_rfraction (double c, double cc, double cc_1,
                int i, double w)
 {
   return rank_rank (c, cc, cc_1, i, w) / w ;
 }
 
 
-static double 
-rank_percent (double c, double cc, double cc_1, 
+static double
+rank_percent (double c, double cc, double cc_1,
                int i, double w)
 {
   return rank_rank (c, cc, cc_1, i, w) * 100.0 / w ;
 }
 
 
-static double 
-rank_proportion (double c, double cc, double cc_1, 
+static double
+rank_proportion (double c, double cc, double cc_1,
                 int i, double w)
 {
   const double r =  rank_rank (c, cc, cc_1, i, w) ;
 
   double f;
-  
-  switch ( cmd.fraction ) 
+
+  switch ( cmd.fraction )
     {
     case RANK_BLOM:
       f =  (r - 3.0/8.0) / (w + 0.25);
@@ -395,20 +402,20 @@ rank_proportion (double c, double cc, double cc_1,
   return (f > 0) ? f : SYSMIS;
 }
 
-static double 
-rank_normal (double c, double cc, double cc_1, 
+static double
+rank_normal (double c, double cc, double cc_1,
             int i, double w)
 {
   double f = rank_proportion (c, cc, cc_1, i, w);
-  
+
   return gsl_cdf_ugaussian_Pinv (f);
 }
 
-static double 
-rank_ntiles (double c, double cc, double cc_1, 
+static double
+rank_ntiles (double c, double cc, double cc_1,
                int i, double w)
 {
-  double r = rank_rank (c, cc, cc_1, i, w);  
+  double r = rank_rank (c, cc, cc_1, i, w);
 
 
   return ( floor (( r * k_ntiles) / ( w + 1) ) + 1);
@@ -420,16 +427,16 @@ ee (int j, double w_star)
 {
   int k;
   double sum = 0.0;
-  
-  for (k = 1 ; k <= j; k++) 
+
+  for (k = 1 ; k <= j; k++)
     sum += 1.0 / ( w_star + 1 - k );
 
   return sum;
 }
 
 
-static double 
-rank_savage (double c, double cc, double cc_1, 
+static double
+rank_savage (double c, double cc, double cc_1,
                int i UNUSED, double w)
 {
   double int_part;
@@ -445,14 +452,14 @@ rank_savage (double c, double cc, double cc_1,
      Therefore, evaluate the second, only when the first is non-zero */
   const double expr1 =  (1 - g_1) ? (1 - g_1) * ee(i_1+1, w_star) : ( 1 - g_1);
   const double expr2 =  g_2 ? g_2 * ee (i_2+1, w_star) : g_2 ;
-  
-  if ( i_1 == i_2 ) 
+
+  if ( i_1 == i_2 )
     return ee (i_1 + 1, w_star) - 1;
-  
+
   if ( i_1 + 1 == i_2 )
     return ( ( expr1 + expr2 )/c ) - 1;
 
-  if ( i_1 + 2 <= i_2 ) 
+  if ( i_1 + 2 <= i_2 )
     {
       int j;
       double sigma = 0.0;
@@ -472,21 +479,22 @@ rank_savage (double c, double cc, double cc_1,
    use. N_RANK_SPECS is the number of elements of RS.
 
 
-   DEST_VAR_INDEX is the index into the rank_spec destvar element 
+   DEST_VAR_INDEX is the index into the rank_spec destvar element
    to be used for this ranking.
 
    Prerequisites: 1. The casefile must be sorted according to CRITERION.
-                  2. W is the sum of the non-missing caseweights for this 
+                  2. W is the sum of the non-missing caseweights for this
                  range of the casefile.
 */
 static void
 rank_cases (struct casereader *cr,
            unsigned long end,
+           const struct dictionary *dict,
            const struct sort_criterion *criterion,
            const struct missing_values *mv,
            double w,
-           const struct rank_spec *rs, 
-           int n_rank_specs, 
+           const struct rank_spec *rs,
+           int n_rank_specs,
            int dest_var_index,
            struct casefile *dest)
 {
@@ -509,54 +517,54 @@ rank_cases (struct casereader *cr,
 
       if (!casereader_read_xfer (cr, &this_case))
         break;
-      
-      this_value = case_data (&this_case, fv);
-      c = dict_get_case_weight (default_dict, &this_case, &warn);
-              
+
+      this_value = case_data_idx (&this_case, fv);
+      c = dict_get_case_weight (dict, &this_case, &warn);
+
       lookahead = casereader_clone (cr);
       n = 0;
       while (casereader_cnum (lookahead) < end
              && casereader_read_xfer (lookahead, &lookahead_case))
         {
-          const union value *lookahead_value = case_data (&lookahead_case, fv);
+          const union value *lookahead_value = case_data_idx (&lookahead_case, fv);
           int diff = compare_values (this_value, lookahead_value, width);
 
-          if (diff != 0) 
+          if (diff != 0)
             {
              /* Make sure the casefile was sorted */
              assert ( diff == ((criterion->dir == SRT_ASCEND) ? -1 :1));
 
               case_destroy (&lookahead_case);
-              break; 
+              break;
             }
 
-          c += dict_get_case_weight (default_dict, &lookahead_case, &warn);
+          c += dict_get_case_weight (dict, &lookahead_case, &warn);
           case_destroy (&lookahead_case);
           n++;
         }
       casereader_destroy (lookahead);
 
       cc_1 = cc;
-      if ( !value_is_missing (mv, this_value) )
+      if ( !mv_is_value_missing (mv, this_value, exclude_values) )
        cc += c;
 
       do
         {
-          for (i = 0; i < n_rank_specs; ++i) 
+          for (i = 0; i < n_rank_specs; ++i)
             {
-              const int dest_idx = rs[i].destvars[dest_var_index]->fv;
+              const struct variable *dst_var = rs[i].destvars[dest_var_index];
 
-             if  ( value_is_missing (mv, this_value) )
-               case_data_rw (&this_case, dest_idx)->f = SYSMIS;
+             if  ( mv_is_value_missing (mv, this_value, exclude_values) )
+               case_data_rw (&this_case, dst_var)->f = SYSMIS;
              else
-               case_data_rw (&this_case, dest_idx)->f = 
+               case_data_rw (&this_case, dst_var)->f =
                  rank_func[rs[i].rfunc](c, cc, cc_1, iter, w);
             }
-          casefile_append_xfer (dest, &this_case); 
+          casefile_append_xfer (dest, &this_case);
         }
       while (n-- > 0 && casereader_read_xfer (cr, &this_case));
 
-      if ( !value_is_missing (mv, this_value) )
+      if ( !mv_is_value_missing (mv, this_value, exclude_values) )
        iter++;
     }
 
@@ -573,8 +581,8 @@ same_group (const struct ccase *a, const struct ccase *b,
   for (i = 0; i < crit->crit_cnt - 1; i++)
     {
       struct sort_criterion *c = &crit->crits[i];
-      if (compare_values (case_data (a, c->fv), case_data (b, c->fv),
-                          c->width) != 0)
+      if (compare_values (case_data_idx (a, c->fv),
+                          case_data_idx (b, c->fv), c->width) != 0)
         return false;
     }
 
@@ -582,51 +590,56 @@ same_group (const struct ccase *a, const struct ccase *b,
 }
 
 static struct casefile *
-rank_sorted_casefile (struct casefile *cf, 
-                     const struct sort_criteria *crit, 
-                     const struct rank_spec *rs, 
-                     int n_rank_specs, 
-                     int dest_idx, 
+rank_sorted_casefile (struct casefile *cf,
+                     const struct sort_criteria *crit,
+                     const struct dictionary *dict,
+                     const struct rank_spec *rs,
+                     int n_rank_specs,
+                     int dest_idx,
                      const struct missing_values *mv)
 {
   struct casefile *dest = fastfile_create (casefile_get_value_cnt (cf));
-  struct casereader *lookahead = casefile_get_reader (cf);
+  struct casereader *lookahead = casefile_get_reader (cf, NULL);
   struct casereader *pos = casereader_clone (lookahead);
   struct ccase group_case;
   bool warn = true;
 
   struct sort_criterion *ultimate_crit = &crit->crits[crit->crit_cnt - 1];
 
-  if (casereader_read (lookahead, &group_case)) 
+  if (casereader_read (lookahead, &group_case))
     {
       struct ccase this_case;
       const union value *this_value ;
       double w = 0.0;
-      this_value = case_data( &group_case, ultimate_crit->fv);
+      this_value = case_data_idx( &group_case, ultimate_crit->fv);
 
-      if ( !value_is_missing(mv, this_value) )
-       w = dict_get_case_weight (default_dict, &group_case, &warn);
+      if ( !mv_is_value_missing (mv, this_value, exclude_values) )
+       w = dict_get_case_weight (dict, &group_case, &warn);
 
-      while (casereader_read (lookahead, &this_case)) 
+      while (casereader_read (lookahead, &this_case))
         {
-         const union value *this_value = 
-           case_data(&this_case, ultimate_crit->fv);
-          double c = dict_get_case_weight (default_dict, &this_case, &warn);
-          if (!same_group (&group_case, &this_case, crit)) 
+         const union value *this_value =
+           case_data_idx(&this_case, ultimate_crit->fv);
+          double c = dict_get_case_weight (dict, &this_case, &warn);
+          if (!same_group (&group_case, &this_case, crit))
             {
               rank_cases (pos, casereader_cnum (lookahead) - 1,
-                         ultimate_crit, 
-                         mv, w, 
-                         rs, n_rank_specs, 
+                         dict,
+                         ultimate_crit,
+                         mv, w,
+                         rs, n_rank_specs,
                          dest_idx, dest);
 
               w = 0.0;
+              case_destroy (&group_case);
               case_move (&group_case, &this_case);
             }
-         if ( !value_is_missing (mv, this_value) )
+         if ( !mv_is_value_missing (mv, this_value, exclude_values) )
            w += c;
+          case_destroy (&this_case);
         }
-      rank_cases (pos, ULONG_MAX, ultimate_crit, mv, w,
+      case_destroy (&group_case);
+      rank_cases (pos, ULONG_MAX, dict, ultimate_crit, mv, w,
                  rs, n_rank_specs, dest_idx, dest);
     }
 
@@ -635,20 +648,20 @@ rank_sorted_casefile (struct casefile *cf,
       casefile_destroy (dest);
       dest = NULL;
     }
-  
+
   casefile_destroy (cf);
   return dest;
 }
 
 
 /* Transformation function to enumerate all the cases */
-static int 
-create_resort_key (void *key_var_, struct ccase *cc, casenum_t case_num)
+static int
+create_resort_key (void *key_var_, struct ccase *cc, casenumber case_num)
 {
   struct variable *key_var = key_var_;
 
-  case_data_rw(cc, key_var->fv)->f = case_num;
-  
+  case_data_rw(cc, key_var)->f = case_num;
+
   return TRNS_CONTINUE;
 }
 
@@ -659,23 +672,23 @@ create_resort_key (void *key_var_, struct ccase *cc, casenum_t case_num)
    If VNAME is NULL, then a name will be automatically chosen.
  */
 static struct variable *
-create_rank_variable (enum RANK_FUNC f, 
-                     const struct variable *src_var, 
+create_rank_variable (struct dictionary *dict, enum RANK_FUNC f,
+                     const struct variable *src_var,
                      const char *vname)
 {
   int i;
-  struct variable *var = NULL; 
+  struct variable *var = NULL;
   char name[SHORT_NAME_LEN + 1];
 
-  if ( vname ) 
-    var = dict_create_var(default_dict, vname, 0);
+  if ( vname )
+    var = dict_create_var(dict, vname, 0);
 
   if ( NULL == var )
     {
-      snprintf(name, SHORT_NAME_LEN + 1, "%c%s", 
-              function_name[f][0], src_var->name);
-  
-      var = dict_create_var(default_dict, name, 0);
+      snprintf (name, SHORT_NAME_LEN + 1, "%c%s",
+                function_name[f][0], var_get_name (src_var));
+
+      var = dict_create_var(dict, name, 0);
     }
 
   i = 1;
@@ -683,11 +696,11 @@ create_rank_variable (enum RANK_FUNC f,
     {
       char func_abb[4];
       snprintf(func_abb, 4, "%s", function_name[f]);
-      snprintf(name, SHORT_NAME_LEN + 1, "%s%03d", func_abb, 
+      snprintf(name, SHORT_NAME_LEN + 1, "%s%03d", func_abb,
               i);
 
-      var = dict_create_var(default_dict, name, 0);
-      if (i++ >= 999) 
+      var = dict_create_var(dict, name, 0);
+      if (i++ >= 999)
        break;
     }
 
@@ -697,26 +710,25 @@ create_rank_variable (enum RANK_FUNC f,
       char func_abb[3];
       snprintf(func_abb, 3, "%s", function_name[f]);
 
-      snprintf(name, SHORT_NAME_LEN + 1, 
+      snprintf(name, SHORT_NAME_LEN + 1,
               "RNK%s%02d", func_abb, i);
 
-      var = dict_create_var(default_dict, name, 0);
-      if ( i++ >= 99 ) 
+      var = dict_create_var(dict, name, 0);
+      if ( i++ >= 99 )
        break;
     }
-  
-  if ( NULL == var ) 
+
+  if ( NULL == var )
     {
       msg(ME, _("Cannot create new rank variable.  All candidates in use."));
       return NULL;
     }
 
-  var->write = var->print = dest_format[f];
+  var_set_both_formats (var, &dest_format[f]);
 
   return var;
 }
 
-int cmd_rank(void);
 
 static void
 rank_cleanup(void)
@@ -726,12 +738,10 @@ rank_cleanup(void)
   free (group_vars);
   group_vars = NULL;
   n_group_vars = 0;
-  
+
   for (i = 0 ; i <  n_rank_specs ; ++i )
-    {
       free (rank_specs[i].destvars);
-    }
-      
+
   free (rank_specs);
   rank_specs = NULL;
   n_rank_specs = 0;
@@ -745,36 +755,32 @@ rank_cleanup(void)
 }
 
 int
-cmd_rank(void)
+cmd_rank (struct lexer *lexer, struct dataset *ds)
 {
   bool result;
   struct variable *order;
   size_t i;
   n_rank_specs = 0;
 
-  if ( !parse_rank(&cmd, NULL) )
+  if ( !parse_rank (lexer, ds, &cmd, NULL) )
     {
       rank_cleanup ();
     return CMD_FAILURE;
     }
 
   /* If /MISSING=INCLUDE is set, then user missing values are ignored */
-  if (cmd.miss == RANK_INCLUDE ) 
-    value_is_missing = mv_is_value_system_missing;
-  else
-    value_is_missing = mv_is_value_missing;
-
+  exclude_values = cmd.miss == RANK_INCLUDE ? MV_SYSTEM : MV_ANY;
 
   /* Default to /RANK if no function subcommands are given */
-  if ( !( cmd.sbc_normal  || cmd.sbc_ntiles || cmd.sbc_proportion || 
-         cmd.sbc_rfraction || cmd.sbc_savage || cmd.sbc_n || 
+  if ( !( cmd.sbc_normal  || cmd.sbc_ntiles || cmd.sbc_proportion ||
+         cmd.sbc_rfraction || cmd.sbc_savage || cmd.sbc_n ||
          cmd.sbc_percent || cmd.sbc_rank ) )
     {
       assert ( n_rank_specs == 0 );
-      
+
       rank_specs = xmalloc (sizeof (*rank_specs));
       rank_specs[0].rfunc = RANK;
-      rank_specs[0].destvars = 
+      rank_specs[0].destvars =
        xcalloc (sc->crit_cnt, sizeof (struct variable *));
 
       n_rank_specs = 1;
@@ -789,30 +795,30 @@ cmd_rank(void)
   for (i = 0 ; i <  n_rank_specs ; ++i )
     {
       int v;
-      for ( v = 0 ; v < n_src_vars ;  v ++ ) 
+      for ( v = 0 ; v < n_src_vars ;  v ++ )
        {
-         if ( rank_specs[i].destvars[v] == NULL ) 
+         if ( rank_specs[i].destvars[v] == NULL )
            {
-             rank_specs[i].destvars[v] = 
-               create_rank_variable (rank_specs[i].rfunc, src_vars[v], NULL);
+             rank_specs[i].destvars[v] =
+               create_rank_variable (dataset_dict(ds), rank_specs[i].rfunc, src_vars[v], NULL);
            }
-      
+
          create_var_label ( rank_specs[i].destvars[v],
                             src_vars[v],
                             rank_specs[i].rfunc);
        }
     }
 
-  if ( cmd.print == RANK_YES ) 
+  if ( cmd.print == RANK_YES )
     {
       int v;
 
       tab_output_text (0, _("Variables Created By RANK"));
       tab_output_text (0, "\n");
-  
+
       for (i = 0 ; i <  n_rank_specs ; ++i )
        {
-         for ( v = 0 ; v < n_src_vars ;  v ++ ) 
+         for ( v = 0 ; v < n_src_vars ;  v ++ )
            {
              if ( n_group_vars > 0 )
                {
@@ -820,124 +826,126 @@ cmd_rank(void)
                  int g;
 
                  ds_init_empty (&varlist);
-                 for ( g = 0 ; g < n_group_vars ; ++g ) 
+                 for ( g = 0 ; g < n_group_vars ; ++g )
                    {
-                     ds_put_cstr (&varlist, group_vars[g]->name);
+                     ds_put_cstr (&varlist, var_get_name (group_vars[g]));
 
                      if ( g < n_group_vars - 1)
                        ds_put_cstr (&varlist, " ");
                    }
 
-                 if ( rank_specs[i].rfunc == NORMAL || 
-                      rank_specs[i].rfunc == PROPORTION ) 
+                 if ( rank_specs[i].rfunc == NORMAL ||
+                      rank_specs[i].rfunc == PROPORTION )
                    tab_output_text (TAT_PRINTF,
-                                    _("%s into %s(%s of %s using %s BY %s)"), 
-                                    src_vars[v]->name,
-                                    rank_specs[i].destvars[v]->name,
+                                    _("%s into %s(%s of %s using %s BY %s)"),
+                                    var_get_name (src_vars[v]),
+                                    var_get_name (rank_specs[i].destvars[v]),
                                     function_name[rank_specs[i].rfunc],
-                                    src_vars[v]->name,
+                                    var_get_name (src_vars[v]),
                                     fraction_name(),
                                     ds_cstr (&varlist)
                                     );
-                   
+
                  else
                    tab_output_text (TAT_PRINTF,
-                                    _("%s into %s(%s of %s BY %s)"), 
-                                    src_vars[v]->name,
-                                    rank_specs[i].destvars[v]->name,
+                                    _("%s into %s(%s of %s BY %s)"),
+                                    var_get_name (src_vars[v]),
+                                    var_get_name (rank_specs[i].destvars[v]),
                                     function_name[rank_specs[i].rfunc],
-                                    src_vars[v]->name,
+                                    var_get_name (src_vars[v]),
                                     ds_cstr (&varlist)
                                     );
                  ds_destroy (&varlist);
                }
              else
                {
-                 if ( rank_specs[i].rfunc == NORMAL || 
-                      rank_specs[i].rfunc == PROPORTION ) 
+                 if ( rank_specs[i].rfunc == NORMAL ||
+                      rank_specs[i].rfunc == PROPORTION )
                    tab_output_text (TAT_PRINTF,
-                                    _("%s into %s(%s of %s using %s)"), 
-                                    src_vars[v]->name,
-                                    rank_specs[i].destvars[v]->name,
+                                    _("%s into %s(%s of %s using %s)"),
+                                    var_get_name (src_vars[v]),
+                                    var_get_name (rank_specs[i].destvars[v]),
                                     function_name[rank_specs[i].rfunc],
-                                    src_vars[v]->name,
+                                    var_get_name (src_vars[v]),
                                     fraction_name()
                                     );
-                   
+
                  else
                    tab_output_text (TAT_PRINTF,
-                                    _("%s into %s(%s of %s)"), 
-                                    src_vars[v]->name,
-                                    rank_specs[i].destvars[v]->name,
+                                    _("%s into %s(%s of %s)"),
+                                    var_get_name (src_vars[v]),
+                                    var_get_name (rank_specs[i].destvars[v]),
                                     function_name[rank_specs[i].rfunc],
-                                    src_vars[v]->name
+                                    var_get_name (src_vars[v])
                                     );
                }
            }
        }
     }
 
-  if ( cmd.sbc_fraction && 
+  if ( cmd.sbc_fraction &&
        ( ! cmd.sbc_normal && ! cmd.sbc_proportion) )
     msg(MW, _("FRACTION has been specified, but NORMAL and PROPORTION rank functions have not been requested.  The FRACTION subcommand will be ignored.") );
 
   /* Add a variable which we can sort by to get back the original
      order */
-  order = dict_create_var_assert (default_dict, "$ORDER_", 0);
+  order = dict_create_var_assert (dataset_dict (ds), "$ORDER_", 0);
 
-  add_transformation (create_resort_key, 0, order);
+  add_transformation (ds, create_resort_key, 0, order);
 
   /* Do the ranking */
-  result = rank_cmd (sc, rank_specs, n_rank_specs);
+  result = rank_cmd (ds, sc, rank_specs, n_rank_specs);
 
   /* Put the active file back in its original order */
   {
     struct sort_criteria criteria;
     struct sort_criterion restore_criterion ;
-    restore_criterion.fv = order->fv;
+    restore_criterion.fv = var_get_case_index (order);
     restore_criterion.width = 0;
     restore_criterion.dir = SRT_ASCEND;
 
     criteria.crits = &restore_criterion;
     criteria.crit_cnt = 1;
-    
-    sort_active_file_in_place (&criteria);
-}
+
+    sort_active_file_in_place (ds, &criteria);
+  }
 
   /* ... and we don't need our sort key anymore. So delete it */
-  dict_delete_var (default_dict, order);
+  dict_delete_var (dataset_dict (ds), order);
 
   rank_cleanup();
 
+
   return (result ? CMD_SUCCESS : CMD_CASCADING_FAILURE);
 }
 
 
-/* Parser for the variables sub command  
+/* Parser for the variables sub command
    Returns 1 on success */
 static int
-rank_custom_variables(struct cmd_rank *cmd UNUSED, void *aux UNUSED)
+rank_custom_variables (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd UNUSED, void *aux UNUSED)
 {
   static const int terminators[2] = {T_BY, 0};
 
-  lex_match('=');
+  lex_match (lexer, '=');
 
-  if ((token != T_ID || dict_lookup_var (default_dict, tokid) == NULL)
-      && token != T_ALL)
+  if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokid (lexer)) == NULL)
+      && lex_token (lexer) != T_ALL)
       return 2;
 
-  sc = sort_parse_criteria (default_dict, 
+  sc = sort_parse_criteria (lexer, dataset_dict (ds),
                            &src_vars, &n_src_vars, 0, terminators);
 
-  if ( lex_match(T_BY)  )
+  if ( lex_match (lexer, T_BY)  )
     {
-      if ((token != T_ID || dict_lookup_var (default_dict, tokid) == NULL))
+      if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokid (lexer)) == NULL))
        {
          return 2;
        }
 
-      if (!parse_variables (default_dict, &group_vars, &n_group_vars,
-                           PV_NO_DUPLICATE | PV_NUMERIC | PV_NO_SCRATCH) )
+      if (!parse_variables (lexer, dataset_dict (ds),
+                           &group_vars, &n_group_vars,
+                           PV_NO_DUPLICATE | PV_NO_SCRATCH) )
        {
          free (group_vars);
          return 0;
@@ -950,40 +958,40 @@ rank_custom_variables(struct cmd_rank *cmd UNUSED, void *aux UNUSED)
 
 /* Parse the [/rank INTO var1 var2 ... varN ] clause */
 static int
-parse_rank_function(struct cmd_rank *cmd UNUSED, enum RANK_FUNC f)
+parse_rank_function (struct lexer *lexer, struct dictionary *dict, struct cmd_rank *cmd UNUSED, enum RANK_FUNC f)
 {
   int var_count = 0;
-  
+
   n_rank_specs++;
   rank_specs = xnrealloc(rank_specs, n_rank_specs, sizeof *rank_specs);
   rank_specs[n_rank_specs - 1].rfunc = f;
   rank_specs[n_rank_specs - 1].destvars = NULL;
 
-  rank_specs[n_rank_specs - 1].destvars = 
+  rank_specs[n_rank_specs - 1].destvars =
            xcalloc (sc->crit_cnt, sizeof (struct variable *));
-         
-  if (lex_match_id("INTO"))
+
+  if (lex_match_id (lexer, "INTO"))
     {
       struct variable *destvar;
 
-      while( token == T_ID ) 
+      while( lex_token (lexer) == T_ID )
        {
 
-         if ( dict_lookup_var (default_dict, tokid) != NULL )
+         if ( dict_lookup_var (dict, lex_tokid (lexer)) != NULL )
            {
-             msg(SE, _("Variable %s already exists."), tokid);
+             msg(SE, _("Variable %s already exists."), lex_tokid (lexer));
              return 0;
            }
-         if ( var_count >= sc->crit_cnt ) 
+         if ( var_count >= sc->crit_cnt )
            {
              msg(SE, _("Too many variables in INTO clause."));
              return 0;
            }
 
-         destvar = create_rank_variable (f, src_vars[var_count], tokid);
+         destvar = create_rank_variable (dict, f, src_vars[var_count], lex_tokid (lexer));
          rank_specs[n_rank_specs - 1].destvars[var_count] = destvar ;
 
-         lex_get();
+         lex_get (lexer);
          ++var_count;
        }
     }
@@ -993,58 +1001,74 @@ parse_rank_function(struct cmd_rank *cmd UNUSED, enum RANK_FUNC f)
 
 
 static int
-rank_custom_rank(struct cmd_rank *cmd, void *aux UNUSED )
+rank_custom_rank (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 {
-  return parse_rank_function(cmd, RANK);
+  struct dictionary *dict = dataset_dict (ds);
+
+  return parse_rank_function (lexer, dict, cmd, RANK);
 }
 
 static int
-rank_custom_normal(struct cmd_rank *cmd, void *aux UNUSED )
+rank_custom_normal (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 {
-  return parse_rank_function(cmd, NORMAL);
+  struct  dictionary *dict = dataset_dict (ds);
+
+  return parse_rank_function (lexer, dict, cmd, NORMAL);
 }
 
 static int
-rank_custom_percent(struct cmd_rank *cmd, void *aux UNUSED )
+rank_custom_percent (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 {
-  return parse_rank_function (cmd, PERCENT);
+  struct dictionary *dict = dataset_dict (ds);
+
+  return parse_rank_function (lexer, dict, cmd, PERCENT);
 }
 
 static int
-rank_custom_rfraction(struct cmd_rank *cmd, void *aux UNUSED )
+rank_custom_rfraction (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 {
-  return parse_rank_function(cmd, RFRACTION);
+  struct dictionary *dict = dataset_dict (ds);
+
+  return parse_rank_function (lexer, dict, cmd, RFRACTION);
 }
 
 static int
-rank_custom_proportion(struct cmd_rank *cmd, void *aux UNUSED )
+rank_custom_proportion (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 {
-  return parse_rank_function(cmd, PROPORTION);
+  struct dictionary *dict = dataset_dict (ds);
+
+  return parse_rank_function (lexer, dict, cmd, PROPORTION);
 }
 
 static int
-rank_custom_n(struct cmd_rank *cmd, void *aux UNUSED )
+rank_custom_n (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 {
-  return parse_rank_function(cmd, N);
+  struct dictionary *dict = dataset_dict (ds);
+
+  return parse_rank_function (lexer, dict, cmd, N);
 }
 
 static int
-rank_custom_savage(struct cmd_rank *cmd, void *aux UNUSED )
+rank_custom_savage (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 {
-  return parse_rank_function(cmd, SAVAGE);
+  struct dictionary *dict = dataset_dict (ds);
+
+  return parse_rank_function (lexer, dict, cmd, SAVAGE);
 }
 
 
 static int
-rank_custom_ntiles(struct cmd_rank *cmd, void *aux UNUSED )
+rank_custom_ntiles (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 {
-  if ( lex_force_match('(') ) 
+  struct dictionary *dict = dataset_dict (ds);
+
+  if ( lex_force_match (lexer, '(') )
     {
-      if ( lex_force_int() ) 
+      if ( lex_force_int (lexer) )
        {
-         k_ntiles = lex_integer ();
-         lex_get();
-         lex_force_match(')');
+         k_ntiles = lex_integer (lexer);
+         lex_get (lexer);
+         lex_force_match (lexer, ')');
        }
       else
        return 0;
@@ -1052,5 +1076,5 @@ rank_custom_ntiles(struct cmd_rank *cmd, void *aux UNUSED )
   else
     return 0;
 
-  return parse_rank_function(cmd, NTILES);
+  return parse_rank_function (lexer, dict, cmd, NTILES);
 }