src/language/stats/rank.q

   1 /* PSPP - a program for statistical analysis.
   2    Copyright (C) 2005, 2006, 2007, 2009, 2010 Free Software Foundation, Inc.
   3
   4    This program is free software: you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation, either version 3 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13
  14    You should have received a copy of the GNU General Public License
  15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
  16
  17 #include <config.h>
  18
  19 #include <limits.h>
  20 #include <math.h>
  21
  22 #include <data/case.h>
  23 #include <data/casegrouper.h>
  24 #include <data/casereader.h>
  25 #include <data/casewriter.h>
  26 #include <data/dictionary.h>
  27 #include <data/format.h>
  28 #include <data/missing-values.h>
  29 #include <data/procedure.h>
  30 #include <data/short-names.h>
  31 #include <data/subcase.h>
  32 #include <data/variable.h>
  33 #include <language/command.h>
  34 #include <language/stats/sort-criteria.h>
  35 #include <libpspp/compiler.h>
  36 #include <libpspp/taint.h>
  37 #include <math/sort.h>
  38 #include <output/tab.h>
  39
  40 #include <gsl/gsl_cdf.h>
  41
  42 #include "gettext.h"
  43 #define _(msgid) gettext (msgid)
  44
  45 /* (headers) */
  46
  47 /* (specification)
  48    "RANK" (rank_):
  49    *^variables=custom;
  50    +rank=custom;
  51    +normal=custom;
  52    +percent=custom;
  53    +ntiles=custom;
  54    +rfraction=custom;
  55    +proportion=custom;
  56    +n=custom;
  57    +savage=custom;
  58    +print=print:!yes/no;
  59    +fraction=fraction:!blom/tukey/vw/rankit;
  60    +ties=ties:!mean/low/high/condense;
  61    missing=miss:!exclude/include.
  62 */
  63 /* (declarations) */
  64 /* (functions) */
  65
  66 typedef double (*rank_function_t) (double c, double cc, double cc_1,
  67                                  int i, double w);
  68
  69 static double rank_proportion (double c, double cc, double cc_1,
  70                                int i, double w);
  71
  72 static double rank_normal (double c, double cc, double cc_1,
  73                            int i, double w);
  74
  75 static double rank_percent (double c, double cc, double cc_1,
  76                             int i, double w);
  77
  78 static double rank_rfraction (double c, double cc, double cc_1,
  79                               int i, double w);
  80
  81 static double rank_rank (double c, double cc, double cc_1,
  82                          int i, double w);
  83
  84 static double rank_n (double c, double cc, double cc_1,
  85                       int i, double w);
  86
  87 static double rank_savage (double c, double cc, double cc_1,
  88                       int i, double w);
  89
  90 static double rank_ntiles (double c, double cc, double cc_1,
  91                       int i, double w);
  92
  93
  94 enum RANK_FUNC
  95   {
  96     RANK,
  97     NORMAL,
  98     PERCENT,
  99     RFRACTION,
 100     PROPORTION,
 101     N,
 102     NTILES,
 103     SAVAGE,
 104     n_RANK_FUNCS
 105   };
 106
 107 static const struct fmt_spec dest_format[n_RANK_FUNCS] = {
 108   {FMT_F, 9, 3}, /* rank */
 109   {FMT_F, 6, 4}, /* normal */
 110   {FMT_F, 6, 2}, /* percent */
 111   {FMT_F, 6, 4}, /* rfraction */
 112   {FMT_F, 6, 4}, /* proportion */
 113   {FMT_F, 6, 0}, /* n */
 114   {FMT_F, 3, 0}, /* ntiles */
 115   {FMT_F, 8, 4}  /* savage */
 116 };
 117
 118 static const char * const function_name[n_RANK_FUNCS] = {
 119   "RANK",
 120   "NORMAL",
 121   "PERCENT",
 122   "RFRACTION",
 123   "PROPORTION",
 124   "N",
 125   "NTILES",
 126   "SAVAGE"
 127 };
 128
 129 static const rank_function_t rank_func[n_RANK_FUNCS] = {
 130   rank_rank,
 131   rank_normal,
 132   rank_percent,
 133   rank_rfraction,
 134   rank_proportion,
 135   rank_n,
 136   rank_ntiles,
 137   rank_savage
 138   };
 139
 140
 141 struct rank_spec
 142 {
 143   enum RANK_FUNC rfunc;
 144   struct variable **destvars;
 145 };
 146
 147
 148 /* Categories of missing values to exclude. */
 149 static enum mv_class exclude_values;
 150
 151 static struct rank_spec *rank_specs;
 152 static size_t n_rank_specs;
 153
 154 static struct subcase sc;
 155
 156 static const struct variable **group_vars;
 157 static size_t n_group_vars;
 158
 159 static const struct variable **src_vars;
 160 static size_t n_src_vars;
 161
 162
 163 static int k_ntiles;
 164
 165 static struct cmd_rank cmd;
 166
 167 static void rank_sorted_file (struct casereader *,
 168                               struct casewriter *,
 169                               const struct dictionary *,
 170                               const struct rank_spec *rs,
 171                               int n_rank_specs,
 172                               int idx,
 173                               const struct variable *rank_var);
 174
 175 static const char *
 176 fraction_name(void)
 177 {
 178   static char name[10];
 179   switch ( cmd.fraction )
 180     {
 181     case RANK_BLOM:
 182       strcpy (name, "BLOM");
 183       break;
 184     case RANK_RANKIT:
 185       strcpy (name, "RANKIT");
 186       break;
 187     case RANK_TUKEY:
 188       strcpy (name, "TUKEY");
 189       break;
 190     case RANK_VW:
 191       strcpy (name, "VW");
 192       break;
 193     default:
 194       NOT_REACHED ();
 195     }
 196   return name;
 197 }
 198
 199 /* Create a label on DEST_VAR, describing its derivation from SRC_VAR and F */
 200 static void
 201 create_var_label (struct variable *dest_var,
 202                   const struct variable *src_var, enum RANK_FUNC f)
 203 {
 204   struct string label;
 205   ds_init_empty (&label);
 206
 207   if ( n_group_vars > 0 )
 208     {
 209       struct string group_var_str;
 210       int g;
 211
 212       ds_init_empty (&group_var_str);
 213
 214       for (g = 0 ; g < n_group_vars ; ++g )
 215         {
 216           if ( g > 0 ) ds_put_cstr (&group_var_str, " ");
 217           ds_put_cstr (&group_var_str, var_get_name (group_vars[g]));
 218         }
 219
 220       ds_put_format (&label, _("%s of %s by %s"), function_name[f],
 221                      var_get_name (src_var), ds_cstr (&group_var_str));
 222       ds_destroy (&group_var_str);
 223     }
 224   else
 225     ds_put_format (&label, _("%s of %s"),
 226                    function_name[f], var_get_name (src_var));
 227
 228   var_set_label (dest_var, ds_cstr (&label));
 229
 230   ds_destroy (&label);
 231 }
 232
 233
 234 static bool
 235 rank_cmd (struct dataset *ds, const struct subcase *sc,
 236           const struct rank_spec *rank_specs, int n_rank_specs)
 237 {
 238   struct dictionary *d = dataset_dict (ds);
 239   bool ok = true;
 240   int i;
 241
 242   for (i = 0 ; i < subcase_get_n_fields (sc) ; ++i )
 243     {
 244       /* Rank variable at index I in SC. */
 245       struct casegrouper *split_grouper;
 246       struct casereader *split_group;
 247       struct casewriter *output;
 248
 249       proc_discard_output (ds);
 250       split_grouper = casegrouper_create_splits (proc_open (ds), d);
 251       output = autopaging_writer_create (dict_get_proto (d));
 252
 253       while (casegrouper_get_next_group (split_grouper, &split_group))
 254         {
 255           struct subcase ordering;
 256           struct casereader *ordered;
 257           struct casegrouper *by_grouper;
 258           struct casereader *by_group;
 259
 260           /* Sort this split group by the BY variables as primary
 261              keys and the rank variable as secondary key. */
 262           subcase_init_vars (&ordering, group_vars, n_group_vars);
 263           subcase_add_var (&ordering, src_vars[i],
 264                            subcase_get_direction (sc, i));
 265           ordered = sort_execute (split_group, &ordering);
 266           subcase_destroy (&ordering);
 267
 268           /* Rank the rank variable within this split group. */
 269           by_grouper = casegrouper_create_vars (ordered,
 270                                                 group_vars, n_group_vars);
 271           while (casegrouper_get_next_group (by_grouper, &by_group))
 272             {
 273               /* Rank the rank variable within this BY group
 274                  within the split group. */
 275
 276               rank_sorted_file (by_group, output, d, rank_specs, n_rank_specs,
 277                                 i, src_vars[i]);
 278             }
 279           ok = casegrouper_destroy (by_grouper) && ok;
 280         }
 281       ok = casegrouper_destroy (split_grouper);
 282       ok = proc_commit (ds) && ok;
 283       ok = (proc_set_active_file_data (ds, casewriter_make_reader (output))
 284             && ok);
 285       if (!ok)
 286         break;
 287     }
 288
 289   return ok;
 290 }
 291
 292 /* Hardly a rank function !! */
 293 static double
 294 rank_n (double c UNUSED, double cc UNUSED, double cc_1 UNUSED,
 295           int i UNUSED, double w)
 296 {
 297   return w;
 298 }
 299
 300
 301 static double
 302 rank_rank (double c, double cc, double cc_1,
 303           int i, double w UNUSED)
 304 {
 305   double rank;
 306
 307   if ( c >= 1.0 )
 308     {
 309       switch (cmd.ties)
 310         {
 311         case RANK_LOW:
 312           rank = cc_1 + 1;
 313           break;
 314         case RANK_HIGH:
 315           rank = cc;
 316           break;
 317         case RANK_MEAN:
 318           rank = cc_1 + (c + 1.0)/ 2.0;
 319           break;
 320         case RANK_CONDENSE:
 321           rank = i;
 322           break;
 323         default:
 324           NOT_REACHED ();
 325         }
 326     }
 327   else
 328     {
 329       switch (cmd.ties)
 330         {
 331         case RANK_LOW:
 332           rank = cc_1;
 333           break;
 334         case RANK_HIGH:
 335           rank = cc;
 336           break;
 337         case RANK_MEAN:
 338           rank = cc_1 + c / 2.0 ;
 339           break;
 340         case RANK_CONDENSE:
 341           rank = i;
 342           break;
 343         default:
 344           NOT_REACHED ();
 345         }
 346     }
 347
 348   return rank;
 349 }
 350
 351
 352 static double
 353 rank_rfraction (double c, double cc, double cc_1,
 354                 int i, double w)
 355 {
 356   return rank_rank (c, cc, cc_1, i, w) / w ;
 357 }
 358
 359
 360 static double
 361 rank_percent (double c, double cc, double cc_1,
 362                 int i, double w)
 363 {
 364   return rank_rank (c, cc, cc_1, i, w) * 100.0 / w ;
 365 }
 366
 367
 368 static double
 369 rank_proportion (double c, double cc, double cc_1,
 370                  int i, double w)
 371 {
 372   const double r =  rank_rank (c, cc, cc_1, i, w) ;
 373
 374   double f;
 375
 376   switch ( cmd.fraction )
 377     {
 378     case RANK_BLOM:
 379       f =  (r - 3.0/8.0) / (w + 0.25);
 380       break;
 381     case RANK_RANKIT:
 382       f = (r - 0.5) / w ;
 383       break;
 384     case RANK_TUKEY:
 385       f = (r - 1.0/3.0) / (w + 1.0/3.0);
 386       break;
 387     case RANK_VW:
 388       f = r / ( w + 1.0);
 389       break;
 390     default:
 391       NOT_REACHED ();
 392     }
 393
 394
 395   return (f > 0) ? f : SYSMIS;
 396 }
 397
 398 static double
 399 rank_normal (double c, double cc, double cc_1,
 400              int i, double w)
 401 {
 402   double f = rank_proportion (c, cc, cc_1, i, w);
 403
 404   return gsl_cdf_ugaussian_Pinv (f);
 405 }
 406
 407 static double
 408 rank_ntiles (double c, double cc, double cc_1,
 409                 int i, double w)
 410 {
 411   double r = rank_rank (c, cc, cc_1, i, w);
 412
 413
 414   return ( floor (( r * k_ntiles) / ( w + 1) ) + 1);
 415 }
 416
 417 /* Expected value of the order statistics from an exponential distribution */
 418 static double
 419 ee (int j, double w_star)
 420 {
 421   int k;
 422   double sum = 0.0;
 423
 424   for (k = 1 ; k <= j; k++)
 425     sum += 1.0 / ( w_star + 1 - k );
 426
 427   return sum;
 428 }
 429
 430
 431 static double
 432 rank_savage (double c, double cc, double cc_1,
 433                 int i UNUSED, double w)
 434 {
 435   double int_part;
 436   const int i_1 = floor (cc_1);
 437   const int i_2 = floor (cc);
 438
 439   const double w_star = (modf (w, &int_part) == 0 ) ? w : floor (w) + 1;
 440
 441   const double g_1 = cc_1 - i_1;
 442   const double g_2 = cc - i_2;
 443
 444   /* The second factor is infinite, when the first is zero.
 445      Therefore, evaluate the second, only when the first is non-zero */
 446   const double expr1 =  (1 - g_1) ? (1 - g_1) * ee(i_1+1, w_star) : ( 1 - g_1);
 447   const double expr2 =  g_2 ? g_2 * ee (i_2+1, w_star) : g_2 ;
 448
 449   if ( i_1 == i_2 )
 450     return ee (i_1 + 1, w_star) - 1;
 451
 452   if ( i_1 + 1 == i_2 )
 453     return ( ( expr1 + expr2 )/c ) - 1;
 454
 455   if ( i_1 + 2 <= i_2 )
 456     {
 457       int j;
 458       double sigma = 0.0;
 459       for (j = i_1 + 2 ; j <= i_2; ++j )
 460         sigma += ee (j, w_star);
 461       return ( (expr1 + expr2 + sigma) / c) -1;
 462     }
 463
 464   NOT_REACHED();
 465 }
 466
 467 static void
 468 rank_sorted_file (struct casereader *input,
 469                   struct casewriter *output,
 470                   const struct dictionary *dict,
 471                   const struct rank_spec *rs,
 472                   int n_rank_specs,
 473                   int dest_idx,
 474                   const struct variable *rank_var)
 475 {
 476   struct casereader *pass1, *pass2, *pass2_1;
 477   struct casegrouper *tie_grouper;
 478   struct ccase *c;
 479   double w = 0.0;
 480   double cc = 0.0;
 481   int tie_group = 1;
 482
 483
 484   input = casereader_create_filter_missing (input, &rank_var, 1,
 485                                             exclude_values, NULL, output);
 486   input = casereader_create_filter_weight (input, dict, NULL, output);
 487
 488   casereader_split (input, &pass1, &pass2);
 489
 490   /* Pass 1: Get total group weight. */
 491   for (; (c = casereader_read (pass1)) != NULL; case_unref (c))
 492     w += dict_get_case_weight (dict, c, NULL);
 493   casereader_destroy (pass1);
 494
 495   /* Pass 2: Do ranking. */
 496   tie_grouper = casegrouper_create_vars (pass2, &rank_var, 1);
 497   while (casegrouper_get_next_group (tie_grouper, &pass2_1))
 498     {
 499       struct casereader *pass2_2;
 500       double cc_1 = cc;
 501       double tw = 0.0;
 502       int i;
 503
 504       pass2_2 = casereader_clone (pass2_1);
 505       taint_propagate (casereader_get_taint (pass2_2),
 506                        casewriter_get_taint (output));
 507
 508       /* Pass 2.1: Sum up weight for tied cases. */
 509       for (; (c = casereader_read (pass2_1)) != NULL; case_unref (c))
 510         tw += dict_get_case_weight (dict, c, NULL);
 511       cc += tw;
 512       casereader_destroy (pass2_1);
 513
 514       /* Pass 2.2: Rank tied cases. */
 515       while ((c = casereader_read (pass2_2)) != NULL)
 516         {
 517           c = case_unshare (c);
 518           for (i = 0; i < n_rank_specs; ++i)
 519             {
 520               const struct variable *dst_var = rs[i].destvars[dest_idx];
 521               double *dst_value = &case_data_rw (c, dst_var)->f;
 522               *dst_value = rank_func[rs[i].rfunc] (tw, cc, cc_1, tie_group, w);
 523             }
 524           casewriter_write (output, c);
 525         }
 526       casereader_destroy (pass2_2);
 527
 528       tie_group++;
 529     }
 530   casegrouper_destroy (tie_grouper);
 531 }
 532
 533 /* Transformation function to enumerate all the cases */
 534 static int
 535 create_resort_key (void *key_var_, struct ccase **cc, casenumber case_num)
 536 {
 537   struct variable *key_var = key_var_;
 538
 539   *cc = case_unshare (*cc);
 540   case_data_rw (*cc, key_var)->f = case_num;
 541
 542   return TRNS_CONTINUE;
 543 }
 544
 545
 546 /* Create and return a new variable in which to store the ranks of SRC_VAR
 547    accoring to the rank function F.
 548    VNAME is the name of the variable to be created.
 549    If VNAME is NULL, then a name will be automatically chosen.
 550  */
 551 static struct variable *
 552 create_rank_variable (struct dictionary *dict, enum RANK_FUNC f,
 553                       const struct variable *src_var,
 554                       const char *vname)
 555 {
 556   int i;
 557   struct variable *var = NULL;
 558   char name[SHORT_NAME_LEN + 1];
 559
 560   if ( vname )
 561     var = dict_create_var(dict, vname, 0);
 562
 563   if ( NULL == var )
 564     {
 565       snprintf (name, SHORT_NAME_LEN + 1, "%c%s",
 566                 function_name[f][0], var_get_name (src_var));
 567
 568       var = dict_create_var(dict, name, 0);
 569     }
 570
 571   i = 1;
 572   while( NULL == var )
 573     {
 574       char func_abb[4];
 575       snprintf(func_abb, 4, "%s", function_name[f]);
 576       snprintf(name, SHORT_NAME_LEN + 1, "%s%03d", func_abb,
 577                i);
 578
 579       var = dict_create_var(dict, name, 0);
 580       if (i++ >= 999)
 581         break;
 582     }
 583
 584   i = 1;
 585   while ( NULL == var )
 586     {
 587       char func_abb[3];
 588       snprintf(func_abb, 3, "%s", function_name[f]);
 589
 590       snprintf(name, SHORT_NAME_LEN + 1,
 591                "RNK%s%02d", func_abb, i);
 592
 593       var = dict_create_var(dict, name, 0);
 594       if ( i++ >= 99 )
 595         break;
 596     }
 597
 598   if ( NULL == var )
 599     {
 600       msg(ME, _("Cannot create new rank variable.  All candidates in use."));
 601       return NULL;
 602     }
 603
 604   var_set_both_formats (var, &dest_format[f]);
 605
 606   return var;
 607 }
 608
 609
 610 static void
 611 rank_cleanup(void)
 612 {
 613   int i;
 614
 615   free (group_vars);
 616   group_vars = NULL;
 617   n_group_vars = 0;
 618
 619   for (i = 0 ; i <  n_rank_specs ; ++i )
 620       free (rank_specs[i].destvars);
 621
 622   free (rank_specs);
 623   rank_specs = NULL;
 624   n_rank_specs = 0;
 625
 626   subcase_destroy (&sc);
 627
 628   free (src_vars);
 629   src_vars = NULL;
 630   n_src_vars = 0;
 631 }
 632
 633 int
 634 cmd_rank (struct lexer *lexer, struct dataset *ds)
 635 {
 636   bool result;
 637   struct variable *order;
 638   size_t i;
 639   n_rank_specs = 0;
 640
 641   subcase_init_empty (&sc);
 642   if ( !parse_rank (lexer, ds, &cmd, NULL) )
 643     {
 644       rank_cleanup ();
 645     return CMD_FAILURE;
 646     }
 647
 648   /* If /MISSING=INCLUDE is set, then user missing values are ignored */
 649   exclude_values = cmd.miss == RANK_INCLUDE ? MV_SYSTEM : MV_ANY;
 650
 651   /* Default to /RANK if no function subcommands are given */
 652   if ( !( cmd.sbc_normal  || cmd.sbc_ntiles || cmd.sbc_proportion ||
 653           cmd.sbc_rfraction || cmd.sbc_savage || cmd.sbc_n ||
 654           cmd.sbc_percent || cmd.sbc_rank ) )
 655     {
 656       assert ( n_rank_specs == 0 );
 657
 658       rank_specs = xmalloc (sizeof (*rank_specs));
 659       rank_specs[0].rfunc = RANK;
 660       rank_specs[0].destvars =
 661         xcalloc (subcase_get_n_fields (&sc), sizeof (struct variable *));
 662
 663       n_rank_specs = 1;
 664     }
 665
 666   assert ( subcase_get_n_fields (&sc) == n_src_vars);
 667
 668   /* Create variables for all rank destinations which haven't
 669      already been created with INTO.
 670      Add labels to all the destination variables.
 671   */
 672   for (i = 0 ; i <  n_rank_specs ; ++i )
 673     {
 674       int v;
 675       for ( v = 0 ; v < n_src_vars ;  v ++ )
 676         {
 677           if ( rank_specs[i].destvars[v] == NULL )
 678             {
 679               rank_specs[i].destvars[v] =
 680                 create_rank_variable (dataset_dict(ds), rank_specs[i].rfunc, src_vars[v], NULL);
 681             }
 682
 683           create_var_label ( rank_specs[i].destvars[v],
 684                              src_vars[v],
 685                              rank_specs[i].rfunc);
 686         }
 687     }
 688
 689   if ( cmd.print == RANK_YES )
 690     {
 691       int v;
 692
 693       tab_output_text (0, _("Variables Created By RANK"));
 694       tab_output_text (0, "");
 695
 696       for (i = 0 ; i <  n_rank_specs ; ++i )
 697         {
 698           for ( v = 0 ; v < n_src_vars ;  v ++ )
 699             {
 700               if ( n_group_vars > 0 )
 701                 {
 702                   struct string varlist;
 703                   int g;
 704
 705                   ds_init_empty (&varlist);
 706                   for ( g = 0 ; g < n_group_vars ; ++g )
 707                     {
 708                       ds_put_cstr (&varlist, var_get_name (group_vars[g]));
 709
 710                       if ( g < n_group_vars - 1)
 711                         ds_put_cstr (&varlist, " ");
 712                     }
 713
 714                   if ( rank_specs[i].rfunc == NORMAL ||
 715                        rank_specs[i].rfunc == PROPORTION )
 716                     tab_output_text_format (0,
 717                                             _("%s into %s(%s of %s using %s BY %s)"),
 718                                             var_get_name (src_vars[v]),
 719                                             var_get_name (rank_specs[i].destvars[v]),
 720                                             function_name[rank_specs[i].rfunc],
 721                                             var_get_name (src_vars[v]),
 722                                             fraction_name(),
 723                                             ds_cstr (&varlist));
 724
 725                   else
 726                     tab_output_text_format (0,
 727                                             _("%s into %s(%s of %s BY %s)"),
 728                                             var_get_name (src_vars[v]),
 729                                             var_get_name (rank_specs[i].destvars[v]),
 730                                             function_name[rank_specs[i].rfunc],
 731                                             var_get_name (src_vars[v]),
 732                                             ds_cstr (&varlist));
 733                   ds_destroy (&varlist);
 734                 }
 735               else
 736                 {
 737                   if ( rank_specs[i].rfunc == NORMAL ||
 738                        rank_specs[i].rfunc == PROPORTION )
 739                     tab_output_text_format (0,
 740                                             _("%s into %s(%s of %s using %s)"),
 741                                             var_get_name (src_vars[v]),
 742                                             var_get_name (rank_specs[i].destvars[v]),
 743                                             function_name[rank_specs[i].rfunc],
 744                                             var_get_name (src_vars[v]),
 745                                             fraction_name());
 746
 747                   else
 748                     tab_output_text_format (0,
 749                                             _("%s into %s(%s of %s)"),
 750                                             var_get_name (src_vars[v]),
 751                                             var_get_name (rank_specs[i].destvars[v]),
 752                                             function_name[rank_specs[i].rfunc],
 753                                             var_get_name (src_vars[v]));
 754                 }
 755             }
 756         }
 757     }
 758
 759   if ( cmd.sbc_fraction &&
 760        ( ! cmd.sbc_normal && ! cmd.sbc_proportion) )
 761     msg(MW, _("FRACTION has been specified, but NORMAL and PROPORTION rank functions have not been requested.  The FRACTION subcommand will be ignored.") );
 762
 763   /* Add a variable which we can sort by to get back the original
 764      order */
 765   order = dict_create_var_assert (dataset_dict (ds), "$ORDER_", 0);
 766
 767   add_transformation (ds, create_resort_key, 0, order);
 768
 769   /* Do the ranking */
 770   result = rank_cmd (ds, &sc, rank_specs, n_rank_specs);
 771
 772   /* Put the active file back in its original order.  Delete
 773      our sort key, which we don't need anymore.  */
 774   {
 775     struct casereader *sorted;
 776
 777     /* FIXME: loses error conditions. */
 778
 779     proc_discard_output (ds);
 780     sorted = sort_execute_1var (proc_open (ds), order);
 781     result = proc_commit (ds) && result;
 782
 783     dict_delete_var (dataset_dict (ds), order);
 784     result = proc_set_active_file_data (ds, sorted) && result;
 785   }
 786
 787   rank_cleanup();
 788
 789
 790   return (result ? CMD_SUCCESS : CMD_CASCADING_FAILURE);
 791 }
 792
 793
 794 /* Parser for the variables sub command
 795    Returns 1 on success */
 796 static int
 797 rank_custom_variables (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd UNUSED, void *aux UNUSED)
 798 {
 799   lex_match (lexer, T_EQUALS);
 800
 801   if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokcstr (lexer)) == NULL)
 802       && lex_token (lexer) != T_ALL)
 803       return 2;
 804
 805   if (!parse_sort_criteria (lexer, dataset_dict (ds), &sc, &src_vars, NULL))
 806     return 0;
 807   n_src_vars = subcase_get_n_fields (&sc);
 808
 809   if ( lex_match (lexer, T_BY)  )
 810     {
 811       if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokcstr (lexer)) == NULL))
 812         {
 813           return 2;
 814         }
 815
 816       if (!parse_variables_const (lexer, dataset_dict (ds),
 817                             &group_vars, &n_group_vars,
 818                             PV_NO_DUPLICATE | PV_NO_SCRATCH) )
 819         {
 820           free (group_vars);
 821           return 0;
 822         }
 823     }
 824
 825   return 1;
 826 }
 827
 828
 829 /* Parse the [/rank INTO var1 var2 ... varN ] clause */
 830 static int
 831 parse_rank_function (struct lexer *lexer, struct dictionary *dict, struct cmd_rank *cmd UNUSED, enum RANK_FUNC f)
 832 {
 833   int var_count = 0;
 834
 835   n_rank_specs++;
 836   rank_specs = xnrealloc(rank_specs, n_rank_specs, sizeof *rank_specs);
 837   rank_specs[n_rank_specs - 1].rfunc = f;
 838   rank_specs[n_rank_specs - 1].destvars = NULL;
 839
 840   rank_specs[n_rank_specs - 1].destvars =
 841             xcalloc (subcase_get_n_fields (&sc), sizeof (struct variable *));
 842
 843   if (lex_match_id (lexer, "INTO"))
 844     {
 845       struct variable *destvar;
 846
 847       while( lex_token (lexer) == T_ID )
 848         {
 849
 850           if ( dict_lookup_var (dict, lex_tokcstr (lexer)) != NULL )
 851             {
 852               msg(SE, _("Variable %s already exists."), lex_tokcstr (lexer));
 853               return 0;
 854             }
 855           if ( var_count >= subcase_get_n_fields (&sc) )
 856             {
 857               msg(SE, _("Too many variables in INTO clause."));
 858               return 0;
 859             }
 860
 861           destvar = create_rank_variable (dict, f, src_vars[var_count], lex_tokcstr (lexer));
 862           rank_specs[n_rank_specs - 1].destvars[var_count] = destvar ;
 863
 864           lex_get (lexer);
 865           ++var_count;
 866         }
 867     }
 868
 869   return 1;
 870 }
 871
 872
 873 static int
 874 rank_custom_rank (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 875 {
 876   struct dictionary *dict = dataset_dict (ds);
 877
 878   return parse_rank_function (lexer, dict, cmd, RANK);
 879 }
 880
 881 static int
 882 rank_custom_normal (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 883 {
 884   struct  dictionary *dict = dataset_dict (ds);
 885
 886   return parse_rank_function (lexer, dict, cmd, NORMAL);
 887 }
 888
 889 static int
 890 rank_custom_percent (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 891 {
 892   struct dictionary *dict = dataset_dict (ds);
 893
 894   return parse_rank_function (lexer, dict, cmd, PERCENT);
 895 }
 896
 897 static int
 898 rank_custom_rfraction (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 899 {
 900   struct dictionary *dict = dataset_dict (ds);
 901
 902   return parse_rank_function (lexer, dict, cmd, RFRACTION);
 903 }
 904
 905 static int
 906 rank_custom_proportion (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 907 {
 908   struct dictionary *dict = dataset_dict (ds);
 909
 910   return parse_rank_function (lexer, dict, cmd, PROPORTION);
 911 }
 912
 913 static int
 914 rank_custom_n (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 915 {
 916   struct dictionary *dict = dataset_dict (ds);
 917
 918   return parse_rank_function (lexer, dict, cmd, N);
 919 }
 920
 921 static int
 922 rank_custom_savage (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 923 {
 924   struct dictionary *dict = dataset_dict (ds);
 925
 926   return parse_rank_function (lexer, dict, cmd, SAVAGE);
 927 }
 928
 929
 930 static int
 931 rank_custom_ntiles (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 932 {
 933   struct dictionary *dict = dataset_dict (ds);
 934
 935   if ( lex_force_match (lexer, T_LPAREN) )
 936     {
 937       if ( lex_force_int (lexer) )
 938         {
 939           k_ntiles = lex_integer (lexer);
 940           lex_get (lexer);
 941           lex_force_match (lexer, T_RPAREN);
 942         }
 943       else
 944         return 0;
 945     }
 946   else
 947     return 0;
 948
 949   return parse_rank_function (lexer, dict, cmd, NTILES);
 950 }
 951
 952 /*
 953   Local Variables:
 954   mode: c
 955   End:
 956 */