src/language/stats/rank.q

   1 /* PSPP - a program for statistical analysis.
   2    Copyright (C) 2005, 2006, 2007, 2009, 2010, 2011 Free Software Foundation, Inc.
   3
   4    This program is free software: you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation, either version 3 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13
  14    You should have received a copy of the GNU General Public License
  15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
  16
  17 #include <config.h>
  18
  19 #include <gsl/gsl_cdf.h>
  20 #include <limits.h>
  21 #include <math.h>
  22
  23 #include "data/case.h"
  24 #include "data/casegrouper.h"
  25 #include "data/casereader.h"
  26 #include "data/casewriter.h"
  27 #include "data/dictionary.h"
  28 #include "data/format.h"
  29 #include "data/missing-values.h"
  30 #include "data/procedure.h"
  31 #include "data/short-names.h"
  32 #include "data/subcase.h"
  33 #include "data/variable.h"
  34 #include "language/command.h"
  35 #include "language/stats/sort-criteria.h"
  36 #include "libpspp/compiler.h"
  37 #include "libpspp/taint.h"
  38 #include "math/sort.h"
  39 #include "output/tab.h"
  40
  41 #include "gettext.h"
  42 #define _(msgid) gettext (msgid)
  43
  44 /* (headers) */
  45
  46 /* (specification)
  47    "RANK" (rank_):
  48    *^variables=custom;
  49    +rank=custom;
  50    +normal=custom;
  51    +percent=custom;
  52    +ntiles=custom;
  53    +rfraction=custom;
  54    +proportion=custom;
  55    +n=custom;
  56    +savage=custom;
  57    +print=print:!yes/no;
  58    +fraction=fraction:!blom/tukey/vw/rankit;
  59    +ties=ties:!mean/low/high/condense;
  60    missing=miss:!exclude/include.
  61 */
  62 /* (declarations) */
  63 /* (functions) */
  64
  65 typedef double (*rank_function_t) (double c, double cc, double cc_1,
  66                                  int i, double w);
  67
  68 static double rank_proportion (double c, double cc, double cc_1,
  69                                int i, double w);
  70
  71 static double rank_normal (double c, double cc, double cc_1,
  72                            int i, double w);
  73
  74 static double rank_percent (double c, double cc, double cc_1,
  75                             int i, double w);
  76
  77 static double rank_rfraction (double c, double cc, double cc_1,
  78                               int i, double w);
  79
  80 static double rank_rank (double c, double cc, double cc_1,
  81                          int i, double w);
  82
  83 static double rank_n (double c, double cc, double cc_1,
  84                       int i, double w);
  85
  86 static double rank_savage (double c, double cc, double cc_1,
  87                       int i, double w);
  88
  89 static double rank_ntiles (double c, double cc, double cc_1,
  90                       int i, double w);
  91
  92
  93 enum RANK_FUNC
  94   {
  95     RANK,
  96     NORMAL,
  97     PERCENT,
  98     RFRACTION,
  99     PROPORTION,
 100     N,
 101     NTILES,
 102     SAVAGE,
 103     n_RANK_FUNCS
 104   };
 105
 106 static const struct fmt_spec dest_format[n_RANK_FUNCS] = {
 107   {FMT_F, 9, 3}, /* rank */
 108   {FMT_F, 6, 4}, /* normal */
 109   {FMT_F, 6, 2}, /* percent */
 110   {FMT_F, 6, 4}, /* rfraction */
 111   {FMT_F, 6, 4}, /* proportion */
 112   {FMT_F, 6, 0}, /* n */
 113   {FMT_F, 3, 0}, /* ntiles */
 114   {FMT_F, 8, 4}  /* savage */
 115 };
 116
 117 static const char * const function_name[n_RANK_FUNCS] = {
 118   "RANK",
 119   "NORMAL",
 120   "PERCENT",
 121   "RFRACTION",
 122   "PROPORTION",
 123   "N",
 124   "NTILES",
 125   "SAVAGE"
 126 };
 127
 128 static const rank_function_t rank_func[n_RANK_FUNCS] = {
 129   rank_rank,
 130   rank_normal,
 131   rank_percent,
 132   rank_rfraction,
 133   rank_proportion,
 134   rank_n,
 135   rank_ntiles,
 136   rank_savage
 137   };
 138
 139
 140 struct rank_spec
 141 {
 142   enum RANK_FUNC rfunc;
 143   struct variable **destvars;
 144 };
 145
 146
 147 /* Categories of missing values to exclude. */
 148 static enum mv_class exclude_values;
 149
 150 static struct rank_spec *rank_specs;
 151 static size_t n_rank_specs;
 152
 153 static struct subcase sc;
 154
 155 static const struct variable **group_vars;
 156 static size_t n_group_vars;
 157
 158 static const struct variable **src_vars;
 159 static size_t n_src_vars;
 160
 161
 162 static int k_ntiles;
 163
 164 static struct cmd_rank cmd;
 165
 166 static void rank_sorted_file (struct casereader *,
 167                               struct casewriter *,
 168                               const struct dictionary *,
 169                               const struct rank_spec *rs,
 170                               int n_rank_specs,
 171                               int idx,
 172                               const struct variable *rank_var);
 173
 174 static const char *
 175 fraction_name(void)
 176 {
 177   static char name[10];
 178   switch ( cmd.fraction )
 179     {
 180     case RANK_BLOM:
 181       strcpy (name, "BLOM");
 182       break;
 183     case RANK_RANKIT:
 184       strcpy (name, "RANKIT");
 185       break;
 186     case RANK_TUKEY:
 187       strcpy (name, "TUKEY");
 188       break;
 189     case RANK_VW:
 190       strcpy (name, "VW");
 191       break;
 192     default:
 193       NOT_REACHED ();
 194     }
 195   return name;
 196 }
 197
 198 /* Create a label on DEST_VAR, describing its derivation from SRC_VAR and F */
 199 static void
 200 create_var_label (struct variable *dest_var,
 201                   const struct variable *src_var, enum RANK_FUNC f)
 202 {
 203   struct string label;
 204   ds_init_empty (&label);
 205
 206   if ( n_group_vars > 0 )
 207     {
 208       struct string group_var_str;
 209       int g;
 210
 211       ds_init_empty (&group_var_str);
 212
 213       for (g = 0 ; g < n_group_vars ; ++g )
 214         {
 215           if ( g > 0 ) ds_put_cstr (&group_var_str, " ");
 216           ds_put_cstr (&group_var_str, var_get_name (group_vars[g]));
 217         }
 218
 219       ds_put_format (&label, _("%s of %s by %s"), function_name[f],
 220                      var_get_name (src_var), ds_cstr (&group_var_str));
 221       ds_destroy (&group_var_str);
 222     }
 223   else
 224     ds_put_format (&label, _("%s of %s"),
 225                    function_name[f], var_get_name (src_var));
 226
 227   var_set_label (dest_var, ds_cstr (&label));
 228
 229   ds_destroy (&label);
 230 }
 231
 232
 233 static bool
 234 rank_cmd (struct dataset *ds, const struct subcase *sc,
 235           const struct rank_spec *rank_specs, int n_rank_specs)
 236 {
 237   struct dictionary *d = dataset_dict (ds);
 238   bool ok = true;
 239   int i;
 240
 241   for (i = 0 ; i < subcase_get_n_fields (sc) ; ++i )
 242     {
 243       /* Rank variable at index I in SC. */
 244       struct casegrouper *split_grouper;
 245       struct casereader *split_group;
 246       struct casewriter *output;
 247
 248       proc_discard_output (ds);
 249       split_grouper = casegrouper_create_splits (proc_open (ds), d);
 250       output = autopaging_writer_create (dict_get_proto (d));
 251
 252       while (casegrouper_get_next_group (split_grouper, &split_group))
 253         {
 254           struct subcase ordering;
 255           struct casereader *ordered;
 256           struct casegrouper *by_grouper;
 257           struct casereader *by_group;
 258
 259           /* Sort this split group by the BY variables as primary
 260              keys and the rank variable as secondary key. */
 261           subcase_init_vars (&ordering, group_vars, n_group_vars);
 262           subcase_add_var (&ordering, src_vars[i],
 263                            subcase_get_direction (sc, i));
 264           ordered = sort_execute (split_group, &ordering);
 265           subcase_destroy (&ordering);
 266
 267           /* Rank the rank variable within this split group. */
 268           by_grouper = casegrouper_create_vars (ordered,
 269                                                 group_vars, n_group_vars);
 270           while (casegrouper_get_next_group (by_grouper, &by_group))
 271             {
 272               /* Rank the rank variable within this BY group
 273                  within the split group. */
 274
 275               rank_sorted_file (by_group, output, d, rank_specs, n_rank_specs,
 276                                 i, src_vars[i]);
 277             }
 278           ok = casegrouper_destroy (by_grouper) && ok;
 279         }
 280       ok = casegrouper_destroy (split_grouper);
 281       ok = proc_commit (ds) && ok;
 282       ok = (proc_set_active_file_data (ds, casewriter_make_reader (output))
 283             && ok);
 284       if (!ok)
 285         break;
 286     }
 287
 288   return ok;
 289 }
 290
 291 /* Hardly a rank function !! */
 292 static double
 293 rank_n (double c UNUSED, double cc UNUSED, double cc_1 UNUSED,
 294           int i UNUSED, double w)
 295 {
 296   return w;
 297 }
 298
 299
 300 static double
 301 rank_rank (double c, double cc, double cc_1,
 302           int i, double w UNUSED)
 303 {
 304   double rank;
 305
 306   if ( c >= 1.0 )
 307     {
 308       switch (cmd.ties)
 309         {
 310         case RANK_LOW:
 311           rank = cc_1 + 1;
 312           break;
 313         case RANK_HIGH:
 314           rank = cc;
 315           break;
 316         case RANK_MEAN:
 317           rank = cc_1 + (c + 1.0)/ 2.0;
 318           break;
 319         case RANK_CONDENSE:
 320           rank = i;
 321           break;
 322         default:
 323           NOT_REACHED ();
 324         }
 325     }
 326   else
 327     {
 328       switch (cmd.ties)
 329         {
 330         case RANK_LOW:
 331           rank = cc_1;
 332           break;
 333         case RANK_HIGH:
 334           rank = cc;
 335           break;
 336         case RANK_MEAN:
 337           rank = cc_1 + c / 2.0 ;
 338           break;
 339         case RANK_CONDENSE:
 340           rank = i;
 341           break;
 342         default:
 343           NOT_REACHED ();
 344         }
 345     }
 346
 347   return rank;
 348 }
 349
 350
 351 static double
 352 rank_rfraction (double c, double cc, double cc_1,
 353                 int i, double w)
 354 {
 355   return rank_rank (c, cc, cc_1, i, w) / w ;
 356 }
 357
 358
 359 static double
 360 rank_percent (double c, double cc, double cc_1,
 361                 int i, double w)
 362 {
 363   return rank_rank (c, cc, cc_1, i, w) * 100.0 / w ;
 364 }
 365
 366
 367 static double
 368 rank_proportion (double c, double cc, double cc_1,
 369                  int i, double w)
 370 {
 371   const double r =  rank_rank (c, cc, cc_1, i, w) ;
 372
 373   double f;
 374
 375   switch ( cmd.fraction )
 376     {
 377     case RANK_BLOM:
 378       f =  (r - 3.0/8.0) / (w + 0.25);
 379       break;
 380     case RANK_RANKIT:
 381       f = (r - 0.5) / w ;
 382       break;
 383     case RANK_TUKEY:
 384       f = (r - 1.0/3.0) / (w + 1.0/3.0);
 385       break;
 386     case RANK_VW:
 387       f = r / ( w + 1.0);
 388       break;
 389     default:
 390       NOT_REACHED ();
 391     }
 392
 393
 394   return (f > 0) ? f : SYSMIS;
 395 }
 396
 397 static double
 398 rank_normal (double c, double cc, double cc_1,
 399              int i, double w)
 400 {
 401   double f = rank_proportion (c, cc, cc_1, i, w);
 402
 403   return gsl_cdf_ugaussian_Pinv (f);
 404 }
 405
 406 static double
 407 rank_ntiles (double c, double cc, double cc_1,
 408                 int i, double w)
 409 {
 410   double r = rank_rank (c, cc, cc_1, i, w);
 411
 412
 413   return ( floor (( r * k_ntiles) / ( w + 1) ) + 1);
 414 }
 415
 416 /* Expected value of the order statistics from an exponential distribution */
 417 static double
 418 ee (int j, double w_star)
 419 {
 420   int k;
 421   double sum = 0.0;
 422
 423   for (k = 1 ; k <= j; k++)
 424     sum += 1.0 / ( w_star + 1 - k );
 425
 426   return sum;
 427 }
 428
 429
 430 static double
 431 rank_savage (double c, double cc, double cc_1,
 432                 int i UNUSED, double w)
 433 {
 434   double int_part;
 435   const int i_1 = floor (cc_1);
 436   const int i_2 = floor (cc);
 437
 438   const double w_star = (modf (w, &int_part) == 0 ) ? w : floor (w) + 1;
 439
 440   const double g_1 = cc_1 - i_1;
 441   const double g_2 = cc - i_2;
 442
 443   /* The second factor is infinite, when the first is zero.
 444      Therefore, evaluate the second, only when the first is non-zero */
 445   const double expr1 =  (1 - g_1) ? (1 - g_1) * ee(i_1+1, w_star) : ( 1 - g_1);
 446   const double expr2 =  g_2 ? g_2 * ee (i_2+1, w_star) : g_2 ;
 447
 448   if ( i_1 == i_2 )
 449     return ee (i_1 + 1, w_star) - 1;
 450
 451   if ( i_1 + 1 == i_2 )
 452     return ( ( expr1 + expr2 )/c ) - 1;
 453
 454   if ( i_1 + 2 <= i_2 )
 455     {
 456       int j;
 457       double sigma = 0.0;
 458       for (j = i_1 + 2 ; j <= i_2; ++j )
 459         sigma += ee (j, w_star);
 460       return ( (expr1 + expr2 + sigma) / c) -1;
 461     }
 462
 463   NOT_REACHED();
 464 }
 465
 466 static void
 467 rank_sorted_file (struct casereader *input,
 468                   struct casewriter *output,
 469                   const struct dictionary *dict,
 470                   const struct rank_spec *rs,
 471                   int n_rank_specs,
 472                   int dest_idx,
 473                   const struct variable *rank_var)
 474 {
 475   struct casereader *pass1, *pass2, *pass2_1;
 476   struct casegrouper *tie_grouper;
 477   struct ccase *c;
 478   double w = 0.0;
 479   double cc = 0.0;
 480   int tie_group = 1;
 481
 482
 483   input = casereader_create_filter_missing (input, &rank_var, 1,
 484                                             exclude_values, NULL, output);
 485   input = casereader_create_filter_weight (input, dict, NULL, output);
 486
 487   casereader_split (input, &pass1, &pass2);
 488
 489   /* Pass 1: Get total group weight. */
 490   for (; (c = casereader_read (pass1)) != NULL; case_unref (c))
 491     w += dict_get_case_weight (dict, c, NULL);
 492   casereader_destroy (pass1);
 493
 494   /* Pass 2: Do ranking. */
 495   tie_grouper = casegrouper_create_vars (pass2, &rank_var, 1);
 496   while (casegrouper_get_next_group (tie_grouper, &pass2_1))
 497     {
 498       struct casereader *pass2_2;
 499       double cc_1 = cc;
 500       double tw = 0.0;
 501       int i;
 502
 503       pass2_2 = casereader_clone (pass2_1);
 504       taint_propagate (casereader_get_taint (pass2_2),
 505                        casewriter_get_taint (output));
 506
 507       /* Pass 2.1: Sum up weight for tied cases. */
 508       for (; (c = casereader_read (pass2_1)) != NULL; case_unref (c))
 509         tw += dict_get_case_weight (dict, c, NULL);
 510       cc += tw;
 511       casereader_destroy (pass2_1);
 512
 513       /* Pass 2.2: Rank tied cases. */
 514       while ((c = casereader_read (pass2_2)) != NULL)
 515         {
 516           c = case_unshare (c);
 517           for (i = 0; i < n_rank_specs; ++i)
 518             {
 519               const struct variable *dst_var = rs[i].destvars[dest_idx];
 520               double *dst_value = &case_data_rw (c, dst_var)->f;
 521               *dst_value = rank_func[rs[i].rfunc] (tw, cc, cc_1, tie_group, w);
 522             }
 523           casewriter_write (output, c);
 524         }
 525       casereader_destroy (pass2_2);
 526
 527       tie_group++;
 528     }
 529   casegrouper_destroy (tie_grouper);
 530 }
 531
 532 /* Transformation function to enumerate all the cases */
 533 static int
 534 create_resort_key (void *key_var_, struct ccase **cc, casenumber case_num)
 535 {
 536   struct variable *key_var = key_var_;
 537
 538   *cc = case_unshare (*cc);
 539   case_data_rw (*cc, key_var)->f = case_num;
 540
 541   return TRNS_CONTINUE;
 542 }
 543
 544
 545 /* Create and return a new variable in which to store the ranks of SRC_VAR
 546    accoring to the rank function F.
 547    VNAME is the name of the variable to be created.
 548    If VNAME is NULL, then a name will be automatically chosen.
 549  */
 550 static struct variable *
 551 create_rank_variable (struct dictionary *dict, enum RANK_FUNC f,
 552                       const struct variable *src_var,
 553                       const char *vname)
 554 {
 555   int i;
 556   struct variable *var = NULL;
 557   char name[SHORT_NAME_LEN + 1];
 558
 559   if ( vname )
 560     var = dict_create_var(dict, vname, 0);
 561
 562   if ( NULL == var )
 563     {
 564       snprintf (name, SHORT_NAME_LEN + 1, "%c%s",
 565                 function_name[f][0], var_get_name (src_var));
 566
 567       var = dict_create_var(dict, name, 0);
 568     }
 569
 570   i = 1;
 571   while( NULL == var )
 572     {
 573       char func_abb[4];
 574       snprintf(func_abb, 4, "%s", function_name[f]);
 575       snprintf(name, SHORT_NAME_LEN + 1, "%s%03d", func_abb,
 576                i);
 577
 578       var = dict_create_var(dict, name, 0);
 579       if (i++ >= 999)
 580         break;
 581     }
 582
 583   i = 1;
 584   while ( NULL == var )
 585     {
 586       char func_abb[3];
 587       snprintf(func_abb, 3, "%s", function_name[f]);
 588
 589       snprintf(name, SHORT_NAME_LEN + 1,
 590                "RNK%s%02d", func_abb, i);
 591
 592       var = dict_create_var(dict, name, 0);
 593       if ( i++ >= 99 )
 594         break;
 595     }
 596
 597   if ( NULL == var )
 598     {
 599       msg(ME, _("Cannot create new rank variable.  All candidates in use."));
 600       return NULL;
 601     }
 602
 603   var_set_both_formats (var, &dest_format[f]);
 604
 605   return var;
 606 }
 607
 608
 609 static void
 610 rank_cleanup(void)
 611 {
 612   int i;
 613
 614   free (group_vars);
 615   group_vars = NULL;
 616   n_group_vars = 0;
 617
 618   for (i = 0 ; i <  n_rank_specs ; ++i )
 619       free (rank_specs[i].destvars);
 620
 621   free (rank_specs);
 622   rank_specs = NULL;
 623   n_rank_specs = 0;
 624
 625   subcase_destroy (&sc);
 626
 627   free (src_vars);
 628   src_vars = NULL;
 629   n_src_vars = 0;
 630 }
 631
 632 int
 633 cmd_rank (struct lexer *lexer, struct dataset *ds)
 634 {
 635   bool result;
 636   struct variable *order;
 637   size_t i;
 638   n_rank_specs = 0;
 639
 640   subcase_init_empty (&sc);
 641   if ( !parse_rank (lexer, ds, &cmd, NULL) )
 642     {
 643       rank_cleanup ();
 644     return CMD_FAILURE;
 645     }
 646
 647   /* If /MISSING=INCLUDE is set, then user missing values are ignored */
 648   exclude_values = cmd.miss == RANK_INCLUDE ? MV_SYSTEM : MV_ANY;
 649
 650   /* Default to /RANK if no function subcommands are given */
 651   if ( !( cmd.sbc_normal  || cmd.sbc_ntiles || cmd.sbc_proportion ||
 652           cmd.sbc_rfraction || cmd.sbc_savage || cmd.sbc_n ||
 653           cmd.sbc_percent || cmd.sbc_rank ) )
 654     {
 655       assert ( n_rank_specs == 0 );
 656
 657       rank_specs = xmalloc (sizeof (*rank_specs));
 658       rank_specs[0].rfunc = RANK;
 659       rank_specs[0].destvars =
 660         xcalloc (subcase_get_n_fields (&sc), sizeof (struct variable *));
 661
 662       n_rank_specs = 1;
 663     }
 664
 665   assert ( subcase_get_n_fields (&sc) == n_src_vars);
 666
 667   /* Create variables for all rank destinations which haven't
 668      already been created with INTO.
 669      Add labels to all the destination variables.
 670   */
 671   for (i = 0 ; i <  n_rank_specs ; ++i )
 672     {
 673       int v;
 674       for ( v = 0 ; v < n_src_vars ;  v ++ )
 675         {
 676           if ( rank_specs[i].destvars[v] == NULL )
 677             {
 678               rank_specs[i].destvars[v] =
 679                 create_rank_variable (dataset_dict(ds), rank_specs[i].rfunc, src_vars[v], NULL);
 680             }
 681
 682           create_var_label ( rank_specs[i].destvars[v],
 683                              src_vars[v],
 684                              rank_specs[i].rfunc);
 685         }
 686     }
 687
 688   if ( cmd.print == RANK_YES )
 689     {
 690       int v;
 691
 692       tab_output_text (0, _("Variables Created By RANK"));
 693       tab_output_text (0, "");
 694
 695       for (i = 0 ; i <  n_rank_specs ; ++i )
 696         {
 697           for ( v = 0 ; v < n_src_vars ;  v ++ )
 698             {
 699               if ( n_group_vars > 0 )
 700                 {
 701                   struct string varlist;
 702                   int g;
 703
 704                   ds_init_empty (&varlist);
 705                   for ( g = 0 ; g < n_group_vars ; ++g )
 706                     {
 707                       ds_put_cstr (&varlist, var_get_name (group_vars[g]));
 708
 709                       if ( g < n_group_vars - 1)
 710                         ds_put_cstr (&varlist, " ");
 711                     }
 712
 713                   if ( rank_specs[i].rfunc == NORMAL ||
 714                        rank_specs[i].rfunc == PROPORTION )
 715                     tab_output_text_format (0,
 716                                             _("%s into %s(%s of %s using %s BY %s)"),
 717                                             var_get_name (src_vars[v]),
 718                                             var_get_name (rank_specs[i].destvars[v]),
 719                                             function_name[rank_specs[i].rfunc],
 720                                             var_get_name (src_vars[v]),
 721                                             fraction_name(),
 722                                             ds_cstr (&varlist));
 723
 724                   else
 725                     tab_output_text_format (0,
 726                                             _("%s into %s(%s of %s BY %s)"),
 727                                             var_get_name (src_vars[v]),
 728                                             var_get_name (rank_specs[i].destvars[v]),
 729                                             function_name[rank_specs[i].rfunc],
 730                                             var_get_name (src_vars[v]),
 731                                             ds_cstr (&varlist));
 732                   ds_destroy (&varlist);
 733                 }
 734               else
 735                 {
 736                   if ( rank_specs[i].rfunc == NORMAL ||
 737                        rank_specs[i].rfunc == PROPORTION )
 738                     tab_output_text_format (0,
 739                                             _("%s into %s(%s of %s using %s)"),
 740                                             var_get_name (src_vars[v]),
 741                                             var_get_name (rank_specs[i].destvars[v]),
 742                                             function_name[rank_specs[i].rfunc],
 743                                             var_get_name (src_vars[v]),
 744                                             fraction_name());
 745
 746                   else
 747                     tab_output_text_format (0,
 748                                             _("%s into %s(%s of %s)"),
 749                                             var_get_name (src_vars[v]),
 750                                             var_get_name (rank_specs[i].destvars[v]),
 751                                             function_name[rank_specs[i].rfunc],
 752                                             var_get_name (src_vars[v]));
 753                 }
 754             }
 755         }
 756     }
 757
 758   if ( cmd.sbc_fraction &&
 759        ( ! cmd.sbc_normal && ! cmd.sbc_proportion) )
 760     msg(MW, _("FRACTION has been specified, but NORMAL and PROPORTION rank functions have not been requested.  The FRACTION subcommand will be ignored.") );
 761
 762   /* Add a variable which we can sort by to get back the original
 763      order */
 764   order = dict_create_var_assert (dataset_dict (ds), "$ORDER_", 0);
 765
 766   add_transformation (ds, create_resort_key, 0, order);
 767
 768   /* Do the ranking */
 769   result = rank_cmd (ds, &sc, rank_specs, n_rank_specs);
 770
 771   /* Put the active file back in its original order.  Delete
 772      our sort key, which we don't need anymore.  */
 773   {
 774     struct casereader *sorted;
 775
 776     /* FIXME: loses error conditions. */
 777
 778     proc_discard_output (ds);
 779     sorted = sort_execute_1var (proc_open (ds), order);
 780     result = proc_commit (ds) && result;
 781
 782     dict_delete_var (dataset_dict (ds), order);
 783     result = proc_set_active_file_data (ds, sorted) && result;
 784   }
 785
 786   rank_cleanup();
 787
 788
 789   return (result ? CMD_SUCCESS : CMD_CASCADING_FAILURE);
 790 }
 791
 792
 793 /* Parser for the variables sub command
 794    Returns 1 on success */
 795 static int
 796 rank_custom_variables (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd UNUSED, void *aux UNUSED)
 797 {
 798   lex_match (lexer, T_EQUALS);
 799
 800   if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokcstr (lexer)) == NULL)
 801       && lex_token (lexer) != T_ALL)
 802       return 2;
 803
 804   if (!parse_sort_criteria (lexer, dataset_dict (ds), &sc, &src_vars, NULL))
 805     return 0;
 806   n_src_vars = subcase_get_n_fields (&sc);
 807
 808   if ( lex_match (lexer, T_BY)  )
 809     {
 810       if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokcstr (lexer)) == NULL))
 811         {
 812           return 2;
 813         }
 814
 815       if (!parse_variables_const (lexer, dataset_dict (ds),
 816                             &group_vars, &n_group_vars,
 817                             PV_NO_DUPLICATE | PV_NO_SCRATCH) )
 818         {
 819           free (group_vars);
 820           return 0;
 821         }
 822     }
 823
 824   return 1;
 825 }
 826
 827
 828 /* Parse the [/rank INTO var1 var2 ... varN ] clause */
 829 static int
 830 parse_rank_function (struct lexer *lexer, struct dictionary *dict, struct cmd_rank *cmd UNUSED, enum RANK_FUNC f)
 831 {
 832   int var_count = 0;
 833
 834   n_rank_specs++;
 835   rank_specs = xnrealloc(rank_specs, n_rank_specs, sizeof *rank_specs);
 836   rank_specs[n_rank_specs - 1].rfunc = f;
 837   rank_specs[n_rank_specs - 1].destvars = NULL;
 838
 839   rank_specs[n_rank_specs - 1].destvars =
 840             xcalloc (subcase_get_n_fields (&sc), sizeof (struct variable *));
 841
 842   if (lex_match_id (lexer, "INTO"))
 843     {
 844       struct variable *destvar;
 845
 846       while( lex_token (lexer) == T_ID )
 847         {
 848
 849           if ( dict_lookup_var (dict, lex_tokcstr (lexer)) != NULL )
 850             {
 851               msg(SE, _("Variable %s already exists."), lex_tokcstr (lexer));
 852               return 0;
 853             }
 854           if ( var_count >= subcase_get_n_fields (&sc) )
 855             {
 856               msg(SE, _("Too many variables in INTO clause."));
 857               return 0;
 858             }
 859
 860           destvar = create_rank_variable (dict, f, src_vars[var_count], lex_tokcstr (lexer));
 861           rank_specs[n_rank_specs - 1].destvars[var_count] = destvar ;
 862
 863           lex_get (lexer);
 864           ++var_count;
 865         }
 866     }
 867
 868   return 1;
 869 }
 870
 871
 872 static int
 873 rank_custom_rank (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 874 {
 875   struct dictionary *dict = dataset_dict (ds);
 876
 877   return parse_rank_function (lexer, dict, cmd, RANK);
 878 }
 879
 880 static int
 881 rank_custom_normal (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 882 {
 883   struct  dictionary *dict = dataset_dict (ds);
 884
 885   return parse_rank_function (lexer, dict, cmd, NORMAL);
 886 }
 887
 888 static int
 889 rank_custom_percent (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 890 {
 891   struct dictionary *dict = dataset_dict (ds);
 892
 893   return parse_rank_function (lexer, dict, cmd, PERCENT);
 894 }
 895
 896 static int
 897 rank_custom_rfraction (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 898 {
 899   struct dictionary *dict = dataset_dict (ds);
 900
 901   return parse_rank_function (lexer, dict, cmd, RFRACTION);
 902 }
 903
 904 static int
 905 rank_custom_proportion (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 906 {
 907   struct dictionary *dict = dataset_dict (ds);
 908
 909   return parse_rank_function (lexer, dict, cmd, PROPORTION);
 910 }
 911
 912 static int
 913 rank_custom_n (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 914 {
 915   struct dictionary *dict = dataset_dict (ds);
 916
 917   return parse_rank_function (lexer, dict, cmd, N);
 918 }
 919
 920 static int
 921 rank_custom_savage (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 922 {
 923   struct dictionary *dict = dataset_dict (ds);
 924
 925   return parse_rank_function (lexer, dict, cmd, SAVAGE);
 926 }
 927
 928
 929 static int
 930 rank_custom_ntiles (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 931 {
 932   struct dictionary *dict = dataset_dict (ds);
 933
 934   if ( lex_force_match (lexer, T_LPAREN) )
 935     {
 936       if ( lex_force_int (lexer) )
 937         {
 938           k_ntiles = lex_integer (lexer);
 939           lex_get (lexer);
 940           lex_force_match (lexer, T_RPAREN);
 941         }
 942       else
 943         return 0;
 944     }
 945   else
 946     return 0;
 947
 948   return parse_rank_function (lexer, dict, cmd, NTILES);
 949 }
 950
 951 /*
 952   Local Variables:
 953   mode: c
 954   End:
 955 */