src/language/stats/rank.q

   1 /* PSPP - a program for statistical analysis.
   2    Copyright (C) 2005, 2006, 2007 Free Software Foundation, Inc.
   3
   4    This program is free software: you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation, either version 3 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13
  14    You should have received a copy of the GNU General Public License
  15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
  16
  17 #include <config.h>
  18
  19 #include <limits.h>
  20 #include <math.h>
  21
  22 #include <data/case-ordering.h>
  23 #include <data/case.h>
  24 #include <data/casegrouper.h>
  25 #include <data/casereader.h>
  26 #include <data/casewriter.h>
  27 #include <data/dictionary.h>
  28 #include <data/format.h>
  29 #include <data/missing-values.h>
  30 #include <data/procedure.h>
  31 #include <data/short-names.h>
  32 #include <data/variable.h>
  33 #include <language/command.h>
  34 #include <language/stats/sort-criteria.h>
  35 #include <libpspp/compiler.h>
  36 #include <libpspp/taint.h>
  37 #include <math/sort.h>
  38 #include <output/manager.h>
  39 #include <output/table.h>
  40
  41 #include <gsl/gsl_cdf.h>
  42
  43 #include "gettext.h"
  44 #define _(msgid) gettext (msgid)
  45
  46 /* (headers) */
  47
  48 /* (specification)
  49    "RANK" (rank_):
  50    *^variables=custom;
  51    +rank=custom;
  52    +normal=custom;
  53    +percent=custom;
  54    +ntiles=custom;
  55    +rfraction=custom;
  56    +proportion=custom;
  57    +n=custom;
  58    +savage=custom;
  59    +print=print:!yes/no;
  60    +fraction=fraction:!blom/tukey/vw/rankit;
  61    +ties=ties:!mean/low/high/condense;
  62    missing=miss:!exclude/include.
  63 */
  64 /* (declarations) */
  65 /* (functions) */
  66
  67 typedef double (*rank_function_t) (double c, double cc, double cc_1,
  68                                  int i, double w);
  69
  70 static double rank_proportion (double c, double cc, double cc_1,
  71                                int i, double w);
  72
  73 static double rank_normal (double c, double cc, double cc_1,
  74                            int i, double w);
  75
  76 static double rank_percent (double c, double cc, double cc_1,
  77                             int i, double w);
  78
  79 static double rank_rfraction (double c, double cc, double cc_1,
  80                               int i, double w);
  81
  82 static double rank_rank (double c, double cc, double cc_1,
  83                          int i, double w);
  84
  85 static double rank_n (double c, double cc, double cc_1,
  86                       int i, double w);
  87
  88 static double rank_savage (double c, double cc, double cc_1,
  89                       int i, double w);
  90
  91 static double rank_ntiles (double c, double cc, double cc_1,
  92                       int i, double w);
  93
  94
  95 enum RANK_FUNC
  96   {
  97     RANK,
  98     NORMAL,
  99     PERCENT,
 100     RFRACTION,
 101     PROPORTION,
 102     N,
 103     NTILES,
 104     SAVAGE,
 105     n_RANK_FUNCS
 106   };
 107
 108 static const struct fmt_spec dest_format[n_RANK_FUNCS] = {
 109   {FMT_F, 9, 3}, /* rank */
 110   {FMT_F, 6, 4}, /* normal */
 111   {FMT_F, 6, 2}, /* percent */
 112   {FMT_F, 6, 4}, /* rfraction */
 113   {FMT_F, 6, 4}, /* proportion */
 114   {FMT_F, 6, 0}, /* n */
 115   {FMT_F, 3, 0}, /* ntiles */
 116   {FMT_F, 8, 4}  /* savage */
 117 };
 118
 119 static const char * const function_name[n_RANK_FUNCS] = {
 120   "RANK",
 121   "NORMAL",
 122   "PERCENT",
 123   "RFRACTION",
 124   "PROPORTION",
 125   "N",
 126   "NTILES",
 127   "SAVAGE"
 128 };
 129
 130 static const rank_function_t rank_func[n_RANK_FUNCS] = {
 131   rank_rank,
 132   rank_normal,
 133   rank_percent,
 134   rank_rfraction,
 135   rank_proportion,
 136   rank_n,
 137   rank_ntiles,
 138   rank_savage
 139   };
 140
 141
 142 struct rank_spec
 143 {
 144   enum RANK_FUNC rfunc;
 145   struct variable **destvars;
 146 };
 147
 148
 149 /* Categories of missing values to exclude. */
 150 static enum mv_class exclude_values;
 151
 152 static struct rank_spec *rank_specs;
 153 static size_t n_rank_specs;
 154
 155 static struct case_ordering *sc;
 156
 157 static const struct variable **group_vars;
 158 static size_t n_group_vars;
 159
 160 static const struct variable **src_vars;
 161 static size_t n_src_vars;
 162
 163
 164 static int k_ntiles;
 165
 166 static struct cmd_rank cmd;
 167
 168 static void rank_sorted_file (struct casereader *,
 169                               struct casewriter *,
 170                               const struct dictionary *,
 171                               const struct rank_spec *rs,
 172                               int n_rank_specs,
 173                               int idx,
 174                               const struct variable *rank_var);
 175
 176 static const char *
 177 fraction_name(void)
 178 {
 179   static char name[10];
 180   switch ( cmd.fraction )
 181     {
 182     case RANK_BLOM:
 183       strcpy (name, "BLOM");
 184       break;
 185     case RANK_RANKIT:
 186       strcpy (name, "RANKIT");
 187       break;
 188     case RANK_TUKEY:
 189       strcpy (name, "TUKEY");
 190       break;
 191     case RANK_VW:
 192       strcpy (name, "VW");
 193       break;
 194     default:
 195       NOT_REACHED ();
 196     }
 197   return name;
 198 }
 199
 200 /* Create a label on DEST_VAR, describing its derivation from SRC_VAR and F */
 201 static void
 202 create_var_label (struct variable *dest_var,
 203                   const struct variable *src_var, enum RANK_FUNC f)
 204 {
 205   struct string label;
 206   ds_init_empty (&label);
 207
 208   if ( n_group_vars > 0 )
 209     {
 210       struct string group_var_str;
 211       int g;
 212
 213       ds_init_empty (&group_var_str);
 214
 215       for (g = 0 ; g < n_group_vars ; ++g )
 216         {
 217           if ( g > 0 ) ds_put_cstr (&group_var_str, " ");
 218           ds_put_cstr (&group_var_str, var_get_name (group_vars[g]));
 219         }
 220
 221       ds_put_format (&label, _("%s of %s by %s"), function_name[f],
 222                      var_get_name (src_var), ds_cstr (&group_var_str));
 223       ds_destroy (&group_var_str);
 224     }
 225   else
 226     ds_put_format (&label, _("%s of %s"),
 227                    function_name[f], var_get_name (src_var));
 228
 229   var_set_label (dest_var, ds_cstr (&label));
 230
 231   ds_destroy (&label);
 232 }
 233
 234
 235 static bool
 236 rank_cmd (struct dataset *ds, const struct case_ordering *sc,
 237           const struct rank_spec *rank_specs, int n_rank_specs)
 238 {
 239   struct dictionary *d = dataset_dict (ds);
 240   bool ok = true;
 241   int i;
 242
 243   for (i = 0 ; i < case_ordering_get_var_cnt (sc) ; ++i )
 244     {
 245       /* Rank variable at index I in SC. */
 246       struct casegrouper *split_grouper;
 247       struct casereader *split_group;
 248       struct casewriter *output;
 249
 250       proc_discard_output (ds);
 251       split_grouper = casegrouper_create_splits (proc_open (ds), d);
 252       output = autopaging_writer_create (dict_get_next_value_idx (d));
 253
 254       while (casegrouper_get_next_group (split_grouper, &split_group))
 255         {
 256           struct case_ordering *ordering;
 257           struct casereader *ordered;
 258           struct casegrouper *by_grouper;
 259           struct casereader *by_group;
 260           int j;
 261
 262           /* Sort this split group by the BY variables as primary
 263              keys and the rank variable as secondary key. */
 264           ordering = case_ordering_create (d);
 265           for (j = 0; j < n_group_vars; j++)
 266             case_ordering_add_var (ordering, group_vars[j], SRT_ASCEND);
 267           case_ordering_add_var (ordering,
 268                                  case_ordering_get_var (sc, i),
 269                                  case_ordering_get_direction (sc, i));
 270           ordered = sort_execute (split_group, ordering);
 271
 272           /* Rank the rank variable within this split group. */
 273           by_grouper = casegrouper_create_vars (ordered,
 274                                                 group_vars, n_group_vars);
 275           while (casegrouper_get_next_group (by_grouper, &by_group))
 276             {
 277               /* Rank the rank variable within this BY group
 278                  within the split group. */
 279
 280               rank_sorted_file (by_group, output, d, rank_specs, n_rank_specs,
 281                                 i, src_vars[i]);
 282             }
 283           ok = casegrouper_destroy (by_grouper) && ok;
 284         }
 285       ok = casegrouper_destroy (split_grouper);
 286       ok = proc_commit (ds) && ok;
 287       ok = (proc_set_active_file_data (ds, casewriter_make_reader (output))
 288             && ok);
 289       if (!ok)
 290         break;
 291     }
 292
 293   return ok;
 294 }
 295
 296 /* Hardly a rank function !! */
 297 static double
 298 rank_n (double c UNUSED, double cc UNUSED, double cc_1 UNUSED,
 299           int i UNUSED, double w)
 300 {
 301   return w;
 302 }
 303
 304
 305 static double
 306 rank_rank (double c, double cc, double cc_1,
 307           int i, double w UNUSED)
 308 {
 309   double rank;
 310
 311   if ( c >= 1.0 )
 312     {
 313       switch (cmd.ties)
 314         {
 315         case RANK_LOW:
 316           rank = cc_1 + 1;
 317           break;
 318         case RANK_HIGH:
 319           rank = cc;
 320           break;
 321         case RANK_MEAN:
 322           rank = cc_1 + (c + 1.0)/ 2.0;
 323           break;
 324         case RANK_CONDENSE:
 325           rank = i;
 326           break;
 327         default:
 328           NOT_REACHED ();
 329         }
 330     }
 331   else
 332     {
 333       switch (cmd.ties)
 334         {
 335         case RANK_LOW:
 336           rank = cc_1;
 337           break;
 338         case RANK_HIGH:
 339           rank = cc;
 340           break;
 341         case RANK_MEAN:
 342           rank = cc_1 + c / 2.0 ;
 343           break;
 344         case RANK_CONDENSE:
 345           rank = i;
 346           break;
 347         default:
 348           NOT_REACHED ();
 349         }
 350     }
 351
 352   return rank;
 353 }
 354
 355
 356 static double
 357 rank_rfraction (double c, double cc, double cc_1,
 358                 int i, double w)
 359 {
 360   return rank_rank (c, cc, cc_1, i, w) / w ;
 361 }
 362
 363
 364 static double
 365 rank_percent (double c, double cc, double cc_1,
 366                 int i, double w)
 367 {
 368   return rank_rank (c, cc, cc_1, i, w) * 100.0 / w ;
 369 }
 370
 371
 372 static double
 373 rank_proportion (double c, double cc, double cc_1,
 374                  int i, double w)
 375 {
 376   const double r =  rank_rank (c, cc, cc_1, i, w) ;
 377
 378   double f;
 379
 380   switch ( cmd.fraction )
 381     {
 382     case RANK_BLOM:
 383       f =  (r - 3.0/8.0) / (w + 0.25);
 384       break;
 385     case RANK_RANKIT:
 386       f = (r - 0.5) / w ;
 387       break;
 388     case RANK_TUKEY:
 389       f = (r - 1.0/3.0) / (w + 1.0/3.0);
 390       break;
 391     case RANK_VW:
 392       f = r / ( w + 1.0);
 393       break;
 394     default:
 395       NOT_REACHED ();
 396     }
 397
 398
 399   return (f > 0) ? f : SYSMIS;
 400 }
 401
 402 static double
 403 rank_normal (double c, double cc, double cc_1,
 404              int i, double w)
 405 {
 406   double f = rank_proportion (c, cc, cc_1, i, w);
 407
 408   return gsl_cdf_ugaussian_Pinv (f);
 409 }
 410
 411 static double
 412 rank_ntiles (double c, double cc, double cc_1,
 413                 int i, double w)
 414 {
 415   double r = rank_rank (c, cc, cc_1, i, w);
 416
 417
 418   return ( floor (( r * k_ntiles) / ( w + 1) ) + 1);
 419 }
 420
 421 /* Expected value of the order statistics from an exponential distribution */
 422 static double
 423 ee (int j, double w_star)
 424 {
 425   int k;
 426   double sum = 0.0;
 427
 428   for (k = 1 ; k <= j; k++)
 429     sum += 1.0 / ( w_star + 1 - k );
 430
 431   return sum;
 432 }
 433
 434
 435 static double
 436 rank_savage (double c, double cc, double cc_1,
 437                 int i UNUSED, double w)
 438 {
 439   double int_part;
 440   const int i_1 = floor (cc_1);
 441   const int i_2 = floor (cc);
 442
 443   const double w_star = (modf (w, &int_part) == 0 ) ? w : floor (w) + 1;
 444
 445   const double g_1 = cc_1 - i_1;
 446   const double g_2 = cc - i_2;
 447
 448   /* The second factor is infinite, when the first is zero.
 449      Therefore, evaluate the second, only when the first is non-zero */
 450   const double expr1 =  (1 - g_1) ? (1 - g_1) * ee(i_1+1, w_star) : ( 1 - g_1);
 451   const double expr2 =  g_2 ? g_2 * ee (i_2+1, w_star) : g_2 ;
 452
 453   if ( i_1 == i_2 )
 454     return ee (i_1 + 1, w_star) - 1;
 455
 456   if ( i_1 + 1 == i_2 )
 457     return ( ( expr1 + expr2 )/c ) - 1;
 458
 459   if ( i_1 + 2 <= i_2 )
 460     {
 461       int j;
 462       double sigma = 0.0;
 463       for (j = i_1 + 2 ; j <= i_2; ++j )
 464         sigma += ee (j, w_star);
 465       return ( (expr1 + expr2 + sigma) / c) -1;
 466     }
 467
 468   NOT_REACHED();
 469 }
 470
 471 static void
 472 rank_sorted_file (struct casereader *input,
 473                   struct casewriter *output,
 474                   const struct dictionary *dict,
 475                   const struct rank_spec *rs,
 476                   int n_rank_specs,
 477                   int dest_idx,
 478                   const struct variable *rank_var)
 479 {
 480   struct casereader *pass1, *pass2, *pass2_1;
 481   struct casegrouper *tie_grouper;
 482   struct ccase c;
 483   double w = 0.0;
 484   double cc = 0.0;
 485   int tie_group = 1;
 486
 487
 488   input = casereader_create_filter_missing (input, &rank_var, 1,
 489                                             exclude_values, output);
 490   input = casereader_create_filter_weight (input, dict, NULL, output);
 491
 492   casereader_split (input, &pass1, &pass2);
 493
 494   /* Pass 1: Get total group weight. */
 495   for (; casereader_read (pass1, &c); case_destroy (&c))
 496     w += dict_get_case_weight (dict, &c, NULL);
 497   casereader_destroy (pass1);
 498
 499   /* Pass 2: Do ranking. */
 500   tie_grouper = casegrouper_create_vars (pass2, &rank_var, 1);
 501   while (casegrouper_get_next_group (tie_grouper, &pass2_1))
 502     {
 503       struct casereader *pass2_2;
 504       double cc_1 = cc;
 505       double tw = 0.0;
 506       int i;
 507
 508       pass2_2 = casereader_clone (pass2_1);
 509       taint_propagate (casereader_get_taint (pass2_2),
 510                        casewriter_get_taint (output));
 511
 512       /* Pass 2.1: Sum up weight for tied cases. */
 513       for (; casereader_read (pass2_1, &c); case_destroy (&c))
 514         tw += dict_get_case_weight (dict, &c, NULL);
 515       cc += tw;
 516       casereader_destroy (pass2_1);
 517
 518       /* Pass 2.2: Rank tied cases. */
 519       while (casereader_read (pass2_2, &c))
 520         {
 521           for (i = 0; i < n_rank_specs; ++i)
 522             {
 523               const struct variable *dst_var = rs[i].destvars[dest_idx];
 524               double *dst_value = &case_data_rw (&c, dst_var)->f;
 525               *dst_value = rank_func[rs[i].rfunc] (tw, cc, cc_1, tie_group, w);
 526             }
 527           casewriter_write (output, &c);
 528         }
 529       casereader_destroy (pass2_2);
 530
 531       tie_group++;
 532     }
 533   casegrouper_destroy (tie_grouper);
 534 }
 535
 536 /* Transformation function to enumerate all the cases */
 537 static int
 538 create_resort_key (void *key_var_, struct ccase *cc, casenumber case_num)
 539 {
 540   struct variable *key_var = key_var_;
 541
 542   case_data_rw(cc, key_var)->f = case_num;
 543
 544   return TRNS_CONTINUE;
 545 }
 546
 547
 548 /* Create and return a new variable in which to store the ranks of SRC_VAR
 549    accoring to the rank function F.
 550    VNAME is the name of the variable to be created.
 551    If VNAME is NULL, then a name will be automatically chosen.
 552  */
 553 static struct variable *
 554 create_rank_variable (struct dictionary *dict, enum RANK_FUNC f,
 555                       const struct variable *src_var,
 556                       const char *vname)
 557 {
 558   int i;
 559   struct variable *var = NULL;
 560   char name[SHORT_NAME_LEN + 1];
 561
 562   if ( vname )
 563     var = dict_create_var(dict, vname, 0);
 564
 565   if ( NULL == var )
 566     {
 567       snprintf (name, SHORT_NAME_LEN + 1, "%c%s",
 568                 function_name[f][0], var_get_name (src_var));
 569
 570       var = dict_create_var(dict, name, 0);
 571     }
 572
 573   i = 1;
 574   while( NULL == var )
 575     {
 576       char func_abb[4];
 577       snprintf(func_abb, 4, "%s", function_name[f]);
 578       snprintf(name, SHORT_NAME_LEN + 1, "%s%03d", func_abb,
 579                i);
 580
 581       var = dict_create_var(dict, name, 0);
 582       if (i++ >= 999)
 583         break;
 584     }
 585
 586   i = 1;
 587   while ( NULL == var )
 588     {
 589       char func_abb[3];
 590       snprintf(func_abb, 3, "%s", function_name[f]);
 591
 592       snprintf(name, SHORT_NAME_LEN + 1,
 593                "RNK%s%02d", func_abb, i);
 594
 595       var = dict_create_var(dict, name, 0);
 596       if ( i++ >= 99 )
 597         break;
 598     }
 599
 600   if ( NULL == var )
 601     {
 602       msg(ME, _("Cannot create new rank variable.  All candidates in use."));
 603       return NULL;
 604     }
 605
 606   var_set_both_formats (var, &dest_format[f]);
 607
 608   return var;
 609 }
 610
 611
 612 static void
 613 rank_cleanup(void)
 614 {
 615   int i;
 616
 617   free (group_vars);
 618   group_vars = NULL;
 619   n_group_vars = 0;
 620
 621   for (i = 0 ; i <  n_rank_specs ; ++i )
 622       free (rank_specs[i].destvars);
 623
 624   free (rank_specs);
 625   rank_specs = NULL;
 626   n_rank_specs = 0;
 627
 628   case_ordering_destroy (sc);
 629   sc = NULL;
 630
 631   free (src_vars);
 632   src_vars = NULL;
 633   n_src_vars = 0;
 634 }
 635
 636 int
 637 cmd_rank (struct lexer *lexer, struct dataset *ds)
 638 {
 639   bool result;
 640   struct variable *order;
 641   size_t i;
 642   n_rank_specs = 0;
 643
 644   if ( !parse_rank (lexer, ds, &cmd, NULL) )
 645     {
 646       rank_cleanup ();
 647     return CMD_FAILURE;
 648     }
 649
 650   /* If /MISSING=INCLUDE is set, then user missing values are ignored */
 651   exclude_values = cmd.miss == RANK_INCLUDE ? MV_SYSTEM : MV_ANY;
 652
 653   /* Default to /RANK if no function subcommands are given */
 654   if ( !( cmd.sbc_normal  || cmd.sbc_ntiles || cmd.sbc_proportion ||
 655           cmd.sbc_rfraction || cmd.sbc_savage || cmd.sbc_n ||
 656           cmd.sbc_percent || cmd.sbc_rank ) )
 657     {
 658       assert ( n_rank_specs == 0 );
 659
 660       rank_specs = xmalloc (sizeof (*rank_specs));
 661       rank_specs[0].rfunc = RANK;
 662       rank_specs[0].destvars =
 663         xcalloc (case_ordering_get_var_cnt (sc), sizeof (struct variable *));
 664
 665       n_rank_specs = 1;
 666     }
 667
 668   assert ( case_ordering_get_var_cnt (sc) == n_src_vars);
 669
 670   /* Create variables for all rank destinations which haven't
 671      already been created with INTO.
 672      Add labels to all the destination variables.
 673   */
 674   for (i = 0 ; i <  n_rank_specs ; ++i )
 675     {
 676       int v;
 677       for ( v = 0 ; v < n_src_vars ;  v ++ )
 678         {
 679           if ( rank_specs[i].destvars[v] == NULL )
 680             {
 681               rank_specs[i].destvars[v] =
 682                 create_rank_variable (dataset_dict(ds), rank_specs[i].rfunc, src_vars[v], NULL);
 683             }
 684
 685           create_var_label ( rank_specs[i].destvars[v],
 686                              src_vars[v],
 687                              rank_specs[i].rfunc);
 688         }
 689     }
 690
 691   if ( cmd.print == RANK_YES )
 692     {
 693       int v;
 694
 695       tab_output_text (0, _("Variables Created By RANK"));
 696       tab_output_text (0, "\n");
 697
 698       for (i = 0 ; i <  n_rank_specs ; ++i )
 699         {
 700           for ( v = 0 ; v < n_src_vars ;  v ++ )
 701             {
 702               if ( n_group_vars > 0 )
 703                 {
 704                   struct string varlist;
 705                   int g;
 706
 707                   ds_init_empty (&varlist);
 708                   for ( g = 0 ; g < n_group_vars ; ++g )
 709                     {
 710                       ds_put_cstr (&varlist, var_get_name (group_vars[g]));
 711
 712                       if ( g < n_group_vars - 1)
 713                         ds_put_cstr (&varlist, " ");
 714                     }
 715
 716                   if ( rank_specs[i].rfunc == NORMAL ||
 717                        rank_specs[i].rfunc == PROPORTION )
 718                     tab_output_text (TAT_PRINTF,
 719                                      _("%s into %s(%s of %s using %s BY %s)"),
 720                                      var_get_name (src_vars[v]),
 721                                      var_get_name (rank_specs[i].destvars[v]),
 722                                      function_name[rank_specs[i].rfunc],
 723                                      var_get_name (src_vars[v]),
 724                                      fraction_name(),
 725                                      ds_cstr (&varlist)
 726                                      );
 727
 728                   else
 729                     tab_output_text (TAT_PRINTF,
 730                                      _("%s into %s(%s of %s BY %s)"),
 731                                      var_get_name (src_vars[v]),
 732                                      var_get_name (rank_specs[i].destvars[v]),
 733                                      function_name[rank_specs[i].rfunc],
 734                                      var_get_name (src_vars[v]),
 735                                      ds_cstr (&varlist)
 736                                      );
 737                   ds_destroy (&varlist);
 738                 }
 739               else
 740                 {
 741                   if ( rank_specs[i].rfunc == NORMAL ||
 742                        rank_specs[i].rfunc == PROPORTION )
 743                     tab_output_text (TAT_PRINTF,
 744                                      _("%s into %s(%s of %s using %s)"),
 745                                      var_get_name (src_vars[v]),
 746                                      var_get_name (rank_specs[i].destvars[v]),
 747                                      function_name[rank_specs[i].rfunc],
 748                                      var_get_name (src_vars[v]),
 749                                      fraction_name()
 750                                      );
 751
 752                   else
 753                     tab_output_text (TAT_PRINTF,
 754                                      _("%s into %s(%s of %s)"),
 755                                      var_get_name (src_vars[v]),
 756                                      var_get_name (rank_specs[i].destvars[v]),
 757                                      function_name[rank_specs[i].rfunc],
 758                                      var_get_name (src_vars[v])
 759                                      );
 760                 }
 761             }
 762         }
 763     }
 764
 765   if ( cmd.sbc_fraction &&
 766        ( ! cmd.sbc_normal && ! cmd.sbc_proportion) )
 767     msg(MW, _("FRACTION has been specified, but NORMAL and PROPORTION rank functions have not been requested.  The FRACTION subcommand will be ignored.") );
 768
 769   /* Add a variable which we can sort by to get back the original
 770      order */
 771   order = dict_create_var_assert (dataset_dict (ds), "$ORDER_", 0);
 772
 773   add_transformation (ds, create_resort_key, 0, order);
 774
 775   /* Do the ranking */
 776   result = rank_cmd (ds, sc, rank_specs, n_rank_specs);
 777
 778   /* Put the active file back in its original order.  Delete
 779      our sort key, which we don't need anymore.  */
 780   {
 781     struct case_ordering *ordering = case_ordering_create (dataset_dict (ds));
 782     struct casereader *sorted;
 783     case_ordering_add_var (ordering, order, SRT_ASCEND);
 784     /* FIXME: loses error conditions. */
 785     proc_discard_output (ds);
 786     sorted = sort_execute (proc_open (ds), ordering);
 787     result = proc_commit (ds) && result;
 788
 789     dict_delete_var (dataset_dict (ds), order);
 790     result = proc_set_active_file_data (ds, sorted) && result;
 791   }
 792
 793   rank_cleanup();
 794
 795
 796   return (result ? CMD_SUCCESS : CMD_CASCADING_FAILURE);
 797 }
 798
 799
 800 /* Parser for the variables sub command
 801    Returns 1 on success */
 802 static int
 803 rank_custom_variables (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd UNUSED, void *aux UNUSED)
 804 {
 805   lex_match (lexer, '=');
 806
 807   if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokid (lexer)) == NULL)
 808       && lex_token (lexer) != T_ALL)
 809       return 2;
 810
 811   sc = parse_case_ordering (lexer, dataset_dict (ds), NULL);
 812   if (sc == NULL)
 813     return 0;
 814   case_ordering_get_vars (sc, &src_vars, &n_src_vars);
 815
 816   if ( lex_match (lexer, T_BY)  )
 817     {
 818       if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokid (lexer)) == NULL))
 819         {
 820           return 2;
 821         }
 822
 823       if (!parse_variables_const (lexer, dataset_dict (ds),
 824                             &group_vars, &n_group_vars,
 825                             PV_NO_DUPLICATE | PV_NO_SCRATCH) )
 826         {
 827           free (group_vars);
 828           return 0;
 829         }
 830     }
 831
 832   return 1;
 833 }
 834
 835
 836 /* Parse the [/rank INTO var1 var2 ... varN ] clause */
 837 static int
 838 parse_rank_function (struct lexer *lexer, struct dictionary *dict, struct cmd_rank *cmd UNUSED, enum RANK_FUNC f)
 839 {
 840   int var_count = 0;
 841
 842   n_rank_specs++;
 843   rank_specs = xnrealloc(rank_specs, n_rank_specs, sizeof *rank_specs);
 844   rank_specs[n_rank_specs - 1].rfunc = f;
 845   rank_specs[n_rank_specs - 1].destvars = NULL;
 846
 847   rank_specs[n_rank_specs - 1].destvars =
 848             xcalloc (case_ordering_get_var_cnt (sc),
 849                      sizeof (struct variable *));
 850
 851   if (lex_match_id (lexer, "INTO"))
 852     {
 853       struct variable *destvar;
 854
 855       while( lex_token (lexer) == T_ID )
 856         {
 857
 858           if ( dict_lookup_var (dict, lex_tokid (lexer)) != NULL )
 859             {
 860               msg(SE, _("Variable %s already exists."), lex_tokid (lexer));
 861               return 0;
 862             }
 863           if ( var_count >= case_ordering_get_var_cnt (sc) )
 864             {
 865               msg(SE, _("Too many variables in INTO clause."));
 866               return 0;
 867             }
 868
 869           destvar = create_rank_variable (dict, f, src_vars[var_count], lex_tokid (lexer));
 870           rank_specs[n_rank_specs - 1].destvars[var_count] = destvar ;
 871
 872           lex_get (lexer);
 873           ++var_count;
 874         }
 875     }
 876
 877   return 1;
 878 }
 879
 880
 881 static int
 882 rank_custom_rank (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 883 {
 884   struct dictionary *dict = dataset_dict (ds);
 885
 886   return parse_rank_function (lexer, dict, cmd, RANK);
 887 }
 888
 889 static int
 890 rank_custom_normal (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 891 {
 892   struct  dictionary *dict = dataset_dict (ds);
 893
 894   return parse_rank_function (lexer, dict, cmd, NORMAL);
 895 }
 896
 897 static int
 898 rank_custom_percent (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 899 {
 900   struct dictionary *dict = dataset_dict (ds);
 901
 902   return parse_rank_function (lexer, dict, cmd, PERCENT);
 903 }
 904
 905 static int
 906 rank_custom_rfraction (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 907 {
 908   struct dictionary *dict = dataset_dict (ds);
 909
 910   return parse_rank_function (lexer, dict, cmd, RFRACTION);
 911 }
 912
 913 static int
 914 rank_custom_proportion (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 915 {
 916   struct dictionary *dict = dataset_dict (ds);
 917
 918   return parse_rank_function (lexer, dict, cmd, PROPORTION);
 919 }
 920
 921 static int
 922 rank_custom_n (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 923 {
 924   struct dictionary *dict = dataset_dict (ds);
 925
 926   return parse_rank_function (lexer, dict, cmd, N);
 927 }
 928
 929 static int
 930 rank_custom_savage (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 931 {
 932   struct dictionary *dict = dataset_dict (ds);
 933
 934   return parse_rank_function (lexer, dict, cmd, SAVAGE);
 935 }
 936
 937
 938 static int
 939 rank_custom_ntiles (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
 940 {
 941   struct dictionary *dict = dataset_dict (ds);
 942
 943   if ( lex_force_match (lexer, '(') )
 944     {
 945       if ( lex_force_int (lexer) )
 946         {
 947           k_ntiles = lex_integer (lexer);
 948           lex_get (lexer);
 949           lex_force_match (lexer, ')');
 950         }
 951       else
 952         return 0;
 953     }
 954   else
 955     return 0;
 956
 957   return parse_rank_function (lexer, dict, cmd, NTILES);
 958 }
 959
 960 /*
 961   Local Variables:
 962   mode: c
 963   End:
 964 */