Change traverse signal to take GtkSheetCell instead of gint,gint
[pspp-builds.git] / src / language / stats / rank.q
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 2005, 2006, 2007 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include <limits.h>
20 #include <math.h>
21
22 #include <data/case-ordering.h>
23 #include <data/case.h>
24 #include <data/casegrouper.h>
25 #include <data/casereader.h>
26 #include <data/casewriter.h>
27 #include <data/dictionary.h>
28 #include <data/format.h>
29 #include <data/missing-values.h>
30 #include <data/procedure.h>
31 #include <data/short-names.h>
32 #include <data/variable.h>
33 #include <language/command.h>
34 #include <language/stats/sort-criteria.h>
35 #include <libpspp/compiler.h>
36 #include <libpspp/taint.h>
37 #include <math/sort.h>
38 #include <output/manager.h>
39 #include <output/table.h>
40
41 #include <gsl/gsl_cdf.h>
42
43 #include "gettext.h"
44 #define _(msgid) gettext (msgid)
45
46 /* (headers) */
47
48 /* (specification)
49    "RANK" (rank_):
50    *^variables=custom;
51    +rank=custom;
52    +normal=custom;
53    +percent=custom;
54    +ntiles=custom;
55    +rfraction=custom;
56    +proportion=custom;
57    +n=custom;
58    +savage=custom;
59    +print=print:!yes/no;
60    +fraction=fraction:!blom/tukey/vw/rankit;
61    +ties=ties:!mean/low/high/condense;
62    missing=miss:!exclude/include.
63 */
64 /* (declarations) */
65 /* (functions) */
66
67 typedef double (*rank_function_t) (double c, double cc, double cc_1,
68                                  int i, double w);
69
70 static double rank_proportion (double c, double cc, double cc_1,
71                                int i, double w);
72
73 static double rank_normal (double c, double cc, double cc_1,
74                            int i, double w);
75
76 static double rank_percent (double c, double cc, double cc_1,
77                             int i, double w);
78
79 static double rank_rfraction (double c, double cc, double cc_1,
80                               int i, double w);
81
82 static double rank_rank (double c, double cc, double cc_1,
83                          int i, double w);
84
85 static double rank_n (double c, double cc, double cc_1,
86                       int i, double w);
87
88 static double rank_savage (double c, double cc, double cc_1,
89                       int i, double w);
90
91 static double rank_ntiles (double c, double cc, double cc_1,
92                       int i, double w);
93
94
95 enum RANK_FUNC
96   {
97     RANK,
98     NORMAL,
99     PERCENT,
100     RFRACTION,
101     PROPORTION,
102     N,
103     NTILES,
104     SAVAGE,
105     n_RANK_FUNCS
106   };
107
108 static const struct fmt_spec dest_format[n_RANK_FUNCS] = {
109   {FMT_F, 9, 3}, /* rank */
110   {FMT_F, 6, 4}, /* normal */
111   {FMT_F, 6, 2}, /* percent */
112   {FMT_F, 6, 4}, /* rfraction */
113   {FMT_F, 6, 4}, /* proportion */
114   {FMT_F, 6, 0}, /* n */
115   {FMT_F, 3, 0}, /* ntiles */
116   {FMT_F, 8, 4}  /* savage */
117 };
118
119 static const char * const function_name[n_RANK_FUNCS] = {
120   "RANK",
121   "NORMAL",
122   "PERCENT",
123   "RFRACTION",
124   "PROPORTION",
125   "N",
126   "NTILES",
127   "SAVAGE"
128 };
129
130 static const rank_function_t rank_func[n_RANK_FUNCS] = {
131   rank_rank,
132   rank_normal,
133   rank_percent,
134   rank_rfraction,
135   rank_proportion,
136   rank_n,
137   rank_ntiles,
138   rank_savage
139   };
140
141
142 struct rank_spec
143 {
144   enum RANK_FUNC rfunc;
145   struct variable **destvars;
146 };
147
148
149 /* Categories of missing values to exclude. */
150 static enum mv_class exclude_values;
151
152 static struct rank_spec *rank_specs;
153 static size_t n_rank_specs;
154
155 static struct case_ordering *sc;
156
157 static const struct variable **group_vars;
158 static size_t n_group_vars;
159
160 static const struct variable **src_vars;
161 static size_t n_src_vars;
162
163
164 static int k_ntiles;
165
166 static struct cmd_rank cmd;
167
168 static void rank_sorted_file (struct casereader *,
169                               struct casewriter *,
170                               const struct dictionary *,
171                               const struct rank_spec *rs,
172                               int n_rank_specs,
173                               int idx,
174                               const struct variable *rank_var);
175
176 static const char *
177 fraction_name(void)
178 {
179   static char name[10];
180   switch ( cmd.fraction )
181     {
182     case RANK_BLOM:
183       strcpy (name, "BLOM");
184       break;
185     case RANK_RANKIT:
186       strcpy (name, "RANKIT");
187       break;
188     case RANK_TUKEY:
189       strcpy (name, "TUKEY");
190       break;
191     case RANK_VW:
192       strcpy (name, "VW");
193       break;
194     default:
195       NOT_REACHED ();
196     }
197   return name;
198 }
199
200 /* Create a label on DEST_VAR, describing its derivation from SRC_VAR and F */
201 static void
202 create_var_label (struct variable *dest_var,
203                   const struct variable *src_var, enum RANK_FUNC f)
204 {
205   struct string label;
206   ds_init_empty (&label);
207
208   if ( n_group_vars > 0 )
209     {
210       struct string group_var_str;
211       int g;
212
213       ds_init_empty (&group_var_str);
214
215       for (g = 0 ; g < n_group_vars ; ++g )
216         {
217           if ( g > 0 ) ds_put_cstr (&group_var_str, " ");
218           ds_put_cstr (&group_var_str, var_get_name (group_vars[g]));
219         }
220
221       ds_put_format (&label, _("%s of %s by %s"), function_name[f],
222                      var_get_name (src_var), ds_cstr (&group_var_str));
223       ds_destroy (&group_var_str);
224     }
225   else
226     ds_put_format (&label, _("%s of %s"),
227                    function_name[f], var_get_name (src_var));
228
229   var_set_label (dest_var, ds_cstr (&label));
230
231   ds_destroy (&label);
232 }
233
234
235 static bool
236 rank_cmd (struct dataset *ds, const struct case_ordering *sc,
237           const struct rank_spec *rank_specs, int n_rank_specs)
238 {
239   struct dictionary *d = dataset_dict (ds);
240   bool ok = true;
241   int i;
242
243   for (i = 0 ; i < case_ordering_get_var_cnt (sc) ; ++i )
244     {
245       /* Rank variable at index I in SC. */
246       struct casegrouper *split_grouper;
247       struct casereader *split_group;
248       struct casewriter *output;
249
250       proc_discard_output (ds);
251       split_grouper = casegrouper_create_splits (proc_open (ds), d);
252       output = autopaging_writer_create (dict_get_next_value_idx (d));
253
254       while (casegrouper_get_next_group (split_grouper, &split_group))
255         {
256           struct case_ordering *ordering;
257           struct casereader *ordered;
258           struct casegrouper *by_grouper;
259           struct casereader *by_group;
260           int j;
261
262           /* Sort this split group by the BY variables as primary
263              keys and the rank variable as secondary key. */
264           ordering = case_ordering_create ();
265           for (j = 0; j < n_group_vars; j++)
266             case_ordering_add_var (ordering, group_vars[j], SRT_ASCEND);
267           case_ordering_add_var (ordering,
268                                  case_ordering_get_var (sc, i),
269                                  case_ordering_get_direction (sc, i));
270           ordered = sort_execute (split_group, ordering);
271
272           /* Rank the rank variable within this split group. */
273           by_grouper = casegrouper_create_vars (ordered,
274                                                 group_vars, n_group_vars);
275           while (casegrouper_get_next_group (by_grouper, &by_group))
276             {
277               /* Rank the rank variable within this BY group
278                  within the split group. */
279
280               rank_sorted_file (by_group, output, d, rank_specs, n_rank_specs,
281                                 i, src_vars[i]);
282             }
283           ok = casegrouper_destroy (by_grouper) && ok;
284         }
285       ok = casegrouper_destroy (split_grouper);
286       ok = proc_commit (ds) && ok;
287       ok = (proc_set_active_file_data (ds, casewriter_make_reader (output))
288             && ok);
289       if (!ok)
290         break;
291     }
292
293   return ok;
294 }
295
296 /* Hardly a rank function !! */
297 static double
298 rank_n (double c UNUSED, double cc UNUSED, double cc_1 UNUSED,
299           int i UNUSED, double w)
300 {
301   return w;
302 }
303
304
305 static double
306 rank_rank (double c, double cc, double cc_1,
307           int i, double w UNUSED)
308 {
309   double rank;
310
311   if ( c >= 1.0 )
312     {
313       switch (cmd.ties)
314         {
315         case RANK_LOW:
316           rank = cc_1 + 1;
317           break;
318         case RANK_HIGH:
319           rank = cc;
320           break;
321         case RANK_MEAN:
322           rank = cc_1 + (c + 1.0)/ 2.0;
323           break;
324         case RANK_CONDENSE:
325           rank = i;
326           break;
327         default:
328           NOT_REACHED ();
329         }
330     }
331   else
332     {
333       switch (cmd.ties)
334         {
335         case RANK_LOW:
336           rank = cc_1;
337           break;
338         case RANK_HIGH:
339           rank = cc;
340           break;
341         case RANK_MEAN:
342           rank = cc_1 + c / 2.0 ;
343           break;
344         case RANK_CONDENSE:
345           rank = i;
346           break;
347         default:
348           NOT_REACHED ();
349         }
350     }
351
352   return rank;
353 }
354
355
356 static double
357 rank_rfraction (double c, double cc, double cc_1,
358                 int i, double w)
359 {
360   return rank_rank (c, cc, cc_1, i, w) / w ;
361 }
362
363
364 static double
365 rank_percent (double c, double cc, double cc_1,
366                 int i, double w)
367 {
368   return rank_rank (c, cc, cc_1, i, w) * 100.0 / w ;
369 }
370
371
372 static double
373 rank_proportion (double c, double cc, double cc_1,
374                  int i, double w)
375 {
376   const double r =  rank_rank (c, cc, cc_1, i, w) ;
377
378   double f;
379
380   switch ( cmd.fraction )
381     {
382     case RANK_BLOM:
383       f =  (r - 3.0/8.0) / (w + 0.25);
384       break;
385     case RANK_RANKIT:
386       f = (r - 0.5) / w ;
387       break;
388     case RANK_TUKEY:
389       f = (r - 1.0/3.0) / (w + 1.0/3.0);
390       break;
391     case RANK_VW:
392       f = r / ( w + 1.0);
393       break;
394     default:
395       NOT_REACHED ();
396     }
397
398
399   return (f > 0) ? f : SYSMIS;
400 }
401
402 static double
403 rank_normal (double c, double cc, double cc_1,
404              int i, double w)
405 {
406   double f = rank_proportion (c, cc, cc_1, i, w);
407
408   return gsl_cdf_ugaussian_Pinv (f);
409 }
410
411 static double
412 rank_ntiles (double c, double cc, double cc_1,
413                 int i, double w)
414 {
415   double r = rank_rank (c, cc, cc_1, i, w);
416
417
418   return ( floor (( r * k_ntiles) / ( w + 1) ) + 1);
419 }
420
421 /* Expected value of the order statistics from an exponential distribution */
422 static double
423 ee (int j, double w_star)
424 {
425   int k;
426   double sum = 0.0;
427
428   for (k = 1 ; k <= j; k++)
429     sum += 1.0 / ( w_star + 1 - k );
430
431   return sum;
432 }
433
434
435 static double
436 rank_savage (double c, double cc, double cc_1,
437                 int i UNUSED, double w)
438 {
439   double int_part;
440   const int i_1 = floor (cc_1);
441   const int i_2 = floor (cc);
442
443   const double w_star = (modf (w, &int_part) == 0 ) ? w : floor (w) + 1;
444
445   const double g_1 = cc_1 - i_1;
446   const double g_2 = cc - i_2;
447
448   /* The second factor is infinite, when the first is zero.
449      Therefore, evaluate the second, only when the first is non-zero */
450   const double expr1 =  (1 - g_1) ? (1 - g_1) * ee(i_1+1, w_star) : ( 1 - g_1);
451   const double expr2 =  g_2 ? g_2 * ee (i_2+1, w_star) : g_2 ;
452
453   if ( i_1 == i_2 )
454     return ee (i_1 + 1, w_star) - 1;
455
456   if ( i_1 + 1 == i_2 )
457     return ( ( expr1 + expr2 )/c ) - 1;
458
459   if ( i_1 + 2 <= i_2 )
460     {
461       int j;
462       double sigma = 0.0;
463       for (j = i_1 + 2 ; j <= i_2; ++j )
464         sigma += ee (j, w_star);
465       return ( (expr1 + expr2 + sigma) / c) -1;
466     }
467
468   NOT_REACHED();
469 }
470
471 static void
472 rank_sorted_file (struct casereader *input,
473                   struct casewriter *output,
474                   const struct dictionary *dict,
475                   const struct rank_spec *rs,
476                   int n_rank_specs,
477                   int dest_idx,
478                   const struct variable *rank_var)
479 {
480   struct casereader *pass1, *pass2, *pass2_1;
481   struct casegrouper *tie_grouper;
482   struct ccase c;
483   double w = 0.0;
484   double cc = 0.0;
485   int tie_group = 1;
486
487
488   input = casereader_create_filter_missing (input, &rank_var, 1,
489                                             exclude_values, NULL, output);
490   input = casereader_create_filter_weight (input, dict, NULL, output);
491
492   casereader_split (input, &pass1, &pass2);
493
494   /* Pass 1: Get total group weight. */
495   for (; casereader_read (pass1, &c); case_destroy (&c))
496     w += dict_get_case_weight (dict, &c, NULL);
497   casereader_destroy (pass1);
498
499   /* Pass 2: Do ranking. */
500   tie_grouper = casegrouper_create_vars (pass2, &rank_var, 1);
501   while (casegrouper_get_next_group (tie_grouper, &pass2_1))
502     {
503       struct casereader *pass2_2;
504       double cc_1 = cc;
505       double tw = 0.0;
506       int i;
507
508       pass2_2 = casereader_clone (pass2_1);
509       taint_propagate (casereader_get_taint (pass2_2),
510                        casewriter_get_taint (output));
511
512       /* Pass 2.1: Sum up weight for tied cases. */
513       for (; casereader_read (pass2_1, &c); case_destroy (&c))
514         tw += dict_get_case_weight (dict, &c, NULL);
515       cc += tw;
516       casereader_destroy (pass2_1);
517
518       /* Pass 2.2: Rank tied cases. */
519       while (casereader_read (pass2_2, &c))
520         {
521           for (i = 0; i < n_rank_specs; ++i)
522             {
523               const struct variable *dst_var = rs[i].destvars[dest_idx];
524               double *dst_value = &case_data_rw (&c, dst_var)->f;
525               *dst_value = rank_func[rs[i].rfunc] (tw, cc, cc_1, tie_group, w);
526             }
527           casewriter_write (output, &c);
528         }
529       casereader_destroy (pass2_2);
530
531       tie_group++;
532     }
533   casegrouper_destroy (tie_grouper);
534 }
535
536 /* Transformation function to enumerate all the cases */
537 static int
538 create_resort_key (void *key_var_, struct ccase *cc, casenumber case_num)
539 {
540   struct variable *key_var = key_var_;
541
542   case_data_rw(cc, key_var)->f = case_num;
543
544   return TRNS_CONTINUE;
545 }
546
547
548 /* Create and return a new variable in which to store the ranks of SRC_VAR
549    accoring to the rank function F.
550    VNAME is the name of the variable to be created.
551    If VNAME is NULL, then a name will be automatically chosen.
552  */
553 static struct variable *
554 create_rank_variable (struct dictionary *dict, enum RANK_FUNC f,
555                       const struct variable *src_var,
556                       const char *vname)
557 {
558   int i;
559   struct variable *var = NULL;
560   char name[SHORT_NAME_LEN + 1];
561
562   if ( vname )
563     var = dict_create_var(dict, vname, 0);
564
565   if ( NULL == var )
566     {
567       snprintf (name, SHORT_NAME_LEN + 1, "%c%s",
568                 function_name[f][0], var_get_name (src_var));
569
570       var = dict_create_var(dict, name, 0);
571     }
572
573   i = 1;
574   while( NULL == var )
575     {
576       char func_abb[4];
577       snprintf(func_abb, 4, "%s", function_name[f]);
578       snprintf(name, SHORT_NAME_LEN + 1, "%s%03d", func_abb,
579                i);
580
581       var = dict_create_var(dict, name, 0);
582       if (i++ >= 999)
583         break;
584     }
585
586   i = 1;
587   while ( NULL == var )
588     {
589       char func_abb[3];
590       snprintf(func_abb, 3, "%s", function_name[f]);
591
592       snprintf(name, SHORT_NAME_LEN + 1,
593                "RNK%s%02d", func_abb, i);
594
595       var = dict_create_var(dict, name, 0);
596       if ( i++ >= 99 )
597         break;
598     }
599
600   if ( NULL == var )
601     {
602       msg(ME, _("Cannot create new rank variable.  All candidates in use."));
603       return NULL;
604     }
605
606   var_set_both_formats (var, &dest_format[f]);
607
608   return var;
609 }
610
611
612 static void
613 rank_cleanup(void)
614 {
615   int i;
616
617   free (group_vars);
618   group_vars = NULL;
619   n_group_vars = 0;
620
621   for (i = 0 ; i <  n_rank_specs ; ++i )
622       free (rank_specs[i].destvars);
623
624   free (rank_specs);
625   rank_specs = NULL;
626   n_rank_specs = 0;
627
628   case_ordering_destroy (sc);
629   sc = NULL;
630
631   free (src_vars);
632   src_vars = NULL;
633   n_src_vars = 0;
634 }
635
636 int
637 cmd_rank (struct lexer *lexer, struct dataset *ds)
638 {
639   bool result;
640   struct variable *order;
641   size_t i;
642   n_rank_specs = 0;
643
644   if ( !parse_rank (lexer, ds, &cmd, NULL) )
645     {
646       rank_cleanup ();
647     return CMD_FAILURE;
648     }
649
650   /* If /MISSING=INCLUDE is set, then user missing values are ignored */
651   exclude_values = cmd.miss == RANK_INCLUDE ? MV_SYSTEM : MV_ANY;
652
653   /* Default to /RANK if no function subcommands are given */
654   if ( !( cmd.sbc_normal  || cmd.sbc_ntiles || cmd.sbc_proportion ||
655           cmd.sbc_rfraction || cmd.sbc_savage || cmd.sbc_n ||
656           cmd.sbc_percent || cmd.sbc_rank ) )
657     {
658       assert ( n_rank_specs == 0 );
659
660       rank_specs = xmalloc (sizeof (*rank_specs));
661       rank_specs[0].rfunc = RANK;
662       rank_specs[0].destvars =
663         xcalloc (case_ordering_get_var_cnt (sc), sizeof (struct variable *));
664
665       n_rank_specs = 1;
666     }
667
668   assert ( case_ordering_get_var_cnt (sc) == n_src_vars);
669
670   /* Create variables for all rank destinations which haven't
671      already been created with INTO.
672      Add labels to all the destination variables.
673   */
674   for (i = 0 ; i <  n_rank_specs ; ++i )
675     {
676       int v;
677       for ( v = 0 ; v < n_src_vars ;  v ++ )
678         {
679           if ( rank_specs[i].destvars[v] == NULL )
680             {
681               rank_specs[i].destvars[v] =
682                 create_rank_variable (dataset_dict(ds), rank_specs[i].rfunc, src_vars[v], NULL);
683             }
684
685           create_var_label ( rank_specs[i].destvars[v],
686                              src_vars[v],
687                              rank_specs[i].rfunc);
688         }
689     }
690
691   if ( cmd.print == RANK_YES )
692     {
693       int v;
694
695       tab_output_text (0, _("Variables Created By RANK"));
696       tab_output_text (0, "\n");
697
698       for (i = 0 ; i <  n_rank_specs ; ++i )
699         {
700           for ( v = 0 ; v < n_src_vars ;  v ++ )
701             {
702               if ( n_group_vars > 0 )
703                 {
704                   struct string varlist;
705                   int g;
706
707                   ds_init_empty (&varlist);
708                   for ( g = 0 ; g < n_group_vars ; ++g )
709                     {
710                       ds_put_cstr (&varlist, var_get_name (group_vars[g]));
711
712                       if ( g < n_group_vars - 1)
713                         ds_put_cstr (&varlist, " ");
714                     }
715
716                   if ( rank_specs[i].rfunc == NORMAL ||
717                        rank_specs[i].rfunc == PROPORTION )
718                     tab_output_text (TAT_PRINTF,
719                                      _("%s into %s(%s of %s using %s BY %s)"),
720                                      var_get_name (src_vars[v]),
721                                      var_get_name (rank_specs[i].destvars[v]),
722                                      function_name[rank_specs[i].rfunc],
723                                      var_get_name (src_vars[v]),
724                                      fraction_name(),
725                                      ds_cstr (&varlist)
726                                      );
727
728                   else
729                     tab_output_text (TAT_PRINTF,
730                                      _("%s into %s(%s of %s BY %s)"),
731                                      var_get_name (src_vars[v]),
732                                      var_get_name (rank_specs[i].destvars[v]),
733                                      function_name[rank_specs[i].rfunc],
734                                      var_get_name (src_vars[v]),
735                                      ds_cstr (&varlist)
736                                      );
737                   ds_destroy (&varlist);
738                 }
739               else
740                 {
741                   if ( rank_specs[i].rfunc == NORMAL ||
742                        rank_specs[i].rfunc == PROPORTION )
743                     tab_output_text (TAT_PRINTF,
744                                      _("%s into %s(%s of %s using %s)"),
745                                      var_get_name (src_vars[v]),
746                                      var_get_name (rank_specs[i].destvars[v]),
747                                      function_name[rank_specs[i].rfunc],
748                                      var_get_name (src_vars[v]),
749                                      fraction_name()
750                                      );
751
752                   else
753                     tab_output_text (TAT_PRINTF,
754                                      _("%s into %s(%s of %s)"),
755                                      var_get_name (src_vars[v]),
756                                      var_get_name (rank_specs[i].destvars[v]),
757                                      function_name[rank_specs[i].rfunc],
758                                      var_get_name (src_vars[v])
759                                      );
760                 }
761             }
762         }
763     }
764
765   if ( cmd.sbc_fraction &&
766        ( ! cmd.sbc_normal && ! cmd.sbc_proportion) )
767     msg(MW, _("FRACTION has been specified, but NORMAL and PROPORTION rank functions have not been requested.  The FRACTION subcommand will be ignored.") );
768
769   /* Add a variable which we can sort by to get back the original
770      order */
771   order = dict_create_var_assert (dataset_dict (ds), "$ORDER_", 0);
772
773   add_transformation (ds, create_resort_key, 0, order);
774
775   /* Do the ranking */
776   result = rank_cmd (ds, sc, rank_specs, n_rank_specs);
777
778   /* Put the active file back in its original order.  Delete
779      our sort key, which we don't need anymore.  */
780   {
781     struct case_ordering *ordering = case_ordering_create ();
782     struct casereader *sorted;
783     case_ordering_add_var (ordering, order, SRT_ASCEND);
784     /* FIXME: loses error conditions. */
785     proc_discard_output (ds);
786     sorted = sort_execute (proc_open (ds), ordering);
787     result = proc_commit (ds) && result;
788
789     dict_delete_var (dataset_dict (ds), order);
790     result = proc_set_active_file_data (ds, sorted) && result;
791   }
792
793   rank_cleanup();
794
795
796   return (result ? CMD_SUCCESS : CMD_CASCADING_FAILURE);
797 }
798
799
800 /* Parser for the variables sub command
801    Returns 1 on success */
802 static int
803 rank_custom_variables (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd UNUSED, void *aux UNUSED)
804 {
805   lex_match (lexer, '=');
806
807   if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokid (lexer)) == NULL)
808       && lex_token (lexer) != T_ALL)
809       return 2;
810
811   sc = parse_case_ordering (lexer, dataset_dict (ds), NULL);
812   if (sc == NULL)
813     return 0;
814   case_ordering_get_vars (sc, &src_vars, &n_src_vars);
815
816   if ( lex_match (lexer, T_BY)  )
817     {
818       if ((lex_token (lexer) != T_ID || dict_lookup_var (dataset_dict (ds), lex_tokid (lexer)) == NULL))
819         {
820           return 2;
821         }
822
823       if (!parse_variables_const (lexer, dataset_dict (ds),
824                             &group_vars, &n_group_vars,
825                             PV_NO_DUPLICATE | PV_NO_SCRATCH) )
826         {
827           free (group_vars);
828           return 0;
829         }
830     }
831
832   return 1;
833 }
834
835
836 /* Parse the [/rank INTO var1 var2 ... varN ] clause */
837 static int
838 parse_rank_function (struct lexer *lexer, struct dictionary *dict, struct cmd_rank *cmd UNUSED, enum RANK_FUNC f)
839 {
840   int var_count = 0;
841
842   n_rank_specs++;
843   rank_specs = xnrealloc(rank_specs, n_rank_specs, sizeof *rank_specs);
844   rank_specs[n_rank_specs - 1].rfunc = f;
845   rank_specs[n_rank_specs - 1].destvars = NULL;
846
847   rank_specs[n_rank_specs - 1].destvars =
848             xcalloc (case_ordering_get_var_cnt (sc),
849                      sizeof (struct variable *));
850
851   if (lex_match_id (lexer, "INTO"))
852     {
853       struct variable *destvar;
854
855       while( lex_token (lexer) == T_ID )
856         {
857
858           if ( dict_lookup_var (dict, lex_tokid (lexer)) != NULL )
859             {
860               msg(SE, _("Variable %s already exists."), lex_tokid (lexer));
861               return 0;
862             }
863           if ( var_count >= case_ordering_get_var_cnt (sc) )
864             {
865               msg(SE, _("Too many variables in INTO clause."));
866               return 0;
867             }
868
869           destvar = create_rank_variable (dict, f, src_vars[var_count], lex_tokid (lexer));
870           rank_specs[n_rank_specs - 1].destvars[var_count] = destvar ;
871
872           lex_get (lexer);
873           ++var_count;
874         }
875     }
876
877   return 1;
878 }
879
880
881 static int
882 rank_custom_rank (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
883 {
884   struct dictionary *dict = dataset_dict (ds);
885
886   return parse_rank_function (lexer, dict, cmd, RANK);
887 }
888
889 static int
890 rank_custom_normal (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
891 {
892   struct  dictionary *dict = dataset_dict (ds);
893
894   return parse_rank_function (lexer, dict, cmd, NORMAL);
895 }
896
897 static int
898 rank_custom_percent (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
899 {
900   struct dictionary *dict = dataset_dict (ds);
901
902   return parse_rank_function (lexer, dict, cmd, PERCENT);
903 }
904
905 static int
906 rank_custom_rfraction (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
907 {
908   struct dictionary *dict = dataset_dict (ds);
909
910   return parse_rank_function (lexer, dict, cmd, RFRACTION);
911 }
912
913 static int
914 rank_custom_proportion (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
915 {
916   struct dictionary *dict = dataset_dict (ds);
917
918   return parse_rank_function (lexer, dict, cmd, PROPORTION);
919 }
920
921 static int
922 rank_custom_n (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
923 {
924   struct dictionary *dict = dataset_dict (ds);
925
926   return parse_rank_function (lexer, dict, cmd, N);
927 }
928
929 static int
930 rank_custom_savage (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
931 {
932   struct dictionary *dict = dataset_dict (ds);
933
934   return parse_rank_function (lexer, dict, cmd, SAVAGE);
935 }
936
937
938 static int
939 rank_custom_ntiles (struct lexer *lexer, struct dataset *ds, struct cmd_rank *cmd, void *aux UNUSED )
940 {
941   struct dictionary *dict = dataset_dict (ds);
942
943   if ( lex_force_match (lexer, '(') )
944     {
945       if ( lex_force_int (lexer) )
946         {
947           k_ntiles = lex_integer (lexer);
948           lex_get (lexer);
949           lex_force_match (lexer, ')');
950         }
951       else
952         return 0;
953     }
954   else
955     return 0;
956
957   return parse_rank_function (lexer, dict, cmd, NTILES);
958 }
959
960 /*
961   Local Variables:
962   mode: c
963   End:
964 */