FREQUENCIES: Simplify code for sorting the frequency table.
[pspp] / src / language / stats / frequencies.q
index a390ee18f0713f1044bf89bcca0367898030b423..aab345b67ec7fa33dc351020fae9c406f97a3436 100644 (file)
@@ -157,12 +157,6 @@ struct frq_chart
     bool include_missing;       /* Whether to include missing values. */
   };
 
-/* Histogram and pie chart settings. */
-static struct frq_chart hist, pie;
-
-/* Parsed command. */
-static struct cmd_frequencies cmd;
-
 /* Frequency tables. */
 
 /* Entire frequency table. */
@@ -208,15 +202,25 @@ struct frq_proc
     struct var_freqs *vars;
     size_t n_vars;
 
+    /* Percentiles to calculate and possibly display. */
     struct percentile *percentiles;
     int n_percentiles, n_show_percentiles;
 
+    /* Frequency table display. */
+    int max_categories;         /* Maximum categories to show. */
+    int sort;                   /* FRQ_AVALUE or FRQ_DVALUE
+                                   or FRQ_ACOUNT or FRQ_DCOUNT. */
+
     /* Statistics; number of statistics. */
     unsigned long stats;
     int n_stats;
+
+    /* Histogram and pie chart settings. */
+    struct frq_chart *hist, *pie;
   };
 
-static void determine_charts (void);
+static void determine_charts (struct frq_proc *,
+                              const struct cmd_frequencies *);
 
 static void calc_stats (const struct frq_proc *, const struct var_freqs *,
                         double d[FRQ_N_STATS]);
@@ -226,23 +230,18 @@ static void calc (struct frq_proc *, const struct ccase *,
                   const struct dataset *);
 static void postcalc (struct frq_proc *, const struct dataset *);
 
-static void postprocess_freq_tab (struct var_freqs *);
+static void postprocess_freq_tab (const struct frq_proc *, struct var_freqs *);
 static void dump_freq_table (const struct var_freqs *,
                              const struct variable *weight_var);
 static void dump_statistics (const struct frq_proc *, const struct var_freqs *,
                              const struct variable *weight_var);
 static void cleanup_freq_tab (struct var_freqs *);
 
-static algo_compare_func compare_value_numeric_a, compare_value_alpha_a;
-static algo_compare_func compare_value_numeric_d, compare_value_alpha_d;
-static algo_compare_func compare_freq_numeric_a, compare_freq_alpha_a;
-static algo_compare_func compare_freq_numeric_d, compare_freq_alpha_d;
-
 static void add_percentile (struct frq_proc *, double x, bool show,
                             size_t *allocated_percentiles);
 
-static void do_piechart(const struct variable *var,
-                       const struct freq_tab *frq_tab);
+static void do_piechart(const struct frq_chart *, const struct variable *,
+                       const struct freq_tab *);
 
 struct histogram *freq_tab_to_hist(const struct frq_proc *,
                                    const struct freq_tab *,
@@ -253,6 +252,7 @@ struct histogram *freq_tab_to_hist(const struct frq_proc *,
 int
 cmd_frequencies (struct lexer *lexer, struct dataset *ds)
 {
+  struct cmd_frequencies cmd;
   struct frq_proc frq;
   struct casegrouper *grouper;
   struct casereader *input, *group;
@@ -269,6 +269,9 @@ cmd_frequencies (struct lexer *lexer, struct dataset *ds)
   frq.n_percentiles = 0;
   frq.n_show_percentiles = 0;
 
+  frq.hist = NULL;
+  frq.pie = NULL;
+
   allocated_percentiles = 0;
 
   if (!parse_frequencies (lexer, ds, &cmd, &frq))
@@ -277,6 +280,12 @@ cmd_frequencies (struct lexer *lexer, struct dataset *ds)
       return CMD_FAILURE;
     }
 
+  /* Figure out when to show frequency tables. */
+  frq.max_categories = (cmd.table == FRQ_NOTABLE ? -1
+                        : cmd.table == FRQ_TABLE ? INT_MAX
+                        : cmd.limit);
+  frq.sort = cmd.sort;
+
   /* Figure out statistics to calculate. */
   frq.stats = 0;
   if (cmd.a_statistics[FRQ_ST_DEFAULT] || !cmd.sbc_statistics)
@@ -300,7 +309,7 @@ cmd_frequencies (struct lexer *lexer, struct dataset *ds)
       frq.n_stats++;
 
   /* Charting. */
-  determine_charts ();
+  determine_charts (&frq, &cmd);
   if (cmd.sbc_histogram || cmd.sbc_piechart || cmd.sbc_ntiles)
     cmd.sort = FRQ_AVALUE;
 
@@ -362,53 +371,61 @@ cmd_frequencies (struct lexer *lexer, struct dataset *ds)
   pool_destroy (frq.pool);
   free (frq.vars);
   free (frq.percentiles);
+  free (frq.hist);
+  free (frq.pie);
 
   return ok ? CMD_SUCCESS : CMD_CASCADING_FAILURE;
 }
 
 /* Figure out which charts the user requested.  */
 static void
-determine_charts (void)
+determine_charts (struct frq_proc *frq, const struct cmd_frequencies *cmd)
 {
-  if (cmd.sbc_barchart)
+  if (cmd->sbc_barchart)
     msg (SW, _("Bar charts are not implemented."));
 
-  if (cmd.sbc_histogram)
+  if (cmd->sbc_histogram)
     {
-      hist.x_min = cmd.hi_min;
-      hist.x_max = cmd.hi_max;
-      hist.y_scale = cmd.hi_scale;
-      hist.y_max = cmd.hi_scale == FRQ_FREQ ? cmd.hi_freq : cmd.hi_pcnt;
-      hist.draw_normal = cmd.hi_norm != FRQ_NONORMAL;
-      hist.include_missing = false;
-
-      if (hist.x_min != SYSMIS && hist.x_max != SYSMIS
-          && hist.x_min >= hist.x_max)
+      struct frq_chart *hist;
+
+      hist = frq->hist = xmalloc (sizeof *frq->hist);
+      hist->x_min = cmd->hi_min;
+      hist->x_max = cmd->hi_max;
+      hist->y_scale = cmd->hi_scale;
+      hist->y_max = cmd->hi_scale == FRQ_FREQ ? cmd->hi_freq : cmd->hi_pcnt;
+      hist->draw_normal = cmd->hi_norm != FRQ_NONORMAL;
+      hist->include_missing = false;
+
+      if (hist->x_min != SYSMIS && hist->x_max != SYSMIS
+          && hist->x_min >= hist->x_max)
         {
           msg (SE, _("MAX for histogram must be greater than or equal to MIN, "
                      "but MIN was specified as %.15g and MAX as %.15g.  "
-                     "MIN and MAX will be ignored."), hist.x_min, hist.x_max);
-          hist.x_min = hist.x_max = SYSMIS;
+                     "MIN and MAX will be ignored."),
+               hist->x_min, hist->x_max);
+          hist->x_min = hist->x_max = SYSMIS;
         }
     }
 
-  if (cmd.sbc_piechart)
+  if (cmd->sbc_piechart)
     {
-      pie.x_min = cmd.pie_min;
-      pie.x_max = cmd.pie_max;
-      pie.y_scale = cmd.pie_scale;
-      pie.include_missing = cmd.pie_missing == FRQ_MISSING;
+      struct frq_chart *pie;
+
+      pie = frq->pie = xmalloc (sizeof *frq->pie);
+      pie->x_min = cmd->pie_min;
+      pie->x_max = cmd->pie_max;
+      pie->y_scale = cmd->pie_scale;
+      pie->include_missing = cmd->pie_missing == FRQ_MISSING;
 
-      if (pie.x_min != SYSMIS && pie.x_max != SYSMIS
-          && pie.x_min >= pie.x_max)
+      if (pie->x_min != SYSMIS && pie->x_max != SYSMIS
+          && pie->x_min >= pie->x_max)
         {
           msg (SE, _("MAX for pie chart must be greater than or equal to MIN, "
                      "but MIN was specified as %.15g and MAX as %.15g.  "
-                     "MIN and MAX will be ignored."), pie.x_min, pie.x_max);
-          pie.x_min = pie.x_max = SYSMIS;
+                     "MIN and MAX will be ignored."), pie->x_min, pie->x_max);
+          pie->x_min = pie->x_max = SYSMIS;
         }
     }
-
 }
 
 /* Add data from case C to the frequency table. */
@@ -464,21 +481,18 @@ postcalc (struct frq_proc *frq, const struct dataset *ds)
   for (i = 0; i < frq->n_vars; i++)
     {
       struct var_freqs *vf = &frq->vars[i];
-      int n_categories;
 
-      postprocess_freq_tab (vf);
+      postprocess_freq_tab (frq, vf);
 
       /* Frequencies tables. */
-      n_categories = vf->tab.n_valid + vf->tab.n_missing;
-      if  (cmd.table == FRQ_TABLE
-           || (cmd.table == FRQ_LIMIT && n_categories <= cmd.limit))
+      if (vf->tab.n_valid + vf->tab.n_missing <= frq->max_categories)
         dump_freq_table (vf, wv);
 
       /* Statistics. */
       if (frq->n_stats)
        dump_statistics (frq, vf, wv);
 
-      if (cmd.sbc_histogram && var_is_numeric (vf->var) && vf->tab.n_valid > 0)
+      if (frq->hist && var_is_numeric (vf->var) && vf->tab.n_valid > 0)
        {
          double d[FRQ_N_STATS];
          struct histogram *histogram;
@@ -492,41 +506,19 @@ postcalc (struct frq_proc *frq, const struct dataset *ds)
                                vf->tab.valid_cases,
                                d[FRQ_MEAN],
                                d[FRQ_STDDEV],
-                               hist.draw_normal));
+                               frq->hist->draw_normal));
 
          statistic_destroy (&histogram->parent);
        }
 
-      if (cmd.sbc_piechart)
-        do_piechart(vf->var, &vf->tab);
+      if (frq->pie)
+        do_piechart(frq->pie, vf->var, &vf->tab);
 
       cleanup_freq_tab (vf);
 
     }
 }
 
-/* Returns the comparison function that should be used for
-   sorting a frequency table by FRQ_SORT using VAL_TYPE
-   values. */
-static algo_compare_func *
-get_freq_comparator (int frq_sort, enum val_type val_type)
-{
-  bool is_numeric = val_type == VAL_NUMERIC;
-  switch (frq_sort)
-    {
-    case FRQ_AVALUE:
-      return is_numeric ? compare_value_numeric_a : compare_value_alpha_a;
-    case FRQ_DVALUE:
-      return is_numeric ? compare_value_numeric_d : compare_value_alpha_d;
-    case FRQ_AFREQ:
-      return is_numeric ? compare_freq_numeric_a : compare_freq_alpha_a;
-    case FRQ_DFREQ:
-      return is_numeric ? compare_freq_numeric_d : compare_freq_alpha_d;
-    default:
-      NOT_REACHED ();
-    }
-}
-
 /* Returns true iff the value in struct freq F is non-missing
    for variable V. */
 static bool
@@ -538,12 +530,39 @@ not_missing (const void *f_, const void *v_)
   return !var_is_value_missing (v, &f->value, MV_ANY);
 }
 
+struct freq_compare_aux
+  {
+    bool by_freq;
+    bool ascending_freq;
+
+    int width;
+    bool ascending_value;
+  };
+
+static int
+compare_freq (const void *a_, const void *b_, const void *aux_)
+{
+  const struct freq_compare_aux *aux = aux_;
+  const struct freq *a = a_;
+  const struct freq *b = b_;
+
+  if (aux->by_freq && a->count != b->count)
+    {
+      int cmp = a->count > b->count ? 1 : -1;
+      return aux->ascending_freq ? cmp : -cmp;
+    }
+  else
+    {
+      int cmp = value_compare_3way (&a->value, &b->value, aux->width);
+      return aux->ascending_value ? cmp : -cmp;
+    }
+}
 /* Summarizes the frequency table data for variable V. */
 static void
-postprocess_freq_tab (struct var_freqs *vf)
+postprocess_freq_tab (const struct frq_proc *frq, struct var_freqs *vf)
 {
   struct freq_tab *ft = &vf->tab;
-  algo_compare_func *compare;
+  struct freq_compare_aux aux;
   size_t count;
   struct freq *freqs, *f;
   size_t i;
@@ -559,9 +578,12 @@ postprocess_freq_tab (struct var_freqs *vf)
   ft->n_missing = count - ft->n_valid;
 
   /* Sort data. */
-  compare = get_freq_comparator (cmd.sort, var_get_type (vf->var));
-  sort (ft->valid, ft->n_valid, sizeof *ft->valid, compare, vf);
-  sort (ft->missing, ft->n_missing, sizeof *ft->missing, compare, vf);
+  aux.by_freq = frq->sort == FRQ_AFREQ || frq->sort == FRQ_DFREQ;
+  aux.ascending_freq = frq->sort != FRQ_DFREQ;
+  aux.width = vf->width;
+  aux.ascending_value = frq->sort != FRQ_DVALUE;
+  sort (ft->valid, ft->n_valid, sizeof *ft->valid, compare_freq, &aux);
+  sort (ft->missing, ft->n_missing, sizeof *ft->missing, compare_freq, &aux);
 
   /* Summary statistics. */
   ft->valid_cases = 0.0;
@@ -773,122 +795,6 @@ add_percentile (struct frq_proc *frq, double x, bool show,
 
 /* Comparison functions. */
 
-/* Ascending numeric compare of values. */
-static int
-compare_value_numeric_a (const void *a_, const void *b_,
-                         const void *vf_ UNUSED)
-{
-  const struct freq *a = a_;
-  const struct freq *b = b_;
-
-  if (a->value.f > b->value.f)
-    return 1;
-  else if (a->value.f < b->value.f)
-    return -1;
-  else
-    return 0;
-}
-
-/* Ascending string compare of values. */
-static int
-compare_value_alpha_a (const void *a_, const void *b_, const void *vf_)
-{
-  const struct freq *a = a_;
-  const struct freq *b = b_;
-  const struct var_freqs *vf = vf_;
-
-  return value_compare_3way (&a->value, &b->value, vf->width);
-}
-
-/* Descending numeric compare of values. */
-static int
-compare_value_numeric_d (const void *a, const void *b, const void *vf_ UNUSED)
-{
-  return -compare_value_numeric_a (a, b, vf_);
-}
-
-/* Descending string compare of values. */
-static int
-compare_value_alpha_d (const void *a, const void *b, const void *vf_)
-{
-  return -compare_value_alpha_a (a, b, vf_);
-}
-
-/* Ascending numeric compare of frequency;
-   secondary key on ascending numeric value. */
-static int
-compare_freq_numeric_a (const void *a_, const void *b_, const void *vf_ UNUSED)
-{
-  const struct freq *a = a_;
-  const struct freq *b = b_;
-
-  if (a->count > b->count)
-    return 1;
-  else if (a->count < b->count)
-    return -1;
-
-  if (a->value.f > b->value.f)
-    return 1;
-  else if (a->value.f < b->value.f)
-    return -1;
-  else
-    return 0;
-}
-
-/* Ascending numeric compare of frequency;
-   secondary key on ascending string value. */
-static int
-compare_freq_alpha_a (const void *a_, const void *b_, const void *vf_)
-{
-  const struct freq *a = a_;
-  const struct freq *b = b_;
-  const struct var_freqs *vf = vf_;
-
-  if (a->count > b->count)
-    return 1;
-  else if (a->count < b->count)
-    return -1;
-  else
-    return value_compare_3way (&a->value, &b->value, vf->width);
-}
-
-/* Descending numeric compare of frequency;
-   secondary key on ascending numeric value. */
-static int
-compare_freq_numeric_d (const void *a_, const void *b_, const void *vf_ UNUSED)
-{
-  const struct freq *a = a_;
-  const struct freq *b = b_;
-
-  if (a->count > b->count)
-    return -1;
-  else if (a->count < b->count)
-    return 1;
-
-  if (a->value.f > b->value.f)
-    return 1;
-  else if (a->value.f < b->value.f)
-    return -1;
-  else
-    return 0;
-}
-
-/* Descending numeric compare of frequency;
-   secondary key on ascending string value. */
-static int
-compare_freq_alpha_d (const void *a_, const void *b_, const void *vf_)
-{
-  const struct freq *a = a_;
-  const struct freq *b = b_;
-  const struct var_freqs *vf = vf_;
-
-  if (a->count > b->count)
-    return -1;
-  else if (a->count < b->count)
-    return 1;
-  else
-    return value_compare_3way (&a->value, &b->value, vf->width);
-}
 \f
 /* Frequency table display. */
 
@@ -1254,12 +1160,12 @@ freq_tab_to_hist (const struct frq_proc *frq, const struct freq_tab *ft,
   valid_freq = 0;
   for (i = 0; i < ft->n_valid; i++)
     {
-      const struct freq *frq = &ft->valid[i];
-      if (chart_includes_value (&hist, var, &frq->value))
+      const struct freq *f = &ft->valid[i];
+      if (chart_includes_value (frq->hist, var, &f->value))
         {
-          x_min = MIN (x_min, frq->value.f);
-          x_max = MAX (x_max, frq->value.f);
-          valid_freq += frq->count;
+          x_min = MIN (x_min, f->value.f);
+          x_max = MAX (x_max, f->value.f);
+          valid_freq += f->count;
         }
     }
 
@@ -1280,19 +1186,19 @@ freq_tab_to_hist (const struct frq_proc *frq, const struct freq_tab *ft,
   histogram = histogram_create (bins, x_min, x_max);
   for (i = 0; i < ft->n_valid; i++)
     {
-      const struct freq *frq = &ft->valid[i];
-      if (chart_includes_value (&hist, var, &frq->value))
-        histogram_add (histogram, frq->value.f, frq->count);
+      const struct freq *f = &ft->valid[i];
+      if (chart_includes_value (frq->hist, var, &f->value))
+        histogram_add (histogram, f->value.f, f->count);
     }
 
   return histogram;
 }
 
 static int
-add_slice (const struct freq *freq, const struct variable *var,
-           struct slice *slice)
+add_slice (const struct frq_chart *pie, const struct freq *freq,
+           const struct variable *var, struct slice *slice)
 {
-  if (chart_includes_value (&pie, var, &freq->value))
+  if (chart_includes_value (pie, var, &freq->value))
     {
       ds_init_empty (&slice->label);
       var_append_value_name (var, &freq->value, &slice->label);
@@ -1308,7 +1214,8 @@ add_slice (const struct freq *freq, const struct variable *var,
    The caller is responsible for freeing slices
 */
 static struct slice *
-freq_tab_to_slice_array(const struct freq_tab *frq_tab,
+freq_tab_to_slice_array(const struct frq_chart *pie,
+                        const struct freq_tab *frq_tab,
                        const struct variable *var,
                        int *n_slicesp)
 {
@@ -1320,9 +1227,9 @@ freq_tab_to_slice_array(const struct freq_tab *frq_tab,
   n_slices = 0;
 
   for (i = 0; i < frq_tab->n_valid; i++)
-    n_slices += add_slice (&frq_tab->valid[i], var, &slices[n_slices]);
+    n_slices += add_slice (pie, &frq_tab->valid[i], var, &slices[n_slices]);
   for (i = 0; i < frq_tab->n_missing; i++)
-    n_slices += add_slice (&frq_tab->missing[i], var, &slices[n_slices]);
+    n_slices += add_slice (pie, &frq_tab->missing[i], var, &slices[n_slices]);
 
   *n_slicesp = n_slices;
   return slices;
@@ -1332,12 +1239,13 @@ freq_tab_to_slice_array(const struct freq_tab *frq_tab,
 
 
 static void
-do_piechart(const struct variable *var, const struct freq_tab *frq_tab)
+do_piechart(const struct frq_chart *pie, const struct variable *var,
+            const struct freq_tab *frq_tab)
 {
   struct slice *slices;
   int n_slices, i;
 
-  slices = freq_tab_to_slice_array (frq_tab, var, &n_slices);
+  slices = freq_tab_to_slice_array (pie, frq_tab, var, &n_slices);
 
   if (n_slices < 2)
     msg (SW, _("Omitting pie chart for %s, which has only %d unique values."),