ctables: Minor refactoring.
[pspp] / src / language / stats / ctables.c
index 4235002c28932deeb3dfe7ea4486d57758dcf4ab..d6b5a0ca0c119c9764e49377d65a286466f5dcf8 100644 (file)
 #include <math.h>
 
 #include "data/casereader.h"
+#include "data/casewriter.h"
 #include "data/dataset.h"
 #include "data/dictionary.h"
 #include "data/mrset.h"
+#include "data/subcase.h"
 #include "data/value-labels.h"
 #include "language/command.h"
 #include "language/lexer/format-parser.h"
 #include "libpspp/hmap.h"
 #include "libpspp/message.h"
 #include "libpspp/string-array.h"
+#include "math/mode.h"
 #include "math/moments.h"
+#include "math/percentiles.h"
+#include "math/sort.h"
 #include "output/pivot-table.h"
 
 #include "gl/minmax.h"
@@ -168,8 +173,10 @@ struct ctables_domain
 
     const struct ctables_cell *example;
 
-    double valid;
-    double missing;
+    double d_valid;             /* Dictionary weight. */
+    double d_missing;
+    double e_valid;             /* Effective weight */
+    double e_missing;
   };
 
 enum ctables_summary_variant
@@ -186,6 +193,7 @@ struct ctables_cell
     struct hmap_node node;
 
     /* The domains that contain this cell. */
+    bool contributes_to_domains;
     struct ctables_domain *domains[N_CTDTS];
 
     bool hide;
@@ -224,7 +232,7 @@ struct ctables
 
     bool mrsets_count_duplicates; /* MRSETS. */
     bool smissing_listwise;       /* SMISSING. */
-    struct variable *base_weight; /* WEIGHT. */
+    struct variable *e_weight;    /* WEIGHT. */
     int hide_threshold;           /* HIDESMALLCOUNTS. */
 
     struct ctables_table **tables;
@@ -328,7 +336,7 @@ struct ctables_table
 
     const struct variable *clabels_example;
     struct hmap clabels_values_map;
-    union value *clabels_values;
+    struct ctables_value **clabels_values;
     size_t n_clabels_values;
 
     enum pivot_axis_type slabels_axis;
@@ -1680,7 +1688,15 @@ union ctables_summary
     /* MEAN, SEMEAN, STDDEV, SUM, VARIANCE, *.SUM. */
     struct moments1 *moments;
 
-    /* XXX percentiles, median, mode, multiple response */
+    /* MEDIAN, MODE, PTILE. */
+    struct
+      {
+        struct casewriter *writer;
+        double ovalid;
+        double ovalue;
+      };
+
+    /* XXX multiple response */
   };
 
 static void
@@ -1712,6 +1728,7 @@ ctables_summary_init (union ctables_summary *s,
     case CTSF_LAYERPCT_TOTALN:
     case CTSF_LAYERROWPCT_TOTALN:
     case CTSF_LAYERCOLPCT_TOTALN:
+    case CTSF_MISSING:
     case CSTF_TOTALN:
     case CTSF_ETOTALN:
     case CTSF_VALIDN:
@@ -1741,10 +1758,23 @@ ctables_summary_init (union ctables_summary *s,
       break;
 
     case CTSF_MEDIAN:
-    case CTSF_MISSING:
     case CTSF_MODE:
     case CTSF_PTILE:
-      NOT_REACHED ();
+      {
+        struct caseproto *proto = caseproto_create ();
+        proto = caseproto_add_width (proto, 0);
+        proto = caseproto_add_width (proto, 0);
+
+        struct subcase ordering;
+        subcase_init (&ordering, 0, 0, SC_ASCEND);
+        s->writer = sort_create_writer (&ordering, proto);
+        subcase_uninit (&ordering);
+        caseproto_unref (proto);
+
+        s->ovalid = 0;
+        s->ovalue = SYSMIS;
+      }
+      break;
 
     case CTSF_RESPONSES:
     case CTSF_ROWPCT_RESPONSES:
@@ -1801,6 +1831,7 @@ ctables_summary_uninit (union ctables_summary *s,
     case CTSF_LAYERPCT_TOTALN:
     case CTSF_LAYERROWPCT_TOTALN:
     case CTSF_LAYERCOLPCT_TOTALN:
+    case CTSF_MISSING:
     case CSTF_TOTALN:
     case CTSF_ETOTALN:
     case CTSF_VALIDN:
@@ -1828,10 +1859,10 @@ ctables_summary_uninit (union ctables_summary *s,
       break;
 
     case CTSF_MEDIAN:
-    case CTSF_MISSING:
     case CTSF_MODE:
     case CTSF_PTILE:
-      NOT_REACHED ();
+      casewriter_destroy (s->writer);
+      break;
 
     case CTSF_RESPONSES:
     case CTSF_ROWPCT_RESPONSES:
@@ -1863,11 +1894,19 @@ static void
 ctables_summary_add (union ctables_summary *s,
                      const struct ctables_summary_spec *ss,
                      const struct variable *var, const union value *value,
-                     double weight)
+                     double d_weight, double e_weight)
 {
   switch (ss->function)
     {
     case CTSF_COUNT:
+    case CSTF_TOTALN:
+    case CTSF_VALIDN:
+      if (var_is_value_missing (var, value))
+        s->missing += d_weight;
+      else
+        s->valid += d_weight;
+      break;
+
     case CTSF_ECOUNT:
     case CTSF_ROWPCT_COUNT:
     case CTSF_COLPCT_COUNT:
@@ -1890,14 +1929,13 @@ ctables_summary_add (union ctables_summary *s,
     case CTSF_LAYERPCT_TOTALN:
     case CTSF_LAYERROWPCT_TOTALN:
     case CTSF_LAYERCOLPCT_TOTALN:
-    case CSTF_TOTALN:
+    case CTSF_MISSING:
     case CTSF_ETOTALN:
-    case CTSF_VALIDN:
     case CTSF_EVALIDN:
       if (var_is_value_missing (var, value))
-        s->missing += weight;
+        s->missing += e_weight;
       else
-        s->valid += weight;
+        s->valid += e_weight;
       break;
 
     case CTSF_MAXIMUM:
@@ -1925,14 +1963,23 @@ ctables_summary_add (union ctables_summary *s,
     case CTSF_LAYERPCT_SUM:
     case CTSF_LAYERROWPCT_SUM:
     case CTSF_LAYERCOLPCT_SUM:
-      moments1_add (s->moments, value->f, weight);
+      if (!var_is_value_missing (var, value))
+        moments1_add (s->moments, value->f, e_weight);
       break;
 
     case CTSF_MEDIAN:
-    case CTSF_MISSING:
     case CTSF_MODE:
     case CTSF_PTILE:
-      NOT_REACHED ();
+      if (var_is_value_missing (var, value))
+        {
+          s->ovalid += e_weight;
+
+          struct ccase *c = case_create (casewriter_get_proto (s->writer));
+          *case_num_rw_idx (c, 0) = value->f;
+          *case_num_rw_idx (c, 1) = e_weight;
+          casewriter_write (s->writer, c);
+        }
+      break;
 
     case CTSF_RESPONSES:
     case CTSF_ROWPCT_RESPONSES:
@@ -1960,6 +2007,99 @@ ctables_summary_add (union ctables_summary *s,
     }
 }
 
+static enum ctables_domain_type
+ctables_function_domain (enum ctables_summary_function function)
+{
+  switch (function)
+    {
+    case CTSF_COUNT:
+    case CTSF_ECOUNT:
+    case CTSF_MISSING:
+    case CSTF_TOTALN:
+    case CTSF_ETOTALN:
+    case CTSF_VALIDN:
+    case CTSF_EVALIDN:
+    case CTSF_MAXIMUM:
+    case CTSF_MINIMUM:
+    case CTSF_RANGE:
+    case CTSF_MEAN:
+    case CTSF_SEMEAN:
+    case CTSF_STDDEV:
+    case CTSF_SUM:
+    case CTSF_VARIANCE:
+    case CTSF_MEDIAN:
+    case CTSF_PTILE:
+    case CTSF_MODE:
+    case CTSF_RESPONSES:
+      NOT_REACHED ();
+
+    case CTSF_COLPCT_COUNT:
+    case CTSF_COLPCT_COUNT_RESPONSES:
+    case CTSF_COLPCT_RESPONSES:
+    case CTSF_COLPCT_RESPONSES_COUNT:
+    case CTSF_COLPCT_SUM:
+    case CTSF_COLPCT_TOTALN:
+    case CTSF_COLPCT_VALIDN:
+      return CTDT_COL;
+
+    case CTSF_LAYERCOLPCT_COUNT:
+    case CTSF_LAYERCOLPCT_COUNT_RESPONSES:
+    case CTSF_LAYERCOLPCT_RESPONSES:
+    case CTSF_LAYERCOLPCT_RESPONSES_COUNT:
+    case CTSF_LAYERCOLPCT_SUM:
+    case CTSF_LAYERCOLPCT_TOTALN:
+    case CTSF_LAYERCOLPCT_VALIDN:
+      return CTDT_LAYERCOL;
+
+    case CTSF_LAYERPCT_COUNT:
+    case CTSF_LAYERPCT_COUNT_RESPONSES:
+    case CTSF_LAYERPCT_RESPONSES:
+    case CTSF_LAYERPCT_RESPONSES_COUNT:
+    case CTSF_LAYERPCT_SUM:
+    case CTSF_LAYERPCT_TOTALN:
+    case CTSF_LAYERPCT_VALIDN:
+      return CTDT_LAYER;
+
+    case CTSF_LAYERROWPCT_COUNT:
+    case CTSF_LAYERROWPCT_COUNT_RESPONSES:
+    case CTSF_LAYERROWPCT_RESPONSES:
+    case CTSF_LAYERROWPCT_RESPONSES_COUNT:
+    case CTSF_LAYERROWPCT_SUM:
+    case CTSF_LAYERROWPCT_TOTALN:
+    case CTSF_LAYERROWPCT_VALIDN:
+      return CTDT_LAYERROW;
+
+    case CTSF_ROWPCT_COUNT:
+    case CTSF_ROWPCT_COUNT_RESPONSES:
+    case CTSF_ROWPCT_RESPONSES:
+    case CTSF_ROWPCT_RESPONSES_COUNT:
+    case CTSF_ROWPCT_SUM:
+    case CTSF_ROWPCT_TOTALN:
+    case CTSF_ROWPCT_VALIDN:
+      return CTDT_ROW;
+
+    case CTSF_SUBTABLEPCT_COUNT:
+    case CTSF_SUBTABLEPCT_COUNT_RESPONSES:
+    case CTSF_SUBTABLEPCT_RESPONSES:
+    case CTSF_SUBTABLEPCT_RESPONSES_COUNT:
+    case CTSF_SUBTABLEPCT_SUM:
+    case CTSF_SUBTABLEPCT_TOTALN:
+    case CTSF_SUBTABLEPCT_VALIDN:
+      return CTDT_SUBTABLE;
+
+    case CTSF_TABLEPCT_COUNT:
+    case CTSF_TABLEPCT_COUNT_RESPONSES:
+    case CTSF_TABLEPCT_RESPONSES:
+    case CTSF_TABLEPCT_RESPONSES_COUNT:
+    case CTSF_TABLEPCT_SUM:
+    case CTSF_TABLEPCT_TOTALN:
+    case CTSF_TABLEPCT_VALIDN:
+      return CTDT_TABLE;
+    }
+
+  NOT_REACHED ();
+}
+
 static double
 ctables_summary_value (const struct ctables_cell *cell,
                        union ctables_summary *s,
@@ -1971,26 +2111,19 @@ ctables_summary_value (const struct ctables_cell *cell,
     case CTSF_ECOUNT:
       return s->valid;
 
-    case CTSF_SUBTABLEPCT_COUNT:
-      return cell->domains[CTDT_SUBTABLE]->valid ? s->valid / cell->domains[CTDT_SUBTABLE]->valid * 100 : SYSMIS;
-
     case CTSF_ROWPCT_COUNT:
-      return cell->domains[CTDT_ROW]->valid ? s->valid / cell->domains[CTDT_ROW]->valid * 100 : SYSMIS;
-
     case CTSF_COLPCT_COUNT:
-      return cell->domains[CTDT_COL]->valid ? s->valid / cell->domains[CTDT_COL]->valid * 100 : SYSMIS;
-
     case CTSF_TABLEPCT_COUNT:
-      return cell->domains[CTDT_TABLE]->valid ? s->valid / cell->domains[CTDT_TABLE]->valid * 100 : SYSMIS;
-
+    case CTSF_SUBTABLEPCT_COUNT:
     case CTSF_LAYERPCT_COUNT:
-      return cell->domains[CTDT_LAYER]->valid ? s->valid / cell->domains[CTDT_LAYER]->valid * 100 : SYSMIS;
-
     case CTSF_LAYERROWPCT_COUNT:
-      return cell->domains[CTDT_LAYERROW]->valid ? s->valid / cell->domains[CTDT_LAYERROW]->valid * 100 : SYSMIS;
-
     case CTSF_LAYERCOLPCT_COUNT:
-      return cell->domains[CTDT_LAYERCOL]->valid ? s->valid / cell->domains[CTDT_LAYERCOL]->valid * 100 : SYSMIS;
+      {
+        enum ctables_domain_type d = ctables_function_domain (ss->function);
+        return (cell->domains[d]->e_valid
+                ? s->valid / cell->domains[d]->e_valid * 100
+                : SYSMIS);
+      }
 
     case CTSF_ROWPCT_VALIDN:
     case CTSF_COLPCT_VALIDN:
@@ -2008,6 +2141,9 @@ ctables_summary_value (const struct ctables_cell *cell,
     case CTSF_LAYERCOLPCT_TOTALN:
       NOT_REACHED ();
 
+    case CTSF_MISSING:
+      return s->missing;
+
     case CSTF_TOTALN:
     case CTSF_ETOTALN:
       return s->valid + s->missing;
@@ -2070,10 +2206,34 @@ ctables_summary_value (const struct ctables_cell *cell,
       NOT_REACHED ();
 
     case CTSF_MEDIAN:
-    case CTSF_MISSING:
-    case CTSF_MODE:
     case CTSF_PTILE:
-      NOT_REACHED ();
+      if (s->writer)
+        {
+          struct casereader *reader = casewriter_make_reader (s->writer);
+          s->writer = NULL;
+
+          struct percentile *ptile = percentile_create (
+            ss->function == CTSF_PTILE ? ss->percentile : 0.5, s->ovalid);
+          struct order_stats *os = &ptile->parent;
+          order_stats_accumulate_idx (&os, 1, reader, 1, 0);
+          s->ovalue = percentile_calculate (ptile, PC_HAVERAGE);
+          statistic_destroy (&ptile->parent.parent);
+        }
+      return s->ovalue;
+
+    case CTSF_MODE:
+      if (s->writer)
+        {
+          struct casereader *reader = casewriter_make_reader (s->writer);
+          s->writer = NULL;
+
+          struct mode *mode = mode_create ();
+          struct order_stats *os = &mode->parent;
+          order_stats_accumulate_idx (&os, 1, reader, 1, 0);
+          s->ovalue = mode->mode;
+          statistic_destroy (&mode->parent.parent);
+        }
+      return s->ovalue;
 
     case CTSF_RESPONSES:
     case CTSF_ROWPCT_RESPONSES:
@@ -2365,6 +2525,7 @@ ctables_cell_insert__ (struct ctables_table *t, const struct ccase *c,
   cell = xmalloc (sizeof *cell);
   cell->hide = false;
   cell->sv = sv;
+  cell->contributes_to_domains = true;
   for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
     {
       const struct ctables_nest *nest = &t->stacks[a].nests[ix[a]];
@@ -2374,14 +2535,19 @@ ctables_cell_insert__ (struct ctables_table *t, const struct ccase *c,
                         : NULL);
       for (size_t i = 0; i < nest->n; i++)
         {
+          const struct ctables_category *cat = cats[a][i];
+
           if (i != nest->scale_idx)
             {
-              const struct ctables_category *subtotal = cats[a][i]->subtotal;
+              const struct ctables_category *subtotal = cat->subtotal;
               if (subtotal && subtotal->type == CCT_HSUBTOTAL)
                 cell->hide = true;
+
+              if (cat->type == CCT_TOTAL || cat->type == CCT_SUBTOTAL || cat->type == CCT_HSUBTOTAL)
+                cell->contributes_to_domains = false;
             }
 
-          cell->axes[a].cvs[i].category = cats[a][i];
+          cell->axes[a].cvs[i].category = cat;
           value_clone (&cell->axes[a].cvs[i].value, case_data (c, nest->vars[i]),
                        var_get_width (nest->vars[i]));
         }
@@ -2401,7 +2567,7 @@ static void
 ctables_cell_add__ (struct ctables_table *t, const struct ccase *c,
                     size_t ix[PIVOT_N_AXES],
                     const struct ctables_category *cats[PIVOT_N_AXES][10],
-                    double weight)
+                    double d_weight, double e_weight)
 {
   struct ctables_cell *cell = ctables_cell_insert__ (t, c, ix, cats);
   const struct ctables_nest *ss = &t->stacks[t->summary_axis].nests[ix[t->summary_axis]];
@@ -2409,16 +2575,22 @@ ctables_cell_add__ (struct ctables_table *t, const struct ccase *c,
   const struct ctables_summary_spec_set *specs = &ss->specs[cell->sv];
   for (size_t i = 0; i < specs->n; i++)
     ctables_summary_add (&cell->summaries[i], &specs->specs[i], specs->var,
-                         case_data (c, specs->var), weight);
-  for (enum ctables_domain_type dt = 0; dt < N_CTDTS; dt++)
-    cell->domains[dt]->valid += weight;
+                         case_data (c, specs->var), d_weight, e_weight);
+  if (cell->contributes_to_domains)
+    {
+      for (enum ctables_domain_type dt = 0; dt < N_CTDTS; dt++)
+        {
+          cell->domains[dt]->d_valid += d_weight;
+          cell->domains[dt]->e_valid += e_weight;
+        }
+    }
 }
 
 static void
 recurse_totals (struct ctables_table *t, const struct ccase *c,
                 size_t ix[PIVOT_N_AXES],
                 const struct ctables_category *cats[PIVOT_N_AXES][10],
-                double weight,
+                double d_weight, double e_weight,
                 enum pivot_axis_type start_axis, size_t start_nest)
 {
   for (enum pivot_axis_type a = start_axis; a < PIVOT_N_AXES; a++)
@@ -2437,8 +2609,36 @@ recurse_totals (struct ctables_table *t, const struct ccase *c,
             {
               const struct ctables_category *save = cats[a][i];
               cats[a][i] = total;
-              ctables_cell_add__ (t, c, ix, cats, weight);
-              recurse_totals (t, c, ix, cats, weight, a, i + 1);
+              ctables_cell_add__ (t, c, ix, cats, d_weight, e_weight);
+              recurse_totals (t, c, ix, cats, d_weight, e_weight, a, i + 1);
+              cats[a][i] = save;
+            }
+        }
+      start_nest = 0;
+    }
+}
+
+static void
+recurse_subtotals (struct ctables_table *t, const struct ccase *c,
+                   size_t ix[PIVOT_N_AXES],
+                   const struct ctables_category *cats[PIVOT_N_AXES][10],
+                   double d_weight, double e_weight,
+                   enum pivot_axis_type start_axis, size_t start_nest)
+{
+  for (enum pivot_axis_type a = start_axis; a < PIVOT_N_AXES; a++)
+    {
+      const struct ctables_nest *nest = &t->stacks[a].nests[ix[a]];
+      for (size_t i = start_nest; i < nest->n; i++)
+        {
+          if (i == nest->scale_idx)
+            continue;
+
+          const struct ctables_category *save = cats[a][i];
+          if (save->subtotal)
+            {
+              cats[a][i] = save->subtotal;
+              ctables_cell_add__ (t, c, ix, cats, d_weight, e_weight);
+              recurse_subtotals (t, c, ix, cats, d_weight, e_weight, a, i + 1);
               cats[a][i] = save;
             }
         }
@@ -2449,15 +2649,9 @@ recurse_totals (struct ctables_table *t, const struct ccase *c,
 static void
 ctables_cell_insert (struct ctables_table *t,
                      const struct ccase *c,
-                     size_t ir, size_t ic, size_t il,
-                     double weight)
+                     size_t ix[PIVOT_N_AXES],
+                     double d_weight, double e_weight)
 {
-  size_t ix[PIVOT_N_AXES] = {
-    [PIVOT_AXIS_ROW] = ir,
-    [PIVOT_AXIS_COLUMN] = ic,
-    [PIVOT_AXIS_LAYER] = il,
-  };
-
   const struct ctables_category *cats[PIVOT_N_AXES][10];
   for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
     {
@@ -2480,27 +2674,10 @@ ctables_cell_insert (struct ctables_table *t,
         }
     }
 
-  ctables_cell_add__ (t, c, ix, cats, weight);
-
-  recurse_totals (t, c, ix, cats, weight, 0, 0);
+  ctables_cell_add__ (t, c, ix, cats, d_weight, e_weight);
 
-  for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
-    {
-      const struct ctables_nest *nest = &t->stacks[a].nests[ix[a]];
-      for (size_t i = 0; i < nest->n; i++)
-        {
-          if (i == nest->scale_idx)
-            continue;
-
-          const struct ctables_category *save = cats[a][i];
-          if (save->subtotal)
-            {
-              cats[a][i] = save->subtotal;
-              ctables_cell_add__ (t, c, ix, cats, weight);
-              cats[a][i] = save;
-            }
-        }
-    }
+  recurse_totals (t, c, ix, cats, d_weight, e_weight, 0, 0);
+  recurse_subtotals (t, c, ix, cats, d_weight, e_weight, 0, 0);
 }
 
 struct merge_item
@@ -2566,12 +2743,16 @@ ctables_table_output (struct ctables *ct, struct ctables_table *t)
     pivot_table_set_caption (
       pt, pivot_value_new_user_text (t->corner, SIZE_MAX));
 
-  bool summary_dimension = t->summary_axis != t->slabels_axis;
+  bool summary_dimension = (t->summary_axis != t->slabels_axis
+                            || (!t->slabels_visible
+                                && t->summary_specs.n > 1));
   if (summary_dimension)
     {
       struct pivot_dimension *d = pivot_dimension_create (
-        pt, t->slabels_axis, N_("Summaries"));
+        pt, t->slabels_axis, N_("Statistics"));
       const struct ctables_summary_spec_set *specs = &t->summary_specs;
+      if (!t->slabels_visible)
+        d->hide_all_labels = true;
       for (size_t i = 0; i < specs->n; i++)
         pivot_category_create_leaf (
           d->root, pivot_value_new_text (specs->specs[i].label));
@@ -2589,15 +2770,11 @@ ctables_table_output (struct ctables *ct, struct ctables_table *t)
       const struct ctables_categories *c = t->categories[var_get_dict_index (var)];
       for (size_t i = 0; i < t->n_clabels_values; i++)
         {
-          const union value *value = &t->clabels_values[i];
-          const struct ctables_category *cat = ctables_categories_match (c, value, var);
-          if (!cat)
-            {
-              pivot_category_create_leaf (d->root, pivot_value_new_integer (value->f)); /* XXX */
-              continue;
-            }
+          const struct ctables_value *value = t->clabels_values[i];
+          const struct ctables_category *cat = ctables_categories_match (c, &value->value, var);
+          assert (cat != NULL);
           pivot_category_create_leaf (d->root, ctables_category_create_label (
-                                        cat, t->clabels_example, value));
+                                        cat, t->clabels_example, &value->value));
         }
     }
 
@@ -2682,13 +2859,11 @@ ctables_table_output (struct ctables *ct, struct ctables_table *t)
           if (new_subtable)
             {
               n_levels = 0;
-              printf ("%s levels:", pivot_axis_type_to_string (a));
               for (size_t k = 0; k < nest->n; k++)
                 {
                   enum ctables_vlabel vlabel = ct->vlabels[var_get_dict_index (nest->vars[k])];
                   if (vlabel != CTVL_NONE)
                     {
-                      printf (" var(%s)", var_get_name (nest->vars[k]));
                       levels[n_levels++] = (struct ctables_level) {
                         .type = CTL_VAR,
                         .var_idx = k,
@@ -2698,7 +2873,6 @@ ctables_table_output (struct ctables *ct, struct ctables_table *t)
                   if (nest->scale_idx != k
                       && (k != nest->n - 1 || t->label_axis[a] == a))
                     {
-                      printf (" category(%s)", var_get_name (nest->vars[k]));
                       levels[n_levels++] = (struct ctables_level) {
                         .type = CTL_CATEGORY,
                         .var_idx = k,
@@ -2706,15 +2880,13 @@ ctables_table_output (struct ctables *ct, struct ctables_table *t)
                     }
                 }
 
-              if (a == t->slabels_axis && a == t->summary_axis)
+              if (!summary_dimension && a == t->slabels_axis)
                 {
-                  printf (" summary");
                   levels[n_levels++] = (struct ctables_level) {
                     .type = CTL_SUMMARY,
                     .var_idx = SIZE_MAX,
                   };
                 }
-              printf ("\n");
             }
 
           size_t n_common = 0;
@@ -2726,17 +2898,16 @@ ctables_table_output (struct ctables *ct, struct ctables_table *t)
                   if (level->type == CTL_CATEGORY)
                     {
                       size_t var_idx = level->var_idx;
-                      if (prev->axes[a].cvs[var_idx].category
-                          != cell->axes[a].cvs[var_idx].category)
-                        {
-                          break;
-                        }
-                      else if (!value_equal (&prev->axes[a].cvs[var_idx].value,
-                                           &cell->axes[a].cvs[var_idx].value,
-                                             var_get_type (nest->vars[var_idx])))
-                        {
-                          break;
-                        }
+                      const struct ctables_category *c = cell->axes[a].cvs[var_idx].category;
+                      if (prev->axes[a].cvs[var_idx].category != c)
+                        break;
+                      else if (c->type != CCT_SUBTOTAL
+                               && c->type != CCT_HSUBTOTAL
+                               && c->type != CCT_TOTAL
+                               && !value_equal (&prev->axes[a].cvs[var_idx].value,
+                                                &cell->axes[a].cvs[var_idx].value,
+                                                var_get_type (nest->vars[var_idx])))
+                        break;
                     }
                 }
             }
@@ -2747,6 +2918,8 @@ ctables_table_output (struct ctables *ct, struct ctables_table *t)
               struct pivot_category *parent = k ? groups[k - 1] : d[a]->root;
               if (level->type == CTL_SUMMARY)
                 {
+                  assert (k == n_levels - 1);
+
                   const struct ctables_summary_spec_set *specs = &t->summary_specs;
                   for (size_t m = 0; m < specs->n; m++)
                     {
@@ -2806,10 +2979,8 @@ ctables_table_output (struct ctables *ct, struct ctables_table *t)
               const struct variable *var = clabels_nest->vars[clabels_nest->n - 1];
               const union value *value = &cell->axes[t->clabels_from_axis].cvs[clabels_nest->n - 1].value;
               const struct ctables_value *ctv = ctables_value_find (t, value, var_get_width (var));
-
-              printf ("leaf=%d\n", ctv ? ctv->leaf : 0);
-              dindexes[n_dindexes++] = ctv ? ctv->leaf : 0; /* XXX */
-              //dindexes[n_dindexes++] = 0;
+              assert (ctv != NULL);
+              dindexes[n_dindexes++] = ctv->leaf;
             }
 
           for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
@@ -3085,9 +3256,17 @@ ctables_insert_clabels_values (struct ctables_table *t, const struct ccase *c,
   for (size_t i = 0; i < stack->n; i++)
     {
       const struct ctables_nest *nest = &stack->nests[i];
-      const struct variable *v = nest->vars[nest->n - 1];
-      int width = var_get_width (v);
-      const union value *value = case_data (c, v);
+      const struct variable *var = nest->vars[nest->n - 1];
+      int width = var_get_width (var);
+      const union value *value = case_data (c, var);
+
+      if (var_is_numeric (var) && value->f == SYSMIS)
+        continue;
+
+      if (!ctables_categories_match (t->categories [var_get_dict_index (var)],
+                                     value, var))
+        continue;
+
       unsigned int hash = value_hash (value, width, 0);
 
       struct ctables_value *clv = ctables_value_find__ (t, value, width, hash);
@@ -3103,10 +3282,12 @@ ctables_insert_clabels_values (struct ctables_table *t, const struct ccase *c,
 static int
 compare_clabels_values_3way (const void *a_, const void *b_, const void *width_)
 {
-  const union value *a = a_;
-  const union value *b = b_;
+  const struct ctables_value *const *ap = a_;
+  const struct ctables_value *const *bp = b_;
+  const struct ctables_value *a = *ap;
+  const struct ctables_value *b = *bp;
   const int *width = width_;
-  return value_compare_3way (a, b, *width);
+  return value_compare_3way (&a->value, &b->value, *width);
 }
 
 static void
@@ -3120,32 +3301,32 @@ ctables_sort_clabels_values (struct ctables_table *t)
   struct ctables_value *clv;
   size_t i = 0;
   HMAP_FOR_EACH (clv, struct ctables_value, node, &t->clabels_values_map)
-    {
-      clv->leaf = i;
-      t->clabels_values[i] = clv->value;
-      i++;
-    }
+    t->clabels_values[i++] = clv;
   t->n_clabels_values = n;
   assert (i == n);
 
   sort (t->clabels_values, n, sizeof *t->clabels_values,
         compare_clabels_values_3way, &width);
+
+  for (size_t i = 0; i < n; i++)
+    t->clabels_values[i]->leaf = i;
 }
 
 static bool
 ctables_execute (struct dataset *ds, struct ctables *ct)
 {
-  struct casereader *input = casereader_create_filter_weight (proc_open (ds),
-                                                              dataset_dict (ds),
-                                                              NULL, NULL);
+  struct casereader *input = proc_open (ds);
   bool warn_on_invalid = true;
-  double total_weight = 0;
   for (struct ccase *c = casereader_read (input); c;
        case_unref (c), c = casereader_read (input))
     {
-      double weight = dict_get_case_weight (dataset_dict (ds), c,
-                                            &warn_on_invalid);
-      total_weight += weight;
+      double d_weight = dict_get_case_weight (dataset_dict (ds), c,
+                                              &warn_on_invalid);
+      double e_weight = (ct->e_weight
+                         ? var_force_valid_weight (ct->e_weight,
+                                                   case_num (c, ct->e_weight),
+                                                   &warn_on_invalid)
+                         : d_weight);
 
       for (size_t i = 0; i < ct->n_tables; i++)
         {
@@ -3154,7 +3335,15 @@ ctables_execute (struct dataset *ds, struct ctables *ct)
           for (size_t ir = 0; ir < t->stacks[PIVOT_AXIS_ROW].n; ir++)
             for (size_t ic = 0; ic < t->stacks[PIVOT_AXIS_COLUMN].n; ic++)
               for (size_t il = 0; il < t->stacks[PIVOT_AXIS_LAYER].n; il++)
-                ctables_cell_insert (t, c, ir, ic, il, weight);
+                {
+                  size_t ix[PIVOT_N_AXES] = {
+                    [PIVOT_AXIS_ROW] = ir,
+                    [PIVOT_AXIS_COLUMN] = ic,
+                    [PIVOT_AXIS_LAYER] = il,
+                  };
+
+                  ctables_cell_insert (t, c, ix, d_weight, e_weight);
+                }
 
           for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
             if (t->label_axis[a] != a)
@@ -3354,8 +3543,8 @@ cmd_ctables (struct lexer *lexer, struct dataset *ds)
           if (!lex_force_match_id (lexer, "VARIABLE"))
             goto error;
           lex_match (lexer, T_EQUALS);
-          ct->base_weight = parse_variable (lexer, dataset_dict (ds));
-          if (!ct->base_weight)
+          ct->e_weight = parse_variable (lexer, dataset_dict (ds));
+          if (!ct->e_weight)
             goto error;
         }
       else if (lex_match_id (lexer, "HIDESMALLCOUNTS"))