2-d subtotals work
[pspp] / src / language / stats / ctables.c
index 87f7d23a05838e200bdb613c5257dd78eb289942..c982f19cf63ad431faaf532c0637133daf43b574 100644 (file)
@@ -193,7 +193,7 @@ struct ctables_cell
 
     struct
       {
-        size_t stack_idx;
+        size_t nest_idx;
         struct ctables_cell_value
           {
             const struct ctables_category *category;
@@ -314,6 +314,7 @@ struct ctables_value
   {
     struct hmap_node node;
     union value value;
+    int leaf;
   };
 
 struct ctables_table
@@ -327,7 +328,8 @@ struct ctables_table
 
     const struct variable *clabels_example;
     struct hmap clabels_values_map;
-    union value *clabels_values;
+    struct ctables_value **clabels_values;
+    size_t n_clabels_values;
 
     enum pivot_axis_type slabels_axis;
     bool slabels_visible;
@@ -342,6 +344,7 @@ struct ctables_table
        opposite axis or PIVOT_AXIS_LAYER.  Only one of them will differ.
     */
     enum pivot_axis_type label_axis[PIVOT_N_AXES];
+    enum pivot_axis_type clabels_from_axis;
 
     /* Indexed by variable dictionary index. */
     struct ctables_categories **categories;
@@ -1922,7 +1925,8 @@ ctables_summary_add (union ctables_summary *s,
     case CTSF_LAYERPCT_SUM:
     case CTSF_LAYERROWPCT_SUM:
     case CTSF_LAYERCOLPCT_SUM:
-      moments1_add (s->moments, value->f, weight);
+      if (!var_is_value_missing (var, value))
+        moments1_add (s->moments, value->f, weight);
       break;
 
     case CTSF_MEDIAN:
@@ -2115,8 +2119,8 @@ ctables_cell_compare_3way (const void *a_, const void *b_, const void *aux_)
   const struct ctables_cell *a = *ap;
   const struct ctables_cell *b = *bp;
 
-  size_t a_idx = a->axes[aux->a].stack_idx;
-  size_t b_idx = b->axes[aux->a].stack_idx;
+  size_t a_idx = a->axes[aux->a].nest_idx;
+  size_t b_idx = b->axes[aux->a].nest_idx;
   if (a_idx != b_idx)
     return a_idx < b_idx ? -1 : 1;
 
@@ -2205,7 +2209,7 @@ ctables_domain_insert (struct ctables_table *t, struct ctables_cell *cell,
   size_t hash = 0;
   for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
     {
-      size_t idx = cell->axes[a].stack_idx;
+      size_t idx = cell->axes[a].nest_idx;
       const struct ctables_nest *nest = &t->stacks[a].nests[idx];
       hash = hash_int (idx, hash);
       for (size_t i = 0; i < nest->n_domains[domain]; i++)
@@ -2222,8 +2226,8 @@ ctables_domain_insert (struct ctables_table *t, struct ctables_cell *cell,
       const struct ctables_cell *df = d->example;
       for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
         {
-          size_t idx = cell->axes[a].stack_idx;
-          if (idx != df->axes[a].stack_idx)
+          size_t idx = cell->axes[a].nest_idx;
+          if (idx != df->axes[a].nest_idx)
             goto not_equal;
 
           const struct ctables_nest *nest = &t->stacks[a].nests[idx];
@@ -2340,7 +2344,7 @@ ctables_cell_insert__ (struct ctables_table *t, const struct ccase *c,
       for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
         {
           const struct ctables_nest *nest = &t->stacks[a].nests[ix[a]];
-          if (cell->axes[a].stack_idx != ix[a])
+          if (cell->axes[a].nest_idx != ix[a])
             goto not_equal;
           for (size_t i = 0; i < nest->n; i++)
             if (i != nest->scale_idx
@@ -2365,7 +2369,7 @@ ctables_cell_insert__ (struct ctables_table *t, const struct ccase *c,
   for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
     {
       const struct ctables_nest *nest = &t->stacks[a].nests[ix[a]];
-      cell->axes[a].stack_idx = ix[a];
+      cell->axes[a].nest_idx = ix[a];
       cell->axes[a].cvs = (nest->n
                         ? xnmalloc (nest->n, sizeof *cell->axes[a].cvs)
                         : NULL);
@@ -2443,6 +2447,34 @@ recurse_totals (struct ctables_table *t, const struct ccase *c,
     }
 }
 
+static void
+recurse_subtotals (struct ctables_table *t, const struct ccase *c,
+                   size_t ix[PIVOT_N_AXES],
+                   const struct ctables_category *cats[PIVOT_N_AXES][10],
+                   double weight,
+                   enum pivot_axis_type start_axis, size_t start_nest)
+{
+  for (enum pivot_axis_type a = start_axis; a < PIVOT_N_AXES; a++)
+    {
+      const struct ctables_nest *nest = &t->stacks[a].nests[ix[a]];
+      for (size_t i = start_nest; i < nest->n; i++)
+        {
+          if (i == nest->scale_idx)
+            continue;
+
+          const struct ctables_category *save = cats[a][i];
+          if (save->subtotal)
+            {
+              cats[a][i] = save->subtotal;
+              ctables_cell_add__ (t, c, ix, cats, weight);
+              recurse_subtotals (t, c, ix, cats, weight, a, i + 1);
+              cats[a][i] = save;
+            }
+        }
+      start_nest = 0;
+    }
+}
+
 static void
 ctables_cell_insert (struct ctables_table *t,
                      const struct ccase *c,
@@ -2480,24 +2512,7 @@ ctables_cell_insert (struct ctables_table *t,
   ctables_cell_add__ (t, c, ix, cats, weight);
 
   recurse_totals (t, c, ix, cats, weight, 0, 0);
-
-  for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
-    {
-      const struct ctables_nest *nest = &t->stacks[a].nests[ix[a]];
-      for (size_t i = 0; i < nest->n; i++)
-        {
-          if (i == nest->scale_idx)
-            continue;
-
-          const struct ctables_category *save = cats[a][i];
-          if (save->subtotal)
-            {
-              cats[a][i] = save->subtotal;
-              ctables_cell_add__ (t, c, ix, cats, weight);
-              cats[a][i] = save;
-            }
-        }
-    }
+  recurse_subtotals (t, c, ix, cats, weight, 0, 0);
 }
 
 struct merge_item
@@ -2518,8 +2533,38 @@ merge_item_compare_3way (const struct merge_item *a, const struct merge_item *b)
   return strcmp (as->label, bs->label);
 }
 
+static struct pivot_value *
+ctables_category_create_label (const struct ctables_category *cat,
+                               const struct variable *var,
+                               const union value *value)
+{
+  return (cat->type == CCT_TOTAL || cat->type == CCT_SUBTOTAL || cat->type == CCT_HSUBTOTAL
+          ? pivot_value_new_user_text (cat->total_label, SIZE_MAX)
+          : pivot_value_new_var_value (var, value));
+}
+
+static struct ctables_value *
+ctables_value_find__ (struct ctables_table *t, const union value *value,
+                      int width, unsigned int hash)
+{
+  struct ctables_value *clv;
+  HMAP_FOR_EACH_WITH_HASH (clv, struct ctables_value, node,
+                           hash, &t->clabels_values_map)
+    if (value_equal (value, &clv->value, width))
+      return clv;
+  return NULL;
+}
+
+static struct ctables_value *
+ctables_value_find (struct ctables_table *t,
+                    const union value *value, int width)
+{
+  return ctables_value_find__ (t, value, width,
+                               value_hash (value, width, 0));
+}
+
 static void
-ctables_table_output_same_axis (struct ctables *ct, struct ctables_table *t)
+ctables_table_output (struct ctables *ct, struct ctables_table *t)
 {
   struct pivot_table *pt = pivot_table_create__ (
     (t->title
@@ -2533,6 +2578,41 @@ ctables_table_output_same_axis (struct ctables *ct, struct ctables_table *t)
     pivot_table_set_caption (
       pt, pivot_value_new_user_text (t->corner, SIZE_MAX));
 
+  bool summary_dimension = (t->summary_axis != t->slabels_axis
+                            || (!t->slabels_visible
+                                && t->summary_specs.n > 1));
+  if (summary_dimension)
+    {
+      struct pivot_dimension *d = pivot_dimension_create (
+        pt, t->slabels_axis, N_("Statistics"));
+      const struct ctables_summary_spec_set *specs = &t->summary_specs;
+      if (!t->slabels_visible)
+        d->hide_all_labels = true;
+      for (size_t i = 0; i < specs->n; i++)
+        pivot_category_create_leaf (
+          d->root, pivot_value_new_text (specs->specs[i].label));
+    }
+
+  bool categories_dimension = t->clabels_example != NULL;
+  if (categories_dimension)
+    {
+      struct pivot_dimension *d = pivot_dimension_create (
+        pt, t->label_axis[t->clabels_from_axis],
+        t->clabels_from_axis == PIVOT_AXIS_ROW
+        ? N_("Row Categories")
+        : N_("Column Categories"));
+      const struct variable *var = t->clabels_example;
+      const struct ctables_categories *c = t->categories[var_get_dict_index (var)];
+      for (size_t i = 0; i < t->n_clabels_values; i++)
+        {
+          const struct ctables_value *value = t->clabels_values[i];
+          const struct ctables_category *cat = ctables_categories_match (c, &value->value, var);
+          assert (cat != NULL);
+          pivot_category_create_leaf (d->root, ctables_category_create_label (
+                                        cat, t->clabels_example, &value->value));
+        }
+    }
+
   pivot_table_set_look (pt, ct->look);
   struct pivot_dimension *d[PIVOT_N_AXES];
   for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
@@ -2551,113 +2631,157 @@ ctables_table_output_same_axis (struct ctables *ct, struct ctables_table *t)
       assert (t->axes[a]);
 
       struct ctables_cell **sorted = xnmalloc (t->cells.count, sizeof *sorted);
+      size_t n_sorted = 0;
 
       struct ctables_cell *cell;
-      size_t n = 0;
       HMAP_FOR_EACH (cell, struct ctables_cell, node, &t->cells)
         if (!cell->hide)
-          sorted[n++] = cell;
-      assert (n <= t->cells.count);
+          sorted[n_sorted++] = cell;
+      assert (n_sorted <= t->cells.count);
 
       struct ctables_cell_sort_aux aux = { .t = t, .a = a };
-      sort (sorted, n, sizeof *sorted, ctables_cell_compare_3way, &aux);
+      sort (sorted, n_sorted, sizeof *sorted, ctables_cell_compare_3way, &aux);
 
       size_t max_depth = 0;
       for (size_t j = 0; j < t->stacks[a].n; j++)
         if (t->stacks[a].nests[j].n > max_depth)
           max_depth = t->stacks[a].nests[j].n;
 
-      struct pivot_category **groups = xnmalloc (max_depth, sizeof *groups);
-      struct pivot_category *top = NULL;
+      /* Pivot categories:
+
+         - variable label for nest->vars[0], if vlabel != CTVL_NONE
+         - category for nest->vars[0], if nest->scale_idx != 0
+         - variable label for nest->vars[1], if vlabel != CTVL_NONE
+         - category for nest->vars[1], if nest->scale_idx != 1
+         ...
+         - variable label for nest->vars[n - 1], if vlabel != CTVL_NONE
+         - category for nest->vars[n - 1], if t->label_axis[a] == a && nest->scale_idx != n - 1.
+         - summary function, if 'a == t->slabels_axis && a ==
+         t->summary_axis'.
+
+         Additional dimensions:
+
+         - If 'a == t->slabels_axis && a != t->summary_axis', add a summary
+         dimension.
+         - If 't->label_axis[b] == a' for some 'b != a', add a category
+         dimension to 'a'.
+      */
+
+      struct ctables_level
+        {
+          enum ctables_level_type
+            {
+              CTL_VAR,          /* Variable label for nest->vars[var_idx]. */
+              CTL_CATEGORY,     /* Category for nest->vars[var_idx]. */
+              CTL_SUMMARY,      /* Summary functions. */
+            }
+          type;
+
+          size_t var_idx;
+        };
+      struct ctables_level *levels = xnmalloc (1 + 2 * max_depth, sizeof *levels);
+      size_t n_levels = 0;
+
+      struct pivot_category **groups = xnmalloc (1 + 2 * max_depth, sizeof *groups);
       int prev_leaf = 0;
-      for (size_t j = 0; j < n; j++)
+      for (size_t j = 0; j < n_sorted; j++)
         {
           struct ctables_cell *cell = sorted[j];
-          const struct ctables_nest *nest = &t->stacks[a].nests[cell->axes[a].stack_idx];
+          struct ctables_cell *prev = j > 0 ? sorted[j - 1] : NULL;
+          const struct ctables_nest *nest = &t->stacks[a].nests[cell->axes[a].nest_idx];
 
-          size_t n_common = 0;
-          bool new_subtable = false;
-          if (j > 0)
+          bool new_subtable = !prev || prev->axes[a].nest_idx != cell->axes[a].nest_idx;
+          if (new_subtable)
             {
-              struct ctables_cell *prev = sorted[j - 1];
-              if (prev->axes[a].stack_idx == cell->axes[a].stack_idx)
+              n_levels = 0;
+              for (size_t k = 0; k < nest->n; k++)
                 {
-                  for (; n_common < nest->n; n_common++)
-                    if (n_common != nest->scale_idx
-                        && (prev->axes[a].cvs[n_common].category
-                            != cell->axes[a].cvs[n_common].category
-                            || !value_equal (&prev->axes[a].cvs[n_common].value,
-                                             &cell->axes[a].cvs[n_common].value,
-                                             var_get_type (nest->vars[n_common]))))
-                      break;
+                  enum ctables_vlabel vlabel = ct->vlabels[var_get_dict_index (nest->vars[k])];
+                  if (vlabel != CTVL_NONE)
+                    {
+                      levels[n_levels++] = (struct ctables_level) {
+                        .type = CTL_VAR,
+                        .var_idx = k,
+                      };
+                    }
+
+                  if (nest->scale_idx != k
+                      && (k != nest->n - 1 || t->label_axis[a] == a))
+                    {
+                      levels[n_levels++] = (struct ctables_level) {
+                        .type = CTL_CATEGORY,
+                        .var_idx = k,
+                      };
+                    }
                 }
-              else
-                new_subtable = true;
-            }
-          else
-            new_subtable = true;
 
-          if (new_subtable)
-            {
-              enum ctables_vlabel vlabel = ct->vlabels[var_get_dict_index (nest->vars[0])];
-              top = d[a]->root;
-              if (vlabel != CTVL_NONE)
-                top = pivot_category_create_group__ (
-                  top, pivot_value_new_variable (nest->vars[0]));
+              if (!summary_dimension && a == t->slabels_axis)
+                {
+                  levels[n_levels++] = (struct ctables_level) {
+                    .type = CTL_SUMMARY,
+                    .var_idx = SIZE_MAX,
+                  };
+                }
             }
-          if (n_common == nest->n)
+
+          size_t n_common = 0;
+          if (!new_subtable)
             {
-              cell->axes[a].leaf = prev_leaf;
-              continue;
+              for (; n_common < n_levels; n_common++)
+                {
+                  const struct ctables_level *level = &levels[n_common];
+                  if (level->type == CTL_CATEGORY)
+                    {
+                      size_t var_idx = level->var_idx;
+                      const struct ctables_category *c = cell->axes[a].cvs[var_idx].category;
+                      if (prev->axes[a].cvs[var_idx].category != c)
+                        break;
+                      else if (c->type != CCT_SUBTOTAL
+                               && c->type != CCT_HSUBTOTAL
+                               && c->type != CCT_TOTAL
+                               && !value_equal (&prev->axes[a].cvs[var_idx].value,
+                                                &cell->axes[a].cvs[var_idx].value,
+                                                var_get_type (nest->vars[var_idx])))
+                        break;
+                    }
+                }
             }
 
-          for (size_t k = n_common; k < nest->n; k++)
+          for (size_t k = n_common; k < n_levels; k++)
             {
-              struct pivot_category *parent = k > 0 ? groups[k - 1] : top;
-
-              struct pivot_value *label
-                = (k == nest->scale_idx ? NULL
-                   : (cell->axes[a].cvs[k].category->type == CCT_TOTAL
-                      || cell->axes[a].cvs[k].category->type == CCT_SUBTOTAL
-                      || cell->axes[a].cvs[k].category->type == CCT_HSUBTOTAL)
-                   ? pivot_value_new_user_text (cell->axes[a].cvs[k].category->total_label,
-                                                SIZE_MAX)
-                   : pivot_value_new_var_value (nest->vars[k],
-                                                &cell->axes[a].cvs[k].value));
-              if (k == nest->n - 1)
+              const struct ctables_level *level = &levels[k];
+              struct pivot_category *parent = k ? groups[k - 1] : d[a]->root;
+              if (level->type == CTL_SUMMARY)
                 {
-                  if (a == t->summary_axis)
+                  const struct ctables_summary_spec_set *specs = &t->summary_specs;
+                  for (size_t m = 0; m < specs->n; m++)
                     {
-                      if (label)
-                        parent = pivot_category_create_group__ (parent, label);
-                      const struct ctables_summary_spec_set *specs = &nest->specs[cell->sv];
-                      for (size_t m = 0; m < specs->n; m++)
-                        {
-                          int leaf = pivot_category_create_leaf (
-                            parent, pivot_value_new_text (specs->specs[m].label));
-                          if (m == 0)
-                            prev_leaf = leaf;
-                        }
+                      int leaf = pivot_category_create_leaf (
+                        parent, pivot_value_new_text (specs->specs[m].label));
+                      if (!m)
+                        prev_leaf = leaf;
                     }
-                  else
+                }
+              else
+                {
+                  const struct variable *var = nest->vars[level->var_idx];
+                  struct pivot_value *label;
+                  if (level->type == CTL_VAR)
+                    label = pivot_value_new_variable (var);
+                  else if (level->type == CTL_CATEGORY)
                     {
-                      /* This assertion is true as long as the summary axis
-                         is the axis where the summaries are displayed. */
-                      assert (label);
-
-                      prev_leaf = pivot_category_create_leaf (parent, label);
+                      const struct ctables_cell_value *cv = &cell->axes[a].cvs[level->var_idx];
+                      label = ctables_category_create_label (cv->category,
+                                                             var, &cv->value);
                     }
-                  break;
-                }
-
-              if (label)
-                parent = pivot_category_create_group__ (parent, label);
+                  else
+                    NOT_REACHED ();
 
-              enum ctables_vlabel vlabel = ct->vlabels[var_get_dict_index (nest->vars[k + 1])];
-              if (vlabel != CTVL_NONE)
-                parent = pivot_category_create_group__ (
-                  parent, pivot_value_new_variable (nest->vars[k + 1]));
-              groups[k] = parent;
+                  if (k == n_levels - 1)
+                    prev_leaf = pivot_category_create_leaf (parent, label);
+                  else
+                    groups[k] = pivot_category_create_group__ (parent, label);
+                }
             }
 
           cell->axes[a].leaf = prev_leaf;
@@ -2665,24 +2789,38 @@ ctables_table_output_same_axis (struct ctables *ct, struct ctables_table *t)
       free (sorted);
       free (groups);
     }
+
   struct ctables_cell *cell;
   HMAP_FOR_EACH (cell, struct ctables_cell, node, &t->cells)
     {
       if (cell->hide)
         continue;
 
-      const struct ctables_nest *nest = &t->stacks[t->summary_axis].nests[cell->axes[t->summary_axis].stack_idx];
-      const struct ctables_summary_spec_set *specs = &nest->specs[cell->sv];
+      const struct ctables_nest *specs_nest = &t->stacks[t->summary_axis].nests[cell->axes[t->summary_axis].nest_idx];
+      const struct ctables_summary_spec_set *specs = &specs_nest->specs[cell->sv];
       for (size_t j = 0; j < specs->n; j++)
         {
-          size_t dindexes[3];
+          size_t dindexes[5];
           size_t n_dindexes = 0;
 
+          if (summary_dimension)
+            dindexes[n_dindexes++] = specs->specs[j].axis_idx;
+
+          if (categories_dimension)
+            {
+              const struct ctables_nest *clabels_nest = &t->stacks[t->clabels_from_axis].nests[cell->axes[t->clabels_from_axis].nest_idx];
+              const struct variable *var = clabels_nest->vars[clabels_nest->n - 1];
+              const union value *value = &cell->axes[t->clabels_from_axis].cvs[clabels_nest->n - 1].value;
+              const struct ctables_value *ctv = ctables_value_find (t, value, var_get_width (var));
+              assert (ctv != NULL);
+              dindexes[n_dindexes++] = ctv->leaf;
+            }
+
           for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
             if (d[a])
               {
                 int leaf = cell->axes[a].leaf;
-                if (a == t->summary_axis)
+                if (a == t->summary_axis && !summary_dimension)
                   leaf += j;
                 dindexes[n_dindexes++] = leaf;
               }
@@ -2697,175 +2835,94 @@ ctables_table_output_same_axis (struct ctables *ct, struct ctables_table *t)
   pivot_table_submit (pt);
 }
 
-static void
-ctables_table_output_different_axis (struct ctables *ct, struct ctables_table *t)
+static bool
+ctables_check_label_position (struct ctables_table *t, enum pivot_axis_type a)
 {
-  struct pivot_table *pt = pivot_table_create__ (
-    (t->title
-     ? pivot_value_new_user_text (t->title, SIZE_MAX)
-     : pivot_value_new_text (N_("Custom Tables"))),
-    "Custom Tables");
-  if (t->caption)
-    pivot_table_set_caption (
-      pt, pivot_value_new_user_text (t->caption, SIZE_MAX));
-  if (t->corner)
-    pivot_table_set_caption (
-      pt, pivot_value_new_user_text (t->corner, SIZE_MAX));
+  enum pivot_axis_type label_pos = t->label_axis[a];
+  if (label_pos == a)
+    return true;
 
-  pivot_table_set_look (pt, ct->look);
-  struct pivot_dimension *d[PIVOT_N_AXES];
-  for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
-    {
-      static const char *names[] = {
-        [PIVOT_AXIS_ROW] = N_("Rows"),
-        [PIVOT_AXIS_COLUMN] = N_("Columns"),
-        [PIVOT_AXIS_LAYER] = N_("Layers"),
-      };
-      d[a] = (t->axes[a] || a == t->summary_axis
-              ? pivot_dimension_create (pt, a, names[a])
-              : NULL);
-      if (!d[a])
-        continue;
+  t->clabels_from_axis = a;
 
-      assert (t->axes[a]);
+  const char *subcommand_name = a == PIVOT_AXIS_ROW ? "ROWLABELS" : "COLLABELS";
+  const char *pos_name = label_pos == PIVOT_AXIS_LAYER ? "LAYER" : "OPPOSITE";
 
-      struct ctables_cell **sorted = xnmalloc (t->cells.count, sizeof *sorted);
+  const struct ctables_stack *stack = &t->stacks[a];
+  if (!stack->n)
+    return true;
 
-      struct ctables_cell *cell;
-      size_t n = 0;
-      HMAP_FOR_EACH (cell, struct ctables_cell, node, &t->cells)
-        if (!cell->hide)
-          sorted[n++] = cell;
-      assert (n <= t->cells.count);
+  const struct ctables_nest *n0 = &stack->nests[0];
+  assert (n0->n > 0);
+  const struct variable *v0 = n0->vars[n0->n - 1];
+  struct ctables_categories *c0 = t->categories[var_get_dict_index (v0)];
+  t->clabels_example = v0;
 
-      struct ctables_cell_sort_aux aux = { .t = t, .a = a };
-      sort (sorted, n, sizeof *sorted, ctables_cell_compare_3way, &aux);
+  for (size_t i = 0; i < c0->n_cats; i++)
+    if (c0->cats[i].type == CCT_FUNCTION)
+      {
+        msg (SE, _("%s=%s is not allowed with sorting based "
+                   "on a summary function."),
+             subcommand_name, pos_name);
+        return false;
+      }
+  if (n0->n - 1 == n0->scale_idx)
+    {
+      msg (SE, _("%s=%s requires the variables to be moved to be categorical, "
+                 "but %s is a scale variable."),
+           subcommand_name, pos_name, var_get_name (v0));
+      return false;
+    }
 
-      size_t max_depth = 0;
-      for (size_t j = 0; j < t->stacks[a].n; j++)
-        if (t->stacks[a].nests[j].n > max_depth)
-          max_depth = t->stacks[a].nests[j].n;
+  for (size_t i = 1; i < stack->n; i++)
+    {
+      const struct ctables_nest *ni = &stack->nests[i];
+      assert (ni->n > 0);
+      const struct variable *vi = ni->vars[ni->n - 1];
+      struct ctables_categories *ci = t->categories[var_get_dict_index (vi)];
 
-      struct pivot_category **groups = xnmalloc (max_depth, sizeof *groups);
-      struct pivot_category *top = NULL;
-      int prev_leaf = 0;
-      for (size_t j = 0; j < n; j++)
+      if (ni->n - 1 == ni->scale_idx)
         {
-          struct ctables_cell *cell = sorted[j];
-          const struct ctables_nest *nest = &t->stacks[a].nests[cell->axes[a].stack_idx];
-
-          /* Pivot categories:
-
-             - variable label for nest->vars[0], if vlabel != CTVL_NONE
-             - category for nest->vars[0]
-             - variable label for nest->vars[1], if vlabel != CTVL_NONE
-             - category for nest->vars[1]
-             ...
-             - variable label for nest->vars[nest->n - 1], if vlabel != CTVL_NONE
-             - category for nest->vars[nest->n - 1], unless axis A's
-               labels are moved to another axis
-             - summary function, if 'a == t->summary_axis && t->slabels_axis ==
-               t->summary_axis'
-
-             Additional dimensions:
-
-             - If 't->slabels_axis != t->summary_axis', add a summary dimension
-               to t->slabels_axis.
-             - If 't->row_labels == 
-
-           */
-
-          size_t n_common = 0;
-          bool new_subtable = false;
-          if (j > 0)
-            {
-              struct ctables_cell *prev = sorted[j - 1];
-              if (prev->axes[a].stack_idx == cell->axes[a].stack_idx)
-                {
-                  for (; n_common < nest->n; n_common++)
-                    if (n_common != nest->scale_idx
-                        && (prev->axes[a].cvs[n_common].category
-                            != cell->axes[a].cvs[n_common].category
-                            || !value_equal (&prev->axes[a].cvs[n_common].value,
-                                             &cell->axes[a].cvs[n_common].value,
-                                             var_get_type (nest->vars[n_common]))))
-                      break;
-                }
-              else
-                new_subtable = true;
-            }
-          else
-            new_subtable = true;
-
-          if (new_subtable)
-            {
-              enum ctables_vlabel vlabel = ct->vlabels[var_get_dict_index (nest->vars[0])];
-              top = d[a]->root;
-              if (vlabel != CTVL_NONE)
-                top = pivot_category_create_group__ (
-                  top, pivot_value_new_variable (nest->vars[0]));
-            }
-          if (n_common == nest->n)
-            {
-              cell->axes[a].leaf = prev_leaf;
-              continue;
-            }
-
-          for (size_t k = n_common; k < nest->n; k++)
-            {
-              struct pivot_category *parent = k > 0 ? groups[k - 1] : top;
-
-              struct pivot_value *label
-                = (k == nest->scale_idx ? NULL
-                   : (cell->axes[a].cvs[k].category->type == CCT_TOTAL
-                      || cell->axes[a].cvs[k].category->type == CCT_SUBTOTAL
-                      || cell->axes[a].cvs[k].category->type == CCT_HSUBTOTAL)
-                   ? pivot_value_new_user_text (cell->axes[a].cvs[k].category->total_label,
-                                                SIZE_MAX)
-                   : pivot_value_new_var_value (nest->vars[k],
-                                                &cell->axes[a].cvs[k].value));
-              if (k == nest->n - 1)
-                {
-                  if (a == t->slabels_axis)
-                    {
-                      if (label)
-                        parent = pivot_category_create_group__ (parent, label);
-                      const struct ctables_summary_spec_set *specs = &t->summary_specs;
-                      for (size_t m = 0; m < specs->n; m++)
-                        {
-                          int leaf = pivot_category_create_leaf (
-                            parent, pivot_value_new_text (specs->specs[m].label));
-                          if (m == 0)
-                            prev_leaf = leaf;
-                        }
-                    }
-                  else
-                    {
-                      prev_leaf = pivot_category_create_leaf (parent, label ? label : pivot_value_new_user_text ("text", SIZE_MAX));
-                    }
-                  break;
-                }
-
-              if (label)
-                parent = pivot_category_create_group__ (parent, label);
-
-              enum ctables_vlabel vlabel = ct->vlabels[var_get_dict_index (nest->vars[k + 1])];
-              if (vlabel != CTVL_NONE)
-                parent = pivot_category_create_group__ (
-                  parent, pivot_value_new_variable (nest->vars[k + 1]));
-              groups[k] = parent;
-            }
-
-          cell->axes[a].leaf = prev_leaf;
+          msg (SE, _("%s=%s requires the variables to be moved to be "
+                     "categorical, but %s is a scale variable."),
+               subcommand_name, pos_name, var_get_name (vi));
+          return false;
+        }
+      if (var_get_width (v0) != var_get_width (vi))
+        {
+          msg (SE, _("%s=%s requires the variables to be "
+                     "moved to have the same width, but %s has "
+                     "width %d and %s has width %d."),
+               subcommand_name, pos_name,
+               var_get_name (v0), var_get_width (v0),
+               var_get_name (vi), var_get_width (vi));
+          return false;
+        }
+      if (!val_labs_equal (var_get_value_labels (v0),
+                           var_get_value_labels (vi)))
+        {
+          msg (SE, _("%s=%s requires the variables to be "
+                     "moved to have the same value labels, but %s "
+                     "and %s have different value labels."),
+               subcommand_name, pos_name,
+               var_get_name (v0), var_get_name (vi));
+          return false;
+        }
+      if (!ctables_categories_equal (c0, ci))
+        {
+          msg (SE, _("%s=%s requires the variables to be "
+                     "moved to have the same category "
+                     "specifications, but %s and %s have different "
+                     "category specifications."),
+               subcommand_name, pos_name,
+               var_get_name (v0), var_get_name (vi));
+          return false;
         }
-      free (sorted);
-      free (groups);
     }
-  pivot_table_submit (pt);
-}
 
+  return true;
+}
 
-static void
+static bool
 ctables_prepare_table (struct ctables_table *t)
 {
   for (enum pivot_axis_type a = 0; a < PIVOT_N_AXES; a++)
@@ -3019,6 +3076,9 @@ ctables_prepare_table (struct ctables_table *t)
         }
     }
 #endif
+
+  return (ctables_check_label_position (t, PIVOT_AXIS_ROW)
+          && ctables_check_label_position (t, PIVOT_AXIS_COLUMN));
 }
 
 static void
@@ -3029,32 +3089,38 @@ ctables_insert_clabels_values (struct ctables_table *t, const struct ccase *c,
   for (size_t i = 0; i < stack->n; i++)
     {
       const struct ctables_nest *nest = &stack->nests[i];
-      const struct variable *v = nest->vars[nest->n - 1];
-      int width = var_get_width (v);
-      const union value *value = case_data (c, v);
-      unsigned int hash = value_hash (value, width, 0);
+      const struct variable *var = nest->vars[nest->n - 1];
+      int width = var_get_width (var);
+      const union value *value = case_data (c, var);
+
+      if (var_is_numeric (var) && value->f == SYSMIS)
+        continue;
 
-      struct ctables_value *clv;
-      HMAP_FOR_EACH_WITH_HASH (clv, struct ctables_value, node, hash,
-                               &t->clabels_values_map)
-        if (value_equal (value, &clv->value, width))
-          goto next_stack;
+      if (!ctables_categories_match (t->categories [var_get_dict_index (var)],
+                                     value, var))
+        continue;
 
-      clv = xmalloc (sizeof *clv);
-      value_clone (&clv->value, value, width);
-      hmap_insert (&t->clabels_values_map, &clv->node, hash);
+      unsigned int hash = value_hash (value, width, 0);
 
-    next_stack: ;
+      struct ctables_value *clv = ctables_value_find__ (t, value, width, hash);
+      if (!clv)
+        {
+          clv = xmalloc (sizeof *clv);
+          value_clone (&clv->value, value, width);
+          hmap_insert (&t->clabels_values_map, &clv->node, hash);
+        }
     }
 }
 
 static int
 compare_clabels_values_3way (const void *a_, const void *b_, const void *width_)
 {
-  const union value *a = a_;
-  const union value *b = b_;
+  const struct ctables_value *const *ap = a_;
+  const struct ctables_value *const *bp = b_;
+  const struct ctables_value *a = *ap;
+  const struct ctables_value *b = *bp;
   const int *width = width_;
-  return value_compare_3way (a, b, *width);
+  return value_compare_3way (&a->value, &b->value, *width);
 }
 
 static void
@@ -3065,14 +3131,18 @@ ctables_sort_clabels_values (struct ctables_table *t)
   size_t n = hmap_count (&t->clabels_values_map);
   t->clabels_values = xnmalloc (n, sizeof *t->clabels_values);
 
-  const struct ctables_value *clv;
+  struct ctables_value *clv;
   size_t i = 0;
   HMAP_FOR_EACH (clv, struct ctables_value, node, &t->clabels_values_map)
-    t->clabels_values[i++] = clv->value;
+    t->clabels_values[i++] = clv;
+  t->n_clabels_values = n;
   assert (i == n);
 
   sort (t->clabels_values, n, sizeof *t->clabels_values,
         compare_clabels_values_3way, &width);
+
+  for (size_t i = 0; i < n; i++)
+    t->clabels_values[i]->leaf = i;
 }
 
 static bool
@@ -3113,85 +3183,11 @@ ctables_execute (struct dataset *ds, struct ctables *ct)
       if (t->clabels_example)
         ctables_sort_clabels_values (t);
 
-      if (t->summary_axis == t->slabels_axis)
-        ctables_table_output_same_axis (ct, ct->tables[i]);
-      else
-        ctables_table_output_different_axis (ct, ct->tables[i]);
+      ctables_table_output (ct, ct->tables[i]);
     }
   return proc_commit (ds);
 }
 
-static bool
-ctables_check_label_position (struct ctables_table *t, enum pivot_axis_type a)
-{
-  enum pivot_axis_type label_pos = t->label_axis[a];
-  if (label_pos == a)
-    return true;
-
-  const char *subcommand_name = a == PIVOT_AXIS_ROW ? "ROWLABELS" : "COLLABELS";
-  const char *pos_name = label_pos == PIVOT_AXIS_LAYER ? "LAYER" : "OPPOSITE";
-
-  const struct ctables_stack *stack = &t->stacks[a];
-  if (!stack->n)
-    return true;
-
-  const struct ctables_nest *n0 = &stack->nests[0];
-  assert (n0->n > 0);
-  const struct variable *v0 = n0->vars[n0->n - 1];
-  struct ctables_categories *c0 = t->categories[var_get_dict_index (v0)];
-  t->clabels_example = v0;
-
-  for (size_t i = 0; i < c0->n_cats; i++)
-    if (c0->cats[i].type == CCT_FUNCTION)
-      {
-        msg (SE, _("%s=%s is not allowed with sorting based "
-                   "on a summary function."),
-             subcommand_name, pos_name);
-        return false;
-      }
-
-  for (size_t i = 1; i < stack->n; i++)
-    {
-      const struct ctables_nest *ni = &stack->nests[i];
-      assert (ni->n > 0);
-      const struct variable *vi = ni->vars[ni->n - 1];
-      struct ctables_categories *ci = t->categories[var_get_dict_index (vi)];
-
-      if (var_get_width (v0) != var_get_width (vi))
-        {
-          msg (SE, _("%s=%s requires the variables to be "
-                     "moved to have the same width, but %s has "
-                     "width %d and %s has width %d."),
-               subcommand_name, pos_name,
-               var_get_name (v0), var_get_width (v0),
-               var_get_name (vi), var_get_width (vi));
-          return false;
-        }
-      if (!val_labs_equal (var_get_value_labels (v0),
-                           var_get_value_labels (vi)))
-        {
-          msg (SE, _("%s=%s requires the variables to be "
-                     "moved to have the same value labels, but %s "
-                     "and %s have different value labels."),
-               subcommand_name, pos_name,
-               var_get_name (v0), var_get_name (vi));
-          return false;
-        }
-      if (!ctables_categories_equal (c0, ci))
-        {
-          msg (SE, _("%s=%s requires the variables to be "
-                     "moved to have the same category "
-                     "specifications, but %s and %s have different "
-                     "category specifications."),
-               subcommand_name, pos_name,
-               var_get_name (v0), var_get_name (vi));
-          return false;
-        }
-    }
-
-  return true;
-}
-
 int
 cmd_ctables (struct lexer *lexer, struct dataset *ds)
 {
@@ -3435,6 +3431,7 @@ cmd_ctables (struct lexer *lexer, struct dataset *ds)
           [PIVOT_AXIS_COLUMN] = PIVOT_AXIS_COLUMN,
           [PIVOT_AXIS_LAYER] = PIVOT_AXIS_LAYER,
         },
+        .clabels_from_axis = PIVOT_AXIS_LAYER, 
         .categories = categories,
         .n_categories = n_vars,
         .cilevel = 95,
@@ -3522,7 +3519,11 @@ cmd_ctables (struct lexer *lexer, struct dataset *ds)
           }
 
       if (lex_token (lexer) == T_ENDCMD)
-        break;
+        {
+          if (!ctables_prepare_table (t))
+            goto error;
+          break;
+        }
       if (!lex_force_match (lexer, T_SLASH))
         break;
 
@@ -3870,10 +3871,8 @@ cmd_ctables (struct lexer *lexer, struct dataset *ds)
           goto error;
         }
 
-      ctables_prepare_table (t);
-
-      ctables_check_label_position (t, PIVOT_AXIS_ROW);
-      ctables_check_label_position (t, PIVOT_AXIS_COLUMN);
+      if (!ctables_prepare_table (t))
+        goto error;
     }
   while (lex_token (lexer) != T_ENDCMD);