Add support for reading and writing SPV files.
[pspp] / src / output / pivot-output.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 2018 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include <stdlib.h>
20
21 #include "output/pivot-table.h"
22
23 #include "data/settings.h"
24 #include "libpspp/assertion.h"
25 #include "libpspp/pool.h"
26 #include "output/tab.h"
27 #include "output/table.h"
28 #include "output/table-item.h"
29 #include "output/text-item.h"
30 #include "output/table-provider.h"
31
32 #include "gl/minmax.h"
33 #include "gl/xalloc.h"
34
35 #define H TABLE_HORZ
36 #define V TABLE_VERT
37
38 static const struct pivot_category *
39 find_category (const struct pivot_dimension *d, int dim_index,
40                const size_t *indexes, int row_ofs)
41 {
42   size_t index = indexes[dim_index];
43   assert (index < d->n_leaves);
44   for (const struct pivot_category *c = d->presentation_leaves[index];
45        c; c = c->parent)
46     {
47       if (!row_ofs)
48         return c;
49
50       row_ofs -= 1 + c->extra_depth;
51       if (row_ofs < 0)
52         return NULL;
53     }
54   return NULL;
55 }
56
57 static struct area_style *
58 area_style_override (struct pool *pool,
59                      const struct area_style *in,
60                      const struct cell_style *cell_,
61                      const struct font_style *font_)
62 {
63   const struct cell_style *cell = cell_ ? cell_ : &in->cell_style;
64   const struct font_style *font = font_ ? font_ : &in->font_style;
65
66   struct area_style *out = (pool
67                             ? pool_alloc (pool, sizeof *out)
68                             : xmalloc (sizeof *out));
69   *out = (struct area_style) {
70     .cell_style.halign = cell->halign,
71     .cell_style.valign = cell->valign,
72     .cell_style.decimal_offset = cell->decimal_offset,
73     .cell_style.margin[H][0] = cell->margin[H][0],
74     .cell_style.margin[H][1] = cell->margin[H][1],
75     .cell_style.margin[V][0] = cell->margin[V][0],
76     .cell_style.margin[V][1] = cell->margin[V][1],
77     .font_style.fg[0] = font->fg[0],
78     .font_style.fg[1] = font->fg[1],
79     .font_style.bg[0] = font->bg[0],
80     .font_style.bg[1] = font->bg[1],
81     .font_style.typeface = (font->typeface
82                             ? pool_strdup (pool, font->typeface)
83                             : NULL),
84     .font_style.size = font->size,
85     .font_style.bold = font->bold,
86     .font_style.italic = font->italic,
87     .font_style.underline = font->underline,
88     .font_style.markup = font->markup,
89   };
90   return out;
91 }
92
93 static void
94 fill_cell (struct tab_table *t, int x1, int y1, int x2, int y2,
95            const struct area_style *style, int style_idx,
96            const struct pivot_value *value, struct footnote **footnotes,
97            enum settings_value_show show_values,
98            enum settings_value_show show_variables,
99            bool rotate_label)
100 {
101
102   struct string s = DS_EMPTY_INITIALIZER;
103   int opts = style_idx << TAB_STYLE_SHIFT;
104   if (value)
105     {
106       bool numeric = pivot_value_format_body (value, show_values,
107                                               show_variables, &s);
108       if (numeric)
109         opts |= TAB_NUMERIC;
110       if (value->font_style && value->font_style->markup)
111         opts |= TAB_MARKUP;
112       if (rotate_label)
113         opts |= TAB_ROTATE;
114     }
115   tab_joint_text (t, x1, y1, x2, y2, opts, ds_cstr (&s));
116   ds_destroy (&s);
117
118   if (value)
119     {
120       if (value->cell_style || value->font_style)
121         tab_add_style (t, x1, y1,
122                        area_style_override (t->container, style,
123                                             value->cell_style,
124                                             value->font_style));
125
126       for (size_t i = 0; i < value->n_footnotes; i++)
127         tab_add_footnote (t, x1, y1, footnotes[value->footnotes[i]->idx]);
128     }
129 }
130
131 static struct table_item_text *
132 pivot_value_to_table_item_text (const struct pivot_value *value,
133                                 const struct area_style *area,
134                                 struct footnote **footnotes,
135                                 enum settings_value_show show_values,
136                                 enum settings_value_show show_variables)
137 {
138   if (!value)
139     return NULL;
140
141   struct string s = DS_EMPTY_INITIALIZER;
142   pivot_value_format_body (value, show_values, show_variables, &s);
143
144   struct table_item_text *text = xmalloc (sizeof *text);
145   *text = (struct table_item_text) {
146     .content = ds_steal_cstr (&s),
147     .footnotes = xnmalloc (value->n_footnotes, sizeof *text->footnotes),
148     .n_footnotes = value->n_footnotes,
149     .style = area_style_override (
150       NULL, area, value->cell_style, value->font_style),
151   };
152
153   for (size_t i = 0; i < value->n_footnotes; i++)
154     text->footnotes[i] = footnotes[value->footnotes[i]->idx];
155
156   return text;
157 }
158
159 static int
160 get_table_rule (const struct table_border_style *styles,
161                 enum pivot_border style_idx)
162 {
163   return styles[style_idx].stroke | (style_idx << TAB_RULE_STYLE_SHIFT);
164 }
165
166 static void
167 draw_line (struct tab_table *t, const struct table_border_style *styles,
168            enum pivot_border style_idx,
169            enum table_axis axis, int a, int b0, int b1)
170 {
171   int rule = get_table_rule (styles, style_idx);
172   if (axis == H)
173     tab_hline (t, rule, b0, b1, a);
174   else
175     tab_vline (t, rule, a, b0, b1);
176 }
177
178 static void
179 compose_headings (struct tab_table *t,
180                   const struct pivot_axis *a_axis, enum table_axis a,
181                   const struct pivot_axis *b_axis,
182                   const struct table_border_style *borders,
183                   enum pivot_border dim_col_horz,
184                   enum pivot_border dim_col_vert,
185                   enum pivot_border cat_col_horz,
186                   enum pivot_border cat_col_vert,
187                   const size_t *column_enumeration, size_t n_columns,
188                   const struct area_style *label_style, int label_style_idx,
189                   const struct area_style *corner_style,
190                   struct footnote **footnotes,
191                   enum settings_value_show show_values,
192                   enum settings_value_show show_variables,
193                   bool rotate_inner_labels, bool rotate_outer_labels)
194 {
195   enum table_axis b = !a;
196   int b_size = a_axis->label_depth;
197   int a_ofs = b_axis->label_depth;
198
199   if (!a_axis->n_dimensions || !n_columns || !b_size)
200     return;
201
202   int bottom_row = b_size - 1;
203   const int stride = MAX (1, a_axis->n_dimensions);
204   for (int dim_index = 0; dim_index < a_axis->n_dimensions; dim_index++)
205     {
206       const struct pivot_dimension *d = a_axis->dimensions[dim_index];
207       if (d->hide_all_labels)
208         continue;
209
210       for (int row_ofs = 0; row_ofs < d->label_depth; row_ofs++)
211         {
212           for (size_t x1 = 0; x1 < n_columns; )
213             {
214               const struct pivot_category *c = find_category (
215                 d, dim_index, column_enumeration + x1 * stride, row_ofs);
216               if (!c)
217                 {
218                   x1++;
219                   continue;
220                 }
221
222               size_t x2;
223               for (x2 = x1 + 1; x2 < n_columns; x2++)
224                 {
225                   const struct pivot_category *c2 = find_category (
226                     d, dim_index, column_enumeration + x2 * stride, row_ofs);
227                   if (c != c2)
228                     break;
229                 }
230
231               int y1 = bottom_row - row_ofs - c->extra_depth;
232               int y2 = bottom_row - row_ofs + 1;
233               bool is_outer_row = y1 == 0;
234               bool is_inner_row = y2 == b_size;
235               if (pivot_category_is_leaf (c) || c->show_label)
236                 {
237                   int bb[TABLE_N_AXES][2];
238                   bb[a][0] = x1 + a_ofs;
239                   bb[a][1] = x2 + a_ofs - 1;
240                   bb[b][0] = y1;
241                   bb[b][1] = y2 - 1;
242                   bool rotate = ((rotate_inner_labels && is_inner_row)
243                                  || (rotate_outer_labels && is_outer_row));
244                   fill_cell (t, bb[H][0], bb[V][0], bb[H][1], bb[V][1],
245                              label_style, label_style_idx, c->name, footnotes,
246                              show_values, show_variables, rotate);
247
248                   if (pivot_category_is_leaf (c) && x2 + 1 <= n_columns)
249                     {
250                       enum pivot_border style
251                         = (y1 == 0 && a_axis->label_depth > d->label_depth
252                            ? dim_col_vert
253                            : cat_col_vert);
254                       draw_line (t, borders, style, b, x2 + a_ofs, y1,
255                                  t->table.n[b] - 1);
256                     }
257                   if (pivot_category_is_leaf (c) && x1 > 0)
258                     {
259                       enum pivot_border style
260                         = (y1 == 0 && a_axis->label_depth > d->label_depth
261                            ? dim_col_vert
262                            : cat_col_vert);
263                       draw_line (t, borders, style, b, x1 + a_ofs, y1,
264                                  t->table.n[b] - 1);
265                     }
266                 }
267               if (c->parent && c->parent->show_label)
268                 draw_line (t, borders, cat_col_horz, a, y1,
269                            x1 + a_ofs, x2 + a_ofs - 1);
270
271               x1 = x2;
272             }
273         }
274
275       if (d->root->show_label_in_corner && a_ofs > 0)
276         {
277           int bb[TABLE_N_AXES][2];
278           bb[a][0] = a_ofs - 1;
279           bb[a][1] = a_ofs - 1;
280           bb[b][0] = bottom_row - d->label_depth + 1;
281           bb[b][1] = bottom_row;
282           fill_cell (t, bb[H][0], bb[V][0], bb[H][1], bb[V][1],
283                      corner_style, PIVOT_AREA_CORNER, d->root->name, footnotes,
284                      show_values, show_variables, false);
285         }
286
287       if (dim_index > 1)
288         draw_line (t, borders, dim_col_horz, a, bottom_row + 1, a_ofs,
289                    t->table.n[a] - 1);
290
291       bottom_row -= d->label_depth;
292     }
293 }
294
295 static void
296 pivot_table_submit_layer (const struct pivot_table *pt,
297                           const size_t *layer_indexes)
298 {
299   const size_t *pindexes[PIVOT_N_AXES]
300     = { [PIVOT_AXIS_LAYER] = layer_indexes };
301
302   size_t body[TABLE_N_AXES];
303   size_t *column_enumeration = pivot_table_enumerate_axis (
304     pt, PIVOT_AXIS_COLUMN, layer_indexes, pt->omit_empty, &body[H]);
305   size_t *row_enumeration = pivot_table_enumerate_axis (
306     pt, PIVOT_AXIS_ROW, layer_indexes, pt->omit_empty, &body[V]);
307
308   int stub[TABLE_N_AXES] = {
309     [H] = pt->axes[PIVOT_AXIS_ROW].label_depth,
310     [V] = pt->axes[PIVOT_AXIS_COLUMN].label_depth,
311   };
312   struct tab_table *table = tab_create (body[H] + stub[H],
313                                         body[V] + stub[V]);
314   tab_headers (table, stub[H], 0, stub[V], 0);
315
316   for (size_t i = 0; i < PIVOT_N_AREAS; i++)
317     table->styles[i] = area_style_override (table->container, &pt->areas[i],
318                                             NULL, NULL);
319
320   for (size_t i = 0; i < PIVOT_N_BORDERS; i++)
321     {
322       const struct table_border_style *in = &pt->borders[i];
323       table->rule_colors[i] = pool_alloc (table->container,
324                                           sizeof *table->rule_colors[i]);
325       struct cell_color *out = table->rule_colors[i];
326       out->alpha = in->color.alpha;
327       out->r = in->color.r;
328       out->g = in->color.g;
329       out->b = in->color.b;
330     }
331
332   struct footnote **footnotes = xcalloc (pt->n_footnotes, sizeof *footnotes);
333   for (size_t i = 0; i < pt->n_footnotes; i++)
334     {
335       char *content = pivot_value_to_string (
336         pt->footnotes[i]->content, pt->show_values, pt->show_variables);
337       char *marker = pivot_value_to_string (
338         pt->footnotes[i]->marker, pt->show_values, pt->show_variables);
339       footnotes[i] = tab_create_footnote (
340         table, i, content, marker,
341         area_style_override (table->container, &pt->areas[PIVOT_AREA_FOOTER],
342                              pt->footnotes[i]->content->cell_style,
343                              pt->footnotes[i]->content->font_style));
344       free (marker);
345       free (content);
346     }
347
348   compose_headings (table,
349                     &pt->axes[PIVOT_AXIS_COLUMN], H, &pt->axes[PIVOT_AXIS_ROW],
350                     pt->borders,
351                     PIVOT_BORDER_DIM_COL_HORZ,
352                     PIVOT_BORDER_DIM_COL_VERT,
353                     PIVOT_BORDER_CAT_COL_HORZ,
354                     PIVOT_BORDER_CAT_COL_VERT,
355                     column_enumeration, body[H],
356                     &pt->areas[PIVOT_AREA_COLUMN_LABELS],
357                     PIVOT_AREA_COLUMN_LABELS,
358                     &pt->areas[PIVOT_AREA_CORNER], footnotes,
359                     pt->show_values, pt->show_variables,
360                     pt->rotate_inner_column_labels, false);
361
362   compose_headings (table,
363                     &pt->axes[PIVOT_AXIS_ROW], V, &pt->axes[PIVOT_AXIS_COLUMN],
364                     pt->borders,
365                     PIVOT_BORDER_DIM_ROW_VERT,
366                     PIVOT_BORDER_DIM_ROW_HORZ,
367                     PIVOT_BORDER_CAT_ROW_VERT,
368                     PIVOT_BORDER_CAT_ROW_HORZ,
369                     row_enumeration, body[V],
370                     &pt->areas[PIVOT_AREA_ROW_LABELS],
371                     PIVOT_AREA_ROW_LABELS,
372                     &pt->areas[PIVOT_AREA_CORNER], footnotes,
373                     pt->show_values, pt->show_variables,
374                     false, pt->rotate_outer_row_labels);
375
376   size_t *dindexes = xcalloc (pt->n_dimensions, sizeof *dindexes);
377   size_t y = 0;
378   PIVOT_ENUMERATION_FOR_EACH (pindexes[PIVOT_AXIS_ROW], row_enumeration,
379                               &pt->axes[PIVOT_AXIS_ROW])
380     {
381       size_t x = 0;
382       PIVOT_ENUMERATION_FOR_EACH (pindexes[PIVOT_AXIS_COLUMN],
383                                   column_enumeration,
384                                   &pt->axes[PIVOT_AXIS_COLUMN])
385         {
386           pivot_table_convert_indexes_ptod (pt, pindexes, dindexes);
387           const struct pivot_value *value = pivot_table_get (pt, dindexes);
388           fill_cell (table,
389                      x + stub[H], y + stub[V],
390                      x + stub[H], y + stub[V],
391                      &pt->areas[PIVOT_AREA_DATA], PIVOT_AREA_DATA,
392                      value, footnotes,
393                      pt->show_values, pt->show_variables, false);
394
395           x++;
396         }
397
398       y++;
399     }
400   free (dindexes);
401
402   if (pt->corner_text && stub[H] && stub[V])
403     fill_cell (table, 0, 0, stub[H] - 1, stub[V] - 1,
404                &pt->areas[PIVOT_AREA_CORNER], PIVOT_AREA_CORNER,
405                pt->corner_text, footnotes,
406                pt->show_values, pt->show_variables, false);
407
408   if (tab_nc (table) && tab_nr (table))
409     {
410       tab_hline (
411         table, get_table_rule (pt->borders, PIVOT_BORDER_INNER_TOP),
412         0, tab_nc (table) - 1, 0);
413       tab_hline (
414         table, get_table_rule (pt->borders, PIVOT_BORDER_INNER_BOTTOM),
415         0, tab_nc (table) - 1, tab_nr (table));
416       tab_vline (
417         table, get_table_rule (pt->borders, PIVOT_BORDER_INNER_LEFT),
418         0, 0, tab_nr (table) - 1);
419       tab_vline (
420         table, get_table_rule (pt->borders, PIVOT_BORDER_INNER_RIGHT),
421         tab_nc (table), 0, tab_nr (table) - 1);
422
423       if (stub[V])
424         tab_hline (
425           table, get_table_rule (pt->borders, PIVOT_BORDER_DATA_TOP),
426           0, tab_nc (table) - 1, stub[V]);
427       if (stub[H])
428         tab_vline (
429           table, get_table_rule (pt->borders, PIVOT_BORDER_DATA_LEFT),
430           stub[H], 0, tab_nr (table) - 1);
431
432     }
433   free (column_enumeration);
434   free (row_enumeration);
435
436   struct table_item *ti = table_item_create (&table->table, NULL, NULL);
437
438   if (pt->title)
439     {
440       struct table_item_text *title = pivot_value_to_table_item_text (
441         pt->title, &pt->areas[PIVOT_AREA_TITLE], footnotes,
442         pt->show_values, pt->show_variables);
443       table_item_set_title (ti, title);
444       table_item_text_destroy (title);
445     }
446
447   const struct pivot_axis *layer_axis = &pt->axes[PIVOT_AXIS_LAYER];
448   struct table_item_layers *layers = NULL;
449   for (size_t i = 0; i < layer_axis->n_dimensions; i++)
450     {
451       const struct pivot_dimension *d = layer_axis->dimensions[i];
452       if (d->n_leaves)
453         {
454           if (!layers)
455             {
456               layers = xzalloc (sizeof *layers);
457               layers->style = area_style_override (
458                 NULL, &pt->areas[PIVOT_AREA_LAYERS], NULL, NULL);
459               layers->layers = xnmalloc (layer_axis->n_dimensions,
460                                          sizeof *layers->layers);
461             }
462
463           const struct pivot_value *name
464             = d->data_leaves[layer_indexes[i]]->name;
465           struct table_item_layer *layer = &layers->layers[layers->n_layers++];
466           struct string s = DS_EMPTY_INITIALIZER;
467           pivot_value_format_body (name, pt->show_values, pt->show_variables,
468                                    &s);
469           layer->content = ds_steal_cstr (&s);
470           layer->n_footnotes = name->n_footnotes;
471           layer->footnotes = xnmalloc (layer->n_footnotes,
472                                        sizeof *layer->footnotes);
473           for (size_t i = 0; i < name->n_footnotes; i++)
474             layer->footnotes[i] = footnotes[name->footnotes[i]->idx];
475         }
476     }
477   if (layers)
478     {
479       table_item_set_layers (ti, layers);
480       table_item_layers_destroy (layers);
481     }
482
483   if (pt->caption)
484     {
485       struct table_item_text *caption = pivot_value_to_table_item_text (
486         pt->caption, &pt->areas[PIVOT_AREA_CAPTION], footnotes,
487         pt->show_values, pt->show_variables);
488       table_item_set_caption (ti, caption);
489       table_item_text_destroy (caption);
490     }
491
492   free (footnotes);
493   ti->pt = pivot_table_ref (pt);
494
495   table_item_submit (ti);
496 }
497
498 void
499 pivot_table_flatten (const struct pivot_table *pt)
500 {
501   int old_decimal = settings_get_decimal_char (FMT_COMMA);
502   if (pt->decimal == '.' || pt->decimal == ',')
503     settings_set_decimal_char (pt->decimal);
504
505   pivot_table_submit_layer (pt, pt->current_layer);
506
507   settings_set_decimal_char (old_decimal);
508 }