output: Introduce pivot tables.
[pspp] / src / language / stats / correlations.c
index b5495c7bb0782f40fcefd68adc0f0cd9a199b136..826a640a8e99a6956cf069baaf35da4c17dc3fd7 100644 (file)
@@ -36,7 +36,7 @@
 #include "math/correlation.h"
 #include "math/covariance.h"
 #include "math/moments.h"
-#include "output/tab.h"
+#include "output/pivot-table.h"
 
 #include "gl/xalloc.h"
 #include "gl/minmax.h"
@@ -83,77 +83,39 @@ struct corr_opts
 
 
 static void
-output_descriptives (const struct corr *corr, const gsl_matrix *means,
+output_descriptives (const struct corr *corr, const struct corr_opts *opts,
+                     const gsl_matrix *means,
                     const gsl_matrix *vars, const gsl_matrix *ns)
 {
-  const int nr = corr->n_vars_total + 1;
-  const int nc = 4;
-  int c, r;
+  struct pivot_table *table = pivot_table_create (
+    N_("Descriptive Statistics"));
+  pivot_table_set_weight_var (table, opts->wv);
 
-  const int heading_columns = 1;
-  const int heading_rows = 1;
+  pivot_dimension_create (table, PIVOT_AXIS_COLUMN, N_("Statistics"),
+                          N_("Mean"), PIVOT_RC_OTHER,
+                          N_("Std. Deviation"), PIVOT_RC_OTHER,
+                          N_("N"), PIVOT_RC_COUNT);
 
-  struct tab_table *t = tab_create (nc, nr);
-  tab_title (t, _("Descriptive Statistics"));
+  struct pivot_dimension *variables = pivot_dimension_create (
+    table, PIVOT_AXIS_ROW, N_("Variable"));
 
-  tab_headers (t, heading_columns, 0, heading_rows, 0);
-
-  /* Outline the box */
-  tab_box (t,
-          TAL_2, TAL_2,
-          -1, -1,
-          0, 0,
-          nc - 1, nr - 1);
-
-  /* Vertical lines */
-  tab_box (t,
-          -1, -1,
-          -1, TAL_1,
-          heading_columns, 0,
-          nc - 1, nr - 1);
-
-  tab_vline (t, TAL_2, heading_columns, 0, nr - 1);
-  tab_hline (t, TAL_1, 0, nc - 1, heading_rows);
-
-  tab_text (t, 1, 0, TAB_CENTER | TAT_TITLE, _("Mean"));
-  tab_text (t, 2, 0, TAB_CENTER | TAT_TITLE, _("Std. Deviation"));
-  tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("N"));
-
-  for (r = 0 ; r < corr->n_vars_total ; ++r)
+  for (size_t r = 0 ; r < corr->n_vars_total ; ++r)
     {
       const struct variable *v = corr->vars[r];
-      tab_text (t, 0, r + heading_rows, TAB_LEFT | TAT_TITLE, var_to_string (v));
-
-      for (c = 1 ; c < nc ; ++c)
-       {
-         double x ;
-         double n;
-         switch (c)
-           {
-           case 1:
-             x = gsl_matrix_get (means, r, 0);
-             break;
-           case 2:
-             x = gsl_matrix_get (vars, r, 0);
 
-             /* Here we want to display the non-biased estimator */
-             n = gsl_matrix_get (ns, r, 0);
-             x *= n / (n -1);
+      int row = pivot_category_create_leaf (variables->root,
+                                            pivot_value_new_variable (v));
 
-             x = sqrt (x);
-             break;
-           case 3:
-             x = gsl_matrix_get (ns, r, 0);
-             break;
-           default: 
-             NOT_REACHED ();
-           };
-         
-         tab_double (t, c, r + heading_rows, 0, x, NULL);
-       }
+      double mean = gsl_matrix_get (means, r, 0);
+      /* Here we want to display the non-biased estimator */
+      double n = gsl_matrix_get (ns, r, 0);
+      double stddev = sqrt (gsl_matrix_get (vars, r, 0) * n / (n - 1));
+      double entries[] = { mean, stddev, n };
+      for (size_t i = 0; i < sizeof entries / sizeof *entries; i++)
+        pivot_table_put2 (table, i, row, pivot_value_new_number (entries[i]));
     }
 
-  tab_submit (t);
+  pivot_table_submit (table);
 }
 
 static void
@@ -161,120 +123,84 @@ output_correlation (const struct corr *corr, const struct corr_opts *opts,
                    const gsl_matrix *cm, const gsl_matrix *samples,
                    const gsl_matrix *cv)
 {
-  int r, c;
-  struct tab_table *t;
-  int matrix_cols;
-  int nr = corr->n_vars1;
-  int nc = matrix_cols = corr->n_vars_total > corr->n_vars1 ?
-    corr->n_vars_total - corr->n_vars1 : corr->n_vars1;
-
-  const struct fmt_spec *wfmt = opts->wv ? var_get_print_format (opts->wv) : & F_8_0;
-
-  const int heading_columns = 2;
-  const int heading_rows = 1;
+  struct pivot_table *table = pivot_table_create (N_("Correlations"));
+  pivot_table_set_weight_var (table, opts->wv);
 
-  int rows_per_variable = opts->missing_type == CORR_LISTWISE ? 2 : 3;
+  /* Column variable dimension. */
+  struct pivot_dimension *columns = pivot_dimension_create (
+    table, PIVOT_AXIS_COLUMN, N_("Variables"));
 
-  if (opts->statistics & STATS_XPROD)
-    rows_per_variable += 2;
-
-  /* Two header columns */
-  nc += heading_columns;
-
-  /* Three data per variable */
-  nr *= rows_per_variable;
-
-  /* One header row */
-  nr += heading_rows;
-
-  t = tab_create (nc, nr);
-  tab_title (t, _("Correlations"));
-
-  tab_headers (t, heading_columns, 0, heading_rows, 0);
-
-  /* Outline the box */
-  tab_box (t,
-          TAL_2, TAL_2,
-          -1, -1,
-          0, 0,
-          nc - 1, nr - 1);
-
-  /* Vertical lines */
-  tab_box (t,
-          -1, -1,
-          -1, TAL_1,
-          heading_columns, 0,
-          nc - 1, nr - 1);
-
-  tab_vline (t, TAL_2, heading_columns, 0, nr - 1);
-
-  tab_vline (t, TAL_1, 1, heading_rows, nr - 1);
-
-  for (r = 0 ; r < corr->n_vars1 ; ++r)
+  int matrix_cols = (corr->n_vars_total > corr->n_vars1
+                     ? corr->n_vars_total - corr->n_vars1
+                     : corr->n_vars1);
+  for (int c = 0; c < matrix_cols; c++)
     {
-      tab_text (t, 0, 1 + r * rows_per_variable, TAB_LEFT | TAT_TITLE, 
-               var_to_string (corr->vars[r]));
+      const struct variable *v = corr->n_vars_total > corr->n_vars1 ?
+       corr->vars[corr->n_vars1 + c] : corr->vars[c];
+      pivot_category_create_leaf (columns->root, pivot_value_new_variable (v));
+    }
 
-      tab_text (t, 1, 1 + r * rows_per_variable, TAB_LEFT | TAT_TITLE, _("Pearson Correlation"));
-      tab_text (t, 1, 2 + r * rows_per_variable, TAB_LEFT | TAT_TITLE, 
-               (opts->tails == 2) ? _("Sig. (2-tailed)") : _("Sig. (1-tailed)"));
+  /* Statistics dimension. */
+  struct pivot_dimension *statistics = pivot_dimension_create (
+    table, PIVOT_AXIS_ROW, N_("Statistics"),
+    N_("Pearson Correlation"), PIVOT_RC_CORRELATION,
+    opts->tails == 2 ? N_("Sig. (2-tailed)") : N_("Sig. (1-tailed)"),
+    PIVOT_RC_SIGNIFICANCE);
 
-      if (opts->statistics & STATS_XPROD)
-       {
-         tab_text (t, 1, 3 + r * rows_per_variable, TAB_LEFT | TAT_TITLE, _("Cross-products"));
-         tab_text (t, 1, 4 + r * rows_per_variable, TAB_LEFT | TAT_TITLE, _("Covariance"));
-       }
-
-      if ( opts->missing_type != CORR_LISTWISE )
-       tab_text (t, 1, rows_per_variable + r * rows_per_variable, TAB_LEFT | TAT_TITLE, _("N"));
+  if (opts->statistics & STATS_XPROD)
+    pivot_category_create_leaves (statistics->root, N_("Cross-products"),
+                                  N_("Covariance"));
 
-      tab_hline (t, TAL_1, 0, nc - 1, r * rows_per_variable + 1);
-    }
+  if (opts->missing_type != CORR_LISTWISE)
+    pivot_category_create_leaves (statistics->root, N_("N"), PIVOT_RC_COUNT);
 
-  for (c = 0 ; c < matrix_cols ; ++c)
-    {
-      const struct variable *v = corr->n_vars_total > corr->n_vars1 ?
-       corr->vars[corr->n_vars_total - corr->n_vars1 - 1 + c] : corr->vars[c];
-      tab_text (t, heading_columns + c, 0, TAB_LEFT | TAT_TITLE, var_to_string (v));      
-    }
+  /* Row variable dimension. */
+  struct pivot_dimension *rows = pivot_dimension_create (
+    table, PIVOT_AXIS_ROW, N_("Variables"));
+  for (size_t r = 0; r < corr->n_vars1; r++)
+    pivot_category_create_leaf (rows->root,
+                                pivot_value_new_variable (corr->vars[r]));
 
-  for (r = 0 ; r < corr->n_vars1 ; ++r)
-    {
-      const int row = r * rows_per_variable + heading_rows;
-      for (c = 0 ; c < matrix_cols ; ++c)
-       {
-         unsigned char flags = 0; 
-         const int col_index = corr->n_vars_total > corr->n_vars1 ? 
-           corr->n_vars_total - corr->n_vars1 - 1  + c : 
-           c;
-         double pearson = gsl_matrix_get (cm, r, col_index);
-         double w = gsl_matrix_get (samples, r, col_index);
-         double sig = opts->tails * significance_of_correlation (pearson, w);
-
-         if ( opts->missing_type != CORR_LISTWISE )
-           tab_double (t, c + heading_columns, row + rows_per_variable - 1, 0, w, wfmt);
-
-         if ( c != r)
-           tab_double (t, c + heading_columns, row + 1, 0,  sig, NULL);
-
-         if ( opts->sig && c != r && sig < 0.05)
-           flags = TAB_EMPH;
-         
-         tab_double (t, c + heading_columns, row, flags, pearson, NULL);
-
-         if (opts->statistics & STATS_XPROD)
-           {
-             double cov = gsl_matrix_get (cv, r, col_index);
-             const double xprod_dev = cov * w;
-             cov *= w / (w - 1.0);
+  struct pivot_footnote *sig_footnote = pivot_table_create_footnote (
+    table, pivot_value_new_text (N_("Significant at .05 level")));
 
-             tab_double (t, c + heading_columns, row + 2, 0, xprod_dev, NULL);
-             tab_double (t, c + heading_columns, row + 3, 0, cov, NULL);
-           }
-       }
-    }
+  for (int r = 0; r < corr->n_vars1; r++)
+    for (int c = 0; c < matrix_cols; c++)
+      {
+        const int col_index = (corr->n_vars_total > corr->n_vars1
+                               ? corr->n_vars1 + c
+                               : c);
+        double pearson = gsl_matrix_get (cm, r, col_index);
+        double w = gsl_matrix_get (samples, r, col_index);
+        double sig = opts->tails * significance_of_correlation (pearson, w);
+
+        double entries[5];
+        int n = 0;
+        entries[n++] = pearson;
+        entries[n++] = col_index != r ? sig : SYSMIS;
+        if (opts->statistics & STATS_XPROD)
+          {
+            double cov = gsl_matrix_get (cv, r, col_index);
+            const double xprod_dev = cov * w;
+            cov *= w / (w - 1.0);
+
+            entries[n++] = xprod_dev;
+            entries[n++] = cov;
+          }
+        if (opts->missing_type != CORR_LISTWISE)
+          entries[n++] = w;
+
+        for (int i = 0; i < n; i++)
+          if (entries[i] != SYSMIS)
+            {
+              struct pivot_value *v = pivot_value_new_number (entries[i]);
+              if (!i && opts->sig && col_index != r && sig < 0.05)
+                pivot_value_add_footnote (v, sig_footnote);
+              pivot_table_put3 (table, c, i, r, v);
+            }
+      }
 
-  tab_submit (t);
+  pivot_table_submit (table);
 }
 
 
@@ -283,11 +209,12 @@ run_corr (struct casereader *r, const struct corr_opts *opts, const struct corr
 {
   struct ccase *c;
   const gsl_matrix *var_matrix,  *samples_matrix, *mean_matrix;
-  gsl_matrix *cov_matrix;
-  gsl_matrix *corr_matrix;
+  gsl_matrix *cov_matrix = NULL;
+  gsl_matrix *corr_matrix = NULL;
   struct covariance *cov = covariance_2pass_create (corr->n_vars_total, corr->vars,
                                                    NULL,
-                                                   opts->wv, opts->exclude);
+                                                   opts->wv, opts->exclude,
+                                                   true);
 
   struct casereader *rc = casereader_clone (r);
   for ( ; (c = casereader_read (r) ); case_unref (c))
@@ -299,10 +226,14 @@ run_corr (struct casereader *r, const struct corr_opts *opts, const struct corr
     {
       covariance_accumulate_pass2 (cov, c);
     }
+  casereader_destroy (rc);
 
   cov_matrix = covariance_calculate (cov);
-
-  casereader_destroy (rc);
+  if (! cov_matrix)
+    {
+      msg (SE, _("The data for the chosen variables are all missing or empty."));
+      goto error;
+    }
 
   samples_matrix = covariance_moments (cov, MOMENT_NONE);
   var_matrix = covariance_moments (cov, MOMENT_VARIANCE);
@@ -310,12 +241,13 @@ run_corr (struct casereader *r, const struct corr_opts *opts, const struct corr
 
   corr_matrix = correlation_from_covariance (cov_matrix, var_matrix);
 
-  if ( opts->statistics & STATS_DESCRIPTIVES) 
-    output_descriptives (corr, mean_matrix, var_matrix, samples_matrix);
+  if ( opts->statistics & STATS_DESCRIPTIVES)
+    output_descriptives (corr, opts, mean_matrix, var_matrix, samples_matrix);
 
   output_correlation (corr, opts, corr_matrix,
                      samples_matrix, cov_matrix);
 
+ error:
   covariance_destroy (cov);
   gsl_matrix_free (corr_matrix);
   gsl_matrix_free (cov_matrix);
@@ -406,7 +338,7 @@ cmd_correlation (struct lexer *lexer, struct dataset *ds)
                  opts.statistics = STATS_ALL;
                  lex_get (lexer);
                }
-             else 
+             else
                {
                  lex_error (lexer, NULL);
                  goto error;
@@ -424,8 +356,8 @@ cmd_correlation (struct lexer *lexer, struct dataset *ds)
 
          corr = xrealloc (corr, sizeof (*corr) * (n_corrs + 1));
          corr[n_corrs].n_vars_total = corr[n_corrs].n_vars1 = 0;
-      
-         if ( ! parse_variables_const (lexer, dict, &corr[n_corrs].vars, 
+
+         if ( ! parse_variables_const (lexer, dict, &corr[n_corrs].vars,
                                        &corr[n_corrs].n_vars_total,
                                        PV_NUMERIC))
            {
@@ -508,7 +440,8 @@ cmd_correlation (struct lexer *lexer, struct dataset *ds)
   return ok ? CMD_SUCCESS : CMD_CASCADING_FAILURE;
 
  error:
-  free (corr->vars);
+  if (corr)
+    free (corr->vars);
   free (corr);
   return CMD_FAILURE;
 }