Merge remote-tracking branch 'origin/master' into sheet
[pspp] / src / language / stats / correlations.c
index 6af8ba32ffd54cc32f8e84baa8f77ee0192eee1d..e2d158dacb47786aeb177dca841f93cf1377e687 100644 (file)
@@ -1,5 +1,5 @@
 /* PSPP - a program for statistical analysis.
-   Copyright (C) 2009 Free Software Foundation, Inc.
+   Copyright (C) 2009, 2010, 2011 Free Software Foundation, Inc.
 
    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
 
 #include <config.h>
 
-#include <libpspp/assertion.h>
-#include <math/covariance.h>
-#include <math/correlation.h>
+#include <gsl/gsl_cdf.h>
 #include <gsl/gsl_matrix.h>
-#include <data/casegrouper.h>
-#include <data/casereader.h>
-#include <data/dictionary.h>
-#include <data/procedure.h>
-#include <data/variable.h>
-#include <language/command.h>
-#include <language/dictionary/split-file.h>
-#include <language/lexer/lexer.h>
-#include <language/lexer/variable-parser.h>
-#include <output/tab.h>
-#include <libpspp/message.h>
-#include <data/format.h>
-#include <math/moments.h>
-
 #include <math.h>
-#include "xalloc.h"
-#include "minmax.h"
-#include <libpspp/misc.h>
-#include <gsl/gsl_cdf.h>
+
+#include "data/casegrouper.h"
+#include "data/casereader.h"
+#include "data/dataset.h"
+#include "data/dictionary.h"
+#include "data/format.h"
+#include "data/variable.h"
+#include "language/command.h"
+#include "language/dictionary/split-file.h"
+#include "language/lexer/lexer.h"
+#include "language/lexer/variable-parser.h"
+#include "libpspp/assertion.h"
+#include "libpspp/message.h"
+#include "libpspp/misc.h"
+#include "math/correlation.h"
+#include "math/covariance.h"
+#include "math/moments.h"
+#include "output/tab.h"
+
+#include "gl/xalloc.h"
+#include "gl/minmax.h"
 
 #include "gettext.h"
 #define _(msgid) gettext (msgid)
@@ -144,11 +145,11 @@ output_descriptives (const struct corr *corr, const gsl_matrix *means,
            case 3:
              x = gsl_matrix_get (ns, r, 0);
              break;
-           default: 
+           default:
              NOT_REACHED ();
            };
-         
-         tab_double (t, c, r + heading_rows, 0, x, NULL);
+
+         tab_double (t, c, r + heading_rows, 0, x, NULL, RC_OTHER);
        }
     }
 
@@ -187,6 +188,7 @@ output_correlation (const struct corr *corr, const struct corr_opts *opts,
   nr += heading_rows;
 
   t = tab_create (nc, nr);
+  tab_set_format (t, RC_WEIGHT, wfmt);
   tab_title (t, _("Correlations"));
 
   tab_headers (t, heading_columns, 0, heading_rows, 0);
@@ -206,15 +208,17 @@ output_correlation (const struct corr *corr, const struct corr_opts *opts,
           nc - 1, nr - 1);
 
   tab_vline (t, TAL_2, heading_columns, 0, nr - 1);
+
   tab_vline (t, TAL_1, 1, heading_rows, nr - 1);
 
+  /* Row Headers */
   for (r = 0 ; r < corr->n_vars1 ; ++r)
     {
-      tab_text (t, 0, 1 + r * rows_per_variable, TAB_LEFT | TAT_TITLE, 
+      tab_text (t, 0, 1 + r * rows_per_variable, TAB_LEFT | TAT_TITLE,
                var_to_string (corr->vars[r]));
 
       tab_text (t, 1, 1 + r * rows_per_variable, TAB_LEFT | TAT_TITLE, _("Pearson Correlation"));
-      tab_text (t, 1, 2 + r * rows_per_variable, TAB_LEFT | TAT_TITLE, 
+      tab_text (t, 1, 2 + r * rows_per_variable, TAB_LEFT | TAT_TITLE,
                (opts->tails == 2) ? _("Sig. (2-tailed)") : _("Sig. (1-tailed)"));
 
       if (opts->statistics & STATS_XPROD)
@@ -229,10 +233,12 @@ output_correlation (const struct corr *corr, const struct corr_opts *opts,
       tab_hline (t, TAL_1, 0, nc - 1, r * rows_per_variable + 1);
     }
 
+  /* Column Headers */
   for (c = 0 ; c < matrix_cols ; ++c)
     {
-      const struct variable *v = corr->n_vars_total > corr->n_vars1 ? corr->vars[corr->n_vars_total - corr->n_vars1 + c] : corr->vars[c];
-      tab_text (t, heading_columns + c, 0, TAB_LEFT | TAT_TITLE, var_to_string (v));      
+      const struct variable *v = corr->n_vars_total > corr->n_vars1 ?
+       corr->vars[corr->n_vars1 + c] : corr->vars[c];
+      tab_text (t, heading_columns + c, 0, TAB_LEFT | TAT_TITLE, var_to_string (v));
     }
 
   for (r = 0 ; r < corr->n_vars1 ; ++r)
@@ -240,22 +246,24 @@ output_correlation (const struct corr *corr, const struct corr_opts *opts,
       const int row = r * rows_per_variable + heading_rows;
       for (c = 0 ; c < matrix_cols ; ++c)
        {
-         unsigned char flags = 0; 
-         const int col_index = corr->n_vars_total - corr->n_vars1 + c;
+         unsigned char flags = 0;
+         const int col_index = corr->n_vars_total > corr->n_vars1 ?
+           corr->n_vars1 + c :
+           c;
          double pearson = gsl_matrix_get (cm, r, col_index);
          double w = gsl_matrix_get (samples, r, col_index);
          double sig = opts->tails * significance_of_correlation (pearson, w);
 
          if ( opts->missing_type != CORR_LISTWISE )
-           tab_double (t, c + heading_columns, row + rows_per_variable - 1, 0, w, wfmt);
+           tab_double (t, c + heading_columns, row + rows_per_variable - 1, 0, w, NULL, RC_WEIGHT);
 
-         if ( c != r)
-           tab_double (t, c + heading_columns, row + 1, 0,  sig, NULL);
+         if ( col_index != r)
+           tab_double (t, c + heading_columns, row + 1, 0,  sig, NULL, RC_PVALUE);
 
-         if ( opts->sig && c != r && sig < 0.05)
+         if ( opts->sig && col_index != r && sig < 0.05)
            flags = TAB_EMPH;
-         
-         tab_double (t, c + heading_columns, row, flags, pearson, NULL);
+
+         tab_double (t, c + heading_columns, row, flags, pearson, NULL, RC_OTHER);
 
          if (opts->statistics & STATS_XPROD)
            {
@@ -263,8 +271,8 @@ output_correlation (const struct corr *corr, const struct corr_opts *opts,
              const double xprod_dev = cov * w;
              cov *= w / (w - 1.0);
 
-             tab_double (t, c + heading_columns, row + 2, 0, xprod_dev, NULL);
-             tab_double (t, c + heading_columns, row + 3, 0, cov, NULL);
+             tab_double (t, c + heading_columns, row + 2, 0, xprod_dev, NULL, RC_OTHER);
+             tab_double (t, c + heading_columns, row + 3, 0, cov, NULL, RC_OTHER);
            }
        }
     }
@@ -278,8 +286,8 @@ run_corr (struct casereader *r, const struct corr_opts *opts, const struct corr
 {
   struct ccase *c;
   const gsl_matrix *var_matrix,  *samples_matrix, *mean_matrix;
-  const gsl_matrix *cov_matrix;
-  gsl_matrix *corr_matrix;
+  gsl_matrix *cov_matrix = NULL;
+  gsl_matrix *corr_matrix = NULL;
   struct covariance *cov = covariance_2pass_create (corr->n_vars_total, corr->vars,
                                                    NULL,
                                                    opts->wv, opts->exclude);
@@ -294,10 +302,14 @@ run_corr (struct casereader *r, const struct corr_opts *opts, const struct corr
     {
       covariance_accumulate_pass2 (cov, c);
     }
+  casereader_destroy (rc);
 
   cov_matrix = covariance_calculate (cov);
-
-  casereader_destroy (rc);
+  if (! cov_matrix)
+    {
+      msg (SE, _("The data for the chosen variables are all missing or empty."));
+      goto error;
+    }
 
   samples_matrix = covariance_moments (cov, MOMENT_NONE);
   var_matrix = covariance_moments (cov, MOMENT_VARIANCE);
@@ -305,16 +317,16 @@ run_corr (struct casereader *r, const struct corr_opts *opts, const struct corr
 
   corr_matrix = correlation_from_covariance (cov_matrix, var_matrix);
 
-  if ( opts->statistics & STATS_DESCRIPTIVES) 
+  if ( opts->statistics & STATS_DESCRIPTIVES)
     output_descriptives (corr, mean_matrix, var_matrix, samples_matrix);
 
-  output_correlation (corr, opts,
-                     corr_matrix,
-                     samples_matrix,
-                     cov_matrix);
+  output_correlation (corr, opts, corr_matrix,
+                     samples_matrix, cov_matrix);
 
+ error:
   covariance_destroy (cov);
   gsl_matrix_free (corr_matrix);
+  gsl_matrix_free (cov_matrix);
 }
 
 int
@@ -341,13 +353,13 @@ cmd_correlation (struct lexer *lexer, struct dataset *ds)
   opts.statistics = 0;
 
   /* Parse CORRELATIONS. */
-  while (lex_token (lexer) != '.')
+  while (lex_token (lexer) != T_ENDCMD)
     {
-      lex_match (lexer, '/');
+      lex_match (lexer, T_SLASH);
       if (lex_match_id (lexer, "MISSING"))
         {
-          lex_match (lexer, '=');
-          while (lex_token (lexer) != '.' && lex_token (lexer) != '/')
+          lex_match (lexer, T_EQUALS);
+          while (lex_token (lexer) != T_ENDCMD && lex_token (lexer) != T_SLASH)
             {
               if (lex_match_id (lexer, "PAIRWISE"))
                 opts.missing_type = CORR_PAIRWISE;
@@ -363,13 +375,13 @@ cmd_correlation (struct lexer *lexer, struct dataset *ds)
                   lex_error (lexer, NULL);
                   goto error;
                 }
-              lex_match (lexer, ',');
+              lex_match (lexer, T_COMMA);
             }
         }
       else if (lex_match_id (lexer, "PRINT"))
        {
-          lex_match (lexer, '=');
-          while (lex_token (lexer) != '.' && lex_token (lexer) != '/')
+          lex_match (lexer, T_EQUALS);
+          while (lex_token (lexer) != T_ENDCMD && lex_token (lexer) != T_SLASH)
            {
              if ( lex_match_id (lexer, "TWOTAIL"))
                opts.tails = 2;
@@ -385,13 +397,13 @@ cmd_correlation (struct lexer *lexer, struct dataset *ds)
                  goto error;
                }
 
-              lex_match (lexer, ',');
+              lex_match (lexer, T_COMMA);
            }
        }
       else if (lex_match_id (lexer, "STATISTICS"))
        {
-         lex_match (lexer, '=');
-          while (lex_token (lexer) != '.' && lex_token (lexer) != '/')
+         lex_match (lexer, T_EQUALS);
+          while (lex_token (lexer) != T_ENDCMD && lex_token (lexer) != T_SLASH)
            {
              if ( lex_match_id (lexer, "DESCRIPTIVES"))
                opts.statistics = STATS_DESCRIPTIVES;
@@ -402,26 +414,26 @@ cmd_correlation (struct lexer *lexer, struct dataset *ds)
                  opts.statistics = STATS_ALL;
                  lex_get (lexer);
                }
-             else 
+             else
                {
                  lex_error (lexer, NULL);
                  goto error;
                }
 
-              lex_match (lexer, ',');
+              lex_match (lexer, T_COMMA);
            }
        }
       else
        {
          if (lex_match_id (lexer, "VARIABLES"))
            {
-             lex_match (lexer, '=');
+             lex_match (lexer, T_EQUALS);
            }
 
          corr = xrealloc (corr, sizeof (*corr) * (n_corrs + 1));
          corr[n_corrs].n_vars_total = corr[n_corrs].n_vars1 = 0;
-      
-         if ( ! parse_variables_const (lexer, dict, &corr[n_corrs].vars, 
+
+         if ( ! parse_variables_const (lexer, dict, &corr[n_corrs].vars,
                                        &corr[n_corrs].n_vars_total,
                                        PV_NUMERIC))
            {
@@ -504,7 +516,8 @@ cmd_correlation (struct lexer *lexer, struct dataset *ds)
   return ok ? CMD_SUCCESS : CMD_CASCADING_FAILURE;
 
  error:
-  free (corr->vars);
+  if (corr)
+    free (corr->vars);
   free (corr);
   return CMD_FAILURE;
 }