pintos-os.org Git - pspp/blob - src/language/stats/regression.c

   1 /* PSPP - a program for statistical analysis.
   2    Copyright (C) 2005, 2009, 2010, 2011, 2012, 2013 Free Software Foundation, Inc.
   3
   4    This program is free software: you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation, either version 3 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13
  14    You should have received a copy of the GNU General Public License
  15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
  16
  17 #include <config.h>
  18
  19 #include <stdbool.h>
  20
  21 #include <gsl/gsl_cdf.h>
  22 #include <gsl/gsl_matrix.h>
  23
  24 #include <data/dataset.h>
  25
  26 #include "language/command.h"
  27 #include "language/lexer/lexer.h"
  28 #include "language/lexer/value-parser.h"
  29 #include "language/lexer/variable-parser.h"
  30
  31
  32 #include "data/casegrouper.h"
  33 #include "data/casereader.h"
  34 #include "data/dictionary.h"
  35
  36 #include "math/covariance.h"
  37 #include "math/linreg.h"
  38 #include "math/moments.h"
  39
  40 #include "libpspp/message.h"
  41 #include "libpspp/taint.h"
  42
  43 #include "output/tab.h"
  44
  45 #include "gettext.h"
  46 #define _(msgid) gettext (msgid)
  47 #define N_(msgid) msgid
  48
  49
  50 #include <gl/intprops.h>
  51
  52 #define REG_LARGE_DATA 1000
  53
  54 struct regression
  55 {
  56   struct dataset *ds;
  57
  58   const struct variable **vars;
  59   size_t n_vars;
  60
  61   const struct variable **dep_vars;
  62   size_t n_dep_vars;
  63
  64   bool r;
  65   bool coeff;
  66   bool anova;
  67   bool bcov;
  68
  69
  70   bool resid;
  71   bool pred;
  72
  73   linreg **models;
  74 };
  75
  76
  77 static void run_regression (const struct regression *cmd, struct casereader *input);
  78
  79
  80
  81 /*
  82   Transformations for saving predicted values
  83   and residuals, etc.
  84 */
  85 struct reg_trns
  86 {
  87   int n_trns;                   /* Number of transformations. */
  88   int trns_id;                  /* Which trns is this one? */
  89   linreg *c;            /* Linear model for this trns. */
  90 };
  91
  92 /*
  93   Gets the predicted values.
  94 */
  95 static int
  96 regression_trns_pred_proc (void *t_, struct ccase **c,
  97                            casenumber case_idx UNUSED)
  98 {
  99   size_t i;
 100   size_t n_vals;
 101   struct reg_trns *trns = t_;
 102   linreg *model;
 103   union value *output = NULL;
 104   const union value *tmp;
 105   double *vals;
 106   const struct variable **vars = NULL;
 107
 108   assert (trns != NULL);
 109   model = trns->c;
 110   assert (model != NULL);
 111   assert (model->depvar != NULL);
 112   assert (model->pred != NULL);
 113
 114   vars = linreg_get_vars (model);
 115   n_vals = linreg_n_coeffs (model);
 116   vals = xnmalloc (n_vals, sizeof (*vals));
 117   *c = case_unshare (*c);
 118
 119   output = case_data_rw (*c, model->pred);
 120
 121   for (i = 0; i < n_vals; i++)
 122     {
 123       tmp = case_data (*c, vars[i]);
 124       vals[i] = tmp->f;
 125     }
 126   output->f = linreg_predict (model, vals, n_vals);
 127   free (vals);
 128   return TRNS_CONTINUE;
 129 }
 130
 131 /*
 132   Gets the residuals.
 133 */
 134 static int
 135 regression_trns_resid_proc (void *t_, struct ccase **c,
 136                             casenumber case_idx UNUSED)
 137 {
 138   size_t i;
 139   size_t n_vals;
 140   struct reg_trns *trns = t_;
 141   linreg *model;
 142   union value *output = NULL;
 143   const union value *tmp;
 144   double *vals = NULL;
 145   double obs;
 146   const struct variable **vars = NULL;
 147
 148   assert (trns != NULL);
 149   model = trns->c;
 150   assert (model != NULL);
 151   assert (model->depvar != NULL);
 152   assert (model->resid != NULL);
 153
 154   vars = linreg_get_vars (model);
 155   n_vals = linreg_n_coeffs (model);
 156
 157   vals = xnmalloc (n_vals, sizeof (*vals));
 158   *c = case_unshare (*c);
 159   output = case_data_rw (*c, model->resid);
 160   assert (output != NULL);
 161
 162   for (i = 0; i < n_vals; i++)
 163     {
 164       tmp = case_data (*c, vars[i]);
 165       vals[i] = tmp->f;
 166     }
 167   tmp = case_data (*c, model->depvar);
 168   obs = tmp->f;
 169   output->f = linreg_residual (model, obs, vals, n_vals);
 170   free (vals);
 171
 172   return TRNS_CONTINUE;
 173 }
 174
 175
 176 static char *
 177 reg_get_name (const struct dictionary *dict, const char *prefix)
 178 {
 179   char *name;
 180   int i;
 181
 182   /* XXX handle too-long prefixes */
 183   name = xmalloc (strlen (prefix) + INT_BUFSIZE_BOUND (i) + 1);
 184   for (i = 1; ; i++)
 185     {
 186       sprintf (name, "%s%d", prefix, i);
 187       if (dict_lookup_var (dict, name) == NULL)
 188         return name;
 189     }
 190 }
 191
 192 /*
 193   Free the transformation. Free its linear model if this
 194   transformation is the last one.
 195 */
 196 static bool
 197 regression_trns_free (void *t_)
 198 {
 199   struct reg_trns *t = t_;
 200
 201   if (t->trns_id == t->n_trns)
 202     {
 203       linreg_unref (t->c);
 204     }
 205   free (t);
 206
 207   return true;
 208 }
 209
 210 static void
 211 reg_save_var (struct dataset *ds, const char *prefix, trns_proc_func * f,
 212               linreg * c, struct variable **v, int n_trns)
 213 {
 214   struct dictionary *dict = dataset_dict (ds);
 215   static int trns_index = 1;
 216   char *name;
 217   struct variable *new_var;
 218   struct reg_trns *t = NULL;
 219
 220   t = xmalloc (sizeof (*t));
 221   t->trns_id = trns_index;
 222   t->n_trns = n_trns;
 223   t->c = c;
 224
 225   name = reg_get_name (dict, prefix);
 226   new_var = dict_create_var_assert (dict, name, 0);
 227   free (name);
 228
 229   *v = new_var;
 230   add_transformation (ds, f, regression_trns_free, t);
 231   trns_index++;
 232 }
 233
 234 static void
 235 subcommand_save (const struct regression *cmd)
 236 {
 237   linreg **lc;
 238   int n_trns = 0;
 239
 240   if ( cmd->resid ) n_trns++;
 241   if ( cmd->pred ) n_trns++;
 242
 243   n_trns *= cmd->n_dep_vars;
 244
 245   for (lc = cmd->models; lc < cmd->models + cmd->n_dep_vars; lc++)
 246     {
 247       if (*lc != NULL)
 248         {
 249           if ((*lc)->depvar != NULL)
 250             {
 251               (*lc)->refcnt++;
 252               if (cmd->resid)
 253                 {
 254                   reg_save_var (cmd->ds, "RES", regression_trns_resid_proc, *lc,
 255                                 &(*lc)->resid, n_trns);
 256                 }
 257               if (cmd->pred)
 258                 {
 259                   reg_save_var (cmd->ds, "PRED", regression_trns_pred_proc, *lc,
 260                                 &(*lc)->pred, n_trns);
 261                 }
 262             }
 263         }
 264     }
 265 }
 266
 267 int
 268 cmd_regression (struct lexer *lexer, struct dataset *ds)
 269 {
 270   int k;
 271   struct regression regression;
 272   const struct dictionary *dict = dataset_dict (ds);
 273
 274   memset (&regression, 0, sizeof (struct regression));
 275
 276   regression.anova = true;
 277   regression.coeff = true;
 278   regression.r = true;
 279
 280   regression.pred = false;
 281   regression.resid = false;
 282
 283   regression.ds = ds;
 284
 285   /* Accept an optional, completely pointless "/VARIABLES=" */
 286   lex_match (lexer, T_SLASH);
 287   if (lex_match_id  (lexer, "VARIABLES"))
 288     {
 289       if (! lex_force_match (lexer, T_EQUALS) )
 290         goto error;
 291     }
 292
 293   if (!parse_variables_const (lexer, dict,
 294                               &regression.vars, &regression.n_vars,
 295                               PV_NO_DUPLICATE | PV_NUMERIC))
 296     goto error;
 297
 298
 299   while (lex_token (lexer) != T_ENDCMD)
 300     {
 301       lex_match (lexer, T_SLASH);
 302
 303       if (lex_match_id  (lexer, "DEPENDENT"))
 304         {
 305           if (! lex_force_match (lexer, T_EQUALS) )
 306             goto error;
 307
 308           if (!parse_variables_const (lexer, dict,
 309                                       &regression.dep_vars, &regression.n_dep_vars,
 310                                       PV_NO_DUPLICATE | PV_NUMERIC))
 311             goto error;
 312         }
 313       else if (lex_match_id (lexer, "METHOD"))
 314         {
 315           lex_match (lexer, T_EQUALS);
 316
 317           if (!lex_force_match_id (lexer, "ENTER"))
 318             {
 319               goto error;
 320             }
 321         }
 322       else if (lex_match_id (lexer, "STATISTICS"))
 323         {
 324           lex_match (lexer, T_EQUALS);
 325
 326           while (lex_token (lexer) != T_ENDCMD
 327                  && lex_token (lexer) != T_SLASH)
 328             {
 329               if (lex_match (lexer, T_ALL))
 330                 {
 331                 }
 332               else if (lex_match_id (lexer, "DEFAULTS"))
 333                 {
 334                 }
 335               else if (lex_match_id (lexer, "R"))
 336                 {
 337                 }
 338               else if (lex_match_id (lexer, "COEFF"))
 339                 {
 340                 }
 341               else if (lex_match_id (lexer, "ANOVA"))
 342                 {
 343                 }
 344               else if (lex_match_id (lexer, "BCOV"))
 345                 {
 346                 }
 347               else
 348                 {
 349                   lex_error (lexer, NULL);
 350                   goto error;
 351                 }
 352             }
 353         }
 354       else if (lex_match_id (lexer, "SAVE"))
 355         {
 356           lex_match (lexer, T_EQUALS);
 357
 358           while (lex_token (lexer) != T_ENDCMD
 359                  && lex_token (lexer) != T_SLASH)
 360             {
 361               if (lex_match_id (lexer, "PRED"))
 362                 {
 363                   regression.pred = true;
 364                 }
 365               else if (lex_match_id (lexer, "RESID"))
 366                 {
 367                   regression.resid = true;
 368                 }
 369               else
 370                 {
 371                   lex_error (lexer, NULL);
 372                   goto error;
 373                 }
 374             }
 375         }
 376       else
 377         {
 378           lex_error (lexer, NULL);
 379           goto error;
 380         }
 381     }
 382
 383   if (!regression.vars)
 384     {
 385       dict_get_vars (dict, &regression.vars, &regression.n_vars, 0);
 386     }
 387
 388
 389   regression.models = xcalloc (regression.n_dep_vars, sizeof *regression.models);
 390
 391   if (regression.pred || regression.resid)
 392     {
 393       if (proc_make_temporary_transformations_permanent (ds))
 394         msg (SW, _("REGRESSION with SAVE ignores TEMPORARY.  "
 395                    "Temporary transformations will be made permanent."));
 396     }
 397
 398   {
 399     struct casegrouper *grouper;
 400     struct casereader *group;
 401     bool ok;
 402
 403     grouper = casegrouper_create_splits (proc_open (ds), dict);
 404     while (casegrouper_get_next_group (grouper, &group))
 405       run_regression (&regression, group);
 406     ok = casegrouper_destroy (grouper);
 407     ok = proc_commit (ds) && ok;
 408   }
 409
 410   if (regression.pred || regression.resid )
 411     {
 412       subcommand_save (&regression);
 413     }
 414
 415
 416   for (k = 0; k < regression.n_dep_vars; k++)
 417     linreg_unref (regression.models[k]);
 418   free (regression.models);
 419   free (regression.vars);
 420   free (regression.dep_vars);
 421   return CMD_SUCCESS;
 422
 423  error:
 424   if (regression.models)
 425    {
 426   for (k = 0; k < regression.n_dep_vars; k++)
 427     linreg_unref (regression.models[k]);
 428   free (regression.models);
 429    }
 430   free (regression.vars);
 431   free (regression.dep_vars);
 432   return CMD_FAILURE;
 433 }
 434
 435
 436 static size_t
 437 get_n_all_vars (const struct regression *cmd)
 438 {
 439   size_t result = cmd->n_vars;
 440   size_t i;
 441   size_t j;
 442
 443   result += cmd->n_dep_vars;
 444   for (i = 0; i < cmd->n_dep_vars; i++)
 445     {
 446       for (j = 0; j < cmd->n_vars; j++)
 447         {
 448           if (cmd->vars[j] == cmd->dep_vars[i])
 449             {
 450               result--;
 451             }
 452         }
 453     }
 454   return result;
 455 }
 456
 457 static void
 458 fill_all_vars (const struct variable **vars, const struct regression *cmd)
 459 {
 460   size_t i;
 461   size_t j;
 462   bool absent;
 463
 464   for (i = 0; i < cmd->n_vars; i++)
 465     {
 466       vars[i] = cmd->vars[i];
 467     }
 468   for (i = 0; i < cmd->n_dep_vars; i++)
 469     {
 470       absent = true;
 471       for (j = 0; j < cmd->n_vars; j++)
 472         {
 473           if (cmd->dep_vars[i] == cmd->vars[j])
 474             {
 475               absent = false;
 476               break;
 477             }
 478         }
 479       if (absent)
 480         {
 481           vars[i + cmd->n_vars] = cmd->dep_vars[i];
 482         }
 483     }
 484 }
 485
 486 /*
 487   Is variable k the dependent variable?
 488 */
 489 static bool
 490 is_depvar (const struct regression *cmd, size_t k, const struct variable *v)
 491 {
 492   return v == cmd->vars[k];
 493 }
 494
 495
 496 /* Identify the explanatory variables in v_variables.  Returns
 497    the number of independent variables. */
 498 static int
 499 identify_indep_vars (const struct regression *cmd,
 500                      const struct variable **indep_vars,
 501                      const struct variable *depvar)
 502 {
 503   int n_indep_vars = 0;
 504   int i;
 505
 506   for (i = 0; i < cmd->n_vars; i++)
 507     if (!is_depvar (cmd, i, depvar))
 508       indep_vars[n_indep_vars++] = cmd->vars[i];
 509   if ((n_indep_vars < 1) && is_depvar (cmd, 0, depvar))
 510     {
 511       /*
 512         There is only one independent variable, and it is the same
 513         as the dependent variable. Print a warning and continue.
 514       */
 515       msg (SW,
 516            gettext ("The dependent variable is equal to the independent variable."
 517                     "The least squares line is therefore Y=X."
 518                     "Standard errors and related statistics may be meaningless."));
 519       n_indep_vars = 1;
 520       indep_vars[0] = cmd->vars[0];
 521     }
 522   return n_indep_vars;
 523 }
 524
 525
 526 static double
 527 fill_covariance (gsl_matrix *cov, struct covariance *all_cov,
 528                  const struct variable **vars,
 529                  size_t n_vars, const struct variable *dep_var,
 530                  const struct variable **all_vars, size_t n_all_vars,
 531                  double *means)
 532 {
 533   size_t i;
 534   size_t j;
 535   size_t dep_subscript;
 536   size_t *rows;
 537   const gsl_matrix *ssizes;
 538   const gsl_matrix *mean_matrix;
 539   const gsl_matrix *ssize_matrix;
 540   double result = 0.0;
 541
 542   gsl_matrix *cm = covariance_calculate_unnormalized (all_cov);
 543
 544   if ( cm == NULL)
 545     return 0;
 546
 547   rows = xnmalloc (cov->size1 - 1, sizeof (*rows));
 548
 549   for (i = 0; i < n_all_vars; i++)
 550     {
 551       for (j = 0; j < n_vars; j++)
 552         {
 553           if (vars[j] == all_vars[i])
 554             {
 555               rows[j] = i;
 556             }
 557         }
 558       if (all_vars[i] == dep_var)
 559         {
 560           dep_subscript = i;
 561         }
 562     }
 563   mean_matrix = covariance_moments (all_cov, MOMENT_MEAN);
 564   ssize_matrix = covariance_moments (all_cov, MOMENT_NONE);
 565   for (i = 0; i < cov->size1 - 1; i++)
 566     {
 567       means[i] = gsl_matrix_get (mean_matrix, rows[i], 0)
 568         / gsl_matrix_get (ssize_matrix, rows[i], 0);
 569       for (j = 0; j < cov->size2 - 1; j++)
 570         {
 571           gsl_matrix_set (cov, i, j, gsl_matrix_get (cm, rows[i], rows[j]));
 572           gsl_matrix_set (cov, j, i, gsl_matrix_get (cm, rows[j], rows[i]));
 573         }
 574     }
 575   means[cov->size1 - 1] = gsl_matrix_get (mean_matrix, dep_subscript, 0)
 576     / gsl_matrix_get (ssize_matrix, dep_subscript, 0);
 577   ssizes = covariance_moments (all_cov, MOMENT_NONE);
 578   result = gsl_matrix_get (ssizes, dep_subscript, rows[0]);
 579   for (i = 0; i < cov->size1 - 1; i++)
 580     {
 581       gsl_matrix_set (cov, i, cov->size1 - 1,
 582                       gsl_matrix_get (cm, rows[i], dep_subscript));
 583       gsl_matrix_set (cov, cov->size1 - 1, i,
 584                       gsl_matrix_get (cm, rows[i], dep_subscript));
 585       if (result > gsl_matrix_get (ssizes, rows[i], dep_subscript))
 586         {
 587           result = gsl_matrix_get (ssizes, rows[i], dep_subscript);
 588         }
 589     }
 590   gsl_matrix_set (cov, cov->size1 - 1, cov->size1 - 1,
 591                   gsl_matrix_get (cm, dep_subscript, dep_subscript));
 592   free (rows);
 593   gsl_matrix_free (cm);
 594   return result;
 595 }
 596
 597
 598 /*
 599   STATISTICS subcommand output functions.
 600 */
 601 static void reg_stats_r (linreg *, void *, const struct variable *);
 602 static void reg_stats_coeff (linreg *, void *, const struct variable *);
 603 static void reg_stats_anova (linreg *, void *, const struct variable *);
 604 static void reg_stats_bcov (linreg *, void *, const struct variable *);
 605
 606 static void statistics_keyword_output (void (*)(linreg *, void *, const struct variable *),
 607                                        bool, linreg *, void *, const struct variable *);
 608
 609
 610
 611 static void
 612 subcommand_statistics (const struct regression *cmd , linreg * c, void *aux,
 613                        const struct variable *var)
 614 {
 615   statistics_keyword_output (reg_stats_r, cmd->r, c, aux, var);
 616   statistics_keyword_output (reg_stats_anova, cmd->anova, c, aux, var);
 617   statistics_keyword_output (reg_stats_coeff, cmd->coeff, c, aux, var);
 618   statistics_keyword_output (reg_stats_bcov, cmd->bcov, c, aux, var);
 619 }
 620
 621
 622 static void
 623 run_regression (const struct regression *cmd, struct casereader *input)
 624 {
 625   size_t i;
 626   int n_indep = 0;
 627   int k;
 628   double *means;
 629   struct ccase *c;
 630   struct covariance *cov;
 631   const struct variable **vars;
 632   const struct variable **all_vars;
 633   struct casereader *reader;
 634   size_t n_all_vars;
 635
 636   linreg **models = cmd->models;
 637
 638   n_all_vars = get_n_all_vars (cmd);
 639   all_vars = xnmalloc (n_all_vars, sizeof (*all_vars));
 640   fill_all_vars (all_vars, cmd);
 641   vars = xnmalloc (cmd->n_vars, sizeof (*vars));
 642   means  = xnmalloc (n_all_vars, sizeof (*means));
 643   cov = covariance_1pass_create (n_all_vars, all_vars,
 644                                  dict_get_weight (dataset_dict (cmd->ds)), MV_ANY);
 645
 646   reader = casereader_clone (input);
 647   reader = casereader_create_filter_missing (reader, all_vars, n_all_vars,
 648                                              MV_ANY, NULL, NULL);
 649
 650
 651   for (; (c = casereader_read (reader)) != NULL; case_unref (c))
 652     {
 653       covariance_accumulate (cov, c);
 654     }
 655
 656   for (k = 0; k < cmd->n_dep_vars; k++)
 657     {
 658       double n_data;
 659       const struct variable *dep_var = cmd->dep_vars[k];
 660       gsl_matrix *this_cm;
 661
 662       n_indep = identify_indep_vars (cmd, vars, dep_var);
 663
 664       this_cm = gsl_matrix_alloc (n_indep + 1, n_indep + 1);
 665       n_data = fill_covariance (this_cm, cov, vars, n_indep,
 666                                 dep_var, all_vars, n_all_vars, means);
 667       models[k] = linreg_alloc (dep_var, (const struct variable **) vars,
 668                                 n_data, n_indep);
 669       models[k]->depvar = dep_var;
 670       for (i = 0; i < n_indep; i++)
 671         {
 672           linreg_set_indep_variable_mean (models[k], i, means[i]);
 673         }
 674       linreg_set_depvar_mean (models[k], means[i]);
 675       /*
 676         For large data sets, use QR decomposition.
 677       */
 678       if (n_data > sqrt (n_indep) && n_data > REG_LARGE_DATA)
 679         {
 680           models[k]->method = LINREG_QR;
 681         }
 682
 683       if (n_data > 0)
 684         {
 685           /*
 686             Find the least-squares estimates and other statistics.
 687           */
 688           linreg_fit (this_cm, models[k]);
 689
 690           if (!taint_has_tainted_successor (casereader_get_taint (input)))
 691             {
 692               subcommand_statistics (cmd, models[k], this_cm, dep_var);
 693             }
 694         }
 695       else
 696         {
 697           msg (SE,
 698                _("No valid data found. This command was skipped."));
 699           linreg_unref (models[k]);
 700           models[k] = NULL;
 701         }
 702       gsl_matrix_free (this_cm);
 703     }
 704
 705   casereader_destroy (reader);
 706   free (vars);
 707   free (all_vars);
 708   free (means);
 709   casereader_destroy (input);
 710   covariance_destroy (cov);
 711 }
 712
 713
 714 \f
 715
 716
 717 static void
 718 reg_stats_r (linreg *c, void *aux UNUSED, const struct variable *var)
 719 {
 720   struct tab_table *t;
 721   int n_rows = 2;
 722   int n_cols = 5;
 723   double rsq;
 724   double adjrsq;
 725   double std_error;
 726
 727   assert (c != NULL);
 728   rsq = linreg_ssreg (c) / linreg_sst (c);
 729   adjrsq = 1.0 - (1.0 - rsq) * (linreg_n_obs (c) - 1.0) / (linreg_n_obs (c) - linreg_n_coeffs (c));
 730   std_error = sqrt (linreg_mse (c));
 731   t = tab_create (n_cols, n_rows);
 732   tab_box (t, TAL_2, TAL_2, -1, TAL_1, 0, 0, n_cols - 1, n_rows - 1);
 733   tab_hline (t, TAL_2, 0, n_cols - 1, 1);
 734   tab_vline (t, TAL_2, 2, 0, n_rows - 1);
 735   tab_vline (t, TAL_0, 1, 0, 0);
 736
 737   tab_text (t, 1, 0, TAB_CENTER | TAT_TITLE, _("R"));
 738   tab_text (t, 2, 0, TAB_CENTER | TAT_TITLE, _("R Square"));
 739   tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("Adjusted R Square"));
 740   tab_text (t, 4, 0, TAB_CENTER | TAT_TITLE, _("Std. Error of the Estimate"));
 741   tab_double (t, 1, 1, TAB_RIGHT, sqrt (rsq), NULL);
 742   tab_double (t, 2, 1, TAB_RIGHT, rsq, NULL);
 743   tab_double (t, 3, 1, TAB_RIGHT, adjrsq, NULL);
 744   tab_double (t, 4, 1, TAB_RIGHT, std_error, NULL);
 745   tab_title (t, _("Model Summary (%s)"), var_to_string (var));
 746   tab_submit (t);
 747 }
 748
 749 /*
 750   Table showing estimated regression coefficients.
 751 */
 752 static void
 753 reg_stats_coeff (linreg * c, void *aux_, const struct variable *var)
 754 {
 755   size_t j;
 756   int n_cols = 7;
 757   int n_rows;
 758   int this_row;
 759   double t_stat;
 760   double pval;
 761   double std_err;
 762   double beta;
 763   const char *label;
 764
 765   const struct variable *v;
 766   struct tab_table *t;
 767   gsl_matrix *cov = aux_;
 768
 769   assert (c != NULL);
 770   n_rows = linreg_n_coeffs (c) + 3;
 771
 772   t = tab_create (n_cols, n_rows);
 773   tab_headers (t, 2, 0, 1, 0);
 774   tab_box (t, TAL_2, TAL_2, -1, TAL_1, 0, 0, n_cols - 1, n_rows - 1);
 775   tab_hline (t, TAL_2, 0, n_cols - 1, 1);
 776   tab_vline (t, TAL_2, 2, 0, n_rows - 1);
 777   tab_vline (t, TAL_0, 1, 0, 0);
 778
 779   tab_text (t, 2, 0, TAB_CENTER | TAT_TITLE, _("B"));
 780   tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("Std. Error"));
 781   tab_text (t, 4, 0, TAB_CENTER | TAT_TITLE, _("Beta"));
 782   tab_text (t, 5, 0, TAB_CENTER | TAT_TITLE, _("t"));
 783   tab_text (t, 6, 0, TAB_CENTER | TAT_TITLE, _("Significance"));
 784   tab_text (t, 1, 1, TAB_LEFT | TAT_TITLE, _("(Constant)"));
 785   tab_double (t, 2, 1, 0, linreg_intercept (c), NULL);
 786   std_err = sqrt (gsl_matrix_get (linreg_cov (c), 0, 0));
 787   tab_double (t, 3, 1, 0, std_err, NULL);
 788   tab_double (t, 4, 1, 0, 0.0, NULL);
 789   t_stat = linreg_intercept (c) / std_err;
 790   tab_double (t, 5, 1, 0, t_stat, NULL);
 791   pval = 2 * gsl_cdf_tdist_Q (fabs (t_stat), (double) (linreg_n_obs (c) - linreg_n_coeffs (c)));
 792   tab_double (t, 6, 1, 0, pval, NULL);
 793   for (j = 0; j < linreg_n_coeffs (c); j++)
 794     {
 795       struct string tstr;
 796       ds_init_empty (&tstr);
 797       this_row = j + 2;
 798
 799       v = linreg_indep_var (c, j);
 800       label = var_to_string (v);
 801       /* Do not overwrite the variable's name. */
 802       ds_put_cstr (&tstr, label);
 803       tab_text (t, 1, this_row, TAB_CENTER, ds_cstr (&tstr));
 804       /*
 805         Regression coefficients.
 806       */
 807       tab_double (t, 2, this_row, 0, linreg_coeff (c, j), NULL);
 808       /*
 809         Standard error of the coefficients.
 810       */
 811       std_err = sqrt (gsl_matrix_get (linreg_cov (c), j + 1, j + 1));
 812       tab_double (t, 3, this_row, 0, std_err, NULL);
 813       /*
 814         Standardized coefficient, i.e., regression coefficient
 815         if all variables had unit variance.
 816       */
 817       beta = sqrt (gsl_matrix_get (cov, j, j));
 818       beta *= linreg_coeff (c, j) /
 819         sqrt (gsl_matrix_get (cov, cov->size1 - 1, cov->size2 - 1));
 820       tab_double (t, 4, this_row, 0, beta, NULL);
 821
 822       /*
 823         Test statistic for H0: coefficient is 0.
 824       */
 825       t_stat = linreg_coeff (c, j) / std_err;
 826       tab_double (t, 5, this_row, 0, t_stat, NULL);
 827       /*
 828         P values for the test statistic above.
 829       */
 830       pval =
 831         2 * gsl_cdf_tdist_Q (fabs (t_stat),
 832                              (double) (linreg_n_obs (c) - linreg_n_coeffs (c)));
 833       tab_double (t, 6, this_row, 0, pval, NULL);
 834       ds_destroy (&tstr);
 835     }
 836   tab_title (t, _("Coefficients (%s)"), var_to_string (var));
 837   tab_submit (t);
 838 }
 839
 840 /*
 841   Display the ANOVA table.
 842 */
 843 static void
 844 reg_stats_anova (linreg * c, void *aux UNUSED, const struct variable *var)
 845 {
 846   int n_cols = 7;
 847   int n_rows = 4;
 848   const double msm = linreg_ssreg (c) / linreg_dfmodel (c);
 849   const double mse = linreg_mse (c);
 850   const double F = msm / mse;
 851   const double pval = gsl_cdf_fdist_Q (F, c->dfm, c->dfe);
 852
 853   struct tab_table *t;
 854
 855   assert (c != NULL);
 856   t = tab_create (n_cols, n_rows);
 857   tab_headers (t, 2, 0, 1, 0);
 858
 859   tab_box (t, TAL_2, TAL_2, -1, TAL_1, 0, 0, n_cols - 1, n_rows - 1);
 860
 861   tab_hline (t, TAL_2, 0, n_cols - 1, 1);
 862   tab_vline (t, TAL_2, 2, 0, n_rows - 1);
 863   tab_vline (t, TAL_0, 1, 0, 0);
 864
 865   tab_text (t, 2, 0, TAB_CENTER | TAT_TITLE, _("Sum of Squares"));
 866   tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("df"));
 867   tab_text (t, 4, 0, TAB_CENTER | TAT_TITLE, _("Mean Square"));
 868   tab_text (t, 5, 0, TAB_CENTER | TAT_TITLE, _("F"));
 869   tab_text (t, 6, 0, TAB_CENTER | TAT_TITLE, _("Significance"));
 870
 871   tab_text (t, 1, 1, TAB_LEFT | TAT_TITLE, _("Regression"));
 872   tab_text (t, 1, 2, TAB_LEFT | TAT_TITLE, _("Residual"));
 873   tab_text (t, 1, 3, TAB_LEFT | TAT_TITLE, _("Total"));
 874
 875   /* Sums of Squares */
 876   tab_double (t, 2, 1, 0, linreg_ssreg (c), NULL);
 877   tab_double (t, 2, 3, 0, linreg_sst (c), NULL);
 878   tab_double (t, 2, 2, 0, linreg_sse (c), NULL);
 879
 880
 881   /* Degrees of freedom */
 882   tab_text_format (t, 3, 1, TAB_RIGHT, "%g", c->dfm);
 883   tab_text_format (t, 3, 2, TAB_RIGHT, "%g", c->dfe);
 884   tab_text_format (t, 3, 3, TAB_RIGHT, "%g", c->dft);
 885
 886   /* Mean Squares */
 887   tab_double (t, 4, 1, TAB_RIGHT, msm, NULL);
 888   tab_double (t, 4, 2, TAB_RIGHT, mse, NULL);
 889
 890   tab_double (t, 5, 1, 0, F, NULL);
 891
 892   tab_double (t, 6, 1, 0, pval, NULL);
 893
 894   tab_title (t, _("ANOVA (%s)"), var_to_string (var));
 895   tab_submit (t);
 896 }
 897
 898
 899 static void
 900 reg_stats_bcov (linreg * c, void *aux UNUSED, const struct variable *var)
 901 {
 902   int n_cols;
 903   int n_rows;
 904   int i;
 905   int k;
 906   int row;
 907   int col;
 908   const char *label;
 909   struct tab_table *t;
 910
 911   assert (c != NULL);
 912   n_cols = c->n_indeps + 1 + 2;
 913   n_rows = 2 * (c->n_indeps + 1);
 914   t = tab_create (n_cols, n_rows);
 915   tab_headers (t, 2, 0, 1, 0);
 916   tab_box (t, TAL_2, TAL_2, -1, TAL_1, 0, 0, n_cols - 1, n_rows - 1);
 917   tab_hline (t, TAL_2, 0, n_cols - 1, 1);
 918   tab_vline (t, TAL_2, 2, 0, n_rows - 1);
 919   tab_vline (t, TAL_0, 1, 0, 0);
 920   tab_text (t, 0, 0, TAB_CENTER | TAT_TITLE, _("Model"));
 921   tab_text (t, 1, 1, TAB_CENTER | TAT_TITLE, _("Covariances"));
 922   for (i = 0; i < linreg_n_coeffs (c); i++)
 923     {
 924       const struct variable *v = linreg_indep_var (c, i);
 925       label = var_to_string (v);
 926       tab_text (t, 2, i, TAB_CENTER, label);
 927       tab_text (t, i + 2, 0, TAB_CENTER, label);
 928       for (k = 1; k < linreg_n_coeffs (c); k++)
 929         {
 930           col = (i <= k) ? k : i;
 931           row = (i <= k) ? i : k;
 932           tab_double (t, k + 2, i, TAB_CENTER,
 933                       gsl_matrix_get (c->cov, row, col), NULL);
 934         }
 935     }
 936   tab_title (t, _("Coefficient Correlations (%s)"), var_to_string (var));
 937   tab_submit (t);
 938 }
 939
 940 static void
 941 statistics_keyword_output (void (*function) (linreg *, void *, const struct variable *var),
 942                            bool keyword, linreg * c, void *aux, const struct variable *var)
 943 {
 944   if (keyword)
 945     {
 946       (*function) (c, aux, var);
 947     }
 948 }