Fixed some bugs related to empty parentheses
[pspp] / src / language / stats / regression.c
index a9d1a50b634e11f3dc883977809660ec6736c441..66a5abaf7c8aa7011d071bc5a9837c06904451e5 100644 (file)
@@ -1,5 +1,5 @@
 /* PSPP - a program for statistical analysis.
-   Copyright (C) 2005, 2009, 2010, 2011, 2012, 2013 Free Software Foundation, Inc.
+   Copyright (C) 2005, 2009, 2010, 2011, 2012, 2013, 2014, 2016 Free Software Foundation, Inc.
 
    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
 
 #include <config.h>
 
+#include <float.h>
 #include <stdbool.h>
 
 #include <gsl/gsl_cdf.h>
 #include <gsl/gsl_matrix.h>
 
 #include <data/dataset.h>
+#include <data/casewriter.h>
 
 #include "language/command.h"
 #include "language/lexer/lexer.h"
 
 #define REG_LARGE_DATA 1000
 
+#define STATS_R      1
+#define STATS_COEFF  2
+#define STATS_ANOVA  4
+#define STATS_OUTS   8
+#define STATS_CI    16
+#define STATS_BCOV  32
+
+#define STATS_DEFAULT  (STATS_R | STATS_COEFF | STATS_ANOVA | STATS_OUTS)
+
+
+
 struct regression
 {
   struct dataset *ds;
@@ -61,11 +74,8 @@ struct regression
   const struct variable **dep_vars;
   size_t n_dep_vars;
 
-  bool r;
-  bool coeff;
-  bool anova;
-  bool bcov;
-
+  unsigned int stats;
+  double ci;
 
   bool resid;
   bool pred;
@@ -73,107 +83,30 @@ struct regression
 
 struct regression_workspace
 {
-  linreg **models;
-};
-
-static void run_regression (const struct regression *cmd,
-                           linreg **models,
-                            struct casereader *input);
+  /* The new variables which will be introduced by /SAVE */
+  const struct variable **predvars; 
+  const struct variable **residvars;
 
+  /* A reader/writer pair to temporarily hold the 
+     values of the new variables */
+  struct casewriter *writer;
+  struct casereader *reader;
 
+  /* Indeces of the new values in the reader/writer (-1 if not applicable) */
+  int res_idx;
+  int pred_idx;
 
-/*
-  Transformations for saving predicted values
-  and residuals, etc.
-*/
-struct reg_trns
-{
-  linreg *c;                    /* Linear model for this trns. */
-  const struct variable *var;
+  /* 0, 1 or 2 depending on what new variables are to be created */
+  int extras;
 };
 
-/*
-  Gets the predicted values.
-*/
-static int
-regression_trns_pred_proc (void *t_, struct ccase **c,
-                           casenumber case_idx UNUSED)
-{
-  size_t i;
-  size_t n_vals;
-  struct reg_trns *trns = t_;
-  const linreg *model;
-  union value *output = NULL;
-  const union value *tmp;
-  double *vals;
-  const struct variable **vars = NULL;
-
-  assert (trns != NULL);
-  model = trns->c;
-  assert (model != NULL);
-  assert (model->depvar != NULL);
-
-  vars = linreg_get_vars (model);
-  n_vals = linreg_n_coeffs (model);
-  vals = xnmalloc (n_vals, sizeof (*vals));
-  *c = case_unshare (*c);
-
-  output = case_data_rw (*c, trns->var);
-
-  for (i = 0; i < n_vals; i++)
-    {
-      tmp = case_data (*c, vars[i]);
-      vals[i] = tmp->f;
-    }
-  output->f = linreg_predict (model, vals, n_vals);
-  free (vals);
-  return TRNS_CONTINUE;
-}
-
-/*
-  Gets the residuals.
-*/
-static int
-regression_trns_resid_proc (void *t_, struct ccase **c,
-                            casenumber case_idx UNUSED)
-{
-  size_t i;
-  size_t n_vals;
-  struct reg_trns *trns = t_;
-  const linreg *model;
-  union value *output = NULL;
-  const union value *tmp;
-  double *vals = NULL;
-  double obs;
-  const struct variable **vars = NULL;
-
-  assert (trns != NULL);
-  model = trns->c;
-  assert (model != NULL);
-  assert (model->depvar != NULL);
-
-  vars = linreg_get_vars (model);
-  n_vals = linreg_n_coeffs (model);
-
-  vals = xnmalloc (n_vals, sizeof (*vals));
-  *c = case_unshare (*c);
-  output = case_data_rw (*c, trns->var);
-  assert (output != NULL);
-
-  for (i = 0; i < n_vals; i++)
-    {
-      tmp = case_data (*c, vars[i]);
-      vals[i] = tmp->f;
-    }
-  tmp = case_data (*c, model->depvar);
-  obs = tmp->f;
-  output->f = linreg_residual (model, obs, vals, n_vals);
-  free (vals);
-
-  return TRNS_CONTINUE;
-}
+static void run_regression (const struct regression *cmd,
+                            struct regression_workspace *ws,
+                            struct casereader *input);
 
 
+/* Return a string based on PREFIX which may be used as the name
+   of a new variable in DICT */
 static char *
 reg_get_name (const struct dictionary *dict, const char *prefix)
 {
@@ -190,22 +123,6 @@ reg_get_name (const struct dictionary *dict, const char *prefix)
     }
 }
 
-/*
-  Free the transformation. Free its linear model if this
-  transformation is the last one.
-*/
-static bool
-regression_trns_free (void *t_)
-{
-  struct reg_trns *t = t_;
-
-  linreg_unref (t->c);
-
-  free (t);
-
-  return true;
-}
-
 
 static const struct variable *
 create_aux_var (struct dataset *ds, const char *prefix)
@@ -218,76 +135,71 @@ create_aux_var (struct dataset *ds, const char *prefix)
   return var;
 }
 
-static void
-reg_save_var (struct dataset *ds, trns_proc_func * f,
-             const struct variable *var,
-              linreg *c)
+/* Auxilliary data for transformation when /SAVE is entered */
+struct save_trans_data
 {
-  struct reg_trns *t = xmalloc (sizeof (*t));
-  t->c = c;
-  t->var = var;
-  linreg_ref (c);
+  int n_dep_vars;
+  struct regression_workspace *ws;
+};
 
-  add_transformation (ds, f, regression_trns_free, t);
+static bool
+save_trans_free (void *aux)
+{
+  struct save_trans_data *save_trans_data = aux;
+  free (save_trans_data->ws->predvars);
+  free (save_trans_data->ws->residvars);
+
+  casereader_destroy (save_trans_data->ws->reader);
+  free (save_trans_data->ws);
+  free (save_trans_data);
+  return true;
 }
 
-static void
-subcommand_save (const struct regression *cmd, 
-                struct regression_workspace *workspace,
-                size_t n_m)
+static int 
+save_trans_func (void *aux, struct ccase **c, casenumber x UNUSED)
 {
-  int i;
-  for (i = 0; i < cmd->n_dep_vars; ++i)
-    {
-      int w;
-      const struct variable *resvar = NULL;
-      const struct variable *predvar = NULL;
-
-      if (cmd->resid)
-       resvar = create_aux_var (cmd->ds, "RES");
+  struct save_trans_data *save_trans_data = aux;
+  struct regression_workspace *ws = save_trans_data->ws;
+  struct ccase *in =  casereader_read (ws->reader);
 
-      if (cmd->pred)
-       predvar = create_aux_var (cmd->ds, "PRED");
+  if (in)
+    {
+      int k;
+      *c = case_unshare (*c);
 
-      for (w = 0 ; w < n_m; ++w)
-       {
-         linreg **models = workspace[w].models;
-         linreg *lc = models[i];
-         if (lc == NULL)
-           continue;
-         
-         if (lc->depvar == NULL)
-           continue;
-         
-         if (cmd->resid)
-           {
-             reg_save_var (cmd->ds, regression_trns_resid_proc, resvar, lc);
-           }
-         
-         if (cmd->pred)
-           {
-             reg_save_var (cmd->ds, regression_trns_pred_proc, predvar, lc);
-           }
-       }
+      for (k = 0; k < save_trans_data->n_dep_vars; ++k)
+        {
+          if (ws->pred_idx != -1)
+            {
+              double pred = case_data_idx (in, ws->extras * k + ws->pred_idx)->f;
+              case_data_rw (*c, ws->predvars[k])->f = pred;
+            }
+          
+          if (ws->res_idx != -1)
+            {
+              double resid = case_data_idx (in, ws->extras * k + ws->res_idx)->f;
+              case_data_rw (*c, ws->residvars[k])->f = resid;
+            }
+        }
+      case_unref (in);
     }
+
+  return TRNS_CONTINUE;
 }
 
+
 int
 cmd_regression (struct lexer *lexer, struct dataset *ds)
 {
-  int w;
-  struct regression_workspace *workspace = NULL;
-  size_t n_workspaces = 0;
+  struct regression_workspace workspace;
   struct regression regression;
   const struct dictionary *dict = dataset_dict (ds);
   bool save;
 
   memset (&regression, 0, sizeof (struct regression));
 
-  regression.anova = true;
-  regression.coeff = true;
-  regression.r = true;
-
+  regression.ci = 0.95;
+  regression.stats = STATS_DEFAULT;
   regression.pred = false;
   regression.resid = false;
 
@@ -313,9 +225,11 @@ cmd_regression (struct lexer *lexer, struct dataset *ds)
 
       if (lex_match_id (lexer, "DEPENDENT"))
         {
-          if (!lex_force_match (lexer, T_EQUALS))
-            goto error;
+          lex_match (lexer, T_EQUALS);
 
+         free (regression.dep_vars);
+         regression.n_dep_vars = 0;
+         
           if (!parse_variables_const (lexer, dict,
                                       &regression.dep_vars,
                                       &regression.n_dep_vars,
@@ -333,6 +247,7 @@ cmd_regression (struct lexer *lexer, struct dataset *ds)
         }
       else if (lex_match_id (lexer, "STATISTICS"))
         {
+         unsigned long statistics = 0;
           lex_match (lexer, T_EQUALS);
 
           while (lex_token (lexer) != T_ENDCMD
@@ -340,21 +255,39 @@ cmd_regression (struct lexer *lexer, struct dataset *ds)
             {
               if (lex_match (lexer, T_ALL))
                 {
+                 statistics = ~0;
                 }
               else if (lex_match_id (lexer, "DEFAULTS"))
                 {
+                 statistics |= STATS_DEFAULT;
                 }
               else if (lex_match_id (lexer, "R"))
                 {
+                 statistics |= STATS_R;
                 }
               else if (lex_match_id (lexer, "COEFF"))
                 {
+                 statistics |= STATS_COEFF;
                 }
               else if (lex_match_id (lexer, "ANOVA"))
                 {
+                 statistics |= STATS_ANOVA;
                 }
               else if (lex_match_id (lexer, "BCOV"))
                 {
+                 statistics |= STATS_BCOV;
+                }
+              else if (lex_match_id (lexer, "CI"))
+                {
+                 statistics |= STATS_CI;
+
+                 if (lex_match (lexer, T_LPAREN) &&
+                     lex_force_num (lexer))
+                   {
+                     regression.ci = lex_number (lexer) / 100.0;
+                     lex_get (lexer);
+                     lex_force_match (lexer, T_RPAREN);
+                   }
                 }
               else
                 {
@@ -362,6 +295,10 @@ cmd_regression (struct lexer *lexer, struct dataset *ds)
                   goto error;
                 }
             }
+
+         if (statistics)
+           regression.stats = statistics;
+
         }
       else if (lex_match_id (lexer, "SAVE"))
         {
@@ -397,68 +334,101 @@ cmd_regression (struct lexer *lexer, struct dataset *ds)
       dict_get_vars (dict, &regression.vars, &regression.n_vars, 0);
     }
 
-
   save = regression.pred || regression.resid;
+  workspace.extras = 0;
+  workspace.res_idx = -1;
+  workspace.pred_idx = -1;
+  workspace.writer = NULL;                      
+  workspace.reader = NULL;
+  workspace.residvars = NULL;
+  workspace.predvars = NULL;
   if (save)
     {
+      int i;
+      struct caseproto *proto = caseproto_create ();
+
+      if (regression.resid)
+        {
+          workspace.res_idx = workspace.extras ++;
+          workspace.residvars = xcalloc (regression.n_dep_vars, sizeof (*workspace.residvars));
+
+          for (i = 0; i < regression.n_dep_vars; ++i)
+            {
+              workspace.residvars[i] = create_aux_var (ds, "RES");
+              proto = caseproto_add_width (proto, 0);
+            }
+        }
+
+      if (regression.pred)
+        {
+          workspace.pred_idx = workspace.extras ++;
+          workspace.predvars = xcalloc (regression.n_dep_vars, sizeof (*workspace.predvars));
+
+          for (i = 0; i < regression.n_dep_vars; ++i)
+            {
+              workspace.predvars[i] = create_aux_var (ds, "PRED");
+              proto = caseproto_add_width (proto, 0);
+            }
+        }
+
       if (proc_make_temporary_transformations_permanent (ds))
         msg (SW, _("REGRESSION with SAVE ignores TEMPORARY.  "
                    "Temporary transformations will be made permanent."));
+
+      if (dict_get_filter (dict))
+        msg (SW, _("REGRESSION with SAVE ignores FILTER.  "
+                   "All cases will be processed."));
+
+      workspace.writer = autopaging_writer_create (proto);
+      caseproto_unref (proto);
     }
 
+
   {
     struct casegrouper *grouper;
     struct casereader *group;
     bool ok;
 
-    grouper = casegrouper_create_splits (proc_open_filtering (ds, !save),
-                                         dict);
+    grouper = casegrouper_create_splits (proc_open_filtering (ds, !save), dict);
+
+
     while (casegrouper_get_next_group (grouper, &group))
       {
-       workspace = xrealloc (workspace, sizeof (workspace) * (n_workspaces + 1));
-       workspace[n_workspaces].models = xcalloc (regression.n_dep_vars, sizeof (linreg *));
-       run_regression (&regression, workspace[n_workspaces++].models, group);
+       run_regression (&regression,
+                        &workspace,
+                        group);
+
       }
     ok = casegrouper_destroy (grouper);
     ok = proc_commit (ds) && ok;
   }
 
-  if (save)
+  if (workspace.writer)
     {
-      subcommand_save (&regression, workspace, n_workspaces);
+      struct save_trans_data *save_trans_data = xmalloc (sizeof *save_trans_data);
+      struct casereader *r = casewriter_make_reader (workspace.writer);
+      workspace.writer = NULL;
+      workspace.reader = r;
+      save_trans_data->ws = xmalloc (sizeof (workspace));
+      memcpy (save_trans_data->ws, &workspace, sizeof (workspace));
+      save_trans_data->n_dep_vars = regression.n_dep_vars;
+          
+      add_transformation (ds, save_trans_func, save_trans_free, save_trans_data);
     }
 
-  for (w = 0 ; w < n_workspaces; ++w)
-    {
-      int i;
-      linreg **models = workspace[w].models;
-      for (i = 0; i < regression.n_dep_vars; ++i)
-       linreg_unref (models[i]);
-      free (models);
-    }
-  free (workspace);
 
   free (regression.vars);
   free (regression.dep_vars);
   return CMD_SUCCESS;
 
 error:
-  for (w = 0 ; w < n_workspaces; ++w)
-    {
-      int i;
-      linreg **models = workspace[w].models;
-      for (i = 0; i < regression.n_dep_vars; ++i)
-       linreg_unref (models[i]);
-      free (models);
-    }
-  free (workspace);
 
   free (regression.vars);
   free (regression.dep_vars);
   return CMD_FAILURE;
 }
 
-
+/* Return the size of the union of dependent and independent variables */
 static size_t
 get_n_all_vars (const struct regression *cmd)
 {
@@ -480,20 +450,21 @@ get_n_all_vars (const struct regression *cmd)
   return result;
 }
 
+/* Fill VARS with the union of dependent and independent variables */
 static void
 fill_all_vars (const struct variable **vars, const struct regression *cmd)
 {
+  size_t x = 0;
   size_t i;
-  size_t j;
-  bool absent;
-
   for (i = 0; i < cmd->n_vars; i++)
     {
       vars[i] = cmd->vars[i];
     }
+
   for (i = 0; i < cmd->n_dep_vars; i++)
     {
-      absent = true;
+      size_t j;
+      bool absent = true;
       for (j = 0; j < cmd->n_vars; j++)
         {
           if (cmd->dep_vars[i] == cmd->vars[j])
@@ -504,7 +475,7 @@ fill_all_vars (const struct variable **vars, const struct regression *cmd)
         }
       if (absent)
         {
-          vars[i + cmd->n_vars] = cmd->dep_vars[i];
+          vars[cmd->n_vars + x++] = cmd->dep_vars[i];
         }
     }
 }
@@ -540,8 +511,8 @@ identify_indep_vars (const struct regression *cmd,
        */
       msg (SW,
            gettext
-           ("The dependent variable is equal to the independent variable."
-            "The least squares line is therefore Y=X."
+           ("The dependent variable is equal to the independent variable. "
+            "The least squares line is therefore Y=X. "
             "Standard errors and related statistics may be meaningless."));
       n_indep_vars = 1;
       indep_vars[0] = cmd->vars[0];
@@ -566,7 +537,7 @@ fill_covariance (gsl_matrix * cov, struct covariance *all_cov,
   const gsl_matrix *ssize_matrix;
   double result = 0.0;
 
-  gsl_matrix *cm = covariance_calculate_unnormalized (all_cov);
+  const gsl_matrix *cm = covariance_calculate_unnormalized (all_cov);
 
   if (cm == NULL)
     return 0;
@@ -617,56 +588,56 @@ fill_covariance (gsl_matrix * cov, struct covariance *all_cov,
   gsl_matrix_set (cov, cov->size1 - 1, cov->size1 - 1,
                   gsl_matrix_get (cm, dep_subscript, dep_subscript));
   free (rows);
-  gsl_matrix_free (cm);
   return result;
 }
 
+\f
 
 /*
   STATISTICS subcommand output functions.
 */
-static void reg_stats_r (linreg *, void *, const struct variable *);
-static void reg_stats_coeff (linreg *, void *, const struct variable *);
-static void reg_stats_anova (linreg *, void *, const struct variable *);
-static void reg_stats_bcov (linreg *, void *, const struct variable *);
-
-static void
-statistics_keyword_output (void (*)
-                           (linreg *, void *, const struct variable *), bool,
-                           linreg *, void *, const struct variable *);
-
+static void reg_stats_r (const linreg *,     const struct variable *);
+static void reg_stats_coeff (const linreg *, const gsl_matrix *, const struct variable *, const struct regression *);
+static void reg_stats_anova (const linreg *, const struct variable *);
+static void reg_stats_bcov (const linreg *,  const struct variable *);
 
 
 static void
-subcommand_statistics (const struct regression *cmd, linreg * c, void *aux,
+subcommand_statistics (const struct regression *cmd, const linreg * c, const gsl_matrix * cm,
                        const struct variable *var)
 {
-  statistics_keyword_output (reg_stats_r, cmd->r, c, aux, var);
-  statistics_keyword_output (reg_stats_anova, cmd->anova, c, aux, var);
-  statistics_keyword_output (reg_stats_coeff, cmd->coeff, c, aux, var);
-  statistics_keyword_output (reg_stats_bcov, cmd->bcov, c, aux, var);
+  if (cmd->stats & STATS_R) 
+    reg_stats_r     (c, var);
+
+  if (cmd->stats & STATS_ANOVA) 
+    reg_stats_anova (c, var);
+
+  if (cmd->stats & STATS_COEFF)
+    reg_stats_coeff (c, cm, var, cmd);
+
+  if (cmd->stats & STATS_BCOV)
+    reg_stats_bcov  (c, var);
 }
 
 
 static void
-run_regression (const struct regression *cmd, linreg **models, struct casereader *input)
+run_regression (const struct regression *cmd, 
+                struct regression_workspace *ws,
+                struct casereader *input)
 {
   size_t i;
-  int n_indep = 0;
+  linreg **models;
+
   int k;
-  double *means;
   struct ccase *c;
   struct covariance *cov;
-  const struct variable **vars;
-  const struct variable **all_vars;
   struct casereader *reader;
-  size_t n_all_vars;
+  size_t n_all_vars = get_n_all_vars (cmd);
+  const struct variable **all_vars = xnmalloc (n_all_vars, sizeof (*all_vars));
+
+  double *means = xnmalloc (n_all_vars, sizeof (*means));
 
-  n_all_vars = get_n_all_vars (cmd);
-  all_vars = xnmalloc (n_all_vars, sizeof (*all_vars));
   fill_all_vars (all_vars, cmd);
-  vars = xnmalloc (cmd->n_vars, sizeof (*vars));
-  means = xnmalloc (n_all_vars, sizeof (*means));
   cov = covariance_1pass_create (n_all_vars, all_vars,
                                  dict_get_weight (dataset_dict (cmd->ds)),
                                  MV_ANY);
@@ -676,21 +647,24 @@ run_regression (const struct regression *cmd, linreg **models, struct casereader
                                              MV_ANY, NULL, NULL);
 
 
-  for (; (c = casereader_read (reader)) != NULL; case_unref (c))
-    {
-      covariance_accumulate (cov, c);
-    }
+  {
+    struct casereader *r = casereader_clone (reader);
+
+    for (; (c = casereader_read (r)) != NULL; case_unref (c))
+      {
+        covariance_accumulate (cov, c);
+      }
+    casereader_destroy (r);
+  }
 
+  models = xcalloc (cmd->n_dep_vars, sizeof (*models));
   for (k = 0; k < cmd->n_dep_vars; k++)
     {
-      double n_data;
+      const struct variable **vars = xnmalloc (cmd->n_vars, sizeof (*vars));
       const struct variable *dep_var = cmd->dep_vars[k];
-      gsl_matrix *this_cm;
-
-      n_indep = identify_indep_vars (cmd, vars, dep_var);
-
-      this_cm = gsl_matrix_alloc (n_indep + 1, n_indep + 1);
-      n_data = fill_covariance (this_cm, cov, vars, n_indep,
+      int n_indep = identify_indep_vars (cmd, vars, dep_var);
+      gsl_matrix *this_cm = gsl_matrix_alloc (n_indep + 1, n_indep + 1);
+      double n_data = fill_covariance (this_cm, cov, vars, n_indep,
                                 dep_var, all_vars, n_all_vars, means);
       models[k] = linreg_alloc (dep_var, vars,  n_data, n_indep);
       models[k]->depvar = dep_var;
@@ -724,22 +698,68 @@ run_regression (const struct regression *cmd, linreg **models, struct casereader
           msg (SE, _("No valid data found. This command was skipped."));
         }
       gsl_matrix_free (this_cm);
+      free (vars);
+    }
+
+
+  if (ws->extras > 0)
+   {
+      struct casereader *r = casereader_clone (reader);
+      
+      for (; (c = casereader_read (r)) != NULL; case_unref (c))
+        {
+          struct ccase *outc = case_create (casewriter_get_proto (ws->writer));
+          for (k = 0; k < cmd->n_dep_vars; k++)
+            {
+              const struct variable **vars = xnmalloc (cmd->n_vars, sizeof (*vars));
+              const struct variable *dep_var = cmd->dep_vars[k];
+              int n_indep = identify_indep_vars (cmd, vars, dep_var);
+              double *vals = xnmalloc (n_indep, sizeof (*vals));
+              for (i = 0; i < n_indep; i++)
+                {
+                  const union value *tmp = case_data (c, vars[i]);
+                  vals[i] = tmp->f;
+                }
+
+              if (cmd->pred)
+                {
+                  double pred = linreg_predict (models[k], vals, n_indep);
+                  case_data_rw_idx (outc, k * ws->extras + ws->pred_idx)->f = pred;
+                }
+
+              if (cmd->resid)
+                {
+                  double obs = case_data (c, models[k]->depvar)->f;
+                  double res = linreg_residual (models[k], obs,  vals, n_indep);
+                  case_data_rw_idx (outc, k * ws->extras + ws->res_idx)->f = res;
+                }
+             free (vals);
+             free (vars);
+            }          
+          casewriter_write (ws->writer, outc);
+        }
+      casereader_destroy (r);
     }
 
   casereader_destroy (reader);
-  free (vars);
+
+  for (k = 0; k < cmd->n_dep_vars; k++)
+    {
+      linreg_unref (models[k]);
+    }
+  free (models);
+
   free (all_vars);
   free (means);
   casereader_destroy (input);
   covariance_destroy (cov);
 }
-\f
-
 
+\f
 
 
 static void
-reg_stats_r (linreg * c, void *aux UNUSED, const struct variable *var)
+reg_stats_r (const linreg * c, const struct variable *var)
 {
   struct tab_table *t;
   int n_rows = 2;
@@ -764,10 +784,10 @@ reg_stats_r (linreg * c, void *aux UNUSED, const struct variable *var)
   tab_text (t, 2, 0, TAB_CENTER | TAT_TITLE, _("R Square"));
   tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("Adjusted R Square"));
   tab_text (t, 4, 0, TAB_CENTER | TAT_TITLE, _("Std. Error of the Estimate"));
-  tab_double (t, 1, 1, TAB_RIGHT, sqrt (rsq), NULL);
-  tab_double (t, 2, 1, TAB_RIGHT, rsq, NULL);
-  tab_double (t, 3, 1, TAB_RIGHT, adjrsq, NULL);
-  tab_double (t, 4, 1, TAB_RIGHT, std_error, NULL);
+  tab_double (t, 1, 1, TAB_RIGHT, sqrt (rsq), NULL, RC_OTHER);
+  tab_double (t, 2, 1, TAB_RIGHT, rsq, NULL, RC_OTHER);
+  tab_double (t, 3, 1, TAB_RIGHT, adjrsq, NULL, RC_OTHER);
+  tab_double (t, 4, 1, TAB_RIGHT, std_error, NULL, RC_OTHER);
   tab_title (t, _("Model Summary (%s)"), var_to_string (var));
   tab_submit (t);
 }
@@ -776,10 +796,11 @@ reg_stats_r (linreg * c, void *aux UNUSED, const struct variable *var)
   Table showing estimated regression coefficients.
 */
 static void
-reg_stats_coeff (linreg * c, void *aux_, const struct variable *var)
+reg_stats_coeff (const linreg * c, const gsl_matrix *cov, const struct variable *var, const struct regression *cmd)
 {
   size_t j;
   int n_cols = 7;
+  const int heading_rows = 2;
   int n_rows;
   int this_row;
   double t_stat;
@@ -790,54 +811,78 @@ reg_stats_coeff (linreg * c, void *aux_, const struct variable *var)
 
   const struct variable *v;
   struct tab_table *t;
-  gsl_matrix *cov = aux_;
+
+  const double df = linreg_n_obs (c) - linreg_n_coeffs (c) - 1;
+  double q = (1 - cmd->ci) / 2.0;  /* 2-tailed test */
+  double tval = gsl_cdf_tdist_Qinv (q, df);
 
   assert (c != NULL);
-  n_rows = linreg_n_coeffs (c) + 3;
+  n_rows = linreg_n_coeffs (c) + heading_rows + 1;
+
+  if (cmd->stats & STATS_CI)
+    n_cols += 2;
 
   t = tab_create (n_cols, n_rows);
   tab_headers (t, 2, 0, 1, 0);
   tab_box (t, TAL_2, TAL_2, -1, TAL_1, 0, 0, n_cols - 1, n_rows - 1);
-  tab_hline (t, TAL_2, 0, n_cols - 1, 1);
+  tab_hline (t, TAL_2, 0, n_cols - 1, heading_rows);
   tab_vline (t, TAL_2, 2, 0, n_rows - 1);
   tab_vline (t, TAL_0, 1, 0, 0);
 
-  tab_text (t, 2, 0, TAB_CENTER | TAT_TITLE, _("B"));
-  tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("Std. Error"));
-  tab_text (t, 4, 0, TAB_CENTER | TAT_TITLE, _("Beta"));
-  tab_text (t, 5, 0, TAB_CENTER | TAT_TITLE, _("t"));
-  tab_text (t, 6, 0, TAB_CENTER | TAT_TITLE, _("Significance"));
-  tab_text (t, 1, 1, TAB_LEFT | TAT_TITLE, _("(Constant)"));
-  tab_double (t, 2, 1, 0, linreg_intercept (c), NULL);
+
+  tab_hline (t, TAL_1, 2, 4, 1); 
+  tab_joint_text (t, 2, 0, 3, 0, TAB_CENTER | TAT_TITLE, _("Unstandardized Coefficients"));
+  tab_text (t, 2, 1, TAB_CENTER | TAT_TITLE, _("B"));
+  tab_text (t, 3, 1, TAB_CENTER | TAT_TITLE, _("Std. Error"));
+  tab_text (t, 4, 0, TAB_CENTER | TAT_TITLE, _("Standardized Coefficients"));
+  tab_text (t, 4, 1, TAB_CENTER | TAT_TITLE, _("Beta"));
+  tab_text (t, 5, 1, TAB_CENTER | TAT_TITLE, _("t"));
+  tab_text (t, 6, 1, TAB_CENTER | TAT_TITLE, _("Sig."));
+  tab_text (t, 1, heading_rows, TAB_LEFT | TAT_TITLE, _("(Constant)"));
+  tab_double (t, 2, heading_rows, 0, linreg_intercept (c), NULL, RC_OTHER);
   std_err = sqrt (gsl_matrix_get (linreg_cov (c), 0, 0));
-  tab_double (t, 3, 1, 0, std_err, NULL);
-  tab_double (t, 4, 1, 0, 0.0, NULL);
+
+  if (cmd->stats & STATS_CI)
+    {
+      double lower = linreg_intercept (c) - tval * std_err ;
+      double upper = linreg_intercept (c) + tval * std_err ;
+      tab_double (t, 7, heading_rows, 0, lower, NULL, RC_OTHER);
+      tab_double (t, 8, heading_rows, 0, upper, NULL, RC_OTHER);
+
+      tab_joint_text_format (t, 7, 0, 8, 0, TAB_CENTER | TAT_TITLE, _("%g%% Confidence Interval for B"), cmd->ci * 100);
+      tab_hline (t, TAL_1, 7, 8, 1); 
+      tab_text (t, 7, 1, TAB_CENTER | TAT_TITLE, _("Lower Bound"));
+      tab_text (t, 8, 1, TAB_CENTER | TAT_TITLE, _("Upper Bound"));
+    }
+  tab_double (t, 3, heading_rows, 0, std_err, NULL, RC_OTHER);
+  tab_double (t, 4, heading_rows, 0, 0.0, NULL, RC_OTHER);
   t_stat = linreg_intercept (c) / std_err;
-  tab_double (t, 5, 1, 0, t_stat, NULL);
+  tab_double (t, 5, heading_rows, 0, t_stat, NULL, RC_OTHER);
   pval =
     2 * gsl_cdf_tdist_Q (fabs (t_stat),
                          (double) (linreg_n_obs (c) - linreg_n_coeffs (c)));
-  tab_double (t, 6, 1, 0, pval, NULL);
+  tab_double (t, 6, heading_rows, 0, pval, NULL, RC_PVALUE);
+
   for (j = 0; j < linreg_n_coeffs (c); j++)
     {
       struct string tstr;
       ds_init_empty (&tstr);
-      this_row = j + 2;
+      this_row = j + heading_rows + 1;
 
       v = linreg_indep_var (c, j);
       label = var_to_string (v);
       /* Do not overwrite the variable's name. */
       ds_put_cstr (&tstr, label);
-      tab_text (t, 1, this_row, TAB_CENTER, ds_cstr (&tstr));
+      tab_text (t, 1, this_row, TAB_LEFT, ds_cstr (&tstr));
       /*
          Regression coefficients.
        */
-      tab_double (t, 2, this_row, 0, linreg_coeff (c, j), NULL);
+      tab_double (t, 2, this_row, 0, linreg_coeff (c, j), NULL, RC_OTHER);
       /*
          Standard error of the coefficients.
        */
       std_err = sqrt (gsl_matrix_get (linreg_cov (c), j + 1, j + 1));
-      tab_double (t, 3, this_row, 0, std_err, NULL);
+      tab_double (t, 3, this_row, 0, std_err, NULL, RC_OTHER);
       /*
          Standardized coefficient, i.e., regression coefficient
          if all variables had unit variance.
@@ -845,22 +890,28 @@ reg_stats_coeff (linreg * c, void *aux_, const struct variable *var)
       beta = sqrt (gsl_matrix_get (cov, j, j));
       beta *= linreg_coeff (c, j) /
         sqrt (gsl_matrix_get (cov, cov->size1 - 1, cov->size2 - 1));
-      tab_double (t, 4, this_row, 0, beta, NULL);
+      tab_double (t, 4, this_row, 0, beta, NULL, RC_OTHER);
 
       /*
          Test statistic for H0: coefficient is 0.
        */
       t_stat = linreg_coeff (c, j) / std_err;
-      tab_double (t, 5, this_row, 0, t_stat, NULL);
+      tab_double (t, 5, this_row, 0, t_stat, NULL, RC_OTHER);
       /*
          P values for the test statistic above.
        */
-      pval =
-        2 * gsl_cdf_tdist_Q (fabs (t_stat),
-                             (double) (linreg_n_obs (c) -
-                                       linreg_n_coeffs (c) - 1));
-      tab_double (t, 6, this_row, 0, pval, NULL);
+      pval = 2 * gsl_cdf_tdist_Q (fabs (t_stat), df);
+      tab_double (t, 6, this_row, 0, pval, NULL, RC_PVALUE);
       ds_destroy (&tstr);
+
+      if (cmd->stats & STATS_CI)
+       {
+         double lower = linreg_coeff (c, j)  - tval * std_err ;
+         double upper = linreg_coeff (c, j)  + tval * std_err ;
+                       
+         tab_double (t, 7, this_row, 0, lower, NULL, RC_OTHER);
+         tab_double (t, 8, this_row, 0, upper, NULL, RC_OTHER);
+       }
     }
   tab_title (t, _("Coefficients (%s)"), var_to_string (var));
   tab_submit (t);
@@ -870,7 +921,7 @@ reg_stats_coeff (linreg * c, void *aux_, const struct variable *var)
   Display the ANOVA table.
 */
 static void
-reg_stats_anova (linreg * c, void *aux UNUSED, const struct variable *var)
+reg_stats_anova (const linreg * c, const struct variable *var)
 {
   int n_cols = 7;
   int n_rows = 4;
@@ -895,30 +946,30 @@ reg_stats_anova (linreg * c, void *aux UNUSED, const struct variable *var)
   tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("df"));
   tab_text (t, 4, 0, TAB_CENTER | TAT_TITLE, _("Mean Square"));
   tab_text (t, 5, 0, TAB_CENTER | TAT_TITLE, _("F"));
-  tab_text (t, 6, 0, TAB_CENTER | TAT_TITLE, _("Significance"));
+  tab_text (t, 6, 0, TAB_CENTER | TAT_TITLE, _("Sig."));
 
   tab_text (t, 1, 1, TAB_LEFT | TAT_TITLE, _("Regression"));
   tab_text (t, 1, 2, TAB_LEFT | TAT_TITLE, _("Residual"));
   tab_text (t, 1, 3, TAB_LEFT | TAT_TITLE, _("Total"));
 
   /* Sums of Squares */
-  tab_double (t, 2, 1, 0, linreg_ssreg (c), NULL);
-  tab_double (t, 2, 3, 0, linreg_sst (c), NULL);
-  tab_double (t, 2, 2, 0, linreg_sse (c), NULL);
+  tab_double (t, 2, 1, 0, linreg_ssreg (c), NULL, RC_OTHER);
+  tab_double (t, 2, 3, 0, linreg_sst (c), NULL, RC_OTHER);
+  tab_double (t, 2, 2, 0, linreg_sse (c), NULL, RC_OTHER);
 
 
   /* Degrees of freedom */
-  tab_text_format (t, 3, 1, TAB_RIGHT, "%g", c->dfm);
-  tab_text_format (t, 3, 2, TAB_RIGHT, "%g", c->dfe);
-  tab_text_format (t, 3, 3, TAB_RIGHT, "%g", c->dft);
+  tab_text_format (t, 3, 1, TAB_RIGHT, "%.*g", DBL_DIG + 1, c->dfm);
+  tab_text_format (t, 3, 2, TAB_RIGHT, "%.*g", DBL_DIG + 1, c->dfe);
+  tab_text_format (t, 3, 3, TAB_RIGHT, "%.*g", DBL_DIG + 1, c->dft);
 
   /* Mean Squares */
-  tab_double (t, 4, 1, TAB_RIGHT, msm, NULL);
-  tab_double (t, 4, 2, TAB_RIGHT, mse, NULL);
+  tab_double (t, 4, 1, TAB_RIGHT, msm, NULL, RC_OTHER);
+  tab_double (t, 4, 2, TAB_RIGHT, mse, NULL, RC_OTHER);
 
-  tab_double (t, 5, 1, 0, F, NULL);
+  tab_double (t, 5, 1, 0, F, NULL, RC_OTHER);
 
-  tab_double (t, 6, 1, 0, pval, NULL);
+  tab_double (t, 6, 1, 0, pval, NULL, RC_PVALUE);
 
   tab_title (t, _("ANOVA (%s)"), var_to_string (var));
   tab_submit (t);
@@ -926,7 +977,7 @@ reg_stats_anova (linreg * c, void *aux UNUSED, const struct variable *var)
 
 
 static void
-reg_stats_bcov (linreg * c, void *aux UNUSED, const struct variable *var)
+reg_stats_bcov (const linreg * c, const struct variable *var)
 {
   int n_cols;
   int n_rows;
@@ -959,21 +1010,10 @@ reg_stats_bcov (linreg * c, void *aux UNUSED, const struct variable *var)
           col = (i <= k) ? k : i;
           row = (i <= k) ? i : k;
           tab_double (t, k + 2, i, TAB_CENTER,
-                      gsl_matrix_get (c->cov, row, col), NULL);
+                      gsl_matrix_get (c->cov, row, col), NULL, RC_OTHER);
         }
     }
   tab_title (t, _("Coefficient Correlations (%s)"), var_to_string (var));
   tab_submit (t);
 }
 
-static void
-statistics_keyword_output (void (*function)
-                           (linreg *, void *, const struct variable * var),
-                           bool keyword, linreg * c, void *aux,
-                           const struct variable *var)
-{
-  if (keyword)
-    {
-      (*function) (c, aux, var);
-    }
-}