fixed p-value computation in test of coefficients
[pspp-builds.git] / src / language / stats / regression.q
index d79007ac24a6f484471b67606aec43900e150545..287847a855452d3fba03ce7f1f6cb22405556c6d 100644 (file)
@@ -1,6 +1,5 @@
 /* PSPP - linear regression.
    Copyright (C) 2005 Free Software Foundation, Inc.
-   Written by Jason H Stover <jason@sakla.net>.
 
    This program is free software; you can redistribute it and/or
    modify it under the terms of the GNU General Public License as
 #include <data/value-labels.h>
 #include <data/variable.h>
 #include <language/command.h>
+#include <language/dictionary/split-file.h>
 #include <language/data-io/file-handle.h>
 #include <language/lexer/lexer.h>
 #include <libpspp/alloc.h>
 #include <libpspp/compiler.h>
 #include <libpspp/message.h>
 #include <math/design-matrix.h>
-#include <math/linreg/coefficient.h>
+#include <math/coefficient.h>
 #include <math/linreg/linreg.h>
 #include <output/table.h>
 
 /* (specification)
    "REGRESSION" (regression_):
    *variables=custom;
-   statistics[st_]=r,
-   coeff,
-   anova,
-   outs,
-   zpp,
-   label,
-   sha,
-   ci,
-   bcov,
-   ses,
-   xtx,
-   collin,
-   tol,
-   selection,
-   f,
-   defaults,
-   all;
+   +statistics[st_]=r,
+                    coeff,
+                    anova,
+                    outs,
+                    zpp,
+                    label,
+                    sha,
+                    ci,
+                    bcov,
+                    ses,
+                    xtx,
+                    collin,
+                    tol,
+                    selection,
+                    f,
+                    defaults,
+                    all;
    export=custom;
    ^dependent=varlist;
-   save[sv_]=resid,pred;
-   method=enter.
+   +save[sv_]=resid,pred;
+   +method=enter.
 */
 /* (declarations) */
 /* (functions) */
 static struct cmd_regression cmd;
 
 /* Linear regression models. */
-pspp_linreg_cache **models = NULL;
+static pspp_linreg_cache **models = NULL;
 
 /*
   Transformations for saving predicted values
@@ -91,9 +91,9 @@ pspp_linreg_cache **models = NULL;
  */
 struct reg_trns
 {
-  int n_trns; /* Number of transformations. */
-  int trns_id; /* Which trns is this one? */
-  pspp_linreg_cache *c; /* Linear model for this trns. */
+  int n_trns;                  /* Number of transformations. */
+  int trns_id;                 /* Which trns is this one? */
+  pspp_linreg_cache *c;                /* Linear model for this trns. */
 };
 /*
   Variables used (both explanatory and response).
@@ -109,14 +109,16 @@ static size_t n_variables;
   File where the model will be saved if the EXPORT subcommand
   is given. 
  */
-struct file_handle *model_file;
+static struct file_handle *model_file;
 
 /*
   Return value for the procedure.
  */
-int pspp_reg_rc = CMD_SUCCESS;
+static int pspp_reg_rc = CMD_SUCCESS;
 
-static bool run_regression (const struct casefile *, void *);
+static bool run_regression (const struct ccase *,
+                           const struct casefile *, void *, 
+                           const struct dataset *);
 
 /* 
    STATISTICS subcommand output functions.
@@ -211,7 +213,7 @@ reg_stats_coeff (pspp_linreg_cache * c)
   tab_text (t, 5, 0, TAB_CENTER | TAT_TITLE, _("t"));
   tab_text (t, 6, 0, TAB_CENTER | TAT_TITLE, _("Significance"));
   tab_text (t, 1, 1, TAB_LEFT | TAT_TITLE, _("(Constant)"));
-  coeff = c->coeff[0].estimate;
+  coeff = c->coeff[0]->estimate;
   tab_float (t, 2, 1, 0, coeff, 10, 2);
   std_err = sqrt (gsl_matrix_get (c->cov, 0, 0));
   tab_float (t, 3, 1, 0, std_err, 10, 2);
@@ -223,11 +225,11 @@ reg_stats_coeff (pspp_linreg_cache * c)
   tab_float (t, 6, 1, 0, pval, 10, 2);
   for (j = 1; j <= c->n_indeps; j++)
     {
-      v = pspp_linreg_coeff_get_var (c->coeff + j, 0);
+      v = pspp_coeff_get_var (c->coeff[j], 0);
       label = var_to_string (v);
       /* Do not overwrite the variable's name. */
       strncpy (tmp, label, MAX_STRING);
-      if (v->type == ALPHA)
+      if (var_is_alpha (v))
        {
          /*
             Append the value associated with this coefficient.
@@ -235,8 +237,8 @@ reg_stats_coeff (pspp_linreg_cache * c)
             for that value.
           */
 
-         val = pspp_linreg_coeff_get_value (c->coeff + j, v);
-         val_s = value_to_string (val, v);
+         val = pspp_coeff_get_value (c->coeff[j], v);
+         val_s = var_get_value_name (v, val);
          strncat (tmp, val_s, MAX_STRING);
        }
 
@@ -244,7 +246,7 @@ reg_stats_coeff (pspp_linreg_cache * c)
       /*
          Regression coefficients.
        */
-      coeff = c->coeff[j].estimate;
+      coeff = c->coeff[j]->estimate;
       tab_float (t, 2, j + 1, 0, coeff, 10, 2);
       /*
          Standard error of the coefficients.
@@ -267,7 +269,7 @@ reg_stats_coeff (pspp_linreg_cache * c)
       /*
          P values for the test statistic above.
        */
-      pval = 2 * gsl_cdf_tdist_Q (fabs (t_stat), 1.0);
+      pval = 2 * gsl_cdf_tdist_Q (fabs (t_stat), (double) (c->n_obs - c->n_coeffs));
       tab_float (t, 6, j + 1, 0, pval, 10, 2);
     }
   tab_title (t, _("Coefficients"));
@@ -390,7 +392,7 @@ reg_stats_bcov (pspp_linreg_cache * c)
   tab_text (t, 1, 1, TAB_CENTER | TAT_TITLE, _("Covariances"));
   for (i = 1; i < c->n_coeffs; i++)
     {
-      const struct variable *v = pspp_linreg_coeff_get_var (c->coeff + i, 0);
+      const struct variable *v = pspp_coeff_get_var (c->coeff[i], 0);
       label = var_to_string (v);
       tab_text (t, 2, i, TAB_CENTER, label);
       tab_text (t, i + 2, 0, TAB_CENTER, label);
@@ -518,12 +520,13 @@ subcommand_statistics (int *keywords, pspp_linreg_cache * c)
   statistics_keyword_output (reg_stats_tol, keywords[tol], c);
   statistics_keyword_output (reg_stats_selection, keywords[selection], c);
 }
+
 /*
   Free the transformation. Free its linear model if this
   transformation is the last one.
  */
-static
-bool regression_trns_free (void *t_)
+static bool
+regression_trns_free (void *t_)
 {
   bool result = true;
   struct reg_trns *t = t_;
@@ -536,11 +539,13 @@ bool regression_trns_free (void *t_)
 
   return result;
 }
+
 /*
   Gets the predicted values.
  */
 static int
-regression_trns_pred_proc (void *t_, struct ccase *c, int case_idx UNUSED)
+regression_trns_pred_proc (void *t_, struct ccase *c,
+                          casenumber case_idx UNUSED)
 {
   size_t i;
   size_t n_vals;
@@ -549,8 +554,8 @@ regression_trns_pred_proc (void *t_, struct ccase *c, int case_idx UNUSED)
   union value *output = NULL;
   const union value **vals = NULL;
   struct variable **vars = NULL;
-  
-  assert (trns!= NULL);
+
+  assert (trns != NULL);
   model = trns->c;
   assert (model != NULL);
   assert (model->depvar != NULL);
@@ -560,24 +565,26 @@ regression_trns_pred_proc (void *t_, struct ccase *c, int case_idx UNUSED)
   n_vals = (*model->get_vars) (model, vars);
 
   vals = xnmalloc (n_vals, sizeof (*vals));
-  output = case_data_rw (c, model->pred->fv);
+  output = case_data_rw (c, model->pred);
   assert (output != NULL);
 
   for (i = 0; i < n_vals; i++)
     {
-      vals[i] = case_data (c, vars[i]->fv);
+      vals[i] = case_data (c, vars[i]);
     }
-  output->f = (*model->predict) ((const struct variable **) vars, 
-                                 vals, model, n_vals);
+  output->f = (*model->predict) ((const struct variable **) vars,
+                                vals, model, n_vals);
   free (vals);
   free (vars);
   return TRNS_CONTINUE;
 }
+
 /*
   Gets the residuals.
  */
 static int
-regression_trns_resid_proc (void *t_, struct ccase *c, int case_idx UNUSED)
+regression_trns_resid_proc (void *t_, struct ccase *c,
+                           casenumber case_idx UNUSED)
 {
   size_t i;
   size_t n_vals;
@@ -587,8 +594,8 @@ regression_trns_resid_proc (void *t_, struct ccase *c, int case_idx UNUSED)
   const union value **vals = NULL;
   const union value *obs = NULL;
   struct variable **vars = NULL;
-  
-  assert (trns!= NULL);
+
+  assert (trns != NULL);
   model = trns->c;
   assert (model != NULL);
   assert (model->depvar != NULL);
@@ -598,48 +605,51 @@ regression_trns_resid_proc (void *t_, struct ccase *c, int case_idx UNUSED)
   n_vals = (*model->get_vars) (model, vars);
 
   vals = xnmalloc (n_vals, sizeof (*vals));
-  output = case_data_rw (c, model->resid->fv);
+  output = case_data_rw (c, model->resid);
   assert (output != NULL);
 
   for (i = 0; i < n_vals; i++)
     {
-      vals[i] = case_data (c, vars[i]->fv);
+      vals[i] = case_data (c, vars[i]);
     }
-  obs = case_data (c, model->depvar->fv);
-  output->f = (*model->residual) ((const struct variable **) vars, 
+  obs = case_data (c, model->depvar);
+  output->f = (*model->residual) ((const struct variable **) vars,
                                  vals, obs, model, n_vals);
   free (vals);
   free (vars);
   return TRNS_CONTINUE;
 }
+
 /* 
-   Returns 0 if NAME is a duplicate of any existing variable name.
+   Returns false if NAME is a duplicate of any existing variable name.
 */
-static int
-try_name (char *name)
+static bool
+try_name (const struct dictionary *dict, const char *name)
 {
-  if (dict_lookup_var (default_dict, name) != NULL)
-    return 0;
+  if (dict_lookup_var (dict, name) != NULL)
+    return false;
 
-  return 1;
+  return true;
 }
-static
-void reg_get_name (char name[LONG_NAME_LEN], const char prefix[LONG_NAME_LEN])
+
+static void
+reg_get_name (const struct dictionary *dict, char name[LONG_NAME_LEN], const char prefix[LONG_NAME_LEN])
 {
   int i = 1;
 
   snprintf (name, LONG_NAME_LEN, "%s%d", prefix, i);
-  while (!try_name(name))
+  while (!try_name (dict, name))
     {
       i++;
       snprintf (name, LONG_NAME_LEN, "%s%d", prefix, i);
     }
 }
-static void 
-reg_save_var (const char *prefix, trns_proc_func *f,
-             pspp_linreg_cache *c, struct variable **v,
-             int n_trns)
+
+static void
+reg_save_var (struct dataset *ds, const char *prefix, trns_proc_func * f,
+             pspp_linreg_cache * c, struct variable **v, int n_trns)
 {
+  struct dictionary *dict = dataset_dict (ds);
   static int trns_index = 1;
   char name[LONG_NAME_LEN];
   struct variable *new_var;
@@ -649,15 +659,16 @@ reg_save_var (const char *prefix, trns_proc_func *f,
   t->trns_id = trns_index;
   t->n_trns = n_trns;
   t->c = c;
-  reg_get_name (name, prefix);
-  new_var = dict_create_var (default_dict, name, 0);
+  reg_get_name (dict, name, prefix);
+  new_var = dict_create_var (dict, name, 0);
   assert (new_var != NULL);
   *v = new_var;
-  add_transformation (f, regression_trns_free, t);
+  add_transformation (ds, f, regression_trns_free, t);
   trns_index++;
 }
+
 static void
-subcommand_save (int save, pspp_linreg_cache **models)
+subcommand_save (struct dataset *ds, int save, pspp_linreg_cache ** models)
 {
   pspp_linreg_cache **lc;
   int n_trns = 0;
@@ -683,15 +694,17 @@ subcommand_save (int save, pspp_linreg_cache **models)
          assert ((*lc)->depvar != NULL);
          if (cmd.a_save[REGRESSION_SV_RESID])
            {
-             reg_save_var ("RES", regression_trns_resid_proc, *lc, &(*lc)->resid, n_trns);
+             reg_save_var (ds, "RES", regression_trns_resid_proc, *lc,
+                           &(*lc)->resid, n_trns);
            }
          if (cmd.a_save[REGRESSION_SV_PRED])
            {
-             reg_save_var ("PRED", regression_trns_pred_proc, *lc, &(*lc)->pred, n_trns);
+             reg_save_var (ds, "PRED", regression_trns_pred_proc, *lc,
+                           &(*lc)->pred, n_trns);
            }
        }
     }
-  else 
+  else
     {
       for (lc = models; lc < models + cmd.n_dependent; lc++)
        {
@@ -700,6 +713,7 @@ subcommand_save (int save, pspp_linreg_cache **models)
        }
     }
 }
+
 static int
 reg_inserted (const struct variable *v, struct variable **varlist, int n_vars)
 {
@@ -707,37 +721,34 @@ reg_inserted (const struct variable *v, struct variable **varlist, int n_vars)
 
   for (i = 0; i < n_vars; i++)
     {
-      if (v->index == varlist[i]->index)
+      if (v == varlist[i])
        {
          return 1;
        }
     }
   return 0;
 }
+
 static void
 reg_print_categorical_encoding (FILE * fp, pspp_linreg_cache * c)
 {
   int i;
-  size_t j;
   int n_vars = 0;
   struct variable **varlist;
-  struct pspp_linreg_coeff *coeff;
-  const struct variable *v;
-  union value *val;
 
   fprintf (fp, "%s", reg_export_categorical_encode_1);
 
   varlist = xnmalloc (c->n_indeps, sizeof (*varlist));
   for (i = 1; i < c->n_indeps; i++)    /* c->coeff[0] is the intercept. */
     {
-      coeff = c->coeff + i;
-      v = pspp_linreg_coeff_get_var (coeff, 0);
-      if (v->type == ALPHA)
+      struct pspp_coeff *coeff = c->coeff[i];
+      const struct variable *v = pspp_coeff_get_var (coeff, 0);
+      if (var_is_alpha (v))
        {
          if (!reg_inserted (v, varlist, n_vars))
            {
              fprintf (fp, "struct pspp_reg_categorical_variable %s;\n\t",
-                      v->name);
+                      var_get_name (v));
              varlist[n_vars] = (struct variable *) v;
              n_vars++;
            }
@@ -748,23 +759,28 @@ reg_print_categorical_encoding (FILE * fp, pspp_linreg_cache * c)
           n_vars);
   for (i = 0; i < n_vars - 1; i++)
     {
-      fprintf (fp, "&%s,\n\t\t", varlist[i]->name);
+      fprintf (fp, "&%s,\n\t\t", var_get_name (varlist[i]));
     }
-  fprintf (fp, "&%s};\n\t", varlist[i]->name);
+  fprintf (fp, "&%s};\n\t", var_get_name (varlist[i]));
 
   for (i = 0; i < n_vars; i++)
     {
-      coeff = c->coeff + i;
-      fprintf (fp, "%s.name = \"%s\";\n\t", varlist[i]->name,
-              varlist[i]->name);
-      fprintf (fp, "%s.n_vals = %d;\n\t", varlist[i]->name,
-              varlist[i]->obs_vals->n_categories);
-
-      for (j = 0; j < varlist[i]->obs_vals->n_categories; j++)
+      size_t n_categories = cat_get_n_categories (varlist[i]);
+      size_t j;
+      
+      fprintf (fp, "%s.name = \"%s\";\n\t",
+               var_get_name (varlist[i]),
+              var_get_name (varlist[i]));
+      fprintf (fp, "%s.n_vals = %d;\n\t",
+               var_get_name (varlist[i]),
+               n_categories);
+
+      for (j = 0; j < n_categories; j++)
        {
-         val = cat_subscript_to_value ((const size_t) j, varlist[i]);
-         fprintf (fp, "%s.values[%d] = \"%s\";\n\t", varlist[i]->name, j,
-                  value_to_string (val, varlist[i]));
+          union value *val = cat_subscript_to_value (j, varlist[i]);
+         fprintf (fp, "%s.values[%d] = \"%s\";\n\t",
+                   var_get_name (varlist[i]), j,
+                  var_get_value_name (varlist[i], val));
        }
     }
   fprintf (fp, "%s", reg_export_categorical_encode_2);
@@ -774,19 +790,19 @@ static void
 reg_print_depvars (FILE * fp, pspp_linreg_cache * c)
 {
   int i;
-  struct pspp_linreg_coeff *coeff;
+  struct pspp_coeff *coeff;
   const struct variable *v;
 
   fprintf (fp, "char *model_depvars[%d] = {", c->n_indeps);
   for (i = 1; i < c->n_indeps; i++)
     {
-      coeff = c->coeff + i;
-      v = pspp_linreg_coeff_get_var (coeff, 0);
-      fprintf (fp, "\"%s\",\n\t\t", v->name);
+      coeff = c->coeff[i];
+      v = pspp_coeff_get_var (coeff, 0);
+      fprintf (fp, "\"%s\",\n\t\t", var_get_name (v));
     }
-  coeff = c->coeff + i;
-  v = pspp_linreg_coeff_get_var (coeff, 0);
-  fprintf (fp, "\"%s\"};\n\t", v->name);
+  coeff = c->coeff[i];
+  v = pspp_coeff_get_var (coeff, 0);
+  fprintf (fp, "\"%s\"};\n\t", var_get_name (v));
 }
 static void
 reg_print_getvar (FILE * fp, pspp_linreg_cache * c)
@@ -804,14 +820,12 @@ reg_has_categorical (pspp_linreg_cache * c)
 {
   int i;
   const struct variable *v;
-  
+
   for (i = 1; i < c->n_coeffs; i++)
     {
-      v = pspp_linreg_coeff_get_var (c->coeff + i, 0);
-      if (v->type == ALPHA)
-       {
-         return 1;
-       }
+      v = pspp_coeff_get_var (c->coeff[i], 0);
+      if (var_is_alpha (v))
+        return 1;
     }
   return 0;
 }
@@ -823,9 +837,8 @@ subcommand_export (int export, pspp_linreg_cache * c)
   size_t i;
   size_t j;
   int n_quantiles = 100;
-  double increment;
   double tmp;
-  struct pspp_linreg_coeff coeff;
+  struct pspp_coeff *coeff;
 
   if (export)
     {
@@ -840,7 +853,6 @@ subcommand_export (int export, pspp_linreg_cache * c)
          reg_print_categorical_encoding (fp, c);
        }
       fprintf (fp, "%s", reg_export_t_quantiles_1);
-      increment = 0.5 / (double) increment;
       for (i = 0; i < n_quantiles - 1; i++)
        {
          tmp = 0.5 + 0.005 * (double) i;
@@ -857,12 +869,12 @@ subcommand_export (int export, pspp_linreg_cache * c)
       for (i = 1; i < c->n_indeps; i++)
        {
          coeff = c->coeff[i];
-         fprintf (fp, "%.15e,\n\t\t", coeff.estimate);
+         fprintf (fp, "%.15e,\n\t\t", coeff->estimate);
        }
       coeff = c->coeff[i];
-      fprintf (fp, "%.15e};\n\t", coeff.estimate);
+      fprintf (fp, "%.15e};\n\t", coeff->estimate);
       coeff = c->coeff[0];
-      fprintf (fp, "double estimate = %.15e;\n\t", coeff.estimate);
+      fprintf (fp, "double estimate = %.15e;\n\t", coeff->estimate);
       fprintf (fp, "int i;\n\tint j;\n\n\t");
       fprintf (fp, "for (i = 0; i < %d; i++)\n\t", c->n_indeps);
       fprintf (fp, "%s", reg_getvar);
@@ -900,38 +912,39 @@ subcommand_export (int export, pspp_linreg_cache * c)
       fclose (fp);
     }
 }
+
 static int
-regression_custom_export (struct cmd_regression *cmd UNUSED)
+regression_custom_export (struct lexer *lexer, struct dataset *ds UNUSED, struct cmd_regression *cmd UNUSED, void *aux UNUSED)
 {
   /* 0 on failure, 1 on success, 2 on failure that should result in syntax error */
-  if (!lex_force_match ('('))
+  if (!lex_force_match (lexer, '('))
     return 0;
 
-  if (lex_match ('*'))
+  if (lex_match (lexer, '*'))
     model_file = NULL;
   else
     {
-      model_file = fh_parse (FH_REF_FILE);
+      model_file = fh_parse (lexer, FH_REF_FILE);
       if (model_file == NULL)
        return 0;
     }
 
-  if (!lex_force_match (')'))
+  if (!lex_force_match (lexer, ')'))
     return 0;
 
   return 1;
 }
 
 int
-cmd_regression (void)
+cmd_regression (struct lexer *lexer, struct dataset *ds)
 {
-  if (!parse_regression (&cmd))
+  if (!parse_regression (lexer, ds, &cmd, NULL))
     return CMD_FAILURE;
 
   models = xnmalloc (cmd.n_dependent, sizeof *models);
-  if (!multipass_procedure_with_splits (run_regression, &cmd))
+  if (!multipass_procedure_with_splits (ds, run_regression, &cmd))
     return CMD_CASCADING_FAILURE;
-  subcommand_save (cmd.sbc_save, models);
+  subcommand_save (ds, cmd.sbc_save, models);
   free (v_variables);
   free (models);
   return pspp_reg_rc;
@@ -940,17 +953,10 @@ cmd_regression (void)
 /*
   Is variable k the dependent variable?
  */
-static int
+static bool
 is_depvar (size_t k, const struct variable *v)
 {
-  /*
-    compare_var_names returns 0 if the variable
-    names match.
-  */
-  if (!compare_var_names (v, v_variables[k], NULL))
-    return 1;
-
-  return 0;
+  return v == v_variables[k];
 }
 
 /*
@@ -965,14 +971,14 @@ mark_missing_cases (const struct casefile *cf, struct variable *v,
   size_t row;
   const union value *val;
 
-  for (r = casefile_get_reader (cf);
+  for (r = casefile_get_reader (cf, NULL);
        casereader_read (r, &c); case_destroy (&c))
     {
       row = casereader_cnum (r) - 1;
 
-      val = case_data (&c, v->fv);
+      val = case_data (&c, v);
       cat_value_update (v, val);
-      if (mv_is_value_missing (&v->miss, val))
+      if (var_is_value_missing (v, val, MV_ANY))
        {
          if (!is_missing_case[row])
            {
@@ -989,32 +995,35 @@ mark_missing_cases (const struct casefile *cf, struct variable *v,
 
 /* Parser for the variables sub command */
 static int
-regression_custom_variables(struct cmd_regression *cmd UNUSED)
+regression_custom_variables (struct lexer *lexer, struct dataset *ds, 
+                            struct cmd_regression *cmd UNUSED,
+                            void *aux UNUSED)
 {
+  const struct dictionary *dict = dataset_dict (ds);
 
-  lex_match('=');
+  lex_match (lexer, '=');
 
-  if ((token != T_ID || dict_lookup_var (default_dict, tokid) == NULL)
-      && token != T_ALL)
+  if ((lex_token (lexer) != T_ID || dict_lookup_var (dict, lex_tokid (lexer)) == NULL)
+      && lex_token (lexer) != T_ALL)
     return 2;
-  
 
-  if (!parse_variables (default_dict, &v_variables, &n_variables,
-                       PV_NONE ))
+
+  if (!parse_variables (lexer, dict, &v_variables, &n_variables, PV_NONE))
     {
       free (v_variables);
       return 0;
     }
-  assert(n_variables);
+  assert (n_variables);
 
   return 1;
 }
+
 /*
   Count the explanatory variables. The user may or may
   not have specified a response variable in the syntax.
  */
-static
-int get_n_indep (const struct variable *v)
+static int
+get_n_indep (const struct variable *v)
 {
   int result;
   int i = 0;
@@ -1031,16 +1040,16 @@ int get_n_indep (const struct variable *v)
     }
   return result;
 }
+
 /*
   Read from the active file. Identify the explanatory variables in
   v_variables. Encode categorical variables. Drop cases with missing
   values.
 */
-static 
-int prepare_data (int n_data, int is_missing_case[], 
-                 struct variable **indep_vars, 
-                 struct variable *depvar,
-                 const struct casefile *cf)
+static int
+prepare_data (int n_data, int is_missing_case[],
+             struct variable **indep_vars,
+             struct variable *depvar, const struct casefile *cf)
 {
   int i;
   int j;
@@ -1048,33 +1057,44 @@ int prepare_data (int n_data, int is_missing_case[],
   assert (indep_vars != NULL);
   j = 0;
   for (i = 0; i < n_variables; i++)
-    {    
+    {
       if (!is_depvar (i, depvar))
        {
          indep_vars[j] = v_variables[i];
          j++;
-         if (v_variables[i]->type == ALPHA)
+         if (var_is_alpha (v_variables[i]))
            {
              /* Make a place to hold the binary vectors 
-                corresponding to this variable's values. */
+                corresponding to this variable's values. */
              cat_stored_values_create (v_variables[i]);
            }
-         n_data = mark_missing_cases (cf, v_variables[i], is_missing_case, n_data);
+         n_data =
+           mark_missing_cases (cf, v_variables[i], is_missing_case, n_data);
        }
     }
   /*
-    Mark missing cases for the dependent variable.
+     Mark missing cases for the dependent variable.
    */
   n_data = mark_missing_cases (cf, depvar, is_missing_case, n_data);
 
   return n_data;
 }
+static void
+coeff_init (pspp_linreg_cache * c, struct design_matrix *dm)
+{
+  c->coeff = xnmalloc (dm->m->size2 + 1, sizeof (*c->coeff));
+  c->coeff[0] = xmalloc (sizeof (*(c->coeff[0])));     /* The first coefficient is the intercept. */
+  c->coeff[0]->v_info = NULL;  /* Intercept has no associated variable. */
+  pspp_coeff_init (c->coeff + 1, dm);
+}
+
 static bool
-run_regression (const struct casefile *cf, void *cmd_ UNUSED)
+run_regression (const struct ccase *first,
+               const struct casefile *cf, void *cmd_ UNUSED, const struct dataset *ds)
 {
   size_t i;
-  size_t n_data = 0; /* Number of valide cases. */
-  size_t n_cases; /* Number of cases. */
+  size_t n_data = 0;           /* Number of valide cases. */
+  size_t n_cases;              /* Number of cases. */
   size_t row;
   size_t case_num;
   int n_indep = 0;
@@ -1093,9 +1113,12 @@ run_regression (const struct casefile *cf, void *cmd_ UNUSED)
   pspp_linreg_opts lopts;
 
   assert (models != NULL);
+
+  output_split_file_values (ds, first);
+
   if (!v_variables)
     {
-      dict_get_vars (default_dict, &v_variables, &n_variables,
+      dict_get_vars (dataset_dict (ds), &v_variables, &n_variables,
                     1u << DC_SYSTEM);
     }
 
@@ -1103,7 +1126,7 @@ run_regression (const struct casefile *cf, void *cmd_ UNUSED)
 
   for (i = 0; i < cmd.n_dependent; i++)
     {
-      if (cmd.v_dependent[i]->type != NUMERIC)
+      if (!var_is_numeric (cmd.v_dependent[i]))
        {
          msg (SE, gettext ("Dependent variable must be numeric."));
          pspp_reg_rc = CMD_FAILURE;
@@ -1119,15 +1142,15 @@ run_regression (const struct casefile *cf, void *cmd_ UNUSED)
     {
       n_indep = get_n_indep ((const struct variable *) cmd.v_dependent[k]);
       lopts.get_indep_mean_std = xnmalloc (n_indep, sizeof (int));
-      indep_vars = xnmalloc (n_indep, sizeof *indep_vars);  
+      indep_vars = xnmalloc (n_indep, sizeof *indep_vars);
       assert (indep_vars != NULL);
 
       for (i = 0; i < n_cases; i++)
        {
          is_missing_case[i] = 0;
        }
-      n_data = prepare_data (n_cases, is_missing_case, indep_vars, 
-                            cmd.v_dependent[k], 
+      n_data = prepare_data (n_cases, is_missing_case, indep_vars,
+                            cmd.v_dependent[k],
                             (const struct casefile *) cf);
       Y = gsl_vector_alloc (n_data);
 
@@ -1154,7 +1177,7 @@ run_regression (const struct casefile *cf, void *cmd_ UNUSED)
          The second pass fills the design matrix.
        */
       row = 0;
-      for (r = casefile_get_reader (cf); casereader_read (r, &c);
+      for (r = casefile_get_reader (cf, NULL); casereader_read (r, &c);
           case_destroy (&c))
        /* Iterate over the cases. */
        {
@@ -1164,9 +1187,9 @@ run_regression (const struct casefile *cf, void *cmd_ UNUSED)
              for (i = 0; i < n_variables; ++i) /* Iterate over the
                                                   variables for the
                                                   current case.
-                                               */
+                                                */
                {
-                 val = case_data (&c, v_variables[i]->fv);
+                 val = case_data (&c, v_variables[i]);
                  /*
                     Independent/dependent variable separation. The
                     'variables' subcommand specifies a varlist which contains
@@ -1177,17 +1200,19 @@ run_regression (const struct casefile *cf, void *cmd_ UNUSED)
                   */
                  if (!is_depvar (i, cmd.v_dependent[k]))
                    {
-                     if (v_variables[i]->type == ALPHA)
+                     if (var_is_alpha (v_variables[i]))
                        {
-                         design_matrix_set_categorical (X, row, v_variables[i], val);
+                         design_matrix_set_categorical (X, row,
+                                                        v_variables[i], val);
                        }
-                     else if (v_variables[i]->type == NUMERIC)
+                     else
                        {
-                         design_matrix_set_numeric (X, row, v_variables[i], val);
+                         design_matrix_set_numeric (X, row, v_variables[i],
+                                                    val);
                        }
                    }
                }
-             val = case_data (&c, cmd.v_dependent[k]->fv);
+             val = case_data (&c, cmd.v_dependent[k]);
              gsl_vector_set (Y, row, val->f);
              row++;
            }
@@ -1197,7 +1222,7 @@ run_regression (const struct casefile *cf, void *cmd_ UNUSED)
          and store pointers to the variables that correspond to the
          coefficients.
        */
-      pspp_linreg_coeff_init (models[k], X);
+      coeff_init (models[k], X);
 
       /* 
          Find the least-squares estimates and other statistics.