Work on getting rid of trns_chain_finalize().
[pspp] / src / language / data-io / inpt-pgm.c
index 405f605a807a76267bb050c1469d5828feb352f3..607196169b1dc1ca3c7ec7f7d9e922dc1e7b4392 100644 (file)
@@ -1,5 +1,5 @@
 /* PSPP - a program for statistical analysis.
-   Copyright (C) 1997-9, 2000, 2009, 2010 Free Software Foundation, Inc.
+   Copyright (C) 1997-9, 2000, 2009, 2010, 2011, 2012, 2013, 2015 Free Software Foundation, Inc.
 
    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
 
 #include <config.h>
 
-
 #include <float.h>
 #include <stdlib.h>
 
-#include <data/case.h>
-#include <data/caseinit.h>
-#include <data/casereader-provider.h>
-#include <data/dictionary.h>
-#include <data/procedure.h>
-#include <data/transformations.h>
-#include <data/variable.h>
-#include <language/command.h>
-#include <language/data-io/data-reader.h>
-#include <language/data-io/file-handle.h>
-#include <language/data-io/inpt-pgm.h>
-#include <language/expressions/public.h>
-#include <language/lexer/lexer.h>
-#include <libpspp/assertion.h>
-#include <libpspp/compiler.h>
-#include <libpspp/message.h>
-#include <libpspp/misc.h>
-#include <libpspp/str.h>
-
-#include "xalloc.h"
+#include "data/case.h"
+#include "data/caseinit.h"
+#include "data/casereader-provider.h"
+#include "data/control-stack.h"
+#include "data/dataset.h"
+#include "data/dictionary.h"
+#include "data/session.h"
+#include "data/transformations.h"
+#include "data/variable.h"
+#include "language/command.h"
+#include "language/data-io/data-reader.h"
+#include "language/data-io/file-handle.h"
+#include "language/data-io/inpt-pgm.h"
+#include "language/expressions/public.h"
+#include "language/lexer/lexer.h"
+#include "libpspp/assertion.h"
+#include "libpspp/compiler.h"
+#include "libpspp/message.h"
+#include "libpspp/misc.h"
+#include "libpspp/str.h"
+
+#include "gl/xalloc.h"
 
 #include "gettext.h"
 #define _(msgid) gettext (msgid)
 
-/* Private result codes for use within INPUT PROGRAM. */
-enum cmd_result_extensions
-  {
-    CMD_END_INPUT_PROGRAM = CMD_PRIVATE_FIRST,
-    CMD_END_CASE
-  };
-
 /* Indicates how a `union value' should be initialized. */
 struct input_program_pgm
   {
+    struct session *session;
+    struct dataset *ds;
     struct trns_chain *trns_chain;
     enum trns_result restart;
 
@@ -93,60 +89,84 @@ cmd_input_program (struct lexer *lexer, struct dataset *ds)
 {
   struct input_program_pgm *inp;
   bool saw_END_CASE = false;
+  bool saw_END_FILE = false;
+  bool saw_DATA_LIST = false;
 
-  proc_discard_active_file (ds);
-  if (lex_token (lexer) != T_ENDCMD)
+  if (!lex_match (lexer, T_ENDCMD))
     return lex_end_of_command (lexer);
 
   inp = xmalloc (sizeof *inp);
+  inp->session = session_create (dataset_session (ds));
+  inp->ds = dataset_create (inp->session, "INPUT PROGRAM");
   inp->trns_chain = NULL;
   inp->init = NULL;
   inp->proto = NULL;
 
   inside_input_program = true;
-  for (;;)
+  while (!lex_match_phrase (lexer, "END INPUT PROGRAM"))
     {
-      enum cmd_result result = cmd_parse_in_state (lexer, ds, CMD_STATE_INPUT_PROGRAM);
-      if (result == CMD_END_INPUT_PROGRAM)
-        break;
-      else if (result == CMD_END_CASE)
+      enum cmd_result result;
+
+      result = cmd_parse_in_state (lexer, inp->ds, CMD_STATE_INPUT_PROGRAM);
+      switch (result)
         {
-          emit_END_CASE (ds, inp);
+        case CMD_DATA_LIST:
+          saw_DATA_LIST = true;
+          break;
+
+        case CMD_END_CASE:
+          emit_END_CASE (inp->ds, inp);
           saw_END_CASE = true;
-        }
-      else if (cmd_result_is_failure (result) && result != CMD_FAILURE)
-        {
-          if (result == CMD_EOF)
-            msg (SE, _("Unexpected end-of-file within INPUT PROGRAM."));
-          inside_input_program = false;
-          proc_discard_active_file (ds);
-          destroy_input_program (inp);
-          return result;
+          break;
+
+        case CMD_END_FILE:
+          saw_END_FILE = true;
+          break;
+
+        case CMD_FAILURE:
+          break;
+
+        default:
+          if (cmd_result_is_failure (result)
+              && lex_get_error_mode (lexer) != LEX_ERROR_TERMINAL)
+            {
+              if (result == CMD_EOF)
+                msg (SE, _("Unexpected end-of-file within %s."), "INPUT PROGRAM");
+              inside_input_program = false;
+              destroy_input_program (inp);
+              return result;
+            }
         }
     }
   if (!saw_END_CASE)
-    emit_END_CASE (ds, inp);
+    emit_END_CASE (inp->ds, inp);
   inside_input_program = false;
 
-  if (dict_get_next_value_idx (dataset_dict (ds)) == 0)
+  if (!saw_DATA_LIST && !saw_END_FILE)
+    {
+      msg (SE, _("Input program must contain %s or %s."), "DATA LIST", "END FILE");
+      destroy_input_program (inp);
+      return CMD_FAILURE;
+    }
+  if (dict_get_next_value_idx (dataset_dict (inp->ds)) == 0)
     {
       msg (SE, _("Input program did not create any variables."));
-      proc_discard_active_file (ds);
       destroy_input_program (inp);
       return CMD_FAILURE;
     }
 
+  ctl_stack_clear ();
   inp->trns_chain = proc_capture_transformations (ds);
-  trns_chain_finalize (inp->trns_chain);
 
   inp->restart = TRNS_CONTINUE;
 
   /* Figure out how to initialize each input case. */
   inp->init = caseinit_create ();
-  caseinit_mark_for_init (inp->init, dataset_dict (ds));
-  inp->proto = caseproto_ref (dict_get_proto (dataset_dict (ds)));
+  caseinit_mark_for_init (inp->init, dataset_dict (inp->ds));
+  inp->proto = caseproto_ref (dict_get_proto (dataset_dict (inp->ds)));
 
-  proc_set_active_file_data (
+  dataset_set_dict (ds, dict_clone (dataset_dict (inp->ds)));
+  dataset_set_source (
     ds, casereader_create_sequential (NULL, inp->proto, CASENUMBER_MAX,
                                       &input_program_casereader_class, inp));
 
@@ -156,8 +176,12 @@ cmd_input_program (struct lexer *lexer, struct dataset *ds)
 int
 cmd_end_input_program (struct lexer *lexer UNUSED, struct dataset *ds UNUSED)
 {
-  assert (in_input_program ());
-  return CMD_END_INPUT_PROGRAM;
+  /* Inside INPUT PROGRAM, this should get caught at the top of the loop in
+     cmd_input_program().
+
+     Outside of INPUT PROGRAM, the command parser should reject this
+     command. */
+  NOT_REACHED ();
 }
 
 /* Returns true if STATE is valid given the transformations that
@@ -206,6 +230,8 @@ destroy_input_program (struct input_program_pgm *pgm)
 {
   if (pgm != NULL)
     {
+      session_destroy (pgm->session);
+      ctl_stack_clear ();
       trns_chain_destroy (pgm->trns_chain);
       caseinit_destroy (pgm->init);
       caseproto_unref (pgm->proto);
@@ -237,7 +263,7 @@ cmd_end_case (struct lexer *lexer, struct dataset *ds UNUSED)
   assert (in_input_program ());
   if (lex_token (lexer) == T_ENDCMD)
     return CMD_END_CASE;
-  return lex_end_of_command (lexer);
+  return CMD_SUCCESS;
 }
 
 /* Outputs the current case */
@@ -264,6 +290,7 @@ cmd_reread (struct lexer *lexer, struct dataset *ds)
   struct file_handle *fh;       /* File to be re-read. */
   struct expression *e;         /* Expression for column to set. */
   struct reread_trns *t;        /* Created transformation. */
+  char *encoding = NULL;
 
   fh = fh_get_default_handle ();
   e = NULL;
@@ -275,41 +302,53 @@ cmd_reread (struct lexer *lexer, struct dataset *ds)
 
          if (e)
            {
-              msg (SE, _("%s subcommand may be given at most once."), "COLUMN");
-             expr_free (e);
-             return CMD_CASCADING_FAILURE;
+              lex_sbc_only_once ("COLUMN");
+              goto error;
            }
 
          e = expr_parse (lexer, ds, EXPR_NUMBER);
          if (!e)
-           return CMD_CASCADING_FAILURE;
+            goto error;
        }
       else if (lex_match_id (lexer, "FILE"))
        {
          lex_match (lexer, T_EQUALS);
           fh_unref (fh);
-          fh = fh_parse (lexer, FH_REF_FILE | FH_REF_INLINE);
+          fh = fh_parse (lexer, FH_REF_FILE | FH_REF_INLINE, NULL);
          if (fh == NULL)
-           {
-             expr_free (e);
-             return CMD_CASCADING_FAILURE;
-           }
+            goto error;
+       }
+      else if (lex_match_id (lexer, "ENCODING"))
+       {
+         lex_match (lexer, T_EQUALS);
+         if (!lex_force_string (lexer))
+           goto error;
+
+          free (encoding);
+          encoding = ss_xstrdup (lex_tokss (lexer));
+
+         lex_get (lexer);
        }
       else
        {
          lex_error (lexer, NULL);
-         expr_free (e);
-          return CMD_CASCADING_FAILURE;
+          goto error;
        }
     }
 
   t = xmalloc (sizeof *t);
-  t->reader = dfm_open_reader (fh, lexer);
+  t->reader = dfm_open_reader (fh, lexer, encoding);
   t->column = e;
   add_transformation (ds, reread_trns_proc, reread_trns_free, t);
 
   fh_unref (fh);
+  free (encoding);
   return CMD_SUCCESS;
+
+error:
+  expr_free (e);
+  free (encoding);
+  return CMD_CASCADING_FAILURE;
 }
 
 /* Executes a REREAD transformation. */
@@ -348,13 +387,13 @@ reread_trns_free (void *t_)
 
 /* Parses END FILE command. */
 int
-cmd_end_file (struct lexer *lexer, struct dataset *ds)
+cmd_end_file (struct lexer *lexer UNUSED, struct dataset *ds)
 {
   assert (in_input_program ());
 
   add_transformation (ds, end_file_trns_proc, NULL, NULL);
 
-  return lex_end_of_command (lexer);
+  return CMD_END_FILE;
 }
 
 /* Executes an END FILE transformation. */