Change enum legacy_encoding to const char *.
[pspp-builds.git] / src / language / data-io / print.c
index 474404b67e8da072386f6ab56b0cbd70e34e997e..eac5567a53a5458a4b3ddb4f61dd80b5599d8225 100644 (file)
@@ -1,30 +1,29 @@
-/* PSPP - computes sample statistics.
-   Copyright (C) 1997-9, 2000 Free Software Foundation, Inc.
-   Written by Ben Pfaff <blp@gnu.org>.
+/* PSPP - a program for statistical analysis.
+   Copyright (C) 1997-9, 2000, 2006, 2009 Free Software Foundation, Inc.
 
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License as
-   published by the Free Software Foundation; either version 2 of the
-   License, or (at your option) any later version.
+   This program is free software: you can redistribute it and/or modify
+   it under the terms of the GNU General Public License as published by
+   the Free Software Foundation, either version 3 of the License, or
+   (at your option) any later version.
 
-   This program is distributed in the hope that it will be useful, but
-   WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-   General Public License for more details.
+   This program is distributed in the hope that it will be useful,
+   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+   GNU General Public License for more details.
 
    You should have received a copy of the GNU General Public License
-   along with this program; if not, write to the Free Software
-   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
-   02110-1301, USA. */
+   along with this program.  If not, see <http://www.gnu.org/licenses/>. */
 
 #include <config.h>
 
 #include <stdlib.h>
 
 #include <data/case.h>
+#include <data/data-out.h>
 #include <data/procedure.h>
 #include <data/transformations.h>
 #include <data/variable.h>
+#include <data/format.h>
 #include <language/command.h>
 #include <language/data-io/data-writer.h>
 #include <language/data-io/file-handle.h>
@@ -32,7 +31,6 @@
 #include <language/lexer/format-parser.h>
 #include <language/lexer/lexer.h>
 #include <language/lexer/variable-parser.h>
-#include <libpspp/alloc.h>
 #include <libpspp/assertion.h>
 #include <libpspp/compiler.h>
 #include <libpspp/ll.h>
@@ -42,6 +40,8 @@
 #include <output/manager.h>
 #include <output/table.h>
 
+#include "xalloc.h"
+
 #include "gettext.h"
 #define _(msgid) gettext (msgid)
 
@@ -62,16 +62,17 @@ struct prt_out_spec
     int first_column;          /* 0-based first column. */
 
     /* PRT_VAR only. */
-    struct variable *var;      /* Associated variable. */
+    const struct variable *var;        /* Associated variable. */
     struct fmt_spec format;    /* Output spec. */
     bool add_space;             /* Add trailing space? */
+    bool sysmis_as_spaces;      /* Output SYSMIS as spaces? */
 
     /* PRT_LITERAL only. */
     struct string string;       /* String to output. */
   };
 
 static inline struct prt_out_spec *
-ll_to_prt_out_spec (struct ll *ll) 
+ll_to_prt_out_spec (struct ll *ll)
 {
   return ll_data (ll, struct prt_out_spec, ll);
 }
@@ -81,7 +82,8 @@ struct print_trns
   {
     struct pool *pool;          /* Stores related data. */
     bool eject;                 /* Eject page before printing? */
-    bool omit_new_lines;        /* Omit new-line characters? */
+    bool include_prefix;        /* Prefix lines with space? */
+    const char *encoding;       /* Encoding to use for output. */
     struct dfm_writer *writer; /* Output file, NULL=listing file. */
     struct ll_list specs;       /* List of struct prt_out_specs. */
     size_t record_cnt;          /* Number of records to write. */
@@ -90,43 +92,45 @@ struct print_trns
 
 enum which_formats
   {
-    PRINT, 
+    PRINT,
     WRITE
   };
 
-static int internal_cmd_print (enum which_formats, bool eject);
+static int internal_cmd_print (struct lexer *, struct dataset *ds,
+                              enum which_formats, bool eject);
 static trns_proc_func print_trns_proc;
 static trns_free_func print_trns_free;
-static bool parse_specs (struct pool *tmp_pool, struct print_trns *,
-                         enum which_formats);
+static bool parse_specs (struct lexer *, struct pool *tmp_pool, struct print_trns *,
+                        struct dictionary *dict, enum which_formats);
 static void dump_table (struct print_trns *, const struct file_handle *);
 \f
 /* Basic parsing. */
 
 /* Parses PRINT command. */
 int
-cmd_print (void)
+cmd_print (struct lexer *lexer, struct dataset *ds)
 {
-  return internal_cmd_print (PRINT, false);
+  return internal_cmd_print (lexer, ds, PRINT, false);
 }
 
 /* Parses PRINT EJECT command. */
 int
-cmd_print_eject (void)
+cmd_print_eject (struct lexer *lexer, struct dataset *ds)
 {
-  return internal_cmd_print (PRINT, true);
+  return internal_cmd_print (lexer, ds, PRINT, true);
 }
 
 /* Parses WRITE command. */
 int
-cmd_write (void)
+cmd_write (struct lexer *lexer, struct dataset *ds)
 {
-  return internal_cmd_print (WRITE, false);
+  return internal_cmd_print (lexer, ds, WRITE, false);
 }
 
 /* Parses the output commands. */
 static int
-internal_cmd_print (enum which_formats which_formats, bool eject)
+internal_cmd_print (struct lexer *lexer, struct dataset *ds,
+                   enum which_formats which_formats, bool eject)
 {
   bool print_table = 0;
   struct print_trns *trns;
@@ -145,42 +149,46 @@ internal_cmd_print (enum which_formats which_formats, bool eject)
   tmp_pool = pool_create_subpool (trns->pool);
 
   /* Parse the command options. */
-  while (token != '/')
+  while (lex_token (lexer) != '/' && lex_token (lexer) != '.')
     {
-      if (lex_match_id ("OUTFILE"))
+      if (lex_match_id (lexer, "OUTFILE"))
        {
-         lex_match ('=');
+         lex_match (lexer, '=');
 
-         fh = fh_parse (FH_REF_FILE);
+         fh = fh_parse (lexer, FH_REF_FILE);
          if (fh == NULL)
            goto error;
        }
-      else if (lex_match_id ("RECORDS"))
+      else if (lex_match_id (lexer, "RECORDS"))
        {
-         lex_match ('=');
-         lex_match ('(');
-         if (!lex_force_int ())
+         lex_match (lexer, '=');
+         lex_match (lexer, '(');
+         if (!lex_force_int (lexer))
            goto error;
-         trns->record_cnt = lex_integer ();
-         lex_get ();
-         lex_match (')');
+         trns->record_cnt = lex_integer (lexer);
+         lex_get (lexer);
+         lex_match (lexer, ')');
        }
-      else if (lex_match_id ("TABLE"))
+      else if (lex_match_id (lexer, "TABLE"))
        print_table = true;
-      else if (lex_match_id ("NOTABLE"))
+      else if (lex_match_id (lexer, "NOTABLE"))
        print_table = false;
       else
        {
-         lex_error (_("expecting a valid subcommand"));
+         lex_error (lexer, _("expecting a valid subcommand"));
          goto error;
        }
     }
 
+  /* When PRINT or PRINT EJECT writes to an external file, we
+     prefix each line with a space for compatibility. */
+  trns->include_prefix = which_formats == PRINT && fh != NULL;
+
   /* Parse variables and strings. */
-  if (!parse_specs (tmp_pool, trns, which_formats))
+  if (!parse_specs (lexer, tmp_pool, trns, dataset_dict (ds), which_formats))
     goto error;
 
-  if (lex_end_of_command () != CMD_SUCCESS)
+  if (lex_end_of_command (lexer) != CMD_SUCCESS)
     goto error;
 
   if (fh != NULL)
@@ -188,30 +196,33 @@ internal_cmd_print (enum which_formats which_formats, bool eject)
       trns->writer = dfm_open_writer (fh);
       if (trns->writer == NULL)
         goto error;
-
-      trns->omit_new_lines = (which_formats == WRITE
-                              && fh_get_mode (fh) == FH_MODE_BINARY);
+      trns->encoding = dfm_writer_get_legacy_encoding (trns->writer);
     }
+  else
+    trns->encoding = LEGACY_NATIVE;
 
   /* Output the variable table if requested. */
   if (print_table)
     dump_table (trns, fh);
 
   /* Put the transformation in the queue. */
-  add_transformation (current_dataset, print_trns_proc, print_trns_free, trns);
+  add_transformation (ds, print_trns_proc, print_trns_free, trns);
 
   pool_destroy (tmp_pool);
+  fh_unref (fh);
 
   return CMD_SUCCESS;
 
  error:
   print_trns_free (trns);
+  fh_unref (fh);
   return CMD_FAILURE;
 }
 \f
-static bool parse_string_argument (struct print_trns *,
+static bool parse_string_argument (struct lexer *, struct print_trns *,
                                    int record, int *column);
-static bool parse_variable_argument (struct print_trns *,
+static bool parse_variable_argument (struct lexer *, const struct dictionary *,
+                                    struct print_trns *,
                                      struct pool *tmp_pool,
                                      int *record, int *column,
                                      enum which_formats);
@@ -220,32 +231,39 @@ static bool parse_variable_argument (struct print_trns *,
    PRINT, PRINT EJECT, or WRITE command into the prt structure.
    Returns success. */
 static bool
-parse_specs (struct pool *tmp_pool, struct print_trns *trns,
+parse_specs (struct lexer *lexer, struct pool *tmp_pool, struct print_trns *trns,
+            struct dictionary *dict,
              enum which_formats which_formats)
 {
   int record = 0;
   int column = 1;
 
-  while (token != '.')
+  if (lex_token (lexer) == '.')
+    {
+      trns->record_cnt = 1;
+      return true;
+    }
+
+  while (lex_token (lexer) != '.')
     {
       bool ok;
 
-      if (!parse_record_placement (&record, &column))
+      if (!parse_record_placement (lexer, &record, &column))
         return false;
 
-      if (token == T_STRING)
-       ok = parse_string_argument (trns, record, &column);
+      if (lex_token (lexer) == T_STRING)
+       ok = parse_string_argument (lexer, trns, record, &column);
       else
-       ok = parse_variable_argument (trns, tmp_pool, &record, &column,
+       ok = parse_variable_argument (lexer, dict, trns, tmp_pool, &record, &column,
                                       which_formats);
       if (!ok)
        return 0;
 
-      lex_match (',');
+      lex_match (lexer, ',');
     }
 
   if (trns->record_cnt != 0 && trns->record_cnt != record)
-    msg (SW, _("Output calls for %d records but %d specified on RECORDS "
+    msg (SW, _("Output calls for %d records but %zu specified on RECORDS "
                "subcommand."),
          record, trns->record_cnt);
   trns->record_cnt = record;
@@ -255,24 +273,25 @@ parse_specs (struct pool *tmp_pool, struct print_trns *trns,
 
 /* Parses a string argument to the PRINT commands.  Returns success. */
 static bool
-parse_string_argument (struct print_trns *trns, int record, int *column)
+parse_string_argument (struct lexer *lexer, struct print_trns *trns, int record, int *column)
 {
   struct prt_out_spec *spec = pool_alloc (trns->pool, sizeof *spec);
   spec->type = PRT_LITERAL;
   spec->record = record;
   spec->first_column = *column;
-  ds_init_string (&spec->string, &tokstr);
+  ds_init_string (&spec->string, lex_tokstr (lexer));
   ds_register_pool (&spec->string, trns->pool);
-  lex_get ();
+  lex_get (lexer);
 
   /* Parse the included column range. */
-  if (lex_is_number ())
+  if (lex_is_number (lexer))
     {
       int first_column, last_column;
       bool range_specified;
 
-      if (!parse_column_range (&first_column, &last_column, &range_specified)) 
-        return false; 
+      if (!parse_column_range (lexer, 1,
+                               &first_column, &last_column, &range_specified))
+        return false;
 
       spec->first_column = first_column;
       if (range_specified)
@@ -288,23 +307,25 @@ parse_string_argument (struct print_trns *trns, int record, int *column)
    to fixed_parse_compatible() or fixed_parse_fortran() as appropriate.
    Returns success. */
 static bool
-parse_variable_argument (struct print_trns *trns, struct pool *tmp_pool,
+parse_variable_argument (struct lexer *lexer, const struct dictionary *dict,
+                        struct print_trns *trns, struct pool *tmp_pool,
                          int *record, int *column,
                          enum which_formats which_formats)
 {
-  struct variable **vars;
+  const struct variable **vars;
   size_t var_cnt, var_idx;
   struct fmt_spec *formats, *f;
   size_t format_cnt;
   bool add_space;
-  
-  if (!parse_variables_pool (tmp_pool,
-                             dataset_dict (current_dataset), &vars, &var_cnt, PV_DUPLICATE))
+
+  if (!parse_variables_const_pool (lexer, tmp_pool, dict,
+                            &vars, &var_cnt, PV_DUPLICATE))
     return false;
 
-  if (lex_is_number () || token == '(')
+  if (lex_is_number (lexer) || lex_token (lexer) == '(')
     {
-      if (!parse_var_placements (tmp_pool, var_cnt, &formats, &format_cnt))
+      if (!parse_var_placements (lexer, tmp_pool, var_cnt, false,
+                                 &formats, &format_cnt))
         return false;
       add_space = false;
     }
@@ -312,27 +333,29 @@ parse_variable_argument (struct print_trns *trns, struct pool *tmp_pool,
     {
       size_t i;
 
-      lex_match ('*');
-      
+      lex_match (lexer, '*');
+
       formats = pool_nmalloc (tmp_pool, var_cnt, sizeof *formats);
       format_cnt = var_cnt;
-      for (i = 0; i < var_cnt; i++) 
+      for (i = 0; i < var_cnt; i++)
         {
-          struct variable *v = vars[i];
-          formats[i] = which_formats == PRINT ? v->print : v->write; 
+          const struct variable *v = vars[i];
+          formats[i] = (which_formats == PRINT
+                        ? *var_get_print_format (v)
+                        : *var_get_write_format (v));
         }
-      add_space = true;
+      add_space = which_formats == PRINT;
     }
 
   var_idx = 0;
   for (f = formats; f < &formats[format_cnt]; f++)
     if (!execute_placement_format (f, record, column))
       {
-        struct variable *var;
+        const struct variable *var;
         struct prt_out_spec *spec;
 
         var = vars[var_idx++];
-        if (!check_specifier_width (f, var->width, true))
+        if (!fmt_check_width_compat (f, var_get_width (var)))
           return false;
 
         spec = pool_alloc (trns->pool, sizeof *spec);
@@ -342,6 +365,16 @@ parse_variable_argument (struct print_trns *trns, struct pool *tmp_pool,
         spec->var = var;
         spec->format = *f;
         spec->add_space = add_space;
+
+        /* This is a completely bizarre twist for compatibility:
+           WRITE outputs the system-missing value as a field
+           filled with spaces, instead of using the normal format
+           that usually contains a period. */
+        spec->sysmis_as_spaces = (which_formats == WRITE
+                                  && var_is_numeric (var)
+                                  && (fmt_get_category (spec->format.type)
+                                      != FMT_CAT_BINARY));
+
         ll_push_tail (&trns->specs, &spec->ll);
 
         *column += f->w + add_space;
@@ -371,10 +404,11 @@ dump_table (struct print_trns *trns, const struct file_handle *fh)
   tab_text (t, 1, 0, TAB_CENTER | TAT_TITLE, _("Record"));
   tab_text (t, 2, 0, TAB_CENTER | TAT_TITLE, _("Columns"));
   tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("Format"));
-  tab_dim (t, tab_natural_dimensions);
+  tab_dim (t, tab_natural_dimensions, NULL);
   row = 1;
-  ll_for_each (spec, struct prt_out_spec, ll, &trns->specs) 
+  ll_for_each (spec, struct prt_out_spec, ll, &trns->specs)
     {
+      char fmt_string[FMT_STRING_LEN_MAX + 1];
       int width;
       switch (spec->type)
         {
@@ -384,9 +418,9 @@ dump_table (struct print_trns *trns, const struct file_handle *fh)
           width = ds_length (&spec->string);
           break;
         case PRT_VAR:
-          tab_text (t, 0, row, TAB_LEFT, spec->var->name);
+          tab_text (t, 0, row, TAB_LEFT, var_get_name (spec->var));
           tab_text (t, 3, row, TAB_LEFT | TAB_FIX,
-                    fmt_to_string (&spec->format));
+                    fmt_to_string (&spec->format, fmt_string));
           width = spec->format.w;
           break;
         default:
@@ -411,62 +445,93 @@ dump_table (struct print_trns *trns, const struct file_handle *fh)
 \f
 /* Transformation. */
 
-static void flush_records (struct print_trns *,
-                           int target_record, int *record);
+static void flush_records (struct print_trns *, int target_record,
+                           bool *eject, int *record);
 
 /* Performs the transformation inside print_trns T on case C. */
 static int
-print_trns_proc (void *trns_, struct ccase *c, casenum_t case_num UNUSED)
+print_trns_proc (void *trns_, struct ccase **c, casenumber case_num UNUSED)
 {
   struct print_trns *trns = trns_;
+  bool eject = trns->eject;
+  char encoded_space = legacy_from_native (trns->encoding, ' ');
+  int record = 1;
   struct prt_out_spec *spec;
-  int record;
 
-  if (trns->eject)
-    som_eject_page ();
-
-  record = 1;
   ds_clear (&trns->line);
-  ll_for_each (spec, struct prt_out_spec, ll, &trns->specs) 
+  ds_put_char (&trns->line, ' ');
+  ll_for_each (spec, struct prt_out_spec, ll, &trns->specs)
     {
-      flush_records (trns, spec->record, &record);
-      ds_set_length (&trns->line, spec->first_column - 1, ' ');
+      flush_records (trns, spec->record, &eject, &record);
+
+      ds_set_length (&trns->line, spec->first_column, encoded_space);
       if (spec->type == PRT_VAR)
         {
-          data_out (ds_put_uninit (&trns->line, spec->format.w),
-                    &spec->format, case_data (c, spec->var->fv));
+          const union value *input = case_data (*c, spec->var);
+          char *output = ds_put_uninit (&trns->line, spec->format.w);
+          if (!spec->sysmis_as_spaces || input->f != SYSMIS)
+            data_out_legacy (input, trns->encoding, &spec->format, output);
+          else
+            memset (output, encoded_space, spec->format.w);
           if (spec->add_space)
-            ds_put_char (&trns->line, ' ');
+            ds_put_char (&trns->line, encoded_space);
+        }
+      else
+        {
+          ds_put_substring (&trns->line, ds_ss (&spec->string));
+          if (0 != strcmp (trns->encoding, LEGACY_NATIVE))
+            {
+              size_t length = ds_length (&spec->string);
+              char *data = ss_data (ds_tail (&trns->line, length));
+              legacy_recode (LEGACY_NATIVE, data,
+                             trns->encoding, data, length);
+            }
         }
-      else 
-        ds_put_substring (&trns->line, ds_ss (&spec->string));
     }
-  flush_records (trns, trns->record_cnt + 1, &record);
-  
+  flush_records (trns, trns->record_cnt + 1, &eject, &record);
+
   if (trns->writer != NULL && dfm_write_error (trns->writer))
     return TRNS_ERROR;
   return TRNS_CONTINUE;
 }
 
+/* Advance from *RECORD to TARGET_RECORD, outputting records
+   along the way.  If *EJECT is true, then the first record
+   output is preceded by ejecting the page (and *EJECT is set
+   false). */
 static void
-flush_records (struct print_trns *trns, int target_record, int *record)
+flush_records (struct print_trns *trns, int target_record,
+               bool *eject, int *record)
 {
-  while (target_record > *record) 
+  for (; target_record > *record; (*record)++)
     {
+      char *line = ds_cstr (&trns->line);
+      size_t length = ds_length (&trns->line);
+      char leader = ' ';
+
+      if (*eject)
+        {
+          *eject = false;
+          if (trns->writer == NULL)
+            som_eject_page ();
+          else
+            leader = '1';
+        }
+      line[0] = legacy_from_native (trns->encoding, leader);
+
       if (trns->writer == NULL)
-        tab_output_text (TAB_FIX | TAT_NOWRAP, ds_cstr (&trns->line));
+        tab_output_text (TAB_FIX | TAT_NOWRAP, &line[1]);
       else
         {
-          if (!trns->omit_new_lines)
-            ds_put_char (&trns->line, '\n');
-
-          dfm_put_record (trns->writer,
-                          ds_data (&trns->line), ds_length (&trns->line));
+          if (!trns->include_prefix)
+            {
+              line++;
+              length--;
+            }
+          dfm_put_record (trns->writer, line, length);
         }
-      ds_clear (&trns->line);
 
-      (*record)++;
+      ds_truncate (&trns->line, 1);
     }
 }