Change enum legacy_encoding to const char *.
[pspp-builds.git] / src / language / data-io / print.c
index 262d5397f460114859ea6f9a48ae3ef7cb165fd8..eac5567a53a5458a4b3ddb4f61dd80b5599d8225 100644 (file)
@@ -1,21 +1,18 @@
-/* PSPP - computes sample statistics.
-   Copyright (C) 1997-9, 2000, 2006 Free Software Foundation, Inc.
-   Written by Ben Pfaff <blp@gnu.org>.
+/* PSPP - a program for statistical analysis.
+   Copyright (C) 1997-9, 2000, 2006, 2009 Free Software Foundation, Inc.
 
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License as
-   published by the Free Software Foundation; either version 2 of the
-   License, or (at your option) any later version.
+   This program is free software: you can redistribute it and/or modify
+   it under the terms of the GNU General Public License as published by
+   the Free Software Foundation, either version 3 of the License, or
+   (at your option) any later version.
 
-   This program is distributed in the hope that it will be useful, but
-   WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-   General Public License for more details.
+   This program is distributed in the hope that it will be useful,
+   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+   GNU General Public License for more details.
 
    You should have received a copy of the GNU General Public License
-   along with this program; if not, write to the Free Software
-   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
-   02110-1301, USA. */
+   along with this program.  If not, see <http://www.gnu.org/licenses/>. */
 
 #include <config.h>
 
@@ -26,6 +23,7 @@
 #include <data/procedure.h>
 #include <data/transformations.h>
 #include <data/variable.h>
+#include <data/format.h>
 #include <language/command.h>
 #include <language/data-io/data-writer.h>
 #include <language/data-io/file-handle.h>
@@ -33,7 +31,6 @@
 #include <language/lexer/format-parser.h>
 #include <language/lexer/lexer.h>
 #include <language/lexer/variable-parser.h>
-#include <libpspp/alloc.h>
 #include <libpspp/assertion.h>
 #include <libpspp/compiler.h>
 #include <libpspp/ll.h>
@@ -43,6 +40,8 @@
 #include <output/manager.h>
 #include <output/table.h>
 
+#include "xalloc.h"
+
 #include "gettext.h"
 #define _(msgid) gettext (msgid)
 
@@ -63,7 +62,7 @@ struct prt_out_spec
     int first_column;          /* 0-based first column. */
 
     /* PRT_VAR only. */
-    struct variable *var;      /* Associated variable. */
+    const struct variable *var;        /* Associated variable. */
     struct fmt_spec format;    /* Output spec. */
     bool add_space;             /* Add trailing space? */
     bool sysmis_as_spaces;      /* Output SYSMIS as spaces? */
@@ -73,7 +72,7 @@ struct prt_out_spec
   };
 
 static inline struct prt_out_spec *
-ll_to_prt_out_spec (struct ll *ll) 
+ll_to_prt_out_spec (struct ll *ll)
 {
   return ll_data (ll, struct prt_out_spec, ll);
 }
@@ -84,6 +83,7 @@ struct print_trns
     struct pool *pool;          /* Stores related data. */
     bool eject;                 /* Eject page before printing? */
     bool include_prefix;        /* Prefix lines with space? */
+    const char *encoding;       /* Encoding to use for output. */
     struct dfm_writer *writer; /* Output file, NULL=listing file. */
     struct ll_list specs;       /* List of struct prt_out_specs. */
     size_t record_cnt;          /* Number of records to write. */
@@ -92,15 +92,15 @@ struct print_trns
 
 enum which_formats
   {
-    PRINT, 
+    PRINT,
     WRITE
   };
 
-static int internal_cmd_print (struct dataset *ds, 
+static int internal_cmd_print (struct lexer *, struct dataset *ds,
                               enum which_formats, bool eject);
 static trns_proc_func print_trns_proc;
 static trns_free_func print_trns_free;
-static bool parse_specs (struct pool *tmp_pool, struct print_trns *,
+static bool parse_specs (struct lexer *, struct pool *tmp_pool, struct print_trns *,
                         struct dictionary *dict, enum which_formats);
 static void dump_table (struct print_trns *, const struct file_handle *);
 \f
@@ -108,28 +108,28 @@ static void dump_table (struct print_trns *, const struct file_handle *);
 
 /* Parses PRINT command. */
 int
-cmd_print (struct dataset *ds)
+cmd_print (struct lexer *lexer, struct dataset *ds)
 {
-  return internal_cmd_print (ds, PRINT, false);
+  return internal_cmd_print (lexer, ds, PRINT, false);
 }
 
 /* Parses PRINT EJECT command. */
 int
-cmd_print_eject (struct dataset *ds)
+cmd_print_eject (struct lexer *lexer, struct dataset *ds)
 {
-  return internal_cmd_print (ds, PRINT, true);
+  return internal_cmd_print (lexer, ds, PRINT, true);
 }
 
 /* Parses WRITE command. */
 int
-cmd_write (struct dataset *ds)
+cmd_write (struct lexer *lexer, struct dataset *ds)
 {
-  return internal_cmd_print (ds, WRITE, false);
+  return internal_cmd_print (lexer, ds, WRITE, false);
 }
 
 /* Parses the output commands. */
 static int
-internal_cmd_print (struct dataset *ds, 
+internal_cmd_print (struct lexer *lexer, struct dataset *ds,
                    enum which_formats which_formats, bool eject)
 {
   bool print_table = 0;
@@ -149,33 +149,33 @@ internal_cmd_print (struct dataset *ds,
   tmp_pool = pool_create_subpool (trns->pool);
 
   /* Parse the command options. */
-  while (token != '/' && token != '.')
+  while (lex_token (lexer) != '/' && lex_token (lexer) != '.')
     {
-      if (lex_match_id ("OUTFILE"))
+      if (lex_match_id (lexer, "OUTFILE"))
        {
-         lex_match ('=');
+         lex_match (lexer, '=');
 
-         fh = fh_parse (FH_REF_FILE);
+         fh = fh_parse (lexer, FH_REF_FILE);
          if (fh == NULL)
            goto error;
        }
-      else if (lex_match_id ("RECORDS"))
+      else if (lex_match_id (lexer, "RECORDS"))
        {
-         lex_match ('=');
-         lex_match ('(');
-         if (!lex_force_int ())
+         lex_match (lexer, '=');
+         lex_match (lexer, '(');
+         if (!lex_force_int (lexer))
            goto error;
-         trns->record_cnt = lex_integer ();
-         lex_get ();
-         lex_match (')');
+         trns->record_cnt = lex_integer (lexer);
+         lex_get (lexer);
+         lex_match (lexer, ')');
        }
-      else if (lex_match_id ("TABLE"))
+      else if (lex_match_id (lexer, "TABLE"))
        print_table = true;
-      else if (lex_match_id ("NOTABLE"))
+      else if (lex_match_id (lexer, "NOTABLE"))
        print_table = false;
       else
        {
-         lex_error (_("expecting a valid subcommand"));
+         lex_error (lexer, _("expecting a valid subcommand"));
          goto error;
        }
     }
@@ -185,10 +185,10 @@ internal_cmd_print (struct dataset *ds,
   trns->include_prefix = which_formats == PRINT && fh != NULL;
 
   /* Parse variables and strings. */
-  if (!parse_specs (tmp_pool, trns, dataset_dict (ds), which_formats))
+  if (!parse_specs (lexer, tmp_pool, trns, dataset_dict (ds), which_formats))
     goto error;
 
-  if (lex_end_of_command () != CMD_SUCCESS)
+  if (lex_end_of_command (lexer) != CMD_SUCCESS)
     goto error;
 
   if (fh != NULL)
@@ -196,7 +196,10 @@ internal_cmd_print (struct dataset *ds,
       trns->writer = dfm_open_writer (fh);
       if (trns->writer == NULL)
         goto error;
+      trns->encoding = dfm_writer_get_legacy_encoding (trns->writer);
     }
+  else
+    trns->encoding = LEGACY_NATIVE;
 
   /* Output the variable table if requested. */
   if (print_table)
@@ -206,17 +209,19 @@ internal_cmd_print (struct dataset *ds,
   add_transformation (ds, print_trns_proc, print_trns_free, trns);
 
   pool_destroy (tmp_pool);
+  fh_unref (fh);
 
   return CMD_SUCCESS;
 
  error:
   print_trns_free (trns);
+  fh_unref (fh);
   return CMD_FAILURE;
 }
 \f
-static bool parse_string_argument (struct print_trns *,
+static bool parse_string_argument (struct lexer *, struct print_trns *,
                                    int record, int *column);
-static bool parse_variable_argument (const struct dictionary *, 
+static bool parse_variable_argument (struct lexer *, const struct dictionary *,
                                     struct print_trns *,
                                      struct pool *tmp_pool,
                                      int *record, int *column,
@@ -226,39 +231,39 @@ static bool parse_variable_argument (const struct dictionary *,
    PRINT, PRINT EJECT, or WRITE command into the prt structure.
    Returns success. */
 static bool
-parse_specs (struct pool *tmp_pool, struct print_trns *trns,
-            struct dictionary *dict, 
+parse_specs (struct lexer *lexer, struct pool *tmp_pool, struct print_trns *trns,
+            struct dictionary *dict,
              enum which_formats which_formats)
 {
   int record = 0;
   int column = 1;
 
-  if (token == '.') 
+  if (lex_token (lexer) == '.')
     {
       trns->record_cnt = 1;
       return true;
     }
 
-  while (token != '.')
+  while (lex_token (lexer) != '.')
     {
       bool ok;
 
-      if (!parse_record_placement (&record, &column))
+      if (!parse_record_placement (lexer, &record, &column))
         return false;
 
-      if (token == T_STRING)
-       ok = parse_string_argument (trns, record, &column);
+      if (lex_token (lexer) == T_STRING)
+       ok = parse_string_argument (lexer, trns, record, &column);
       else
-       ok = parse_variable_argument (dict, trns, tmp_pool, &record, &column,
+       ok = parse_variable_argument (lexer, dict, trns, tmp_pool, &record, &column,
                                       which_formats);
       if (!ok)
        return 0;
 
-      lex_match (',');
+      lex_match (lexer, ',');
     }
 
   if (trns->record_cnt != 0 && trns->record_cnt != record)
-    msg (SW, _("Output calls for %d records but %d specified on RECORDS "
+    msg (SW, _("Output calls for %d records but %zu specified on RECORDS "
                "subcommand."),
          record, trns->record_cnt);
   trns->record_cnt = record;
@@ -268,24 +273,25 @@ parse_specs (struct pool *tmp_pool, struct print_trns *trns,
 
 /* Parses a string argument to the PRINT commands.  Returns success. */
 static bool
-parse_string_argument (struct print_trns *trns, int record, int *column)
+parse_string_argument (struct lexer *lexer, struct print_trns *trns, int record, int *column)
 {
   struct prt_out_spec *spec = pool_alloc (trns->pool, sizeof *spec);
   spec->type = PRT_LITERAL;
   spec->record = record;
   spec->first_column = *column;
-  ds_init_string (&spec->string, &tokstr);
+  ds_init_string (&spec->string, lex_tokstr (lexer));
   ds_register_pool (&spec->string, trns->pool);
-  lex_get ();
+  lex_get (lexer);
 
   /* Parse the included column range. */
-  if (lex_is_number ())
+  if (lex_is_number (lexer))
     {
       int first_column, last_column;
       bool range_specified;
 
-      if (!parse_column_range (&first_column, &last_column, &range_specified)) 
-        return false; 
+      if (!parse_column_range (lexer, 1,
+                               &first_column, &last_column, &range_specified))
+        return false;
 
       spec->first_column = first_column;
       if (range_specified)
@@ -301,23 +307,24 @@ parse_string_argument (struct print_trns *trns, int record, int *column)
    to fixed_parse_compatible() or fixed_parse_fortran() as appropriate.
    Returns success. */
 static bool
-parse_variable_argument (const struct dictionary *dict,
+parse_variable_argument (struct lexer *lexer, const struct dictionary *dict,
                         struct print_trns *trns, struct pool *tmp_pool,
                          int *record, int *column,
                          enum which_formats which_formats)
 {
-  struct variable **vars;
+  const struct variable **vars;
   size_t var_cnt, var_idx;
   struct fmt_spec *formats, *f;
   size_t format_cnt;
   bool add_space;
-  
-  if (!parse_variables_pool (tmp_pool, dict, &vars, &var_cnt, PV_DUPLICATE))
+
+  if (!parse_variables_const_pool (lexer, tmp_pool, dict,
+                            &vars, &var_cnt, PV_DUPLICATE))
     return false;
 
-  if (lex_is_number () || token == '(')
+  if (lex_is_number (lexer) || lex_token (lexer) == '(')
     {
-      if (!parse_var_placements (tmp_pool, var_cnt, false,
+      if (!parse_var_placements (lexer, tmp_pool, var_cnt, false,
                                  &formats, &format_cnt))
         return false;
       add_space = false;
@@ -326,14 +333,16 @@ parse_variable_argument (const struct dictionary *dict,
     {
       size_t i;
 
-      lex_match ('*');
-      
+      lex_match (lexer, '*');
+
       formats = pool_nmalloc (tmp_pool, var_cnt, sizeof *formats);
       format_cnt = var_cnt;
-      for (i = 0; i < var_cnt; i++) 
+      for (i = 0; i < var_cnt; i++)
         {
-          struct variable *v = vars[i];
-          formats[i] = which_formats == PRINT ? v->print : v->write; 
+          const struct variable *v = vars[i];
+          formats[i] = (which_formats == PRINT
+                        ? *var_get_print_format (v)
+                        : *var_get_write_format (v));
         }
       add_space = which_formats == PRINT;
     }
@@ -342,11 +351,11 @@ parse_variable_argument (const struct dictionary *dict,
   for (f = formats; f < &formats[format_cnt]; f++)
     if (!execute_placement_format (f, record, column))
       {
-        struct variable *var;
+        const struct variable *var;
         struct prt_out_spec *spec;
 
         var = vars[var_idx++];
-        if (!fmt_check_width_compat (f, var->width))
+        if (!fmt_check_width_compat (f, var_get_width (var)))
           return false;
 
         spec = pool_alloc (trns->pool, sizeof *spec);
@@ -360,9 +369,9 @@ parse_variable_argument (const struct dictionary *dict,
         /* This is a completely bizarre twist for compatibility:
            WRITE outputs the system-missing value as a field
            filled with spaces, instead of using the normal format
-           that usually contains a period. */ 
+           that usually contains a period. */
         spec->sysmis_as_spaces = (which_formats == WRITE
-                                  && var->type == NUMERIC
+                                  && var_is_numeric (var)
                                   && (fmt_get_category (spec->format.type)
                                       != FMT_CAT_BINARY));
 
@@ -395,9 +404,9 @@ dump_table (struct print_trns *trns, const struct file_handle *fh)
   tab_text (t, 1, 0, TAB_CENTER | TAT_TITLE, _("Record"));
   tab_text (t, 2, 0, TAB_CENTER | TAT_TITLE, _("Columns"));
   tab_text (t, 3, 0, TAB_CENTER | TAT_TITLE, _("Format"));
-  tab_dim (t, tab_natural_dimensions);
+  tab_dim (t, tab_natural_dimensions, NULL);
   row = 1;
-  ll_for_each (spec, struct prt_out_spec, ll, &trns->specs) 
+  ll_for_each (spec, struct prt_out_spec, ll, &trns->specs)
     {
       char fmt_string[FMT_STRING_LEN_MAX + 1];
       int width;
@@ -409,7 +418,7 @@ dump_table (struct print_trns *trns, const struct file_handle *fh)
           width = ds_length (&spec->string);
           break;
         case PRT_VAR:
-          tab_text (t, 0, row, TAB_LEFT, spec->var->name);
+          tab_text (t, 0, row, TAB_LEFT, var_get_name (spec->var));
           tab_text (t, 3, row, TAB_LEFT | TAB_FIX,
                     fmt_to_string (&spec->format, fmt_string));
           width = spec->format.w;
@@ -441,36 +450,46 @@ static void flush_records (struct print_trns *, int target_record,
 
 /* Performs the transformation inside print_trns T on case C. */
 static int
-print_trns_proc (void *trns_, struct ccase *c, casenumber case_num UNUSED)
+print_trns_proc (void *trns_, struct ccase **c, casenumber case_num UNUSED)
 {
   struct print_trns *trns = trns_;
   bool eject = trns->eject;
+  char encoded_space = legacy_from_native (trns->encoding, ' ');
   int record = 1;
   struct prt_out_spec *spec;
 
   ds_clear (&trns->line);
   ds_put_char (&trns->line, ' ');
-  ll_for_each (spec, struct prt_out_spec, ll, &trns->specs) 
+  ll_for_each (spec, struct prt_out_spec, ll, &trns->specs)
     {
       flush_records (trns, spec->record, &eject, &record);
-      ds_set_length (&trns->line, spec->first_column, ' ');
+
+      ds_set_length (&trns->line, spec->first_column, encoded_space);
       if (spec->type == PRT_VAR)
         {
-          const union value *input = case_data (c, spec->var->fv);
+          const union value *input = case_data (*c, spec->var);
           char *output = ds_put_uninit (&trns->line, spec->format.w);
           if (!spec->sysmis_as_spaces || input->f != SYSMIS)
-            data_out (input, &spec->format, output);
+            data_out_legacy (input, trns->encoding, &spec->format, output);
           else
-            memset (output, ' ', spec->format.w);
+            memset (output, encoded_space, spec->format.w);
           if (spec->add_space)
-            ds_put_char (&trns->line, ' ');
+            ds_put_char (&trns->line, encoded_space);
+        }
+      else
+        {
+          ds_put_substring (&trns->line, ds_ss (&spec->string));
+          if (0 != strcmp (trns->encoding, LEGACY_NATIVE))
+            {
+              size_t length = ds_length (&spec->string);
+              char *data = ss_data (ds_tail (&trns->line, length));
+              legacy_recode (LEGACY_NATIVE, data,
+                             trns->encoding, data, length);
+            }
         }
-      else 
-        ds_put_substring (&trns->line, ds_ss (&spec->string));
     }
   flush_records (trns, trns->record_cnt + 1, &eject, &record);
-  
+
   if (trns->writer != NULL && dfm_write_error (trns->writer))
     return TRNS_ERROR;
   return TRNS_CONTINUE;
@@ -484,13 +503,13 @@ static void
 flush_records (struct print_trns *trns, int target_record,
                bool *eject, int *record)
 {
-  for (; target_record > *record; (*record)++) 
+  for (; target_record > *record; (*record)++)
     {
       char *line = ds_cstr (&trns->line);
       size_t length = ds_length (&trns->line);
       char leader = ' ';
-      
-      if (*eject) 
+
+      if (*eject)
         {
           *eject = false;
           if (trns->writer == NULL)
@@ -498,20 +517,20 @@ flush_records (struct print_trns *trns, int target_record,
           else
             leader = '1';
         }
-      line[0] = leader;
-      
+      line[0] = legacy_from_native (trns->encoding, leader);
+
       if (trns->writer == NULL)
         tab_output_text (TAB_FIX | TAT_NOWRAP, &line[1]);
       else
         {
-          if (!trns->include_prefix) 
+          if (!trns->include_prefix)
             {
               line++;
-              length--; 
+              length--;
             }
           dfm_put_record (trns->writer, line, length);
         }
-      
+
       ds_truncate (&trns->line, 1);
     }
 }