SAVE TRANSLATE: Allow variable names with space, etc. in output.
[pspp] / src / language / lexer / variable-parser.c
index a45d384293ba9b6251433a60abd4d89480dbc9fa..514ce160f41b2e7fc751ddb508fc89d05f26e9b4 100644 (file)
 #include "gettext.h"
 #define _(msgid) gettext (msgid)
 
-static struct variable * var_set_get_var (const struct var_set *, size_t );
-
+static struct variable *var_set_get_var (const struct var_set *, size_t);
 static struct variable *var_set_lookup_var (const struct var_set *,
                                            const char *);
-
 static bool var_set_lookup_var_idx (const struct var_set *, const char *,
                                    size_t *);
+static bool var_set_get_names_must_be_ids (const struct var_set *);
+
+static bool
+is_name_token (const struct lexer *lexer, bool names_must_be_ids)
+{
+  return (lex_token (lexer) == T_ID
+          || (!names_must_be_ids && lex_token (lexer) == T_STRING));
+}
 
+static bool
+is_vs_name_token (const struct lexer *lexer, const struct var_set *vs)
+{
+  return is_name_token (lexer, var_set_get_names_must_be_ids (vs));
+}
 
+static bool
+is_dict_name_token (const struct lexer *lexer, const struct dictionary *d)
+{
+  return is_name_token (lexer, dict_get_names_must_be_ids (d));
+}
 
 /* Parses a name as a variable within VS.  Sets *IDX to the
    variable's index and returns true if successful.  On failure
    emits an error message and returns false. */
 static bool
 parse_vs_variable_idx (struct lexer *lexer, const struct var_set *vs,
-               size_t *idx)
+                       size_t *idx)
 {
   assert (idx != NULL);
 
-  if (lex_token (lexer) != T_ID)
+  if (!is_vs_name_token (lexer, vs))
     {
       lex_error (lexer, _("expecting variable name"));
       return false;
@@ -201,9 +217,9 @@ add_variable (struct variable ***v, size_t *nv, size_t *mv,
                "All variables in this variable list must have the "
                "same width.  %s will be omitted from the list."),
          var_get_name ((*v)[0]), add_name, add_name);
-  else if ((pv_opts & PV_NO_DUPLICATE) && included[idx])
+  else if ((pv_opts & PV_NO_DUPLICATE) && included && included[idx])
     msg (SE, _("Variable %s appears twice in variable list."), add_name);
-  else if ((pv_opts & PV_DUPLICATE) || !included[idx])
+  else if ((pv_opts & PV_DUPLICATE) || !included || !included[idx])
     {
       if (*nv >= *mv)
         {
@@ -344,7 +360,8 @@ parse_var_set_vars (struct lexer *lexer, const struct var_set *vs,
       lex_match (lexer, T_COMMA);
     }
   while (lex_token (lexer) == T_ALL
-         || (lex_token (lexer) == T_ID && var_set_lookup_var (vs, lex_tokcstr (lexer)) != NULL));
+         || (is_vs_name_token (lexer, vs)
+             && var_set_lookup_var (vs, lex_tokcstr (lexer)) != NULL));
 
   if (*nv == 0)
     goto fail;
@@ -360,6 +377,22 @@ fail:
   return 0;
 }
 
+char *
+parse_DATA_LIST_var (struct lexer *lexer, const struct dictionary *d)
+{
+  if (!is_dict_name_token (lexer, d))
+    {
+      lex_error (lexer, "expecting variable name");
+      return NULL;
+    }
+  if (!dict_id_is_valid (d, lex_tokcstr (lexer), true))
+    return NULL;
+
+  char *name = xstrdup (lex_tokcstr (lexer));
+  lex_get (lexer);
+  return name;
+}
+
 /* Attempts to break UTF-8 encoded NAME into a root (whose contents are
    arbitrary except that it does not end in a digit) followed by an integer
    numeric suffix.  On success, stores the value of the suffix into *NUMBERP,
@@ -428,7 +461,7 @@ parse_DATA_LIST_vars (struct lexer *lexer, const struct dictionary *dict,
   struct stringi_set set;
 
   char *name1 = NULL;
-  char *name2 = NULL;
+
   bool ok = false;
 
   assert ((pv_opts & ~(PV_APPEND | PV_SINGLE
@@ -456,36 +489,22 @@ parse_DATA_LIST_vars (struct lexer *lexer, const struct dictionary *dict,
 
   do
     {
-      if (lex_token (lexer) != T_ID
-          || !dict_id_is_valid (dict, lex_tokcstr (lexer), true))
-       {
-         lex_error (lexer, "expecting variable name");
-         goto exit;
-       }
-      if (dict_class_from_id (lex_tokcstr (lexer)) == DC_SCRATCH
-          && (pv_opts & PV_NO_SCRATCH))
+      name1 = parse_DATA_LIST_var (lexer, dict);
+      if (!name1)
+        goto exit;
+      if (dict_class_from_id (name1) == DC_SCRATCH && pv_opts & PV_NO_SCRATCH)
        {
          msg (SE, _("Scratch variables not allowed here."));
          goto exit;
        }
-      name1 = xstrdup (lex_tokcstr (lexer));
-      lex_get (lexer);
-      if (lex_token (lexer) == T_TO)
+      if (lex_match (lexer, T_TO))
        {
-          unsigned long int num1, num2;
+         unsigned long int num1, num2;
           int n_digits1, n_digits2;
           int root_len1, root_len2;
           unsigned long int number;
 
-         lex_get (lexer);
-         if (lex_token (lexer) != T_ID
-              || !dict_id_is_valid (dict, lex_tokcstr (lexer), true))
-           {
-             lex_error (lexer, "expecting variable name");
-             goto exit;
-           }
-          name2 = xstrdup (lex_tokcstr (lexer));
-         lex_get (lexer);
+          char *name2 = parse_DATA_LIST_var (lexer, dict);
 
           root_len1 = extract_numeric_suffix (name1, &num1, &n_digits1);
           if (root_len1 == 0)
@@ -522,7 +541,6 @@ parse_DATA_LIST_vars (struct lexer *lexer, const struct dictionary *dict,
           free (name1);
           name1 = NULL;
           free (name2);
-          name2 = NULL;
        }
       else
        {
@@ -557,7 +575,6 @@ exit:
       *n_varsp = 0;
 
       free (name1);
-      free (name2);
     }
   return ok;
 }
@@ -608,21 +625,20 @@ parse_mixed_vars (struct lexer *lexer, const struct dictionary *dict,
 
   assert (names != NULL);
   assert (nnames != NULL);
-  assert ((pv_opts & ~PV_APPEND) == 0);
 
   if (!(pv_opts & PV_APPEND))
     {
       *names = NULL;
       *nnames = 0;
     }
-  while (lex_token (lexer) == T_ID || lex_token (lexer) == T_ALL)
+  while (is_dict_name_token (lexer, dict) || lex_token (lexer) == T_ALL)
     {
       if (lex_token (lexer) == T_ALL || dict_lookup_var (dict, lex_tokcstr (lexer)) != NULL)
        {
          struct variable **v;
          size_t nv;
 
-         if (!parse_variables (lexer, dict, &v, &nv, PV_NONE))
+         if (!parse_variables (lexer, dict, &v, &nv, pv_opts))
            goto fail;
          *names = xnrealloc (*names, *nnames + nv, sizeof **names);
          for (i = 0; i < nv; i++)
@@ -630,12 +646,12 @@ parse_mixed_vars (struct lexer *lexer, const struct dictionary *dict,
          free (v);
          *nnames += nv;
        }
-      else if (!parse_DATA_LIST_vars (lexer, dict, names, nnames, PV_APPEND))
+      else if (!parse_DATA_LIST_vars (lexer, dict, names, nnames, PV_APPEND | pv_opts))
        goto fail;
     }
   if (*nnames == 0)
     goto fail;
-  
+
   return true;
 
 fail:
@@ -672,6 +688,7 @@ parse_mixed_vars_pool (struct lexer *lexer, const struct dictionary *dict, struc
 /* A set of variables. */
 struct var_set
   {
+    bool names_must_be_ids;
     size_t (*get_cnt) (const struct var_set *);
     struct variable *(*get_var) (const struct var_set *, size_t idx);
     bool (*lookup_var_idx) (const struct var_set *, const char *, size_t *);
@@ -729,6 +746,12 @@ var_set_destroy (struct var_set *vs)
   if (vs != NULL)
     vs->destroy (vs);
 }
+
+static bool
+var_set_get_names_must_be_ids (const struct var_set *vs)
+{
+  return vs->names_must_be_ids;
+}
 \f
 /* Returns the number of variables in VS. */
 static size_t
@@ -778,6 +801,7 @@ struct var_set *
 var_set_create_from_dict (const struct dictionary *d)
 {
   struct var_set *vs = xmalloc (sizeof *vs);
+  vs->names_must_be_ids = dict_get_names_must_be_ids (d);
   vs->get_cnt = dict_var_set_get_cnt;
   vs->get_var = dict_var_set_get_var;
   vs->lookup_var_idx = dict_var_set_lookup_var_idx;
@@ -854,6 +878,7 @@ var_set_create_from_array (struct variable *const *var, size_t var_cnt)
   size_t i;
 
   vs = xmalloc (sizeof *vs);
+  vs->names_must_be_ids = true;
   vs->get_cnt = array_var_set_get_cnt;
   vs->get_var = array_var_set_get_var;
   vs->lookup_var_idx = array_var_set_lookup_var_idx;
@@ -924,7 +949,7 @@ parse_internal_interaction (struct lexer *lexer, const struct dictionary *dict,
       *iact = NULL;
       return false;
     }
-  
+
   assert (v);
 
   if ( *iact == NULL)