MODIFY VARIABLES: Eliminate VAR_NAME_LEN limit on variable names.
[pspp-builds.git] / src / language / dictionary / modify-variables.c
index 7c9a4b24bd0402667b5d83cc50e022978a549095..aae81222c5d8d475ccc7873a857933b457f35515 100644 (file)
@@ -1,21 +1,18 @@
-/* PSPP - computes sample statistics.
-   Copyright (C) 1997-9, 2000 Free Software Foundation, Inc.
-   Written by Ben Pfaff <blp@gnu.org>.
+/* PSPP - a program for statistical analysis.
+   Copyright (C) 1997-9, 2000, 2010, 2011 Free Software Foundation, Inc.
 
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License as
-   published by the Free Software Foundation; either version 2 of the
-   License, or (at your option) any later version.
+   This program is free software: you can redistribute it and/or modify
+   it under the terms of the GNU General Public License as published by
+   the Free Software Foundation, either version 3 of the License, or
+   (at your option) any later version.
 
-   This program is distributed in the hope that it will be useful, but
-   WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-   General Public License for more details.
+   This program is distributed in the hope that it will be useful,
+   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+   GNU General Public License for more details.
 
    You should have received a copy of the GNU General Public License
-   along with this program; if not, write to the Free Software
-   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
-   02110-1301, USA. */
+   along with this program.  If not, see <http://www.gnu.org/licenses/>. */
 
 #include <config.h>
 
 #include <language/command.h>
 #include <language/lexer/lexer.h>
 #include <language/lexer/variable-parser.h>
-#include <libpspp/alloc.h>
 #include <libpspp/assertion.h>
 #include <libpspp/array.h>
 #include <libpspp/bit-vector.h>
 #include <libpspp/compiler.h>
-#include <libpspp/hash.h>
-#include <libpspp/message.h>
 #include <libpspp/message.h>
 #include <libpspp/misc.h>
 #include <libpspp/str.h>
 
+#include "xalloc.h"
+
 #include "gettext.h"
 #define _(msgid) gettext (msgid)
 
-/* FIXME: should change weighting variable, etc. */
 /* These control the ordering produced by
    compare_variables_given_ordering(). */
 struct ordering
@@ -105,7 +100,7 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
   vm.drop_cnt = 0;
 
   /* Parse each subcommand. */
-  lex_match (lexer, '/');
+  lex_match (lexer, T_SLASH);
   for (;;)
     {
       if (lex_match_id (lexer, "REORDER"))
@@ -115,12 +110,12 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
 
          if (already_encountered & 1)
            {
-             msg (SE, _("REORDER subcommand may be given at most once."));
+             msg (SE, _("%s subcommand may be given at most once."), "REORDER");
              goto done;
            }
          already_encountered |= 1;
 
-         lex_match (lexer, '=');
+         lex_match (lexer, T_EQUALS);
          do
            {
               struct ordering ordering;
@@ -134,7 +129,7 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
              else if (lex_match_id (lexer, "ALPHA"))
                ordering.positional = 0;
 
-             if (lex_match (lexer, T_ALL) || lex_token (lexer) == '/' || lex_token (lexer) == '.')
+             if (lex_match (lexer, T_ALL) || lex_token (lexer) == T_SLASH || lex_token (lexer) == T_ENDCMD)
                {
                  if (prev_nv != 0)
                    {
@@ -142,13 +137,13 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
                           "of variables."));
                      goto done;
                    }
-                 dict_get_vars (dataset_dict (ds), &v, &nv, 1u << DC_SYSTEM);
+                 dict_get_vars_mutable (dataset_dict (ds), &v, &nv, DC_SYSTEM);
                }
              else
                {
-                 if (!lex_match (lexer, '('))
+                 if (!lex_match (lexer, T_LPAREN))
                    {
-                     msg (SE, _("`(' expected on REORDER subcommand."));
+                     msg (SE, _("`(' expected on %s subcommand."), "REORDER");
                      free (v);
                      goto done;
                    }
@@ -158,7 +153,7 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
                      free (v);
                      goto done;
                    }
-                 if (!lex_match (lexer, ')'))
+                 if (!lex_match (lexer, T_RPAREN))
                    {
                      msg (SE, _("`)' expected following variable names on "
                           "REORDER subcommand."));
@@ -169,7 +164,8 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
              sort (&v[prev_nv], nv - prev_nv, sizeof *v,
                     compare_variables_given_ordering, &ordering);
            }
-         while (lex_token (lexer) != '/' && lex_token (lexer) != '.');
+         while (lex_token (lexer) != T_SLASH
+                 && lex_token (lexer) != T_ENDCMD);
 
          vm.reorder_vars = v;
           vm.reorder_cnt = nv;
@@ -178,39 +174,39 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
        {
          if (already_encountered & 2)
            {
-             msg (SE, _("RENAME subcommand may be given at most once."));
+             msg (SE, _("%s subcommand may be given at most once."), "RENAME");
              goto done;
            }
          already_encountered |= 2;
 
-         lex_match (lexer, '=');
+         lex_match (lexer, T_EQUALS);
          do
            {
              size_t prev_nv_1 = vm.rename_cnt;
              size_t prev_nv_2 = vm.rename_cnt;
 
-             if (!lex_match (lexer, '('))
+             if (!lex_match (lexer, T_LPAREN))
                {
-                 msg (SE, _("`(' expected on RENAME subcommand."));
+                 msg (SE, _("`(' expected on %s subcommand."), "RENAME");
                  goto done;
                }
-             if (!parse_variables (lexer, dataset_dict (ds), 
+             if (!parse_variables (lexer, dataset_dict (ds),
                                    &vm.rename_vars, &vm.rename_cnt,
                                    PV_APPEND | PV_NO_DUPLICATE))
                goto done;
-             if (!lex_match (lexer, '='))
+             if (!lex_match (lexer, T_EQUALS))
                {
                  msg (SE, _("`=' expected between lists of new and old variable "
                       "names on RENAME subcommand."));
                  goto done;
                }
-             if (!parse_DATA_LIST_vars (lexer, &vm.new_names, 
+             if (!parse_DATA_LIST_vars (lexer, &vm.new_names,
                                         &prev_nv_1, PV_APPEND))
                goto done;
              if (prev_nv_1 != vm.rename_cnt)
                {
                  msg (SE, _("Differing number of variables in old name list "
-                      "(%d) and in new name list (%d)."),
+                             "(%zu) and in new name list (%zu)."),
                       vm.rename_cnt - prev_nv_2, prev_nv_1 - prev_nv_2);
                  for (i = 0; i < prev_nv_1; i++)
                    free (vm.new_names[i]);
@@ -218,14 +214,15 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
                  vm.new_names = NULL;
                  goto done;
                }
-             if (!lex_match (lexer, ')'))
+             if (!lex_match (lexer, T_RPAREN))
                {
                  msg (SE, _("`)' expected after variable lists on RENAME "
                       "subcommand."));
                  goto done;
                }
            }
-         while (lex_token (lexer) != '.' && lex_token (lexer) != '/');
+         while (lex_token (lexer) != T_ENDCMD
+                 && lex_token (lexer) != T_SLASH);
        }
       else if (lex_match_id (lexer, "KEEP"))
        {
@@ -234,13 +231,13 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
 
          if (already_encountered & 4)
            {
-             msg (SE, _("KEEP subcommand may be given at most once.  It may not"
-                  "be given in conjunction with the DROP subcommand."));
+             msg (SE, _("KEEP subcommand may be given at most once.  It may "
+                   "not be given in conjunction with the DROP subcommand."));
              goto done;
            }
          already_encountered |= 4;
 
-         lex_match (lexer, '=');
+         lex_match (lexer, T_EQUALS);
          if (!parse_variables (lexer, dataset_dict (ds), &keep_vars, &keep_cnt, PV_NONE))
            goto done;
 
@@ -250,7 +247,7 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
          sort (keep_vars, keep_cnt, sizeof *keep_vars,
                 compare_variables_given_ordering, &forward_positional_ordering);
 
-          dict_get_vars (dataset_dict (ds), &all_vars, &all_cnt, 0);
+          dict_get_vars_mutable (dataset_dict (ds), &all_vars, &all_cnt, 0);
           assert (all_cnt >= keep_cnt);
 
           drop_cnt = all_cnt - keep_cnt;
@@ -284,7 +281,7 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
            }
          already_encountered |= 4;
 
-         lex_match (lexer, '=');
+         lex_match (lexer, T_EQUALS);
          if (!parse_variables (lexer, dataset_dict (ds), &drop_vars, &drop_cnt, PV_NONE))
            goto done;
           vm.drop_vars = drop_vars;
@@ -294,24 +291,24 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
        {
           struct dictionary *temp = dict_clone (dataset_dict (ds));
           int success = rearrange_dict (temp, &vm);
-          if (success) 
+          if (success)
             {
-              /* FIXME: display new dictionary. */ 
+              /* FIXME: display new dictionary. */
             }
           dict_destroy (temp);
        }
       else
        {
          if (lex_token (lexer) == T_ID)
-           msg (SE, _("Unrecognized subcommand name `%s'."), lex_tokid (lexer));
+           msg (SE, _("Unrecognized subcommand name `%s'."), lex_tokcstr (lexer));
          else
            msg (SE, _("Subcommand name expected."));
          goto done;
        }
 
-      if (lex_token (lexer) == '.')
+      if (lex_token (lexer) == T_ENDCMD)
        break;
-      if (lex_token (lexer) != '/')
+      if (lex_token (lexer) != T_SLASH)
        {
          msg (SE, _("`/' or `.' expected."));
          goto done;
@@ -322,12 +319,12 @@ cmd_modify_vars (struct lexer *lexer, struct dataset *ds)
   if (already_encountered & (1 | 4))
     {
       /* Read the data. */
-      if (!procedure (ds,NULL, NULL)) 
-        goto done; 
+      if (!proc_execute (ds))
+        goto done;
     }
 
   if (!rearrange_dict (dataset_dict (ds), &vm))
-    goto done; 
+    goto done;
 
   ret_code = CMD_SUCCESS;
 
@@ -355,9 +352,13 @@ compare_variables_given_ordering (const void *a_, const void *b_,
 
   int result;
   if (ordering->positional)
-    result = a->index < b->index ? -1 : a->index > b->index;
+    {
+      size_t a_index = var_get_dict_index (a);
+      size_t b_index = var_get_dict_index (b);
+      result = a_index < b_index ? -1 : a_index > b_index;
+    }
   else
-    result = strcasecmp (a->name, b->name);
+    result = strcasecmp (var_get_name (a), var_get_name (b));
   if (!ordering->forward)
     result = -result;
   return result;
@@ -367,14 +368,14 @@ compare_variables_given_ordering (const void *a_, const void *b_,
 struct var_renaming
   {
     struct variable *var;
-    char new_name[LONG_NAME_LEN + 1];
+    const char *new_name;
   };
 
 /* A algo_compare_func that compares new_name members in struct
    var_renaming structures A and B. */
 static int
 compare_var_renaming_by_new_name (const void *a_, const void *b_,
-                                  const void *aux UNUSED) 
+                                  const void *aux UNUSED)
 {
   const struct var_renaming *a = a_;
   const struct var_renaming *b = b_;
@@ -387,7 +388,7 @@ compare_var_renaming_by_new_name (const void *a_, const void *b_,
    otherwise, and issues an error message. */
 static int
 validate_var_modification (const struct dictionary *d,
-                           const struct var_modification *vm) 
+                           const struct var_modification *vm)
 {
   /* Variable reordering can't be a problem, so we don't simulate
      it.  Variable renaming can cause duplicate names, but
@@ -404,7 +405,7 @@ validate_var_modification (const struct dictionary *d,
   size_t i;
 
   /* All variables, in index order. */
-  dict_get_vars (d, &all_vars, &all_cnt, 0);
+  dict_get_vars_mutable (d, &all_vars, &all_cnt, 0);
 
   /* Drop variables, in index order. */
   drop_cnt = vm->drop_cnt;
@@ -427,14 +428,14 @@ validate_var_modification (const struct dictionary *d,
 
   /* Copy variables into var_renaming array. */
   var_renaming = xnmalloc (keep_cnt, sizeof *var_renaming);
-  for (i = 0; i < keep_cnt; i++) 
+  for (i = 0; i < keep_cnt; i++)
     {
       var_renaming[i].var = keep_vars[i];
-      strcpy (var_renaming[i].new_name, keep_vars[i]->name);
+      var_renaming[i].new_name = var_get_name (keep_vars[i]);
     }
-  
+
   /* Rename variables in var_renaming array. */
-  for (i = 0; i < vm->rename_cnt; i++) 
+  for (i = 0; i < vm->rename_cnt; i++)
     {
       struct variable *const *kv;
       struct var_renaming *vr;
@@ -448,7 +449,7 @@ validate_var_modification (const struct dictionary *d,
         continue;
       vr = var_renaming + (kv - keep_vars);
 
-      strcpy (vr->new_name, vm->new_names[i]);
+      vr->new_name = vm->new_names[i];
     }
 
   /* Sort var_renaming array by new names and check for
@@ -493,7 +494,7 @@ rearrange_dict (struct dictionary *d, const struct var_modification *vm)
      still exist, but we can still look them up by name. */
   rename_old_names = xnmalloc (vm->rename_cnt, sizeof *rename_old_names);
   for (i = 0; i < vm->rename_cnt; i++)
-    rename_old_names[i] = xstrdup (vm->rename_vars[i]->name);
+    rename_old_names[i] = xstrdup (var_get_name (vm->rename_vars[i]));
 
   /* Reorder and delete variables. */
   dict_reorder_vars (d, vm->reorder_vars, vm->reorder_cnt);
@@ -508,7 +509,7 @@ rearrange_dict (struct dictionary *d, const struct var_modification *vm)
       struct variable *var = dict_lookup_var (d, rename_old_names[i]);
       if (var == NULL)
         continue;
-      
+
       rename_vars[rename_cnt] = var;
       rename_new_names[rename_cnt] = vm->new_names[i];
       rename_cnt++;