Need to make sure m4/Makefile.am exists before running gnulib-tool.
[pspp] / src / vars-prs.c
1 /* PSPP - computes sample statistics.
2    Copyright (C) 1997-9, 2000 Free Software Foundation, Inc.
3    Written by Ben Pfaff <blp@gnu.org>.
4
5    This program is free software; you can redistribute it and/or
6    modify it under the terms of the GNU General Public License as
7    published by the Free Software Foundation; either version 2 of the
8    License, or (at your option) any later version.
9
10    This program is distributed in the hope that it will be useful, but
11    WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    General Public License for more details.
14
15    You should have received a copy of the GNU General Public License
16    along with this program; if not, write to the Free Software
17    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
18    02110-1301, USA. */
19
20 #include <config.h>
21 #include "var.h"
22 #include <ctype.h>
23 #include <stdlib.h>
24 #include "alloc.h"
25 #include "bitvector.h"
26 #include "dictionary.h"
27 #include "error.h"
28 #include "hash.h"
29 #include "lexer.h"
30 #include "misc.h"
31 #include "str.h"
32
33 #include "gettext.h"
34 #define _(msgid) gettext (msgid)
35
36 /* Parses a name as a variable within VS and returns the
37    variable's index if successful.  On failure emits an error
38    message and returns a null pointer. */
39 static int
40 parse_vs_variable_idx (const struct var_set *vs)
41 {
42   int idx;
43
44   if (token != T_ID)
45     {
46       lex_error (_("expecting variable name"));
47       return -1;
48     }
49
50   idx = var_set_lookup_var_idx (vs, tokid);
51   if (idx < 0)
52     msg (SE, _("%s is not a variable name."), tokid);
53   lex_get ();
54
55   return idx;
56 }
57
58 /* Parses a name as a variable within VS and returns the variable
59    if successful.  On failure emits an error message and returns
60    a null pointer. */
61 static struct variable *
62 parse_vs_variable (const struct var_set *vs)
63 {
64   int idx = parse_vs_variable_idx (vs);
65   return idx >= 0 ? var_set_get_var (vs, idx) : NULL;
66 }
67
68 /* Parses a variable name in dictionary D and returns the
69    variable if successful.  On failure emits an error message and
70    returns a null pointer. */
71 struct variable *
72 parse_dict_variable (const struct dictionary *d) 
73 {
74   struct var_set *vs = var_set_create_from_dict (d);
75   struct variable *var = parse_vs_variable (vs);
76   var_set_destroy (vs);
77   return var;
78 }
79
80 /* Parses a variable name in default_dict and returns the
81    variable if successful.  On failure emits an error message and
82    returns a null pointer. */
83 struct variable *
84 parse_variable (void)
85 {
86   return parse_dict_variable (default_dict);
87 }
88
89 /* Returns the dictionary class corresponding to a variable named
90    NAME. */
91 enum dict_class
92 dict_class_from_id (const char *name) 
93 {
94   assert (name != NULL);
95
96   switch (name[0]) 
97     {
98     default:
99       return DC_ORDINARY;
100     case '$':
101       return DC_SYSTEM;
102     case '#':
103       return DC_SCRATCH;
104     }
105 }
106
107 /* Returns the name of dictionary class DICT_CLASS. */
108 const char *
109 dict_class_to_name (enum dict_class dict_class) 
110 {
111   switch (dict_class) 
112     {
113     case DC_ORDINARY:
114       return _("ordinary");
115     case DC_SYSTEM:
116       return _("system");
117     case DC_SCRATCH:
118       return _("scratch");
119     default:
120       assert (0);
121       abort ();
122     }
123 }
124
125 /* Parses a set of variables from dictionary D given options
126    OPTS.  Resulting list of variables stored in *VAR and the
127    number of variables into *CNT.  Returns nonzero only if
128    successful. */
129 int
130 parse_variables (const struct dictionary *d, struct variable ***var,
131                  int *cnt, int opts) 
132 {
133   struct var_set *vs;
134   int success;
135
136   assert (d != NULL);
137   assert (var != NULL);
138   assert (cnt != NULL);
139
140   vs = var_set_create_from_dict (d);
141   success = parse_var_set_vars (vs, var, cnt, opts);
142   if ( success == 0 )
143      free ( *var ) ;
144   var_set_destroy (vs);
145   return success;
146 }
147
148 /* Parses a variable name from VS.  If successful, sets *IDX to
149    the variable's index in VS, *CLASS to the variable's
150    dictionary class, and returns nonzero.  Returns zero on
151    failure. */
152 static int
153 parse_var_idx_class (const struct var_set *vs, int *idx,
154                      enum dict_class *class)
155 {
156   *idx = parse_vs_variable_idx (vs);
157   if (*idx < 0)
158     return 0;
159
160   *class = dict_class_from_id (var_set_get_var (vs, *idx)->name);
161   return 1;
162 }
163
164 /* Add the variable from VS with index IDX to the list of
165    variables V that has *NV elements and room for *MV.
166    Uses and updates INCLUDED to avoid duplicates if indicated by
167    PV_OPTS, which also affects what variables are allowed in
168    appropriate ways. */
169 static void
170 add_variable (struct variable ***v, int *nv, int *mv,
171               char *included, int pv_opts,
172               const struct var_set *vs, int idx)
173 {
174   struct variable *add = var_set_get_var (vs, idx);
175
176   if ((pv_opts & PV_NUMERIC) && add->type != NUMERIC) 
177     msg (SW, _("%s is not a numeric variable.  It will not be "
178                "included in the variable list."), add->name);
179   else if ((pv_opts & PV_STRING) && add->type != ALPHA) 
180     msg (SE, _("%s is not a string variable.  It will not be "
181                "included in the variable list."), add->name);
182   else if ((pv_opts & PV_NO_SCRATCH)
183            && dict_class_from_id (add->name) == DC_SCRATCH)
184     msg (SE, _("Scratch variables (such as %s) are not allowed "
185                "here."), add->name);
186   else if ((pv_opts & PV_SAME_TYPE) && *nv && add->type != (*v)[0]->type) 
187     msg (SE, _("%s and %s are not the same type.  All variables in "
188                "this variable list must be of the same type.  %s "
189                "will be omitted from list."),
190          (*v)[0]->name, add->name, add->name);
191   else if ((pv_opts & PV_NO_DUPLICATE) && included[idx]) 
192     msg (SE, _("Variable %s appears twice in variable list."), add->name);
193   else 
194     {
195       if (*nv >= *mv)
196         {
197           *mv = 2 * (*nv + 1);
198           *v = xrealloc (*v, *mv * sizeof **v);
199         }
200
201       if ((pv_opts & PV_DUPLICATE) || !included[idx])
202         {
203           (*v)[(*nv)++] = add;
204           if (!(pv_opts & PV_DUPLICATE))
205             included[idx] = 1;
206         }
207     }
208 }
209
210 /* Adds the variables in VS with indexes FIRST_IDX through
211    LAST_IDX, inclusive, to the list of variables V that has *NV
212    elements and room for *MV.  Uses and updates INCLUDED to avoid
213    duplicates if indicated by PV_OPTS, which also affects what
214    variables are allowed in appropriate ways. */
215 static void
216 add_variables (struct variable ***v, int *nv, int *mv, char *included,
217                int pv_opts,
218                const struct var_set *vs, int first_idx, int last_idx,
219                enum dict_class class) 
220 {
221   int i;
222   
223   for (i = first_idx; i <= last_idx; i++)
224     if (dict_class_from_id (var_set_get_var (vs, i)->name) == class)
225       add_variable (v, nv, mv, included, pv_opts, vs, i);
226 }
227
228 /* Note that if parse_variables() returns 0, *v is free()'d.
229    Conversely, if parse_variables() returns non-zero, then *nv is
230    nonzero and *v is non-NULL. */
231 int
232 parse_var_set_vars (const struct var_set *vs, 
233                     struct variable ***v, int *nv,
234                     int pv_opts)
235 {
236   int mv;
237   char *included;
238
239   assert (vs != NULL);
240   assert (v != NULL);
241   assert (nv != NULL);
242
243   /* At most one of PV_NUMERIC, PV_STRING, PV_SAME_TYPE may be
244      specified. */
245   assert ((((pv_opts & PV_NUMERIC) != 0)
246            + ((pv_opts & PV_STRING) != 0)
247            + ((pv_opts & PV_SAME_TYPE) != 0)) <= 1);
248
249   /* PV_DUPLICATE and PV_NO_DUPLICATE are incompatible. */
250   assert (!(pv_opts & PV_DUPLICATE) || !(pv_opts & PV_NO_DUPLICATE));
251
252   if (!(pv_opts & PV_APPEND))
253     {
254       *v = NULL;
255       *nv = 0;
256       mv = 0;
257     }
258   else
259     mv = *nv;
260
261   if (!(pv_opts & PV_DUPLICATE))
262     {
263       int i;
264       
265       included = xcalloc (var_set_get_cnt (vs), sizeof *included);
266       for (i = 0; i < *nv; i++)
267         included[(*v)[i]->index] = 1;
268     }
269   else
270     included = NULL;
271
272   if (lex_match (T_ALL))
273     add_variables (v, nv, &mv, included, pv_opts,
274                    vs, 0, var_set_get_cnt (vs) - 1, DC_ORDINARY);
275   else 
276     {
277       do
278         {
279           enum dict_class class;
280           int first_idx;
281           
282           if (!parse_var_idx_class (vs, &first_idx, &class))
283             goto fail;
284
285           if (!lex_match (T_TO))
286             add_variable (v, nv, &mv, included, pv_opts,
287                           vs, first_idx);
288           else 
289             {
290               int last_idx;
291               enum dict_class last_class;
292               struct variable *first_var, *last_var;
293
294               if (!parse_var_idx_class (vs, &last_idx, &last_class))
295                 goto fail;
296
297               first_var = var_set_get_var (vs, first_idx);
298               last_var = var_set_get_var (vs, last_idx);
299
300               if (last_idx < first_idx)
301                 {
302                   msg (SE, _("%s TO %s is not valid syntax since %s "
303                              "precedes %s in the dictionary."),
304                        first_var->name, last_var->name,
305                        first_var->name, last_var->name);
306                   goto fail;
307                 }
308
309               if (class != last_class)
310                 {
311                   msg (SE, _("When using the TO keyword to specify several "
312                              "variables, both variables must be from "
313                              "the same variable dictionaries, of either "
314                              "ordinary, scratch, or system variables.  "
315                              "%s is a %s variable, whereas %s is %s."),
316                        first_var->name, dict_class_to_name (class),
317                        last_var->name, dict_class_to_name (last_class));
318                   goto fail;
319                 }
320
321               add_variables (v, nv, &mv, included, pv_opts,
322                              vs, first_idx, last_idx, class);
323             }
324           if (pv_opts & PV_SINGLE)
325             break;
326           lex_match (',');
327         }
328       while (token == T_ID && var_set_lookup_var (vs, tokid) != NULL);
329     }
330   
331   if (*nv == 0)
332     goto fail;
333
334   free (included);
335   return 1;
336
337 fail:
338   free (included);
339   free (*v);
340   *v = NULL;
341   *nv = 0;
342   return 0;
343 }
344
345 /* Extracts a numeric suffix from variable name S, copying it
346    into string R.  Sets *D to the length of R and *N to its
347    value. */
348 static int
349 extract_num (char *s, char *r, int *n, int *d)
350 {
351   char *cp;
352
353   /* Find first digit. */
354   cp = s + strlen (s) - 1;
355   while (isdigit ((unsigned char) *cp) && cp > s)
356     cp--;
357   cp++;
358
359   /* Extract root. */
360   strncpy (r, s, cp - s);
361   r[cp - s] = 0;
362
363   /* Count initial zeros. */
364   *n = *d = 0;
365   while (*cp == '0')
366     {
367       (*d)++;
368       cp++;
369     }
370
371   /* Extract value. */
372   while (isdigit ((unsigned char) *cp))
373     {
374       (*d)++;
375       *n = (*n * 10) + (*cp - '0');
376       cp++;
377     }
378
379   /* Sanity check. */
380   if (*n == 0 && *d == 0)
381     {
382       msg (SE, _("incorrect use of TO convention"));
383       return 0;
384     }
385   return 1;
386 }
387
388 /* Parses a list of variable names according to the DATA LIST version
389    of the TO convention.  */
390 int
391 parse_DATA_LIST_vars (char ***names, int *nnames, int pv_opts)
392 {
393   int n1, n2;
394   int d1, d2;
395   int n;
396   int nvar, mvar;
397   char name1[LONG_NAME_LEN + 1], name2[LONG_NAME_LEN + 1];
398   char root1[LONG_NAME_LEN + 1], root2[LONG_NAME_LEN + 1];
399   int success = 0;
400
401   assert (names != NULL);
402   assert (nnames != NULL);
403   assert ((pv_opts & ~(PV_APPEND | PV_SINGLE
404                        | PV_NO_SCRATCH | PV_NO_DUPLICATE)) == 0);
405   /* FIXME: PV_NO_DUPLICATE is not implemented. */
406
407   if (pv_opts & PV_APPEND)
408     nvar = mvar = *nnames;
409   else
410     {
411       nvar = mvar = 0;
412       *names = NULL;
413     }
414
415   do
416     {
417       if (token != T_ID)
418         {
419           lex_error ("expecting variable name");
420           goto fail;
421         }
422       if (dict_class_from_id (tokid) == DC_SCRATCH
423           && (pv_opts & PV_NO_SCRATCH))
424         {
425           msg (SE, _("Scratch variables not allowed here."));
426           goto fail;
427         }
428       strcpy (name1, tokid);
429       lex_get ();
430       if (token == T_TO)
431         {
432           lex_get ();
433           if (token != T_ID)
434             {
435               lex_error ("expecting variable name");
436               goto fail;
437             }
438           strcpy (name2, tokid);
439           lex_get ();
440
441           if (!extract_num (name1, root1, &n1, &d1)
442               || !extract_num (name2, root2, &n2, &d2))
443             goto fail;
444
445           if (strcasecmp (root1, root2))
446             {
447               msg (SE, _("Prefixes don't match in use of TO convention."));
448               goto fail;
449             }
450           if (n1 > n2)
451             {
452               msg (SE, _("Bad bounds in use of TO convention."));
453               goto fail;
454             }
455           if (d2 > d1)
456             d2 = d1;
457
458           if (mvar < nvar + (n2 - n1 + 1))
459             {
460               mvar += ROUND_UP (n2 - n1 + 1, 16);
461               *names = xrealloc (*names, mvar * sizeof **names);
462             }
463
464           for (n = n1; n <= n2; n++)
465             {
466               char name[LONG_NAME_LEN + 1];
467               sprintf (name, "%s%0*d", root1, d1, n);
468               (*names)[nvar] = xstrdup (name);
469               nvar++;
470             }
471         }
472       else
473         {
474           if (nvar >= mvar)
475             {
476               mvar += 16;
477               *names = xrealloc (*names, mvar * sizeof **names);
478             }
479           (*names)[nvar++] = xstrdup (name1);
480         }
481
482       lex_match (',');
483
484       if (pv_opts & PV_SINGLE)
485         break;
486     }
487   while (token == T_ID);
488   success = 1;
489
490 fail:
491   *nnames = nvar;
492   if (!success)
493     {
494       int i;
495       for (i = 0; i < nvar; i++)
496         free ((*names)[i]);
497       free (*names);
498       *names = NULL;
499       *nnames = 0;
500     }
501   return success;
502 }
503
504 /* Parses a list of variables where some of the variables may be
505    existing and the rest are to be created.  Same args as
506    parse_DATA_LIST_vars(). */
507 int
508 parse_mixed_vars (char ***names, int *nnames, int pv_opts)
509 {
510   int i;
511
512   assert (names != NULL);
513   assert (nnames != NULL);
514   assert ((pv_opts & ~PV_APPEND) == 0);
515
516   if (!(pv_opts & PV_APPEND))
517     {
518       *names = NULL;
519       *nnames = 0;
520     }
521   while (token == T_ID || token == T_ALL)
522     {
523       if (token == T_ALL || dict_lookup_var (default_dict, tokid) != NULL)
524         {
525           struct variable **v;
526           int nv;
527
528           if (!parse_variables (default_dict, &v, &nv, PV_NONE))
529             goto fail;
530           *names = xrealloc (*names, (*nnames + nv) * sizeof **names);
531           for (i = 0; i < nv; i++)
532             (*names)[*nnames + i] = xstrdup (v[i]->name);
533           free (v);
534           *nnames += nv;
535         }
536       else if (!parse_DATA_LIST_vars (names, nnames, PV_APPEND))
537         goto fail;
538     }
539   return 1;
540
541 fail:
542   for (i = 0; i < *nnames; i++)
543     free ((*names)[*nnames]);
544   free (names);
545   *names = NULL;
546   *nnames = 0;
547   return 0;
548 }
549 \f
550 /* A set of variables. */
551 struct var_set 
552   {
553     size_t (*get_cnt) (const struct var_set *);
554     struct variable *(*get_var) (const struct var_set *, size_t idx);
555     int (*lookup_var_idx) (const struct var_set *, const char *);
556     void (*destroy) (struct var_set *);
557     void *aux;
558   };
559
560 /* Returns the number of variables in VS. */
561 size_t
562 var_set_get_cnt (const struct var_set *vs) 
563 {
564   assert (vs != NULL);
565
566   return vs->get_cnt (vs);
567 }
568
569 /* Return variable with index IDX in VS.
570    IDX must be less than the number of variables in VS. */
571 struct variable *
572 var_set_get_var (const struct var_set *vs, size_t idx) 
573 {
574   assert (vs != NULL);
575   assert (idx < var_set_get_cnt (vs));
576
577   return vs->get_var (vs, idx);
578 }
579
580 /* Returns the variable in VS named NAME, or a null pointer if VS
581    contains no variable with that name. */
582 struct variable *
583 var_set_lookup_var (const struct var_set *vs, const char *name) 
584 {
585   int idx = var_set_lookup_var_idx (vs, name);
586   return idx >= 0 ? var_set_get_var (vs, idx) : NULL;
587 }
588
589 /* Returns the index in VS of the variable named NAME, or -1 if
590    VS contains no variable with that name. */
591 int
592 var_set_lookup_var_idx (const struct var_set *vs, const char *name) 
593 {
594   assert (vs != NULL);
595   assert (name != NULL);
596   assert (strlen (name) <= LONG_NAME_LEN );
597
598   return vs->lookup_var_idx (vs, name);
599 }
600
601 /* Destroys VS. */
602 void
603 var_set_destroy (struct var_set *vs) 
604 {
605   if (vs != NULL)
606     vs->destroy (vs);
607 }
608 \f
609 /* Returns the number of variables in VS. */
610 static size_t
611 dict_var_set_get_cnt (const struct var_set *vs) 
612 {
613   struct dictionary *d = vs->aux;
614
615   return dict_get_var_cnt (d);
616 }
617
618 /* Return variable with index IDX in VS.
619    IDX must be less than the number of variables in VS. */
620 static struct variable *
621 dict_var_set_get_var (const struct var_set *vs, size_t idx) 
622 {
623   struct dictionary *d = vs->aux;
624
625   return dict_get_var (d, idx);
626 }
627
628 /* Returns the index of the variable in VS named NAME, or -1 if
629    VS contains no variable with that name. */
630 static int
631 dict_var_set_lookup_var_idx (const struct var_set *vs, const char *name) 
632 {
633   struct dictionary *d = vs->aux;
634   struct variable *v = dict_lookup_var (d, name);
635   return v != NULL ? v->index : -1;
636 }
637
638 /* Destroys VS. */
639 static void
640 dict_var_set_destroy (struct var_set *vs) 
641 {
642   free (vs);
643 }
644
645 /* Returns a variable set based on D. */
646 struct var_set *
647 var_set_create_from_dict (const struct dictionary *d) 
648 {
649   struct var_set *vs = xmalloc (sizeof *vs);
650   vs->get_cnt = dict_var_set_get_cnt;
651   vs->get_var = dict_var_set_get_var;
652   vs->lookup_var_idx = dict_var_set_lookup_var_idx;
653   vs->destroy = dict_var_set_destroy;
654   vs->aux = (void *) d;
655   return vs;
656 }
657 \f
658 /* A variable set based on an array. */
659 struct array_var_set 
660   {
661     struct variable *const *var;/* Array of variables. */
662     size_t var_cnt;             /* Number of elements in var. */
663     struct hsh_table *name_tab; /* Hash from variable names to variables. */
664   };
665
666 /* Returns the number of variables in VS. */
667 static size_t
668 array_var_set_get_cnt (const struct var_set *vs) 
669 {
670   struct array_var_set *avs = vs->aux;
671
672   return avs->var_cnt;
673 }
674
675 /* Return variable with index IDX in VS.
676    IDX must be less than the number of variables in VS. */
677 static struct variable *
678 array_var_set_get_var (const struct var_set *vs, size_t idx) 
679 {
680   struct array_var_set *avs = vs->aux;
681
682   return (struct variable *) avs->var[idx];
683 }
684
685 /* Returns the index of the variable in VS named NAME, or -1 if
686    VS contains no variable with that name. */
687 static int
688 array_var_set_lookup_var_idx (const struct var_set *vs, const char *name) 
689 {
690   struct array_var_set *avs = vs->aux;
691   struct variable v, *vp, *const *vpp;
692
693   strcpy (v.name, name);
694   vp = &v;
695   vpp = hsh_find (avs->name_tab, &vp);
696   return vpp != NULL ? vpp - avs->var : -1;
697 }
698
699 /* Destroys VS. */
700 static void
701 array_var_set_destroy (struct var_set *vs) 
702 {
703   struct array_var_set *avs = vs->aux;
704
705   hsh_destroy (avs->name_tab);
706   free (avs);
707   free (vs);
708 }
709
710 /* Returns a variable set based on the VAR_CNT variables in
711    VAR. */
712 struct var_set *
713 var_set_create_from_array (struct variable *const *var, size_t var_cnt) 
714 {
715   struct var_set *vs;
716   struct array_var_set *avs;
717   size_t i;
718
719   vs = xmalloc (sizeof *vs);
720   vs->get_cnt = array_var_set_get_cnt;
721   vs->get_var = array_var_set_get_var;
722   vs->lookup_var_idx = array_var_set_lookup_var_idx;
723   vs->destroy = array_var_set_destroy;
724   vs->aux = avs = xmalloc (sizeof *avs);
725   avs->var = var;
726   avs->var_cnt = var_cnt;
727   avs->name_tab = hsh_create (2 * var_cnt,
728                               compare_var_ptr_names, hash_var_ptr_name, NULL,
729                               NULL);
730   for (i = 0; i < var_cnt; i++)
731     if (hsh_insert (avs->name_tab, (void *) &var[i]) != NULL) 
732       {
733         var_set_destroy (vs);
734         return NULL;
735       }
736   
737   return vs;
738 }