79d36374fc42767660234911ed533c5732270b92
[pspp-builds.git] / src / data / dictionary.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 1997-9, 2000, 2006, 2007, 2009, 2010, 2011 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include "data/dictionary.h"
20
21 #include <stdint.h>
22 #include <stdlib.h>
23 #include <ctype.h>
24 #include <unistr.h>
25
26 #include "data/attributes.h"
27 #include "data/case.h"
28 #include "data/identifier.h"
29 #include "data/mrset.h"
30 #include "data/settings.h"
31 #include "data/value-labels.h"
32 #include "data/vardict.h"
33 #include "data/variable.h"
34 #include "data/vector.h"
35 #include "libpspp/array.h"
36 #include "libpspp/assertion.h"
37 #include "libpspp/compiler.h"
38 #include "libpspp/hash-functions.h"
39 #include "libpspp/hmap.h"
40 #include "libpspp/i18n.h"
41 #include "libpspp/message.h"
42 #include "libpspp/misc.h"
43 #include "libpspp/pool.h"
44 #include "libpspp/str.h"
45 #include "libpspp/string-array.h"
46
47 #include "gl/intprops.h"
48 #include "gl/minmax.h"
49 #include "gl/xalloc.h"
50 #include "gl/xmemdup0.h"
51
52 #include "gettext.h"
53 #define _(msgid) gettext (msgid)
54
55 /* A dictionary. */
56 struct dictionary
57   {
58     struct vardict_info *var;   /* Variables. */
59     size_t var_cnt, var_cap;    /* Number of variables, capacity. */
60     struct caseproto *proto;    /* Prototype for dictionary cases
61                                    (updated lazily). */
62     struct hmap name_map;       /* Variable index by name. */
63     int next_value_idx;         /* Index of next `union value' to allocate. */
64     const struct variable **split;    /* SPLIT FILE vars. */
65     size_t split_cnt;           /* SPLIT FILE count. */
66     struct variable *weight;    /* WEIGHT variable. */
67     struct variable *filter;    /* FILTER variable. */
68     casenumber case_limit;      /* Current case limit (N command). */
69     char *label;                /* File label. */
70     struct string_array documents; /* Documents. */
71     struct vector **vector;     /* Vectors of variables. */
72     size_t vector_cnt;          /* Number of vectors. */
73     struct attrset attributes;  /* Custom attributes. */
74     struct mrset **mrsets;      /* Multiple response sets. */
75     size_t n_mrsets;            /* Number of multiple response sets. */
76
77     char *encoding;             /* Character encoding of string data */
78
79     const struct dict_callbacks *callbacks; /* Callbacks on dictionary
80                                                modification */
81     void *cb_data ;                  /* Data passed to callbacks */
82
83     void (*changed) (struct dictionary *, void *); /* Generic change callback */
84     void *changed_data;
85   };
86
87 static void dict_unset_split_var (struct dictionary *, struct variable *);
88 static void dict_unset_mrset_var (struct dictionary *, struct variable *);
89
90 void
91 dict_set_encoding (struct dictionary *d, const char *enc)
92 {
93   if (enc)
94     {
95       free (d->encoding);
96       d->encoding = xstrdup (enc);
97     }
98 }
99
100 const char *
101 dict_get_encoding (const struct dictionary *d)
102 {
103   return d->encoding ;
104 }
105
106 /* Returns true if UTF-8 string ID is an acceptable identifier in DICT's
107    encoding, false otherwise.  If ISSUE_ERROR is true, issues an explanatory
108    error message on failure. */
109 bool
110 dict_id_is_valid (const struct dictionary *dict, const char *id,
111                   bool issue_error)
112 {
113   return id_is_valid (id, dict->encoding, issue_error);
114 }
115
116 void
117 dict_set_change_callback (struct dictionary *d,
118                           void (*changed) (struct dictionary *, void*),
119                           void *data)
120 {
121   d->changed = changed;
122   d->changed_data = data;
123 }
124
125 /* Discards dictionary D's caseproto.  (It will be regenerated
126    lazily, on demand.) */
127 static void
128 invalidate_proto (struct dictionary *d)
129 {
130   caseproto_unref (d->proto);
131   d->proto = NULL;
132 }
133
134 /* Print a representation of dictionary D to stdout, for
135    debugging purposes. */
136 void
137 dict_dump (const struct dictionary *d)
138 {
139   int i;
140   for (i = 0 ; i < d->var_cnt ; ++i )
141     {
142       const struct variable *v = d->var[i].var;
143       printf ("Name: %s;\tdict_idx: %zu; case_idx: %zu\n",
144               var_get_name (v),
145               var_get_dict_index (v),
146               var_get_case_index (v));
147
148     }
149 }
150
151 /* Associate CALLBACKS with DICT.  Callbacks will be invoked whenever
152    the dictionary or any of the variables it contains are modified.
153    Each callback will get passed CALLBACK_DATA.
154    Any callback may be NULL, in which case it'll be ignored.
155 */
156 void
157 dict_set_callbacks (struct dictionary *dict,
158                     const struct dict_callbacks *callbacks,
159                     void *callback_data)
160 {
161   dict->callbacks = callbacks;
162   dict->cb_data = callback_data;
163 }
164
165 /* Shallow copy the callbacks from SRC to DEST */
166 void
167 dict_copy_callbacks (struct dictionary *dest,
168                      const struct dictionary *src)
169 {
170   dest->callbacks = src->callbacks;
171   dest->cb_data = src->cb_data;
172 }
173
174 /* Creates and returns a new dictionary. */
175 struct dictionary *
176 dict_create (void)
177 {
178   struct dictionary *d = xzalloc (sizeof *d);
179
180   hmap_init (&d->name_map);
181   attrset_init (&d->attributes);
182   return d;
183 }
184
185 /* Creates and returns a (deep) copy of an existing
186    dictionary.
187
188    The new dictionary's case indexes are copied from the old
189    dictionary.  If the new dictionary won't be used to access
190    cases produced with the old dictionary, then the new
191    dictionary's case indexes should be compacted with
192    dict_compact_values to save space. */
193 struct dictionary *
194 dict_clone (const struct dictionary *s)
195 {
196   struct dictionary *d;
197   size_t i;
198
199   d = dict_create ();
200
201   for (i = 0; i < s->var_cnt; i++)
202     {
203       struct variable *sv = s->var[i].var;
204       struct variable *dv = dict_clone_var_assert (d, sv);
205       size_t i;
206
207       for (i = 0; i < var_get_short_name_cnt (sv); i++)
208         var_set_short_name (dv, i, var_get_short_name (sv, i));
209
210       var_get_vardict (dv)->case_index = var_get_vardict (sv)->case_index;
211     }
212
213   d->next_value_idx = s->next_value_idx;
214
215   d->split_cnt = s->split_cnt;
216   if (d->split_cnt > 0)
217     {
218       d->split = xnmalloc (d->split_cnt, sizeof *d->split);
219       for (i = 0; i < d->split_cnt; i++)
220         d->split[i] = dict_lookup_var_assert (d, var_get_name (s->split[i]));
221     }
222
223   if (s->weight != NULL)
224     dict_set_weight (d, dict_lookup_var_assert (d, var_get_name (s->weight)));
225
226   if (s->filter != NULL)
227     dict_set_filter (d, dict_lookup_var_assert (d, var_get_name (s->filter)));
228
229   d->case_limit = s->case_limit;
230   dict_set_label (d, dict_get_label (s));
231   dict_set_documents (d, dict_get_documents (s));
232
233   d->vector_cnt = s->vector_cnt;
234   d->vector = xnmalloc (d->vector_cnt, sizeof *d->vector);
235   for (i = 0; i < s->vector_cnt; i++)
236     d->vector[i] = vector_clone (s->vector[i], s, d);
237
238   if ( s->encoding)
239     d->encoding = xstrdup (s->encoding);
240
241   dict_set_attributes (d, dict_get_attributes (s));
242
243   for (i = 0; i < s->n_mrsets; i++)
244     {
245       const struct mrset *old = s->mrsets[i];
246       struct mrset *new;
247       size_t j;
248
249       /* Clone old mrset, then replace vars from D by vars from S. */
250       new = mrset_clone (old);
251       for (j = 0; j < new->n_vars; j++)
252         new->vars[j] = dict_lookup_var_assert (d, var_get_name (new->vars[j]));
253
254       dict_add_mrset (d, new);
255     }
256
257   return d;
258 }
259
260 /* Clears the contents from a dictionary without destroying the
261    dictionary itself. */
262 void
263 dict_clear (struct dictionary *d)
264 {
265   /* FIXME?  Should we really clear case_limit, label, documents?
266      Others are necessarily cleared by deleting all the variables.*/
267   while (d->var_cnt > 0 )
268     {
269       dict_delete_var (d, d->var[d->var_cnt - 1].var);
270     }
271
272   free (d->var);
273   d->var = NULL;
274   d->var_cnt = d->var_cap = 0;
275   invalidate_proto (d);
276   hmap_clear (&d->name_map);
277   d->next_value_idx = 0;
278   dict_set_split_vars (d, NULL, 0);
279   dict_set_weight (d, NULL);
280   dict_set_filter (d, NULL);
281   d->case_limit = 0;
282   free (d->label);
283   d->label = NULL;
284   string_array_clear (&d->documents);
285   dict_clear_vectors (d);
286   attrset_clear (&d->attributes);
287 }
288
289 /* Destroys the aux data for every variable in D, by calling
290    var_clear_aux() for each variable. */
291 void
292 dict_clear_aux (struct dictionary *d)
293 {
294   int i;
295
296   for (i = 0; i < d->var_cnt; i++)
297     var_clear_aux (d->var[i].var);
298 }
299
300 /* Clears a dictionary and destroys it. */
301 void
302 dict_destroy (struct dictionary *d)
303 {
304   if (d != NULL)
305     {
306       /* In general, we don't want callbacks occuring, if the dictionary
307          is being destroyed */
308       d->callbacks  = NULL ;
309
310       dict_clear (d);
311       hmap_destroy (&d->name_map);
312       attrset_destroy (&d->attributes);
313       dict_clear_mrsets (d);
314       free (d->encoding);
315       free (d);
316     }
317 }
318
319 /* Returns the number of variables in D. */
320 size_t
321 dict_get_var_cnt (const struct dictionary *d)
322 {
323   return d->var_cnt;
324 }
325
326 /* Returns the variable in D with dictionary index IDX, which
327    must be between 0 and the count returned by
328    dict_get_var_cnt(), exclusive. */
329 struct variable *
330 dict_get_var (const struct dictionary *d, size_t idx)
331 {
332   assert (idx < d->var_cnt);
333
334   return d->var[idx].var;
335 }
336
337 /* Sets *VARS to an array of pointers to variables in D and *CNT
338    to the number of variables in *D.  All variables are returned
339    except for those, if any, in the classes indicated by EXCLUDE.
340    (There is no point in putting DC_SYSTEM in EXCLUDE as
341    dictionaries never include system variables.) */
342 void
343 dict_get_vars (const struct dictionary *d, const struct variable ***vars,
344                size_t *cnt, enum dict_class exclude)
345 {
346   dict_get_vars_mutable (d, (struct variable ***) vars, cnt, exclude);
347 }
348
349 /* Sets *VARS to an array of pointers to variables in D and *CNT
350    to the number of variables in *D.  All variables are returned
351    except for those, if any, in the classes indicated by EXCLUDE.
352    (There is no point in putting DC_SYSTEM in EXCLUDE as
353    dictionaries never include system variables.) */
354 void
355 dict_get_vars_mutable (const struct dictionary *d, struct variable ***vars,
356                        size_t *cnt, enum dict_class exclude)
357 {
358   size_t count;
359   size_t i;
360
361   assert (exclude == (exclude & DC_ALL));
362
363   count = 0;
364   for (i = 0; i < d->var_cnt; i++)
365     {
366       enum dict_class class = var_get_dict_class (d->var[i].var);
367       if (!(class & exclude))
368         count++;
369     }
370
371   *vars = xnmalloc (count, sizeof **vars);
372   *cnt = 0;
373   for (i = 0; i < d->var_cnt; i++)
374     {
375       enum dict_class class = var_get_dict_class (d->var[i].var);
376       if (!(class & exclude))
377         (*vars)[(*cnt)++] = d->var[i].var;
378     }
379   assert (*cnt == count);
380 }
381
382 static struct variable *
383 add_var (struct dictionary *d, struct variable *v)
384 {
385   struct vardict_info *vardict;
386
387   /* Update dictionary. */
388   if (d->var_cnt >= d->var_cap)
389     {
390       size_t i;
391
392       d->var = x2nrealloc (d->var, &d->var_cap, sizeof *d->var);
393       hmap_clear (&d->name_map);
394       for (i = 0; i < d->var_cnt; i++)
395         {
396           var_set_vardict (d->var[i].var, &d->var[i]);
397           hmap_insert_fast (&d->name_map, &d->var[i].name_node,
398                             d->var[i].name_node.hash);
399         }
400     }
401
402   vardict = &d->var[d->var_cnt++];
403   vardict->dict = d;
404   vardict->var = v;
405   hmap_insert (&d->name_map, &vardict->name_node,
406                hash_case_string (var_get_name (v), 0));
407   vardict->case_index = d->next_value_idx;
408   var_set_vardict (v, vardict);
409
410   if ( d->changed ) d->changed (d, d->changed_data);
411   if ( d->callbacks &&  d->callbacks->var_added )
412     d->callbacks->var_added (d, var_get_dict_index (v), d->cb_data);
413
414   d->next_value_idx++;
415   invalidate_proto (d);
416
417   return v;
418 }
419
420 /* Creates and returns a new variable in D with the given NAME
421    and WIDTH.  Returns a null pointer if the given NAME would
422    duplicate that of an existing variable in the dictionary. */
423 struct variable *
424 dict_create_var (struct dictionary *d, const char *name, int width)
425 {
426   return (dict_lookup_var (d, name) == NULL
427           ? dict_create_var_assert (d, name, width)
428           : NULL);
429 }
430
431 /* Creates and returns a new variable in D with the given NAME
432    and WIDTH.  Assert-fails if the given NAME would duplicate
433    that of an existing variable in the dictionary. */
434 struct variable *
435 dict_create_var_assert (struct dictionary *d, const char *name, int width)
436 {
437   assert (dict_lookup_var (d, name) == NULL);
438   return add_var (d, var_create (name, width));
439 }
440
441 /* Creates and returns a new variable in D, as a copy of existing variable
442    OLD_VAR, which need not be in D or in any dictionary.  Returns a null
443    pointer if OLD_VAR's name would duplicate that of an existing variable in
444    the dictionary. */
445 struct variable *
446 dict_clone_var (struct dictionary *d, const struct variable *old_var)
447 {
448   return dict_clone_var_as (d, old_var, var_get_name (old_var));
449 }
450
451 /* Creates and returns a new variable in D, as a copy of existing variable
452    OLD_VAR, which need not be in D or in any dictionary.  Assert-fails if
453    OLD_VAR's name would duplicate that of an existing variable in the
454    dictionary. */
455 struct variable *
456 dict_clone_var_assert (struct dictionary *d, const struct variable *old_var)
457 {
458   return dict_clone_var_as_assert (d, old_var, var_get_name (old_var));
459 }
460
461 /* Creates and returns a new variable in D with name NAME, as a copy of
462    existing variable OLD_VAR, which need not be in D or in any dictionary.
463    Returns a null pointer if the given NAME would duplicate that of an existing
464    variable in the dictionary. */
465 struct variable *
466 dict_clone_var_as (struct dictionary *d, const struct variable *old_var,
467                    const char *name)
468 {
469   return (dict_lookup_var (d, name) == NULL
470           ? dict_clone_var_as_assert (d, old_var, name)
471           : NULL);
472 }
473
474 /* Creates and returns a new variable in D with name NAME, as a copy of
475    existing variable OLD_VAR, which need not be in D or in any dictionary.
476    Assert-fails if the given NAME would duplicate that of an existing variable
477    in the dictionary. */
478 struct variable *
479 dict_clone_var_as_assert (struct dictionary *d, const struct variable *old_var,
480                           const char *name)
481 {
482   struct variable *new_var = var_clone (old_var);
483   assert (dict_lookup_var (d, name) == NULL);
484   var_set_name (new_var, name);
485   return add_var (d, new_var);
486 }
487
488 /* Returns the variable named NAME in D, or a null pointer if no
489    variable has that name. */
490 struct variable *
491 dict_lookup_var (const struct dictionary *d, const char *name)
492 {
493   struct vardict_info *vardict;
494
495   HMAP_FOR_EACH_WITH_HASH (vardict, struct vardict_info, name_node,
496                            hash_case_string (name, 0), &d->name_map)
497     {
498       struct variable *var = vardict->var;
499       if (!strcasecmp (var_get_name (var), name))
500         return var;
501     }
502
503   return NULL;
504 }
505
506 /* Returns the variable named NAME in D.  Assert-fails if no
507    variable has that name. */
508 struct variable *
509 dict_lookup_var_assert (const struct dictionary *d, const char *name)
510 {
511   struct variable *v = dict_lookup_var (d, name);
512   assert (v != NULL);
513   return v;
514 }
515
516 /* Returns true if variable V is in dictionary D,
517    false otherwise. */
518 bool
519 dict_contains_var (const struct dictionary *d, const struct variable *v)
520 {
521   return (var_has_vardict (v)
522           && vardict_get_dictionary (var_get_vardict (v)) == d);
523 }
524
525 /* Compares two double pointers to variables, which should point
526    to elements of a struct dictionary's `var' member array. */
527 static int
528 compare_var_ptrs (const void *a_, const void *b_, const void *aux UNUSED)
529 {
530   struct variable *const *a = a_;
531   struct variable *const *b = b_;
532
533   return *a < *b ? -1 : *a > *b;
534 }
535
536 static void
537 unindex_var (struct dictionary *d, struct vardict_info *vardict)
538 {
539   hmap_delete (&d->name_map, &vardict->name_node);
540 }
541
542 /* This function assumes that vardict->name_node.hash is valid, that is, that
543    its name has not changed since it was hashed (rename_var() updates this
544    hash along with the name itself). */
545 static void
546 reindex_var (struct dictionary *d, struct vardict_info *vardict)
547 {
548   struct variable *var = vardict->var;
549
550   var_set_vardict (var, vardict);
551   hmap_insert_fast (&d->name_map, &vardict->name_node,
552                     vardict->name_node.hash);
553
554   if ( d->changed ) d->changed (d, d->changed_data);
555   if ( d->callbacks &&  d->callbacks->var_changed )
556     d->callbacks->var_changed (d, var_get_dict_index (var), d->cb_data);
557 }
558
559 /* Sets the case_index in V's vardict to CASE_INDEX. */
560 static void
561 set_var_case_index (struct variable *v, int case_index)
562 {
563   var_get_vardict (v)->case_index = case_index;
564 }
565
566 /* Removes the dictionary variables with indexes from FROM to TO (exclusive)
567    from name_map. */
568 static void
569 unindex_vars (struct dictionary *d, size_t from, size_t to)
570 {
571   size_t i;
572
573   for (i = from; i < to; i++)
574     unindex_var (d, &d->var[i]);
575 }
576
577 /* Re-sets the dict_index in the dictionary variables with
578    indexes from FROM to TO (exclusive). */
579 static void
580 reindex_vars (struct dictionary *d, size_t from, size_t to)
581 {
582   size_t i;
583
584   for (i = from; i < to; i++)
585     reindex_var (d, &d->var[i]);
586 }
587
588 /* Deletes variable V from dictionary D and frees V.
589
590    This is a very bad idea if there might be any pointers to V
591    from outside D.  In general, no variable in the active file's
592    dictionary should be deleted when any transformations are
593    active on the dictionary's dataset, because those
594    transformations might reference the deleted variable.  The
595    safest time to delete a variable is just after a procedure has
596    been executed, as done by DELETE VARIABLES.
597
598    Pointers to V within D are not a problem, because
599    dict_delete_var() knows to remove V from split variables,
600    weights, filters, etc. */
601 void
602 dict_delete_var (struct dictionary *d, struct variable *v)
603 {
604   int dict_index = var_get_dict_index (v);
605   const int case_index = var_get_case_index (v);
606   const int width = var_get_width (v);
607
608   assert (dict_contains_var (d, v));
609
610   /* Delete aux data. */
611   var_clear_aux (v);
612
613   dict_unset_split_var (d, v);
614   dict_unset_mrset_var (d, v);
615
616   if (d->weight == v)
617     dict_set_weight (d, NULL);
618
619   if (d->filter == v)
620     dict_set_filter (d, NULL);
621
622   dict_clear_vectors (d);
623
624   /* Remove V from var array. */
625   unindex_vars (d, dict_index, d->var_cnt);
626   remove_element (d->var, d->var_cnt, sizeof *d->var, dict_index);
627   d->var_cnt--;
628
629   /* Update dict_index for each affected variable. */
630   reindex_vars (d, dict_index, d->var_cnt);
631
632   /* Free memory. */
633   var_clear_vardict (v);
634   var_destroy (v);
635
636   if ( d->changed ) d->changed (d, d->changed_data);
637
638   invalidate_proto (d);
639   if (d->callbacks &&  d->callbacks->var_deleted )
640     d->callbacks->var_deleted (d, dict_index, case_index, width, d->cb_data);
641 }
642
643 /* Deletes the COUNT variables listed in VARS from D.  This is
644    unsafe; see the comment on dict_delete_var() for details. */
645 void
646 dict_delete_vars (struct dictionary *d,
647                   struct variable *const *vars, size_t count)
648 {
649   /* FIXME: this can be done in O(count) time, but this algorithm
650      is O(count**2). */
651   assert (count == 0 || vars != NULL);
652
653   while (count-- > 0)
654     dict_delete_var (d, *vars++);
655 }
656
657 /* Deletes the COUNT variables in D starting at index IDX.  This
658    is unsafe; see the comment on dict_delete_var() for
659    details. */
660 void
661 dict_delete_consecutive_vars (struct dictionary *d, size_t idx, size_t count)
662 {
663   /* FIXME: this can be done in O(count) time, but this algorithm
664      is O(count**2). */
665   assert (idx + count <= d->var_cnt);
666
667   while (count-- > 0)
668     dict_delete_var (d, d->var[idx].var);
669 }
670
671 /* Deletes scratch variables from dictionary D. */
672 void
673 dict_delete_scratch_vars (struct dictionary *d)
674 {
675   int i;
676
677   /* FIXME: this can be done in O(count) time, but this algorithm
678      is O(count**2). */
679   for (i = 0; i < d->var_cnt; )
680     if (var_get_dict_class (d->var[i].var) == DC_SCRATCH)
681       dict_delete_var (d, d->var[i].var);
682     else
683       i++;
684 }
685
686 /* Moves V to 0-based position IDX in D.  Other variables in D,
687    if any, retain their relative positions.  Runs in time linear
688    in the distance moved. */
689 void
690 dict_reorder_var (struct dictionary *d, struct variable *v, size_t new_index)
691 {
692   size_t old_index = var_get_dict_index (v);
693
694   assert (new_index < d->var_cnt);
695
696   unindex_vars (d, MIN (old_index, new_index), MAX (old_index, new_index) + 1);
697   move_element (d->var, d->var_cnt, sizeof *d->var, old_index, new_index);
698   reindex_vars (d, MIN (old_index, new_index), MAX (old_index, new_index) + 1);
699 }
700
701 /* Reorders the variables in D, placing the COUNT variables
702    listed in ORDER in that order at the beginning of D.  The
703    other variables in D, if any, retain their relative
704    positions. */
705 void
706 dict_reorder_vars (struct dictionary *d,
707                    struct variable *const *order, size_t count)
708 {
709   struct vardict_info *new_var;
710   size_t i;
711
712   assert (count == 0 || order != NULL);
713   assert (count <= d->var_cnt);
714
715   new_var = xnmalloc (d->var_cap, sizeof *new_var);
716
717   /* Add variables in ORDER to new_var. */
718   for (i = 0; i < count; i++)
719     {
720       struct vardict_info *old_var;
721
722       assert (dict_contains_var (d, order[i]));
723
724       old_var = var_get_vardict (order[i]);
725       new_var[i] = *old_var;
726       old_var->dict = NULL;
727     }
728
729   /* Add remaining variables to new_var. */
730   for (i = 0; i < d->var_cnt; i++)
731     if (d->var[i].dict != NULL)
732       new_var[count++] = d->var[i];
733   assert (count == d->var_cnt);
734
735   /* Replace old vardicts by new ones. */
736   free (d->var);
737   d->var = new_var;
738
739   hmap_clear (&d->name_map);
740   reindex_vars (d, 0, d->var_cnt);
741 }
742
743 /* Changes the name of variable V that is currently in a dictionary to
744    NEW_NAME. */
745 static void
746 rename_var (struct variable *v, const char *new_name)
747 {
748   struct vardict_info *vardict = var_get_vardict (v);
749   var_clear_vardict (v);
750   var_set_name (v, new_name);
751   vardict->name_node.hash = hash_case_string (new_name, 0);
752   var_set_vardict (v, vardict);
753 }
754
755 /* Changes the name of V in D to name NEW_NAME.  Assert-fails if
756    a variable named NEW_NAME is already in D, except that
757    NEW_NAME may be the same as V's existing name. */
758 void
759 dict_rename_var (struct dictionary *d, struct variable *v,
760                  const char *new_name)
761 {
762   assert (!strcasecmp (var_get_name (v), new_name)
763           || dict_lookup_var (d, new_name) == NULL);
764
765   unindex_var (d, var_get_vardict (v));
766   rename_var (v, new_name);
767   reindex_var (d, var_get_vardict (v));
768
769   if (settings_get_algorithm () == ENHANCED)
770     var_clear_short_names (v);
771
772   if ( d->changed ) d->changed (d, d->changed_data);
773   if ( d->callbacks &&  d->callbacks->var_changed )
774     d->callbacks->var_changed (d, var_get_dict_index (v), d->cb_data);
775 }
776
777 /* Renames COUNT variables specified in VARS to the names given
778    in NEW_NAMES within dictionary D.  If the renaming would
779    result in a duplicate variable name, returns false and stores a
780    name that would be duplicated into *ERR_NAME (if ERR_NAME is
781    non-null).  Otherwise, the renaming is successful, and true
782    is returned. */
783 bool
784 dict_rename_vars (struct dictionary *d,
785                   struct variable **vars, char **new_names, size_t count,
786                   char **err_name)
787 {
788   struct pool *pool;
789   char **old_names;
790   size_t i;
791
792   assert (count == 0 || vars != NULL);
793   assert (count == 0 || new_names != NULL);
794
795   /* Save the names of the variables to be renamed. */
796   pool = pool_create ();
797   old_names = pool_nalloc (pool, count, sizeof *old_names);
798   for (i = 0; i < count; i++)
799     old_names[i] = pool_strdup (pool, var_get_name (vars[i]));
800
801   /* Remove the variables to be renamed from the name hash,
802      and rename them. */
803   for (i = 0; i < count; i++)
804     {
805       unindex_var (d, var_get_vardict (vars[i]));
806       rename_var (vars[i], new_names[i]);
807     }
808
809   /* Add the renamed variables back into the name hash,
810      checking for conflicts. */
811   for (i = 0; i < count; i++)
812     {
813       if (dict_lookup_var (d, var_get_name (vars[i])) != NULL)
814         {
815           /* There is a name conflict.
816              Back out all the name changes that have already
817              taken place, and indicate failure. */
818           size_t fail_idx = i;
819           if (err_name != NULL)
820             *err_name = new_names[i];
821
822           for (i = 0; i < fail_idx; i++)
823             unindex_var (d, var_get_vardict (vars[i]));
824
825           for (i = 0; i < count; i++)
826             {
827               rename_var (vars[i], old_names[i]);
828               reindex_var (d, var_get_vardict (vars[i]));
829             }
830
831           pool_destroy (pool);
832           return false;
833         }
834       reindex_var (d, var_get_vardict (vars[i]));
835     }
836
837   /* Clear short names. */
838   if (settings_get_algorithm () == ENHANCED)
839     for (i = 0; i < count; i++)
840       var_clear_short_names (vars[i]);
841
842   pool_destroy (pool);
843   return true;
844 }
845
846 /* Returns true if a variable named NAME may be inserted in DICT;
847    that is, if there is not already a variable with that name in
848    DICT and if NAME is not a reserved word.  (The caller's checks
849    have already verified that NAME is otherwise acceptable as a
850    variable name.) */
851 static bool
852 var_name_is_insertable (const struct dictionary *dict, const char *name)
853 {
854   return (dict_lookup_var (dict, name) == NULL
855           && lex_id_to_token (ss_cstr (name)) == T_ID);
856 }
857
858 static char *
859 make_hinted_name (const struct dictionary *dict, const char *hint)
860 {
861   size_t hint_len = strlen (hint);
862   bool dropped = false;
863   char *root, *rp;
864   size_t ofs;
865   int mblen;
866
867   /* The allocation size here is OK: characters that are copied directly fit
868      OK, and characters that are not copied directly are replaced by a single
869      '_' byte.  If u8_mbtouc() replaces bad input by 0xfffd, then that will get
870      replaced by '_' too.  */
871   root = rp = xmalloc (hint_len + 1);
872   for (ofs = 0; ofs < hint_len; ofs += mblen)
873     {
874       ucs4_t uc;
875
876       mblen = u8_mbtouc (&uc, CHAR_CAST (const uint8_t *, hint + ofs),
877                          hint_len - ofs);
878       if (rp == root
879           ? lex_uc_is_id1 (uc) && uc != '$'
880           : lex_uc_is_idn (uc))
881         {
882           if (dropped)
883             {
884               *rp++ = '_';
885               dropped = false;
886             }
887           rp += u8_uctomb (CHAR_CAST (uint8_t *, rp), uc, 6);
888         }
889       else if (rp != root)
890         dropped = true;
891     }
892   *rp = '\0';
893
894   if (root[0] != '\0')
895     {
896       unsigned long int i;
897
898       if (var_name_is_insertable (dict, root))
899         return root;
900
901       for (i = 0; i < ULONG_MAX; i++)
902         {
903           char suffix[INT_BUFSIZE_BOUND (i) + 1];
904           char *name;
905
906           suffix[0] = '_';
907           if (!str_format_26adic (i + 1, &suffix[1], sizeof suffix - 1))
908             NOT_REACHED ();
909
910           name = utf8_encoding_concat (root, suffix, dict->encoding, 64);
911           if (var_name_is_insertable (dict, name))
912             {
913               free (root);
914               return name;
915             }
916           free (name);
917         }
918     }
919
920   free (root);
921
922   return NULL;
923 }
924
925 static char *
926 make_numeric_name (const struct dictionary *dict, unsigned long int *num_start)
927 {
928   unsigned long int number;
929
930   for (number = num_start != NULL ? MAX (*num_start, 1) : 1;
931        number < ULONG_MAX;
932        number++)
933     {
934       char name[3 + INT_STRLEN_BOUND (number) + 1];
935
936       sprintf (name, "VAR%03lu", number);
937       if (dict_lookup_var (dict, name) == NULL)
938         {
939           if (num_start != NULL)
940             *num_start = number + 1;
941           return xstrdup (name);
942         }
943     }
944
945   NOT_REACHED ();
946 }
947
948
949 /* Devises and returns a variable name unique within DICT.  The variable name
950    is owned by the caller, which must free it with free() when it is no longer
951    needed.
952
953    HINT, if it is non-null, is used as a suggestion that will be
954    modified for suitability as a variable name and for
955    uniqueness.
956
957    If HINT is null or entirely unsuitable, a name in the form
958    "VAR%03d" will be generated, where the smallest unused integer
959    value is used.  If NUM_START is non-null, then its value is
960    used as the minimum numeric value to check, and it is updated
961    to the next value to be checked.
962 */
963 char *
964 dict_make_unique_var_name (const struct dictionary *dict, const char *hint,
965                            unsigned long int *num_start)
966 {
967   if (hint != NULL)
968     {
969       char *hinted_name = make_hinted_name (dict, hint);
970       if (hinted_name != NULL)
971         return hinted_name;
972     }
973   return make_numeric_name (dict, num_start);
974 }
975
976 /* Returns the weighting variable in dictionary D, or a null
977    pointer if the dictionary is unweighted. */
978 struct variable *
979 dict_get_weight (const struct dictionary *d)
980 {
981   assert (d->weight == NULL || dict_contains_var (d, d->weight));
982
983   return d->weight;
984 }
985
986 /* Returns the value of D's weighting variable in case C, except
987    that a negative weight is returned as 0.  Returns 1 if the
988    dictionary is unweighted.  Will warn about missing, negative,
989    or zero values if *WARN_ON_INVALID is true.  The function will
990    set *WARN_ON_INVALID to false if an invalid weight is
991    found. */
992 double
993 dict_get_case_weight (const struct dictionary *d, const struct ccase *c,
994                       bool *warn_on_invalid)
995 {
996   assert (c != NULL);
997
998   if (d->weight == NULL)
999     return 1.0;
1000   else
1001     {
1002       double w = case_num (c, d->weight);
1003       if (w < 0.0 || var_is_num_missing (d->weight, w, MV_ANY))
1004         w = 0.0;
1005       if ( w == 0.0 && warn_on_invalid != NULL && *warn_on_invalid ) {
1006           *warn_on_invalid = false;
1007           msg (SW, _("At least one case in the data file had a weight value "
1008                      "that was user-missing, system-missing, zero, or "
1009                      "negative.  These case(s) were ignored."));
1010       }
1011       return w;
1012     }
1013 }
1014
1015 /* Sets the weighting variable of D to V, or turning off
1016    weighting if V is a null pointer. */
1017 void
1018 dict_set_weight (struct dictionary *d, struct variable *v)
1019 {
1020   assert (v == NULL || dict_contains_var (d, v));
1021   assert (v == NULL || var_is_numeric (v));
1022
1023   d->weight = v;
1024
1025   if (d->changed) d->changed (d, d->changed_data);
1026   if ( d->callbacks &&  d->callbacks->weight_changed )
1027     d->callbacks->weight_changed (d,
1028                                   v ? var_get_dict_index (v) : -1,
1029                                   d->cb_data);
1030 }
1031
1032 /* Returns the filter variable in dictionary D (see cmd_filter())
1033    or a null pointer if the dictionary is unfiltered. */
1034 struct variable *
1035 dict_get_filter (const struct dictionary *d)
1036 {
1037   assert (d->filter == NULL || dict_contains_var (d, d->filter));
1038
1039   return d->filter;
1040 }
1041
1042 /* Sets V as the filter variable for dictionary D.  Passing a
1043    null pointer for V turn off filtering. */
1044 void
1045 dict_set_filter (struct dictionary *d, struct variable *v)
1046 {
1047   assert (v == NULL || dict_contains_var (d, v));
1048   assert (v == NULL || var_is_numeric (v));
1049
1050   d->filter = v;
1051
1052   if (d->changed) d->changed (d, d->changed_data);
1053   if ( d->callbacks && d->callbacks->filter_changed )
1054     d->callbacks->filter_changed (d,
1055                                   v ? var_get_dict_index (v) : -1,
1056                                   d->cb_data);
1057 }
1058
1059 /* Returns the case limit for dictionary D, or zero if the number
1060    of cases is unlimited. */
1061 casenumber
1062 dict_get_case_limit (const struct dictionary *d)
1063 {
1064   return d->case_limit;
1065 }
1066
1067 /* Sets CASE_LIMIT as the case limit for dictionary D.  Use
1068    0 for CASE_LIMIT to indicate no limit. */
1069 void
1070 dict_set_case_limit (struct dictionary *d, casenumber case_limit)
1071 {
1072   d->case_limit = case_limit;
1073 }
1074
1075 /* Returns the prototype used for cases created by dictionary D. */
1076 const struct caseproto *
1077 dict_get_proto (const struct dictionary *d_)
1078 {
1079   struct dictionary *d = CONST_CAST (struct dictionary *, d_);
1080   if (d->proto == NULL)
1081     {
1082       size_t i;
1083
1084       d->proto = caseproto_create ();
1085       d->proto = caseproto_reserve (d->proto, d->var_cnt);
1086       for (i = 0; i < d->var_cnt; i++)
1087         d->proto = caseproto_set_width (d->proto,
1088                                         var_get_case_index (d->var[i].var),
1089                                         var_get_width (d->var[i].var));
1090     }
1091   return d->proto;
1092 }
1093
1094 /* Returns the case index of the next value to be added to D.
1095    This value is the number of `union value's that need to be
1096    allocated to store a case for dictionary D. */
1097 int
1098 dict_get_next_value_idx (const struct dictionary *d)
1099 {
1100   return d->next_value_idx;
1101 }
1102
1103 /* Returns the number of bytes needed to store a case for
1104    dictionary D. */
1105 size_t
1106 dict_get_case_size (const struct dictionary *d)
1107 {
1108   return sizeof (union value) * dict_get_next_value_idx (d);
1109 }
1110
1111 /* Reassigns values in dictionary D so that fragmentation is
1112    eliminated. */
1113 void
1114 dict_compact_values (struct dictionary *d)
1115 {
1116   size_t i;
1117
1118   d->next_value_idx = 0;
1119   for (i = 0; i < d->var_cnt; i++)
1120     {
1121       struct variable *v = d->var[i].var;
1122       set_var_case_index (v, d->next_value_idx++);
1123     }
1124   invalidate_proto (d);
1125 }
1126
1127 /* Returns the number of values occupied by the variables in
1128    dictionary D.  All variables are considered if EXCLUDE_CLASSES
1129    is 0, or it may contain one or more of (1u << DC_ORDINARY),
1130    (1u << DC_SYSTEM), or (1u << DC_SCRATCH) to exclude the
1131    corresponding type of variable.
1132
1133    The return value may be less than the number of values in one
1134    of dictionary D's cases (as returned by
1135    dict_get_next_value_idx) even if E is 0, because there may be
1136    gaps in D's cases due to deleted variables. */
1137 size_t
1138 dict_count_values (const struct dictionary *d, unsigned int exclude_classes)
1139 {
1140   size_t i;
1141   size_t cnt;
1142
1143   assert ((exclude_classes & ~((1u << DC_ORDINARY)
1144                                | (1u << DC_SYSTEM)
1145                                | (1u << DC_SCRATCH))) == 0);
1146
1147   cnt = 0;
1148   for (i = 0; i < d->var_cnt; i++)
1149     {
1150       enum dict_class class = var_get_dict_class (d->var[i].var);
1151       if (!(exclude_classes & (1u << class)))
1152         cnt++;
1153     }
1154   return cnt;
1155 }
1156
1157 /* Returns the case prototype that would result after deleting
1158    all variables from D that are not in one of the
1159    EXCLUDE_CLASSES and compacting the dictionary with
1160    dict_compact().
1161
1162    The caller must unref the returned caseproto when it is no
1163    longer needed. */
1164 struct caseproto *
1165 dict_get_compacted_proto (const struct dictionary *d,
1166                           unsigned int exclude_classes)
1167 {
1168   struct caseproto *proto;
1169   size_t i;
1170
1171   assert ((exclude_classes & ~((1u << DC_ORDINARY)
1172                                | (1u << DC_SYSTEM)
1173                                | (1u << DC_SCRATCH))) == 0);
1174
1175   proto = caseproto_create ();
1176   for (i = 0; i < d->var_cnt; i++)
1177     {
1178       struct variable *v = d->var[i].var;
1179       if (!(exclude_classes & (1u << var_get_dict_class (v))))
1180         proto = caseproto_add_width (proto, var_get_width (v));
1181     }
1182   return proto;
1183 }
1184 \f
1185 /* Returns the SPLIT FILE vars (see cmd_split_file()).  Call
1186    dict_get_split_cnt() to determine how many SPLIT FILE vars
1187    there are.  Returns a null pointer if and only if there are no
1188    SPLIT FILE vars. */
1189 const struct variable *const *
1190 dict_get_split_vars (const struct dictionary *d)
1191 {
1192   return d->split;
1193 }
1194
1195 /* Returns the number of SPLIT FILE vars. */
1196 size_t
1197 dict_get_split_cnt (const struct dictionary *d)
1198 {
1199   return d->split_cnt;
1200 }
1201
1202 /* Removes variable V, which must be in D, from D's set of split
1203    variables. */
1204 static void
1205 dict_unset_split_var (struct dictionary *d, struct variable *v)
1206 {
1207   int orig_count;
1208
1209   assert (dict_contains_var (d, v));
1210
1211   orig_count = d->split_cnt;
1212   d->split_cnt = remove_equal (d->split, d->split_cnt, sizeof *d->split,
1213                                &v, compare_var_ptrs, NULL);
1214   if (orig_count != d->split_cnt)
1215     {
1216       if (d->changed) d->changed (d, d->changed_data);
1217       /* We changed the set of split variables so invoke the
1218          callback. */
1219       if (d->callbacks &&  d->callbacks->split_changed)
1220         d->callbacks->split_changed (d, d->cb_data);
1221     }
1222 }
1223
1224 /* Sets CNT split vars SPLIT in dictionary D. */
1225 void
1226 dict_set_split_vars (struct dictionary *d,
1227                      struct variable *const *split, size_t cnt)
1228 {
1229   assert (cnt == 0 || split != NULL);
1230
1231   d->split_cnt = cnt;
1232   if ( cnt > 0 )
1233    {
1234     d->split = xnrealloc (d->split, cnt, sizeof *d->split) ;
1235     memcpy (d->split, split, cnt * sizeof *d->split);
1236    }
1237   else
1238    {
1239     free (d->split);
1240     d->split = NULL;
1241    }
1242
1243   if (d->changed) d->changed (d, d->changed_data);
1244   if ( d->callbacks &&  d->callbacks->split_changed )
1245     d->callbacks->split_changed (d, d->cb_data);
1246 }
1247
1248 /* Returns the file label for D, or a null pointer if D is
1249    unlabeled (see cmd_file_label()). */
1250 const char *
1251 dict_get_label (const struct dictionary *d)
1252 {
1253   return d->label;
1254 }
1255
1256 /* Sets D's file label to LABEL, truncating it to a maximum of 60
1257    characters.
1258
1259    Removes D's label if LABEL is null or the empty string. */
1260 void
1261 dict_set_label (struct dictionary *d, const char *label)
1262 {
1263   free (d->label);
1264   d->label = label != NULL && label[0] != '\0' ? xstrndup (label, 60) : NULL;
1265 }
1266
1267 /* Returns the documents for D, as an UTF-8 encoded string_array.  The
1268    return value is always nonnull; if there are no documents then the
1269    string_arary is empty.*/
1270 const struct string_array *
1271 dict_get_documents (const struct dictionary *d)
1272 {
1273   return &d->documents;
1274 }
1275
1276 /* Replaces the documents for D by NEW_DOCS, a UTF-8 encoded string_array. */
1277 void
1278 dict_set_documents (struct dictionary *d, const struct string_array *new_docs)
1279 {
1280   size_t i;
1281
1282   dict_clear_documents (d);
1283
1284   for (i = 0; i < new_docs->n; i++)
1285     dict_add_document_line (d, new_docs->strings[i], false);
1286 }
1287
1288 /* Replaces the documents for D by UTF-8 encoded string NEW_DOCS, dividing it
1289    into individual lines at new-line characters.  Each line is truncated to at
1290    most DOC_LINE_LENGTH bytes in D's encoding. */
1291 void
1292 dict_set_documents_string (struct dictionary *d, const char *new_docs)
1293 {
1294   const char *s;
1295
1296   dict_clear_documents (d);
1297   for (s = new_docs; *s != '\0'; )
1298     {
1299       size_t len = strcspn (s, "\n");
1300       char *line = xmemdup0 (s, len);
1301       dict_add_document_line (d, line, false);
1302       free (line);
1303
1304       s += len;
1305       if (*s == '\n')
1306         s++;
1307     }
1308 }
1309
1310 /* Drops the documents from dictionary D. */
1311 void
1312 dict_clear_documents (struct dictionary *d)
1313 {
1314   string_array_clear (&d->documents);
1315 }
1316
1317 /* Appends the UTF-8 encoded LINE to the documents in D.  LINE will be
1318    truncated so that it is no more than 80 bytes in the dictionary's
1319    encoding.  If this causes some text to be lost, and ISSUE_WARNING is true,
1320    then a warning will be issued. */
1321 bool
1322 dict_add_document_line (struct dictionary *d, const char *line,
1323                         bool issue_warning)
1324 {
1325   size_t trunc_len;
1326   bool truncated;
1327
1328   trunc_len = utf8_encoding_trunc_len (line, d->encoding, DOC_LINE_LENGTH);
1329   truncated = line[trunc_len] != '\0';
1330   if (truncated && issue_warning)
1331     {
1332       /* Note to translators: "bytes" is correct, not characters */
1333       msg (SW, _("Truncating document line to %d bytes."), DOC_LINE_LENGTH);
1334     }
1335
1336   string_array_append_nocopy (&d->documents, xmemdup0 (line, trunc_len));
1337
1338   return !truncated;
1339 }
1340
1341 /* Returns the number of document lines in dictionary D. */
1342 size_t
1343 dict_get_document_line_cnt (const struct dictionary *d)
1344 {
1345   return d->documents.n;
1346 }
1347
1348 /* Returns document line number IDX in dictionary D.  The caller must not
1349    modify or free the returned string. */
1350 const char *
1351 dict_get_document_line (const struct dictionary *d, size_t idx)
1352 {
1353   assert (idx < d->documents.n);
1354   return d->documents.strings[idx];
1355 }
1356
1357 /* Creates in D a vector named NAME that contains the CNT
1358    variables in VAR.  Returns true if successful, or false if a
1359    vector named NAME already exists in D. */
1360 bool
1361 dict_create_vector (struct dictionary *d,
1362                     const char *name,
1363                     struct variable **var, size_t cnt)
1364 {
1365   size_t i;
1366
1367   assert (cnt > 0);
1368   for (i = 0; i < cnt; i++)
1369     assert (dict_contains_var (d, var[i]));
1370
1371   if (dict_lookup_vector (d, name) == NULL)
1372     {
1373       d->vector = xnrealloc (d->vector, d->vector_cnt + 1, sizeof *d->vector);
1374       d->vector[d->vector_cnt++] = vector_create (name, var, cnt);
1375       return true;
1376     }
1377   else
1378     return false;
1379 }
1380
1381 /* Creates in D a vector named NAME that contains the CNT
1382    variables in VAR.  A vector named NAME must not already exist
1383    in D. */
1384 void
1385 dict_create_vector_assert (struct dictionary *d,
1386                            const char *name,
1387                            struct variable **var, size_t cnt)
1388 {
1389   assert (dict_lookup_vector (d, name) == NULL);
1390   dict_create_vector (d, name, var, cnt);
1391 }
1392
1393 /* Returns the vector in D with index IDX, which must be less
1394    than dict_get_vector_cnt (D). */
1395 const struct vector *
1396 dict_get_vector (const struct dictionary *d, size_t idx)
1397 {
1398   assert (idx < d->vector_cnt);
1399
1400   return d->vector[idx];
1401 }
1402
1403 /* Returns the number of vectors in D. */
1404 size_t
1405 dict_get_vector_cnt (const struct dictionary *d)
1406 {
1407   return d->vector_cnt;
1408 }
1409
1410 /* Looks up and returns the vector within D with the given
1411    NAME. */
1412 const struct vector *
1413 dict_lookup_vector (const struct dictionary *d, const char *name)
1414 {
1415   size_t i;
1416   for (i = 0; i < d->vector_cnt; i++)
1417     if (!strcasecmp (vector_get_name (d->vector[i]), name))
1418       return d->vector[i];
1419   return NULL;
1420 }
1421
1422 /* Deletes all vectors from D. */
1423 void
1424 dict_clear_vectors (struct dictionary *d)
1425 {
1426   size_t i;
1427
1428   for (i = 0; i < d->vector_cnt; i++)
1429     vector_destroy (d->vector[i]);
1430   free (d->vector);
1431
1432   d->vector = NULL;
1433   d->vector_cnt = 0;
1434 }
1435 \f
1436 /* Multiple response sets. */
1437
1438 /* Returns the multiple response set in DICT with index IDX, which must be
1439    between 0 and the count returned by dict_get_n_mrsets(), exclusive. */
1440 const struct mrset *
1441 dict_get_mrset (const struct dictionary *dict, size_t idx)
1442 {
1443   assert (idx < dict->n_mrsets);
1444   return dict->mrsets[idx];
1445 }
1446
1447 /* Returns the number of multiple response sets in DICT. */
1448 size_t
1449 dict_get_n_mrsets (const struct dictionary *dict)
1450 {
1451   return dict->n_mrsets;
1452 }
1453
1454 /* Looks for a multiple response set named NAME in DICT.  If it finds one,
1455    returns its index; otherwise, returns SIZE_MAX. */
1456 static size_t
1457 dict_lookup_mrset_idx (const struct dictionary *dict, const char *name)
1458 {
1459   size_t i;
1460
1461   for (i = 0; i < dict->n_mrsets; i++)
1462     if (!strcasecmp (name, dict->mrsets[i]->name))
1463       return i;
1464
1465   return SIZE_MAX;
1466 }
1467
1468 /* Looks for a multiple response set named NAME in DICT.  If it finds one,
1469    returns it; otherwise, returns NULL. */
1470 const struct mrset *
1471 dict_lookup_mrset (const struct dictionary *dict, const char *name)
1472 {
1473   size_t idx = dict_lookup_mrset_idx (dict, name);
1474   return idx != SIZE_MAX ? dict->mrsets[idx] : NULL;
1475 }
1476
1477 /* Adds MRSET to DICT, replacing any existing set with the same name.  Returns
1478    true if a set was replaced, false if none existed with the specified name.
1479
1480    Ownership of MRSET is transferred to DICT. */
1481 bool
1482 dict_add_mrset (struct dictionary *dict, struct mrset *mrset)
1483 {
1484   size_t idx;
1485
1486   assert (mrset_ok (mrset, dict));
1487
1488   idx = dict_lookup_mrset_idx (dict, mrset->name);
1489   if (idx == SIZE_MAX)
1490     {
1491       dict->mrsets = xrealloc (dict->mrsets,
1492                                (dict->n_mrsets + 1) * sizeof *dict->mrsets);
1493       dict->mrsets[dict->n_mrsets++] = mrset;
1494       return true;
1495     }
1496   else
1497     {
1498       mrset_destroy (dict->mrsets[idx]);
1499       dict->mrsets[idx] = mrset;
1500       return false;
1501     }
1502 }
1503
1504 /* Looks for a multiple response set in DICT named NAME.  If found, removes it
1505    from DICT and returns true.  If none is found, returns false without
1506    modifying DICT.
1507
1508    Deleting one multiple response set causes the indexes of other sets within
1509    DICT to change. */
1510 bool
1511 dict_delete_mrset (struct dictionary *dict, const char *name)
1512 {
1513   size_t idx = dict_lookup_mrset_idx (dict, name);
1514   if (idx != SIZE_MAX)
1515     {
1516       mrset_destroy (dict->mrsets[idx]);
1517       dict->mrsets[idx] = dict->mrsets[--dict->n_mrsets];
1518       return true;
1519     }
1520   else
1521     return false;
1522 }
1523
1524 /* Deletes all multiple response sets from DICT. */
1525 void
1526 dict_clear_mrsets (struct dictionary *dict)
1527 {
1528   size_t i;
1529
1530   for (i = 0; i < dict->n_mrsets; i++)
1531     mrset_destroy (dict->mrsets[i]);
1532   free (dict->mrsets);
1533   dict->mrsets = NULL;
1534   dict->n_mrsets = 0;
1535 }
1536
1537 /* Removes VAR, which must be in DICT, from DICT's multiple response sets. */
1538 static void
1539 dict_unset_mrset_var (struct dictionary *dict, struct variable *var)
1540 {
1541   size_t i;
1542
1543   assert (dict_contains_var (dict, var));
1544
1545   for (i = 0; i < dict->n_mrsets; )
1546     {
1547       struct mrset *mrset = dict->mrsets[i];
1548       size_t j;
1549
1550       for (j = 0; j < mrset->n_vars; )
1551         if (mrset->vars[j] == var)
1552           remove_element (mrset->vars, mrset->n_vars--,
1553                           sizeof *mrset->vars, j);
1554         else
1555           j++;
1556
1557       if (mrset->n_vars < 2)
1558         {
1559           mrset_destroy (mrset);
1560           dict->mrsets[i] = dict->mrsets[--dict->n_mrsets];
1561         }
1562       else
1563         i++;
1564     }
1565 }
1566 \f
1567 /* Returns D's attribute set.  The caller may examine or modify
1568    the attribute set, but must not destroy it.  Destroying D or
1569    calling dict_set_attributes for D will also destroy D's
1570    attribute set. */
1571 struct attrset *
1572 dict_get_attributes (const struct dictionary *d) 
1573 {
1574   return CONST_CAST (struct attrset *, &d->attributes);
1575 }
1576
1577 /* Replaces D's attributes set by a copy of ATTRS. */
1578 void
1579 dict_set_attributes (struct dictionary *d, const struct attrset *attrs)
1580 {
1581   attrset_destroy (&d->attributes);
1582   attrset_clone (&d->attributes, attrs);
1583 }
1584
1585 /* Returns true if D has at least one attribute in its attribute
1586    set, false if D's attribute set is empty. */
1587 bool
1588 dict_has_attributes (const struct dictionary *d) 
1589 {
1590   return attrset_count (&d->attributes) > 0;
1591 }
1592
1593 /* Called from variable.c to notify the dictionary that some property of
1594    the variable has changed */
1595 void
1596 dict_var_changed (const struct variable *v)
1597 {
1598   if ( var_has_vardict (v))
1599     {
1600       const struct vardict_info *vardict = var_get_vardict (v);
1601       struct dictionary *d = vardict->dict;
1602
1603       if ( NULL == d)
1604         return;
1605
1606       if (d->changed ) d->changed (d, d->changed_data);
1607       if ( d->callbacks && d->callbacks->var_changed )
1608         d->callbacks->var_changed (d, var_get_dict_index (v), d->cb_data);
1609     }
1610 }
1611
1612
1613 /* Called from variable.c to notify the dictionary that the variable's width
1614    has changed */
1615 void
1616 dict_var_resized (const struct variable *v, int old_width)
1617 {
1618   if ( var_has_vardict (v))
1619     {
1620       const struct vardict_info *vardict = var_get_vardict (v);
1621       struct dictionary *d;
1622
1623       d = vardict->dict;
1624
1625       if (d->changed) d->changed (d, d->changed_data);
1626
1627       invalidate_proto (d);
1628       if ( d->callbacks && d->callbacks->var_resized )
1629         d->callbacks->var_resized (d, var_get_dict_index (v), old_width,
1630                                    d->cb_data);
1631     }
1632 }
1633
1634 /* Called from variable.c to notify the dictionary that the variable's display width
1635    has changed */
1636 void
1637 dict_var_display_width_changed (const struct variable *v)
1638 {
1639   if ( var_has_vardict (v))
1640     {
1641       const struct vardict_info *vardict = var_get_vardict (v);
1642       struct dictionary *d;
1643
1644       d = vardict->dict;
1645
1646       if (d->changed) d->changed (d, d->changed_data);
1647       if ( d->callbacks && d->callbacks->var_display_width_changed )
1648         d->callbacks->var_display_width_changed (d, var_get_dict_index (v), d->cb_data);
1649     }
1650 }
1651 \f
1652 /* Dictionary used to contain "internal variables". */
1653 static struct dictionary *internal_dict;
1654
1655 /* Create a variable of the specified WIDTH to be used for internal
1656    calculations only.  The variable is assigned case index CASE_IDX. */
1657 struct variable *
1658 dict_create_internal_var (int case_idx, int width)
1659 {
1660   if (internal_dict == NULL)
1661     internal_dict = dict_create ();
1662
1663   for (;;)
1664     {
1665       static int counter = INT_MAX / 2;
1666       struct variable *var;
1667       char name[64];
1668
1669       if (++counter == INT_MAX)
1670         counter = INT_MAX / 2;
1671
1672       sprintf (name, "$internal%d", counter);
1673       var = dict_create_var (internal_dict, name, width);
1674       if (var != NULL)
1675         {
1676           set_var_case_index (var, case_idx);
1677           return var;
1678         }
1679     }
1680 }
1681
1682 /* Destroys VAR, which must have been created with
1683    dict_create_internal_var(). */
1684 void
1685 dict_destroy_internal_var (struct variable *var)
1686 {
1687   if (var != NULL)
1688     {
1689       dict_delete_var (internal_dict, var);
1690
1691       /* Destroy internal_dict if it has no variables left, just so that
1692          valgrind --leak-check --show-reachable won't show internal_dict. */
1693       if (dict_get_var_cnt (internal_dict) == 0)
1694         {
1695           dict_destroy (internal_dict);
1696           internal_dict = NULL;
1697         }
1698     }
1699 }
1700 \f
1701 int
1702 vardict_get_dict_index (const struct vardict_info *vardict)
1703 {
1704   return vardict - vardict->dict->var;
1705 }