Numerous improvements to system file reader and writer.
[pspp-builds.git] / src / language / dictionary / sys-file-info.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 1997-9, 2000, 2006 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include <ctype.h>
20 #include <stdlib.h>
21
22 #include <data/casereader.h>
23 #include <data/dictionary.h>
24 #include <data/file-handle-def.h>
25 #include <data/format.h>
26 #include <data/missing-values.h>
27 #include <data/procedure.h>
28 #include <data/sys-file-reader.h>
29 #include <data/value-labels.h>
30 #include <data/variable.h>
31 #include <data/vector.h>
32 #include <language/command.h>
33 #include <language/data-io/file-handle.h>
34 #include <language/lexer/lexer.h>
35 #include <language/lexer/variable-parser.h>
36 #include <libpspp/alloc.h>
37 #include <libpspp/array.h>
38 #include <libpspp/hash.h>
39 #include <libpspp/magic.h>
40 #include <libpspp/message.h>
41 #include <libpspp/message.h>
42 #include <libpspp/misc.h>
43 #include <output/manager.h>
44 #include <output/output.h>
45 #include <output/table.h>
46
47 #include "minmax.h"
48
49 #include "gettext.h"
50 #define _(msgid) gettext (msgid)
51
52 /* Constants for DISPLAY utility. */
53 enum
54   {
55     AS_NAMES = 0,
56     AS_INDEX,
57     AS_VARIABLES,
58     AS_LABELS,
59     AS_DICTIONARY,
60     AS_SCRATCH,
61     AS_VECTOR
62   };
63
64 static int describe_variable (const struct variable *v, struct tab_table *t, int r, int as);
65
66 /* Sets the widths of all the columns and heights of all the rows in
67    table T for driver D. */
68 static void
69 sysfile_info_dim (struct tab_table *t, struct outp_driver *d)
70 {
71   static const int max[] = {20, 5, 35, 3, 0};
72   const int *p;
73   int i;
74
75   for (p = max; *p; p++)
76     t->w[p - max] = MIN (tab_natural_width (t, d, p - max),
77                          *p * d->prop_em_width);
78   for (i = 0; i < t->nr; i++)
79     t->h[i] = tab_natural_height (t, d, i);
80 }
81
82 /* SYSFILE INFO utility. */
83 int
84 cmd_sysfile_info (struct lexer *lexer, struct dataset *ds UNUSED)
85 {
86   struct file_handle *h;
87   struct dictionary *d;
88   struct tab_table *t;
89   struct casereader *reader;
90   struct sfm_read_info info;
91   int r, nr;
92   int i;
93
94   lex_match_id (lexer, "FILE");
95   lex_match (lexer, '=');
96
97   h = fh_parse (lexer, FH_REF_FILE);
98   if (!h)
99     return CMD_FAILURE;
100
101   reader = sfm_open_reader (h, &d, &info);
102   if (!reader)
103     return CMD_FAILURE;
104   casereader_destroy (reader);
105
106   t = tab_create (2, 10, 0);
107   tab_vline (t, TAL_GAP, 1, 0, 8);
108   tab_text (t, 0, 0, TAB_LEFT, _("File:"));
109   tab_text (t, 1, 0, TAB_LEFT, fh_get_file_name (h));
110   tab_text (t, 0, 1, TAB_LEFT, _("Label:"));
111   {
112     const char *label = dict_get_label (d);
113     if (label == NULL)
114       label = _("No label.");
115     tab_text (t, 1, 1, TAB_LEFT, label);
116   }
117   tab_text (t, 0, 2, TAB_LEFT, _("Created:"));
118   tab_text (t, 1, 2, TAB_LEFT | TAT_PRINTF, "%s %s by %s",
119                 info.creation_date, info.creation_time, info.product);
120   tab_text (t, 0, 3, TAB_LEFT, _("Integer Format:"));
121   tab_text (t, 1, 3, TAB_LEFT,
122             info.integer_format == INTEGER_MSB_FIRST ? _("Big Endian.")
123             : info.integer_format == INTEGER_LSB_FIRST ? _("Little Endian.")
124             : _("Unknown."));
125   tab_text (t, 0, 4, TAB_LEFT, _("Real Format:"));
126   tab_text (t, 1, 4, TAB_LEFT,
127             info.float_format == FLOAT_IEEE_DOUBLE_LE ? _("IEEE 754 LE.")
128             : info.float_format == FLOAT_IEEE_DOUBLE_BE ? _("IEEE 754 BE.")
129             : info.float_format == FLOAT_VAX_D ? _("VAX D.")
130             : info.float_format == FLOAT_VAX_G ? _("VAX G.")
131             : info.float_format == FLOAT_Z_LONG ? _("IBM 390 Hex Long.")
132             : _("Unknown."));
133   tab_text (t, 0, 5, TAB_LEFT, _("Variables:"));
134   tab_text (t, 1, 5, TAB_LEFT | TAT_PRINTF, "%u",
135             (unsigned int) dict_get_var_cnt (d));
136   tab_text (t, 0, 6, TAB_LEFT, _("Cases:"));
137   tab_text (t, 1, 6, TAB_LEFT | TAT_PRINTF,
138             info.case_cnt == -1 ? _("Unknown") : "%ld",
139             (long int) info.case_cnt);
140   tab_text (t, 0, 7, TAB_LEFT, _("Type:"));
141   tab_text (t, 1, 7, TAB_LEFT, _("System File."));
142   tab_text (t, 0, 8, TAB_LEFT, _("Weight:"));
143   {
144     struct variable *weight_var = dict_get_weight (d);
145     tab_text (t, 1, 8, TAB_LEFT,
146               (weight_var != NULL
147                ? var_get_name (weight_var) : _("Not weighted.")));
148   }
149   tab_text (t, 0, 9, TAB_LEFT, _("Mode:"));
150   tab_text (t, 1, 9, TAB_LEFT | TAT_PRINTF,
151                 _("Compression %s."), info.compressed ? _("on") : _("off"));
152   tab_dim (t, tab_natural_dimensions);
153   tab_submit (t);
154
155   nr = 1 + 2 * dict_get_var_cnt (d);
156
157   t = tab_create (4, nr, 1);
158   tab_dim (t, sysfile_info_dim);
159   tab_headers (t, 0, 0, 1, 0);
160   tab_text (t, 0, 0, TAB_LEFT | TAT_TITLE, _("Variable"));
161   tab_joint_text (t, 1, 0, 2, 0, TAB_LEFT | TAT_TITLE, _("Description"));
162   tab_text (t, 3, 0, TAB_LEFT | TAT_TITLE, _("Position"));
163   tab_hline (t, TAL_2, 0, 3, 1);
164   for (r = 1, i = 0; i < dict_get_var_cnt (d); i++)
165     {
166       struct variable *v = dict_get_var (d, i);
167       const int nvl = val_labs_count (var_get_value_labels (v));
168
169       if (r + 10 + nvl > nr)
170         {
171           nr = MAX (nr * dict_get_var_cnt (d) / (i + 1), nr);
172           nr += 10 + nvl;
173           tab_realloc (t, 4, nr);
174         }
175
176       r = describe_variable (v, t, r, AS_DICTIONARY);
177     }
178
179   tab_box (t, TAL_1, TAL_1, -1, -1, 0, 0, 3, r);
180   tab_vline (t, TAL_1, 1, 0, r);
181   tab_vline (t, TAL_1, 3, 0, r);
182
183   tab_resize (t, -1, r);
184   tab_flags (t, SOMF_NO_TITLE);
185   tab_submit (t);
186
187   dict_destroy (d);
188
189   return lex_end_of_command (lexer);
190 }
191 \f
192 /* DISPLAY utility. */
193
194 static void display_macros (void);
195 static void display_documents (const struct dictionary *dict);
196 static void display_variables (const struct variable **, size_t, int);
197 static void display_vectors (const struct dictionary *dict, int sorted);
198
199 int
200 cmd_display (struct lexer *lexer, struct dataset *ds)
201 {
202   /* Whether to sort the list of variables alphabetically. */
203   int sorted;
204
205   /* Variables to display. */
206   size_t n;
207   const struct variable **vl;
208
209   if (lex_match_id (lexer, "MACROS"))
210     display_macros ();
211   else if (lex_match_id (lexer, "DOCUMENTS"))
212     display_documents (dataset_dict (ds));
213   else if (lex_match_id (lexer, "FILE"))
214     {
215       som_blank_line ();
216       if (!lex_force_match_id (lexer, "LABEL"))
217         return CMD_FAILURE;
218       if (dict_get_label (dataset_dict (ds)) == NULL)
219         tab_output_text (TAB_LEFT,
220                          _("The active file does not have a file label."));
221       else
222         {
223           tab_output_text (TAB_LEFT | TAT_TITLE, _("File label:"));
224           tab_output_text (TAB_LEFT | TAB_FIX, dict_get_label (dataset_dict (ds)));
225         }
226     }
227   else
228     {
229       static const char *sbc[] =
230         {"NAMES", "INDEX", "VARIABLES", "LABELS",
231          "DICTIONARY", "SCRATCH", "VECTORS", NULL};
232       const char **cp;
233       int as;
234
235       sorted = lex_match_id (lexer, "SORTED");
236
237       for (cp = sbc; *cp; cp++)
238         if (lex_token (lexer) == T_ID
239             && lex_id_match (ss_cstr (*cp), ss_cstr (lex_tokid (lexer))))
240           {
241             lex_get (lexer);
242             break;
243           }
244       as = cp - sbc;
245
246       if (*cp == NULL)
247         as = AS_NAMES;
248
249       if (as == AS_VECTOR)
250         {
251           display_vectors (dataset_dict(ds), sorted);
252           return CMD_SUCCESS;
253         }
254
255       lex_match (lexer, '/');
256       lex_match_id (lexer, "VARIABLES");
257       lex_match (lexer, '=');
258
259       if (lex_token (lexer) != '.')
260         {
261           if (!parse_variables_const (lexer, dataset_dict (ds), &vl, &n, PV_NONE))
262             {
263               free (vl);
264               return CMD_FAILURE;
265             }
266           as = AS_DICTIONARY;
267         }
268       else
269         dict_get_vars (dataset_dict (ds), &vl, &n, 0);
270
271       if (as == AS_SCRATCH)
272         {
273           size_t i, m;
274           for (i = 0, m = n; i < n; i++)
275             if (dict_class_from_id (var_get_name (vl[i])) != DC_SCRATCH)
276               {
277                 vl[i] = NULL;
278                 m--;
279               }
280           as = AS_NAMES;
281           n = m;
282         }
283
284       if (n == 0)
285         {
286           msg (SW, _("No variables to display."));
287           return CMD_FAILURE;
288         }
289
290       if (sorted)
291         sort (vl, n, sizeof *vl, compare_var_ptrs_by_name, NULL);
292
293       display_variables (vl, n, as);
294
295       free (vl);
296     }
297
298   return lex_end_of_command (lexer);
299 }
300
301 static void
302 display_macros (void)
303 {
304   som_blank_line ();
305   tab_output_text (TAB_LEFT, _("Macros not supported."));
306 }
307
308 static void
309 display_documents (const struct dictionary *dict)
310 {
311   const char *documents = dict_get_documents (dict);
312
313   som_blank_line ();
314   if (documents == NULL)
315     tab_output_text (TAB_LEFT, _("The active file dictionary does not "
316                                  "contain any documents."));
317   else
318     {
319       struct string line = DS_EMPTY_INITIALIZER;
320       size_t i;
321
322       tab_output_text (TAB_LEFT | TAT_TITLE,
323                        _("Documents in the active file:"));
324       som_blank_line ();
325       for (i = 0; i < dict_get_document_line_cnt (dict); i++)
326         {
327           dict_get_document_line (dict, i, &line);
328           tab_output_text (TAB_LEFT | TAB_FIX | TAT_NOWRAP, ds_cstr (&line));
329         }
330       ds_destroy (&line);
331     }
332 }
333
334 static int _as;
335
336 /* Sets the widths of all the columns and heights of all the rows in
337    table T for driver D. */
338 static void
339 variables_dim (struct tab_table *t, struct outp_driver *d)
340 {
341   int pc;
342   int i;
343
344   t->w[0] = tab_natural_width (t, d, 0);
345   if (_as == AS_DICTIONARY || _as == AS_VARIABLES || _as == AS_LABELS)
346     {
347       t->w[1] = MAX (tab_natural_width (t, d, 1), d->prop_em_width * 5);
348       t->w[2] = MAX (tab_natural_width (t, d, 2), d->prop_em_width * 35);
349       pc = 3;
350     }
351   else pc = 1;
352   if (_as != AS_NAMES)
353     t->w[pc] = tab_natural_width (t, d, pc);
354
355   for (i = 0; i < t->nr; i++)
356     t->h[i] = tab_natural_height (t, d, i);
357 }
358
359 static void
360 display_variables (const struct variable **vl, size_t n, int as)
361 {
362   const struct variable **vp = vl;      /* Variable pointer. */
363   struct tab_table *t;
364   int nc;                       /* Number of columns. */
365   int nr;                       /* Number of rows. */
366   int pc;                       /* `Position column' */
367   int r;                        /* Current row. */
368   size_t i;
369
370   _as = as;
371   switch (as)
372     {
373     case AS_INDEX:
374       nc = 2;
375       break;
376     case AS_NAMES:
377       nc = 1;
378       break;
379     default:
380       nc = 4;
381       break;
382     }
383
384   t = tab_create (nc, n + 5, 1);
385   tab_headers (t, 0, 0, 1, 0);
386   nr = n + 5;
387   tab_hline (t, TAL_2, 0, nc - 1, 1);
388   tab_text (t, 0, 0, TAB_LEFT | TAT_TITLE, _("Variable"));
389   pc = (as == AS_INDEX ? 1 : 3);
390   if (as != AS_NAMES)
391     tab_text (t, pc, 0, TAB_LEFT | TAT_TITLE, _("Position"));
392   if (as == AS_DICTIONARY || as == AS_VARIABLES)
393     tab_joint_text (t, 1, 0, 2, 0, TAB_LEFT | TAT_TITLE, _("Description"));
394   else if (as == AS_LABELS)
395     tab_joint_text (t, 1, 0, 2, 0, TAB_LEFT | TAT_TITLE, _("Label"));
396   tab_dim (t, variables_dim);
397
398   for (i = r = 1; i <= n; i++)
399     {
400       const struct variable *v;
401
402       while (*vp == NULL)
403         vp++;
404       v = *vp++;
405
406       if (as == AS_DICTIONARY || as == AS_VARIABLES)
407         {
408           int nvl = val_labs_count (var_get_value_labels (v));
409
410           if (r + 10 + nvl > nr)
411             {
412               nr = MAX (nr * n / (i + 1), nr);
413               nr += 10 + nvl;
414               tab_realloc (t, nc, nr);
415             }
416
417           r = describe_variable (v, t, r, as);
418         } else {
419           tab_text (t, 0, r, TAB_LEFT, var_get_name (v));
420           if (as == AS_LABELS)
421             {
422               const char *label = var_get_label (v);
423               tab_joint_text (t, 1, r, 2, r, TAB_LEFT,
424                               label != NULL ? "(no label)" : label);
425             }
426           if (as != AS_NAMES)
427             {
428               tab_text (t, pc, r, TAT_PRINTF, "%d",
429                         (int) var_get_dict_index (v) + 1);
430               tab_hline (t, TAL_1, 0, nc - 1, r);
431             }
432           r++;
433         }
434     }
435   tab_hline (t, as == AS_NAMES ? TAL_1 : TAL_2, 0, nc - 1, 1);
436   if (as != AS_NAMES)
437     {
438       tab_box (t, TAL_1, TAL_1, -1, -1, 0, 0, nc - 1, r - 1);
439       tab_vline (t, TAL_1, 1, 0, r - 1);
440     }
441   else
442     tab_flags (t, SOMF_NO_TITLE);
443   if (as == AS_DICTIONARY || as == AS_VARIABLES || as == AS_LABELS)
444     tab_vline (t, TAL_1, 3, 0, r - 1);
445   tab_resize (t, -1, r);
446   tab_columns (t, TAB_COL_DOWN, 1);
447   tab_submit (t);
448 }
449 \f
450 /* Puts a description of variable V into table T starting at row R.
451    The variable will be described in the format AS.  Returns the next
452    row available for use in the table. */
453 static int
454 describe_variable (const struct variable *v, struct tab_table *t, int r, int as)
455 {
456   const struct fmt_spec *print = var_get_print_format (v);
457   const struct fmt_spec *write = var_get_write_format (v);
458
459   /* Put the name, var label, and position into the first row. */
460   tab_text (t, 0, r, TAB_LEFT, var_get_name (v));
461   tab_text (t, 3, r, TAT_PRINTF, "%d", (int) var_get_dict_index (v) + 1);
462
463   if (as == AS_DICTIONARY && var_has_label (v))
464     {
465       tab_joint_text (t, 1, r, 2, r, TAB_LEFT, var_get_label (v));
466       r++;
467     }
468
469   /* Print/write format, or print and write formats. */
470   if (fmt_equal (print, write))
471     {
472       char str[FMT_STRING_LEN_MAX + 1];
473       tab_joint_text (t, 1, r, 2, r, TAB_LEFT | TAT_PRINTF, _("Format: %s"),
474                       fmt_to_string (print, str));
475       r++;
476     }
477   else
478     {
479       char str[FMT_STRING_LEN_MAX + 1];
480       tab_joint_text (t, 1, r, 2, r, TAB_LEFT | TAT_PRINTF,
481                       _("Print Format: %s"), fmt_to_string (print, str));
482       r++;
483       tab_joint_text (t, 1, r, 2, r, TAB_LEFT | TAT_PRINTF,
484                       _("Write Format: %s"), fmt_to_string (write, str));
485       r++;
486     }
487
488   /* Missing values if any. */
489   if (var_has_missing_values (v))
490     {
491       char buf[128];
492       char *cp;
493       struct missing_values mv;
494       int cnt = 0;
495
496       cp = stpcpy (buf, _("Missing Values: "));
497
498       mv_copy (&mv, var_get_missing_values (v));
499       if (mv_has_range (&mv))
500         {
501           double x, y;
502           mv_pop_range (&mv, &x, &y);
503           if (x == LOWEST)
504             cp += sprintf (cp, "LOWEST THRU %g", y);
505           else if (y == HIGHEST)
506             cp += sprintf (cp, "%g THRU HIGHEST", x);
507           else
508             cp += sprintf (cp, "%g THRU %g", x, y);
509           cnt++;
510         }
511       while (mv_has_value (&mv))
512         {
513           union value value;
514           mv_pop_value (&mv, &value);
515           if (cnt++ > 0)
516             cp += sprintf (cp, "; ");
517           if (var_is_numeric (v))
518             cp += sprintf (cp, "%g", value.f);
519           else
520             {
521               *cp++ = '"';
522               memcpy (cp, value.s, var_get_width (v));
523               cp += var_get_width (v);
524               *cp++ = '"';
525               *cp = '\0';
526             }
527         }
528
529       tab_joint_text (t, 1, r, 2, r, TAB_LEFT, buf);
530       r++;
531     }
532
533   /* Value labels. */
534   if (as == AS_DICTIONARY && var_has_value_labels (v))
535     {
536       const struct val_labs *val_labs = var_get_value_labels (v);
537       struct val_labs_iterator *i;
538       struct val_lab *vl;
539       int orig_r = r;
540
541 #if 0
542       tab_text (t, 1, r, TAB_LEFT, _("Value"));
543       tab_text (t, 2, r, TAB_LEFT, _("Label"));
544       r++;
545 #endif
546
547       tab_hline (t, TAL_1, 1, 2, r);
548       for (vl = val_labs_first_sorted (val_labs, &i); vl != NULL;
549            vl = val_labs_next (val_labs, &i))
550         {
551           char buf[128];
552
553           if (var_is_alpha (v))
554             {
555               memcpy (buf, vl->value.s, var_get_width (v));
556               buf[var_get_width (v)] = 0;
557             }
558           else
559             sprintf (buf, "%g", vl->value.f);
560
561           tab_text (t, 1, r, TAB_NONE, buf);
562           tab_text (t, 2, r, TAB_LEFT, vl->label);
563           r++;
564         }
565
566       tab_vline (t, TAL_1, 2, orig_r, r - 1);
567     }
568
569   /* Draw a line below the last row of information on this variable. */
570   tab_hline (t, TAL_1, 0, 3, r);
571
572   return r;
573 }
574
575 /* Display a list of vectors.  If SORTED is nonzero then they are
576    sorted alphabetically. */
577 static void
578 display_vectors (const struct dictionary *dict, int sorted)
579 {
580   const struct vector **vl;
581   int i;
582   struct tab_table *t;
583   size_t nvec;
584   size_t nrow;
585   size_t row;
586
587   nvec = dict_get_vector_cnt (dict);
588   if (nvec == 0)
589     {
590       msg (SW, _("No vectors defined."));
591       return;
592     }
593
594   vl = xnmalloc (nvec, sizeof *vl);
595   nrow = 0;
596   for (i = 0; i < nvec; i++)
597     {
598       vl[i] = dict_get_vector (dict, i);
599       nrow += vector_get_var_cnt (vl[i]);
600     }
601   if (sorted)
602     qsort (vl, nvec, sizeof *vl, compare_vector_ptrs_by_name);
603
604   t = tab_create (4, nrow + 1, 0);
605   tab_headers (t, 0, 0, 1, 0);
606   tab_columns (t, TAB_COL_DOWN, 1);
607   tab_dim (t, tab_natural_dimensions);
608   tab_box (t, TAL_1, TAL_1, -1, -1, 0, 0, 3, nrow);
609   tab_box (t, -1, -1, -1, TAL_1, 0, 0, 3, nrow);
610   tab_hline (t, TAL_2, 0, 3, 1);
611   tab_text (t, 0, 0, TAT_TITLE | TAB_LEFT, _("Vector"));
612   tab_text (t, 1, 0, TAT_TITLE | TAB_LEFT, _("Position"));
613   tab_text (t, 2, 0, TAT_TITLE | TAB_LEFT, _("Variable"));
614   tab_text (t, 3, 0, TAT_TITLE | TAB_LEFT, _("Print Format"));
615   tab_flags (t, SOMF_NO_TITLE);
616
617   row = 1;
618   for (i = 0; i < nvec; i++)
619     {
620       const struct vector *vec = vl[i];
621       size_t j;
622
623       tab_joint_text (t, 0, row, 0, row + vector_get_var_cnt (vec) - 1,
624                       TAB_LEFT, vector_get_name (vl[i]));
625
626       for (j = 0; j < vector_get_var_cnt (vec); j++)
627         {
628           struct variable *var = vector_get_var (vec, j);
629           char fmt_string[FMT_STRING_LEN_MAX + 1];
630           fmt_to_string (var_get_print_format (var), fmt_string);
631
632           tab_text (t, 1, row, TAB_RIGHT | TAT_PRINTF, "%d", (int) j + 1);
633           tab_text (t, 2, row, TAB_LEFT, var_get_name (var));
634           tab_text (t, 3, row, TAB_LEFT, fmt_string);
635           row++;
636         }
637       tab_hline (t, TAL_1, 0, 3, row);
638     }
639
640   tab_submit (t);
641
642   free (vl);
643 }