feature complete
[pspp] / utilities / pspp-dump-sav.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 2007, 2008, 2009, 2010, 2011, 2012, 2013, 2014 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include <ctype.h>
20 #include <errno.h>
21 #include <float.h>
22 #include <getopt.h>
23 #include <inttypes.h>
24 #include <limits.h>
25 #include <stdio.h>
26 #include <stdlib.h>
27
28 #include "data/val-type.h"
29 #include "libpspp/cast.h"
30 #include "libpspp/compiler.h"
31 #include "libpspp/float-format.h"
32 #include "libpspp/integer-format.h"
33 #include "libpspp/misc.h"
34
35 #include "gl/error.h"
36 #include "gl/minmax.h"
37 #include "gl/progname.h"
38 #include "gl/version-etc.h"
39 #include "gl/xalloc.h"
40 #include "gl/xsize.h"
41
42 #define ID_MAX_LEN 64
43
44 enum compression
45   {
46     COMP_NONE,
47     COMP_SIMPLE,
48     COMP_ZLIB
49   };
50
51 struct sfm_reader
52   {
53     const char *file_name;
54     FILE *file;
55
56     int n_variable_records, n_variables;
57
58     int *var_widths;
59     size_t n_var_widths, allocated_var_widths;
60
61     enum integer_format integer_format;
62     enum float_format float_format;
63
64     enum compression compression;
65     double bias;
66   };
67
68 static void read_header (struct sfm_reader *);
69 static void read_variable_record (struct sfm_reader *);
70 static void read_value_label_record (struct sfm_reader *);
71 static void read_document_record (struct sfm_reader *);
72 static void read_extension_record (struct sfm_reader *);
73 static void read_machine_integer_info (struct sfm_reader *,
74                                        size_t size, size_t count);
75 static void read_machine_float_info (struct sfm_reader *,
76                                      size_t size, size_t count);
77 static void read_extra_product_info (struct sfm_reader *,
78                                      size_t size, size_t count);
79 static void read_variable_sets (struct sfm_reader *, size_t size, size_t count);
80 static void read_mrsets (struct sfm_reader *, size_t size, size_t count);
81 static void read_display_parameters (struct sfm_reader *,
82                                      size_t size, size_t count);
83 static void read_long_var_name_map (struct sfm_reader *r,
84                                     size_t size, size_t count);
85 static void read_long_string_map (struct sfm_reader *r,
86                                   size_t size, size_t count);
87 static void read_datafile_attributes (struct sfm_reader *r,
88                                       size_t size, size_t count);
89 static void read_variable_attributes (struct sfm_reader *r,
90                                       size_t size, size_t count);
91 static void read_ncases64 (struct sfm_reader *, size_t size, size_t count);
92 static void read_character_encoding (struct sfm_reader *r,
93                                        size_t size, size_t count);
94 static void read_long_string_value_labels (struct sfm_reader *r,
95                                            size_t size, size_t count);
96 static void read_long_string_missing_values (struct sfm_reader *r,
97                                              size_t size, size_t count);
98 static void read_unknown_extension (struct sfm_reader *,
99                                     size_t size, size_t count);
100 static void read_simple_compressed_data (struct sfm_reader *, int max_cases);
101 static void read_zlib_compressed_data (struct sfm_reader *);
102
103 static struct text_record *open_text_record (
104   struct sfm_reader *, size_t size, size_t count);
105 static void close_text_record (struct text_record *);
106 static bool read_variable_to_value_pair (struct text_record *,
107                                          char **key, char **value);
108 static char *text_tokenize (struct text_record *, int delimiter);
109 static bool text_match (struct text_record *text, int c);
110 static const char *text_parse_counted_string (struct text_record *);
111 static size_t text_pos (const struct text_record *);
112 static const char *text_get_all (const struct text_record *);
113
114 static void usage (void);
115 static void sys_warn (struct sfm_reader *, const char *, ...)
116      PRINTF_FORMAT (2, 3);
117 static void sys_error (struct sfm_reader *, const char *, ...)
118      PRINTF_FORMAT (2, 3)
119      NO_RETURN;
120
121 static void read_bytes (struct sfm_reader *, void *, size_t);
122 static bool try_read_bytes (struct sfm_reader *, void *, size_t);
123 static int read_int (struct sfm_reader *);
124 static int64_t read_int64 (struct sfm_reader *);
125 static double read_float (struct sfm_reader *);
126 static void read_string (struct sfm_reader *, char *, size_t);
127 static void skip_bytes (struct sfm_reader *, size_t);
128 static void trim_spaces (char *);
129
130 static void print_string (const char *s, size_t len);
131
132 int
133 main (int argc, char *argv[])
134 {
135   int max_cases = 0;
136   struct sfm_reader r;
137   int i;
138
139   set_program_name (argv[0]);
140
141   for (;;)
142     {
143       static const struct option long_options[] =
144         {
145           { "data",    optional_argument, NULL, 'd' },
146           { "help",    no_argument,       NULL, 'h' },
147           { "version", no_argument,       NULL, 'v' },
148           { NULL,      0,                 NULL, 0 },
149         };
150
151       int c;
152
153       c = getopt_long (argc, argv, "d::hv", long_options, NULL);
154       if (c == -1)
155         break;
156
157       switch (c)
158         {
159         case 'd':
160           max_cases = optarg ? atoi (optarg) : INT_MAX;
161           break;
162
163         case 'v':
164           version_etc (stdout, "pspp-dump-sav", PACKAGE_NAME, PACKAGE_VERSION,
165                        "Ben Pfaff", "John Darrington", NULL_SENTINEL);
166           exit (EXIT_SUCCESS);
167
168         case 'h':
169           usage ();
170           exit (EXIT_SUCCESS);
171
172         default:
173           exit (EXIT_FAILURE);
174         }
175     }
176
177   if (optind == argc)
178     error (1, 0, "at least one non-option argument is required; "
179            "use --help for help");
180
181   for (i = optind; i < argc; i++)
182     {
183       int rec_type;
184
185       r.file_name = argv[i];
186       r.file = fopen (r.file_name, "rb");
187       if (r.file == NULL)
188         error (EXIT_FAILURE, errno, "error opening `%s'", r.file_name);
189       r.n_variable_records = 0;
190       r.n_variables = 0;
191       r.n_var_widths = 0;
192       r.allocated_var_widths = 0;
193       r.var_widths = 0;
194       r.compression = COMP_NONE;
195
196       if (argc - optind > 1)
197         printf ("Reading \"%s\":\n", r.file_name);
198
199       read_header (&r);
200       while ((rec_type = read_int (&r)) != 999)
201         {
202           switch (rec_type)
203             {
204             case 2:
205               read_variable_record (&r);
206               break;
207
208             case 3:
209               read_value_label_record (&r);
210               break;
211
212             case 4:
213               sys_error (&r, "Misplaced type 4 record.");
214
215             case 6:
216               read_document_record (&r);
217               break;
218
219             case 7:
220               read_extension_record (&r);
221               break;
222
223             default:
224               sys_error (&r, "Unrecognized record type %d.", rec_type);
225             }
226         }
227       printf ("%08llx: end-of-dictionary record "
228               "(first byte of data at %08llx)\n",
229               (long long int) ftello (r.file),
230               (long long int) ftello (r.file) + 4);
231
232       if (r.compression == COMP_SIMPLE)
233         {
234           if (max_cases > 0)
235             read_simple_compressed_data (&r, max_cases);
236         }
237       else if (r.compression == COMP_ZLIB)
238         read_zlib_compressed_data (&r);
239
240       free (r.var_widths);
241
242       fclose (r.file);
243     }
244
245   return 0;
246 }
247
248 static void
249 read_header (struct sfm_reader *r)
250 {
251   char rec_type[5];
252   char eye_catcher[61];
253   uint8_t raw_layout_code[4];
254   int32_t layout_code;
255   int32_t compressed;
256   int32_t weight_index;
257   int32_t ncases;
258   uint8_t raw_bias[8];
259   char creation_date[10];
260   char creation_time[9];
261   char file_label[65];
262   bool zmagic;
263
264   read_string (r, rec_type, sizeof rec_type);
265   read_string (r, eye_catcher, sizeof eye_catcher);
266
267   if (!strcmp ("$FL2", rec_type))
268     zmagic = false;
269   else if (!strcmp ("$FL3", rec_type))
270     zmagic = true;
271   else
272     sys_error (r, "This is not an SPSS system file.");
273
274   /* Identify integer format. */
275   read_bytes (r, raw_layout_code, sizeof raw_layout_code);
276   if ((!integer_identify (2, raw_layout_code, sizeof raw_layout_code,
277                           &r->integer_format)
278        && !integer_identify (3, raw_layout_code, sizeof raw_layout_code,
279                              &r->integer_format))
280       || (r->integer_format != INTEGER_MSB_FIRST
281           && r->integer_format != INTEGER_LSB_FIRST))
282     sys_error (r, "This is not an SPSS system file.");
283   layout_code = integer_get (r->integer_format,
284                              raw_layout_code, sizeof raw_layout_code);
285
286   read_int (r);                 /* Nominal case size (not actually useful). */
287   compressed = read_int (r);
288   weight_index = read_int (r);
289   ncases = read_int (r);
290
291   if (!zmagic)
292     {
293       if (compressed == 0)
294         r->compression = COMP_NONE;
295       else if (compressed == 1)
296         r->compression = COMP_SIMPLE;
297       else if (compressed != 0)
298         sys_error (r, "SAV file header has invalid compression value "
299                    "%"PRId32".", compressed);
300     }
301   else
302     {
303       if (compressed == 2)
304         r->compression = COMP_ZLIB;
305       else
306         sys_error (r, "ZSAV file header has invalid compression value "
307                    "%"PRId32".", compressed);
308     }
309
310   /* Identify floating-point format and obtain compression bias. */
311   read_bytes (r, raw_bias, sizeof raw_bias);
312   if (float_identify (100.0, raw_bias, sizeof raw_bias, &r->float_format) == 0)
313     {
314       sys_warn (r, "Compression bias is not the usual value of 100, or system "
315                 "file uses unrecognized floating-point format.");
316       if (r->integer_format == INTEGER_MSB_FIRST)
317         r->float_format = FLOAT_IEEE_DOUBLE_BE;
318       else
319         r->float_format = FLOAT_IEEE_DOUBLE_LE;
320     }
321   r->bias = float_get_double (r->float_format, raw_bias);
322
323   read_string (r, creation_date, sizeof creation_date);
324   read_string (r, creation_time, sizeof creation_time);
325   read_string (r, file_label, sizeof file_label);
326   trim_spaces (file_label);
327   skip_bytes (r, 3);
328
329   printf ("File header record:\n");
330   printf ("\t%17s: %s\n", "Product name", eye_catcher);
331   printf ("\t%17s: %"PRId32"\n", "Layout code", layout_code);
332   printf ("\t%17s: %"PRId32" (%s)\n", "Compressed",
333           compressed,
334           r->compression == COMP_NONE ? "no compression"
335           : r->compression == COMP_SIMPLE ? "simple compression"
336           : r->compression == COMP_ZLIB ? "ZLIB compression"
337           : "<error>");
338   printf ("\t%17s: %"PRId32"\n", "Weight index", weight_index);
339   printf ("\t%17s: %"PRId32"\n", "Number of cases", ncases);
340   printf ("\t%17s: %.*g\n", "Compression bias", DBL_DIG + 1, r->bias);
341   printf ("\t%17s: %s\n", "Creation date", creation_date);
342   printf ("\t%17s: %s\n", "Creation time", creation_time);
343   printf ("\t%17s: \"%s\"\n", "File label", file_label);
344 }
345
346 static const char *
347 format_name (int format)
348 {
349   switch ((format >> 16) & 0xff)
350     {
351     case 1: return "A";
352     case 2: return "AHEX";
353     case 3: return "COMMA";
354     case 4: return "DOLLAR";
355     case 5: return "F";
356     case 6: return "IB";
357     case 7: return "PIBHEX";
358     case 8: return "P";
359     case 9: return "PIB";
360     case 10: return "PK";
361     case 11: return "RB";
362     case 12: return "RBHEX";
363     case 15: return "Z";
364     case 16: return "N";
365     case 17: return "E";
366     case 20: return "DATE";
367     case 21: return "TIME";
368     case 22: return "DATETIME";
369     case 23: return "ADATE";
370     case 24: return "JDATE";
371     case 25: return "DTIME";
372     case 26: return "WKDAY";
373     case 27: return "MONTH";
374     case 28: return "MOYR";
375     case 29: return "QYR";
376     case 30: return "WKYR";
377     case 31: return "PCT";
378     case 32: return "DOT";
379     case 33: return "CCA";
380     case 34: return "CCB";
381     case 35: return "CCC";
382     case 36: return "CCD";
383     case 37: return "CCE";
384     case 38: return "EDATE";
385     case 39: return "SDATE";
386     case 40: return "MTIME";
387     case 41: return "YMDHMS";
388     default: return "invalid";
389     }
390 }
391
392 /* Reads a variable (type 2) record from R and adds the
393    corresponding variable to DICT.
394    Also skips past additional variable records for long string
395    variables. */
396 static void
397 read_variable_record (struct sfm_reader *r)
398 {
399   int width;
400   int has_variable_label;
401   int missing_value_code;
402   int print_format;
403   int write_format;
404   char name[9];
405
406   printf ("%08llx: variable record #%d\n",
407           (long long int) ftello (r->file), ++r->n_variable_records);
408
409   width = read_int (r);
410   has_variable_label = read_int (r);
411   missing_value_code = read_int (r);
412   print_format = read_int (r);
413   write_format = read_int (r);
414   read_string (r, name, sizeof name);
415   name[strcspn (name, " ")] = '\0';
416
417   if (width >= 0)
418     r->n_variables++;
419
420   if (r->n_var_widths >= r->allocated_var_widths)
421     r->var_widths = x2nrealloc (r->var_widths, &r->allocated_var_widths,
422                                 sizeof *r->var_widths);
423   r->var_widths[r->n_var_widths++] = width;
424
425   printf ("\tWidth: %d (%s)\n",
426           width,
427           width > 0 ? "string"
428           : width == 0 ? "numeric"
429           : "long string continuation record");
430   printf ("\tVariable label: %d\n", has_variable_label);
431   printf ("\tMissing values code: %d (%s)\n", missing_value_code,
432           (missing_value_code == 0 ? "no missing values"
433            : missing_value_code == 1 ? "one missing value"
434            : missing_value_code == 2 ? "two missing values"
435            : missing_value_code == 3 ? "three missing values"
436            : missing_value_code == -2 ? "one missing value range"
437            : missing_value_code == -3 ? "one missing value, one range"
438            : "bad value"));
439   printf ("\tPrint format: %06x (%s%d.%d)\n",
440           print_format, format_name (print_format),
441           (print_format >> 8) & 0xff, print_format & 0xff);
442   printf ("\tWrite format: %06x (%s%d.%d)\n",
443           write_format, format_name (write_format),
444           (write_format >> 8) & 0xff, write_format & 0xff);
445   printf ("\tName: %s\n", name);
446
447   /* Get variable label, if any. */
448   if (has_variable_label != 0 && has_variable_label != 1)
449     sys_error (r, "Variable label indicator field is not 0 or 1.");
450   if (has_variable_label == 1)
451     {
452       long long int offset = ftello (r->file);
453       enum { MAX_LABEL_LEN = 65536 };
454
455       size_t len = read_int (r);
456       size_t read_len = MIN (MAX_LABEL_LEN, len);
457       char *label = xmalloc (read_len + 1);
458       read_string (r, label, read_len + 1);
459       printf("\t%08llx Variable label: \"%s\"\n", offset, label);
460       free (label);
461
462       /* Skip label padding up to multiple of 4 bytes. */
463       skip_bytes (r, ROUND_UP (len, 4) - len);
464     }
465
466   /* Set missing values. */
467   if (missing_value_code != 0)
468     {
469       int i;
470
471       printf ("\t%08llx Missing values:", (long long int) ftello (r->file));
472       if (!width)
473         {
474           if (missing_value_code < -3 || missing_value_code > 3
475               || missing_value_code == -1)
476             sys_error (r, "Numeric missing value indicator field is not "
477                        "-3, -2, 0, 1, 2, or 3.");
478           if (missing_value_code < 0)
479             {
480               double low = read_float (r);
481               double high = read_float (r);
482               printf (" %.*g...%.*g", DBL_DIG + 1, low, DBL_DIG + 1, high);
483               missing_value_code = -missing_value_code - 2;
484             }
485           for (i = 0; i < missing_value_code; i++)
486             printf (" %.*g", DBL_DIG + 1, read_float (r));
487         }
488       else if (width > 0)
489         {
490           if (missing_value_code < 1 || missing_value_code > 3)
491             sys_error (r, "String missing value indicator field is not "
492                        "0, 1, 2, or 3.");
493           for (i = 0; i < missing_value_code; i++)
494             {
495               char string[9];
496               read_string (r, string, sizeof string);
497               printf (" \"%s\"", string);
498             }
499         }
500       putchar ('\n');
501     }
502 }
503
504 static void
505 print_untyped_value (struct sfm_reader *r, char raw_value[8])
506 {
507   int n_printable;
508   double value;
509
510   value = float_get_double (r->float_format, raw_value);
511   for (n_printable = 0; n_printable < 8; n_printable++)
512     if (!isprint (raw_value[n_printable]))
513       break;
514
515   printf ("%.*g/\"%.*s\"", DBL_DIG + 1, value, n_printable, raw_value);
516 }
517
518 /* Reads value labels from sysfile R and inserts them into the
519    associated dictionary. */
520 static void
521 read_value_label_record (struct sfm_reader *r)
522 {
523   int n_labels, n_vars;
524   int i;
525
526   printf ("%08llx: value labels record\n", (long long int) ftello (r->file));
527
528   /* Read number of labels. */
529   n_labels = read_int (r);
530   for (i = 0; i < n_labels; i++)
531     {
532       char raw_value[8];
533       unsigned char label_len;
534       size_t padded_len;
535       char label[256];
536
537       read_bytes (r, raw_value, sizeof raw_value);
538
539       /* Read label length. */
540       read_bytes (r, &label_len, sizeof label_len);
541       padded_len = ROUND_UP (label_len + 1, 8);
542
543       /* Read label, padding. */
544       read_bytes (r, label, padded_len - 1);
545       label[label_len] = 0;
546
547       printf ("\t");
548       print_untyped_value (r, raw_value);
549       printf (": \"%s\"\n", label);
550     }
551
552   /* Now, read the type 4 record that has the list of variables
553      to which the value labels are to be applied. */
554
555   /* Read record type of type 4 record. */
556   if (read_int (r) != 4)
557     sys_error (r, "Variable index record (type 4) does not immediately "
558                "follow value label record (type 3) as it should.");
559
560   /* Read number of variables associated with value label from type 4
561      record. */
562   printf ("\t%08llx: apply to variables", (long long int) ftello (r->file));
563   n_vars = read_int (r);
564   for (i = 0; i < n_vars; i++)
565     printf (" #%d", read_int (r));
566   putchar ('\n');
567 }
568
569 static void
570 read_document_record (struct sfm_reader *r)
571 {
572   int n_lines;
573   int i;
574
575   printf ("%08llx: document record\n", (long long int) ftello (r->file));
576   n_lines = read_int (r);
577   printf ("\t%d lines of documents\n", n_lines);
578
579   for (i = 0; i < n_lines; i++)
580     {
581       char line[81];
582       printf ("\t%08llx: ", (long long int) ftello (r->file));
583       read_string (r, line, sizeof line);
584       trim_spaces (line);
585       printf ("line %d: \"%s\"\n", i, line);
586     }
587 }
588
589 static void
590 read_extension_record (struct sfm_reader *r)
591 {
592   long long int offset = ftello (r->file);
593   int subtype = read_int (r);
594   size_t size = read_int (r);
595   size_t count = read_int (r);
596   size_t bytes = size * count;
597
598   printf ("%08llx: Record 7, subtype %d, size=%zu, count=%zu\n",
599           offset, subtype, size, count);
600
601   switch (subtype)
602     {
603     case 3:
604       read_machine_integer_info (r, size, count);
605       return;
606
607     case 4:
608       read_machine_float_info (r, size, count);
609       return;
610
611     case 5:
612       read_variable_sets (r, size, count);
613       return;
614
615     case 6:
616       /* DATE variable information.  We don't use it yet, but we
617          should. */
618       break;
619
620     case 7:
621     case 19:
622       read_mrsets (r, size, count);
623       return;
624
625     case 10:
626       read_extra_product_info (r, size, count);
627       return;
628
629     case 11:
630       read_display_parameters (r, size, count);
631       return;
632
633     case 13:
634       read_long_var_name_map (r, size, count);
635       return;
636
637     case 14:
638       read_long_string_map (r, size, count);
639       return;
640
641     case 16:
642       read_ncases64 (r, size, count);
643       return;
644
645     case 17:
646       read_datafile_attributes (r, size, count);
647       return;
648
649     case 18:
650       read_variable_attributes (r, size, count);
651       return;
652
653     case 20:
654       read_character_encoding (r, size, count);
655       return;
656
657     case 21:
658       read_long_string_value_labels (r, size, count);
659       return;
660
661     case 22:
662       read_long_string_missing_values (r, size, count);
663       return;
664
665     default:
666       sys_warn (r, "Unrecognized record type 7, subtype %d.", subtype);
667       read_unknown_extension (r, size, count);
668       return;
669     }
670
671   skip_bytes (r, bytes);
672 }
673
674 static void
675 read_machine_integer_info (struct sfm_reader *r, size_t size, size_t count)
676 {
677   long long int offset = ftello (r->file);
678   int version_major = read_int (r);
679   int version_minor = read_int (r);
680   int version_revision = read_int (r);
681   int machine_code = read_int (r);
682   int float_representation = read_int (r);
683   int compression_code = read_int (r);
684   int integer_representation = read_int (r);
685   int character_code = read_int (r);
686
687   printf ("%08llx: machine integer info\n", offset);
688   if (size != 4 || count != 8)
689     sys_error (r, "Bad size (%zu) or count (%zu) field on record type 7, "
690                "subtype 3.", size, count);
691
692   printf ("\tVersion: %d.%d.%d\n",
693           version_major, version_minor, version_revision);
694   printf ("\tMachine code: %d\n", machine_code);
695   printf ("\tFloating point representation: %d (%s)\n",
696           float_representation,
697           float_representation == 1 ? "IEEE 754"
698           : float_representation == 2 ? "IBM 370"
699           : float_representation == 3 ? "DEC VAX"
700           : "unknown");
701   printf ("\tCompression code: %d\n", compression_code);
702   printf ("\tEndianness: %d (%s)\n", integer_representation,
703           integer_representation == 1 ? "big"
704           : integer_representation == 2 ? "little" : "unknown");
705   printf ("\tCharacter code: %d\n", character_code);
706 }
707
708 /* Read record type 7, subtype 4. */
709 static void
710 read_machine_float_info (struct sfm_reader *r, size_t size, size_t count)
711 {
712   long long int offset = ftello (r->file);
713   double sysmis = read_float (r);
714   double highest = read_float (r);
715   double lowest = read_float (r);
716
717   printf ("%08llx: machine float info\n", offset);
718   if (size != 8 || count != 3)
719     sys_error (r, "Bad size (%zu) or count (%zu) on extension 4.",
720                size, count);
721
722   printf ("\tsysmis: %.*g (%a)\n", DBL_DIG + 1, sysmis, sysmis);
723   if (sysmis != SYSMIS)
724     sys_warn (r, "File specifies unexpected value %.*g (%a) as %s.",
725               DBL_DIG + 1, sysmis, sysmis, "SYSMIS");
726
727   printf ("\thighest: %.*g (%a)\n", DBL_DIG + 1, highest, highest);
728   if (highest != HIGHEST)
729     sys_warn (r, "File specifies unexpected value %.*g (%a) as %s.",
730               DBL_DIG + 1, highest, highest, "HIGHEST");
731
732   printf ("\tlowest: %.*g (%a)\n", DBL_DIG + 1, lowest, lowest);
733   if (lowest != LOWEST && lowest != SYSMIS)
734     sys_warn (r, "File specifies unexpected value %.*g (%a) as %s.",
735               DBL_DIG + 1, lowest, lowest, "LOWEST");
736 }
737
738 /* Read record type 7, subtype 5. */
739 static void
740 read_variable_sets (struct sfm_reader *r, size_t size, size_t count)
741 {
742   printf ("%08llx: variable sets\n", (long long int) ftello (r->file));
743   struct text_record *text = open_text_record (r, size, count);
744   for (;;)
745     {
746       while (text_match (text, '\n'))
747         continue;
748
749       const char *set = text_tokenize (text, '=');
750       if (!set)
751         break;
752
753       /* Always present even for an empty set. */
754       text_match (text, ' ');
755
756       char *variables = text_tokenize (text, '\n');
757       if (!variables)
758         printf ("\tset \"%s\" is empty\n", set);
759       else
760         {
761           size_t length = strlen (variables);
762           if (variables[length - 1] == '\r')
763             variables[length - 1] = '\0';
764           printf ("\tset \"%s\" contains \"%s\"\n", set, variables);
765         }
766     }
767   close_text_record (text);
768 }
769
770 static void
771 read_extra_product_info (struct sfm_reader *r,
772                          size_t size, size_t count)
773 {
774   struct text_record *text;
775   const char *s;
776
777   printf ("%08llx: extra product info\n", (long long int) ftello (r->file));
778   text = open_text_record (r, size, count);
779   s = text_get_all (text);
780   print_string (s, strlen (s));
781   close_text_record (text);
782 }
783
784 /* Read record type 7, subtype 7. */
785 static void
786 read_mrsets (struct sfm_reader *r, size_t size, size_t count)
787 {
788   struct text_record *text;
789
790   printf ("%08llx: multiple response sets\n",
791           (long long int) ftello (r->file));
792   text = open_text_record (r, size, count);
793   for (;;)
794     {
795       const char *name;
796       enum { MRSET_MC, MRSET_MD } type;
797       bool cat_label_from_counted_values = false;
798       bool label_from_var_label = false;
799       const char *counted;
800       const char *label;
801       const char *variables;
802
803       while (text_match (text, '\n'))
804         continue;
805
806       name = text_tokenize (text, '=');
807       if (name == NULL)
808         break;
809
810       if (text_match (text, 'C'))
811         {
812           type = MRSET_MC;
813           counted = NULL;
814           if (!text_match (text, ' '))
815             {
816               sys_warn (r, "missing space following 'C' at offset %zu "
817                         "in mrsets record", text_pos (text));
818               break;
819             }
820         }
821       else if (text_match (text, 'D'))
822         {
823           type = MRSET_MD;
824         }
825       else if (text_match (text, 'E'))
826         {
827           char *number;
828
829           type = MRSET_MD;
830           cat_label_from_counted_values = true;
831
832           if (!text_match (text, ' '))
833             {
834               sys_warn (r, "Missing space following `%c' at offset %zu "
835                         "in MRSETS record", 'E', text_pos (text));
836               break;
837             }
838
839           number = text_tokenize (text, ' ');
840           if (!number)
841             sys_warn (r, "Missing label source value "
842                       "following `E' at offset %zu in MRSETS record",
843                       text_pos (text));
844           else if (!strcmp (number, "11"))
845             label_from_var_label = true;
846           else if (strcmp (number, "1"))
847             sys_warn (r, "Unexpected label source value `%s' "
848                       "following `E' at offset %zu in MRSETS record",
849                       number, text_pos (text));
850
851         }
852       else
853         {
854           sys_warn (r, "missing `C', `D', or `E' at offset %zu "
855                     "in mrsets record", text_pos (text));
856           break;
857         }
858
859       if (type == MRSET_MD)
860         {
861           counted = text_parse_counted_string (text);
862           if (counted == NULL)
863             break;
864         }
865
866       label = text_parse_counted_string (text);
867       if (label == NULL)
868         break;
869
870       variables = text_tokenize (text, '\n');
871
872       printf ("\t\"%s\": multiple %s set",
873               name, type == MRSET_MC ? "category" : "dichotomy");
874       if (counted != NULL)
875         printf (", counted value \"%s\"", counted);
876       if (cat_label_from_counted_values)
877         printf (", category labels from counted values");
878       if (label[0] != '\0')
879         printf (", label \"%s\"", label);
880       if (label_from_var_label)
881         printf (", label from variable label");
882       if (variables != NULL)
883         printf(", variables \"%s\"\n", variables);
884       else
885         printf(", no variables\n");
886     }
887   close_text_record (text);
888 }
889
890 /* Read record type 7, subtype 11. */
891 static void
892 read_display_parameters (struct sfm_reader *r, size_t size, size_t count)
893 {
894   size_t n_vars;
895   bool includes_width;
896   size_t i;
897
898   printf ("%08llx: variable display parameters\n",
899           (long long int) ftello (r->file));
900   if (size != 4)
901     {
902       sys_warn (r, "Bad size %zu on extension 11.", size);
903       skip_bytes (r, size * count);
904       return;
905     }
906
907   n_vars = r->n_variables;
908   if (count == 3 * n_vars)
909     includes_width = true;
910   else if (count == 2 * n_vars)
911     includes_width = false;
912   else
913     {
914       sys_warn (r, "Extension 11 has bad count %zu (for %zu variables).",
915                 count, n_vars);
916       skip_bytes (r, size * count);
917       return;
918     }
919
920   for (i = 0; i < n_vars; ++i)
921     {
922       int measure = read_int (r);
923       int width = includes_width ? read_int (r) : 0;
924       int align = read_int (r);
925
926       printf ("\tVar #%zu: measure=%d (%s)", i, measure,
927               (measure == 1 ? "nominal"
928                : measure == 2 ? "ordinal"
929                : measure == 3 ? "scale"
930                : "invalid"));
931       if (includes_width)
932         printf (", width=%d", width);
933       printf (", align=%d (%s)\n", align,
934               (align == 0 ? "left"
935                : align == 1 ? "right"
936                : align == 2 ? "centre"
937                : "invalid"));
938     }
939 }
940
941 /* Reads record type 7, subtype 13, which gives the long name
942    that corresponds to each short name.  */
943 static void
944 read_long_var_name_map (struct sfm_reader *r, size_t size, size_t count)
945 {
946   struct text_record *text;
947   char *var;
948   char *long_name;
949
950   printf ("%08llx: long variable names (short => long)\n",
951           (long long int) ftello (r->file));
952   text = open_text_record (r, size, count);
953   while (read_variable_to_value_pair (text, &var, &long_name))
954     printf ("\t%s => %s\n", var, long_name);
955   close_text_record (text);
956 }
957
958 /* Reads record type 7, subtype 14, which gives the real length
959    of each very long string.  Rearranges DICT accordingly. */
960 static void
961 read_long_string_map (struct sfm_reader *r, size_t size, size_t count)
962 {
963   struct text_record *text;
964   char *var;
965   char *length_s;
966
967   printf ("%08llx: very long strings (variable => length)\n",
968           (long long int) ftello (r->file));
969   text = open_text_record (r, size, count);
970   while (read_variable_to_value_pair (text, &var, &length_s))
971     printf ("\t%s => %d\n", var, atoi (length_s));
972   close_text_record (text);
973 }
974
975 static bool
976 read_attributes (struct sfm_reader *r, struct text_record *text,
977                  const char *variable)
978 {
979   const char *key;
980   int index;
981
982   for (;;)
983     {
984       key = text_tokenize (text, '(');
985       if (key == NULL)
986         return true;
987
988       for (index = 1; ; index++)
989         {
990           /* Parse the value. */
991           const char *value = text_tokenize (text, '\n');
992           if (value == NULL)
993             {
994               sys_warn (r, "%s: Error parsing attribute value %s[%d]",
995                         variable, key, index);
996               return false;
997             }
998           if (strlen (value) < 2
999               || value[0] != '\'' || value[strlen (value) - 1] != '\'')
1000             sys_warn (r, "%s: Attribute value %s[%d] is not quoted: %s",
1001                       variable, key, index, value);
1002           else
1003             printf ("\t%s: %s[%d] = \"%.*s\"\n",
1004                     variable, key, index, (int) strlen (value) - 2, value + 1);
1005
1006           /* Was this the last value for this attribute? */
1007           if (text_match (text, ')'))
1008             break;
1009         }
1010
1011       if (text_match (text, '/'))
1012         return true;
1013     }
1014 }
1015
1016 /* Read extended number of cases record. */
1017 static void
1018 read_ncases64 (struct sfm_reader *r, size_t size, size_t count)
1019 {
1020   int64_t unknown, ncases64;
1021
1022   if (size != 8)
1023     {
1024       sys_warn (r, "Bad size %zu for extended number of cases.", size);
1025       skip_bytes (r, size * count);
1026       return;
1027     }
1028   if (count != 2)
1029     {
1030       sys_warn (r, "Bad count %zu for extended number of cases.", size);
1031       skip_bytes (r, size * count);
1032       return;
1033     }
1034   unknown = read_int64 (r);
1035   ncases64 = read_int64 (r);
1036   printf ("%08llx: extended number of cases: "
1037           "unknown=%"PRId64", ncases64=%"PRId64"\n",
1038           (long long int) ftello (r->file), unknown, ncases64);
1039 }
1040
1041 static void
1042 read_datafile_attributes (struct sfm_reader *r, size_t size, size_t count)
1043 {
1044   struct text_record *text;
1045
1046   printf ("%08llx: datafile attributes\n", (long long int) ftello (r->file));
1047   text = open_text_record (r, size, count);
1048   read_attributes (r, text, "datafile");
1049   close_text_record (text);
1050 }
1051
1052 static void
1053 read_character_encoding (struct sfm_reader *r, size_t size, size_t count)
1054 {
1055   long long int posn =  ftello (r->file);
1056   char *encoding = xcalloc (size, count + 1);
1057   read_string (r, encoding, count + 1);
1058
1059   printf ("%08llx: Character Encoding: %s\n", posn, encoding);
1060
1061   free (encoding);
1062 }
1063
1064 static void
1065 read_long_string_value_labels (struct sfm_reader *r, size_t size, size_t count)
1066 {
1067   long long int start = ftello (r->file);
1068
1069   printf ("%08llx: long string value labels\n", start);
1070   while (ftello (r->file) - start < size * count)
1071     {
1072       long long posn = ftello (r->file);
1073       char var_name[ID_MAX_LEN + 1];
1074       int var_name_len;
1075       int n_values;
1076       int width;
1077       int i;
1078
1079       /* Read variable name. */
1080       var_name_len = read_int (r);
1081       if (var_name_len > ID_MAX_LEN)
1082         sys_error (r, "Variable name length in long string value label "
1083                    "record (%d) exceeds %d-byte limit.",
1084                    var_name_len, ID_MAX_LEN);
1085       read_string (r, var_name, var_name_len + 1);
1086
1087       /* Read width, number of values. */
1088       width = read_int (r);
1089       n_values = read_int (r);
1090
1091       printf ("\t%08llx: %s, width %d, %d values\n",
1092               posn, var_name, width, n_values);
1093
1094       /* Read values. */
1095       for (i = 0; i < n_values; i++)
1096         {
1097           char *value;
1098           int value_length;
1099
1100           char *label;
1101           int label_length;
1102
1103           posn = ftello (r->file);
1104
1105           /* Read value. */
1106           value_length = read_int (r);
1107           value = xmalloc (value_length + 1);
1108           read_string (r, value, value_length + 1);
1109
1110           /* Read label. */
1111           label_length = read_int (r);
1112           label = xmalloc (label_length + 1);
1113           read_string (r, label, label_length + 1);
1114
1115           printf ("\t\t%08llx: \"%s\" (%d bytes) => \"%s\" (%d bytes)\n",
1116                   posn, value, value_length, label, label_length);
1117
1118           free (value);
1119           free (label);
1120         }
1121     }
1122 }
1123
1124 static void
1125 read_long_string_missing_values (struct sfm_reader *r,
1126                                  size_t size, size_t count)
1127 {
1128   long long int start = ftello (r->file);
1129
1130   printf ("%08llx: long string missing values\n", start);
1131   while (ftello (r->file) - start < size * count)
1132     {
1133       long long posn = ftello (r->file);
1134
1135       /* Read variable name. */
1136       int var_name_len = read_int (r);
1137       if (var_name_len > ID_MAX_LEN)
1138         sys_error (r, "Variable name length in long string missing value "
1139                    "record (%d) exceeds %d-byte limit.",
1140                    var_name_len, ID_MAX_LEN);
1141       char var_name[ID_MAX_LEN + 1];
1142       read_string (r, var_name, var_name_len + 1);
1143
1144       /* Read number of values. */
1145       uint8_t n_missing_values;
1146       read_bytes (r, &n_missing_values, 1);
1147
1148       /* Read value length. */
1149       int value_length = read_int (r);
1150
1151       printf ("\t%08llx: %s, %d missing values, each %d bytes:",
1152               posn, var_name, n_missing_values, value_length);
1153
1154       /* Read values. */
1155       for (int i = 0; i < n_missing_values; i++)
1156         {
1157           /* Read value. */
1158           char *value = xmalloc (value_length + 1);
1159           read_string (r, value, value_length + 1);
1160
1161           printf (" \"%s\"", value);
1162
1163           free (value);
1164         }
1165       printf ("\n");
1166     }
1167 }
1168
1169 static void
1170 hex_dump (size_t offset, const void *buffer_, size_t buffer_size)
1171 {
1172   const uint8_t *buffer = buffer_;
1173
1174   while (buffer_size > 0)
1175     {
1176       size_t n = MIN (buffer_size, 16);
1177       size_t i;
1178
1179       printf ("%04zx", offset);
1180       for (i = 0; i < 16; i++)
1181         {
1182           if (i < n)
1183             printf ("%c%02x", i == 8 ? '-' : ' ', buffer[i]);
1184           else
1185             printf ("   ");
1186         }
1187
1188       printf (" |");
1189       for (i = 0; i < 16; i++)
1190         {
1191           unsigned char c = i < n ? buffer[i] : ' ';
1192           putchar (isprint (c) ? c : '.');
1193         }
1194       printf ("|\n");
1195
1196       offset += n;
1197       buffer += n;
1198       buffer_size -= n;
1199     }
1200 }
1201
1202 /* Reads and prints any type 7 record that we don't understand. */
1203 static void
1204 read_unknown_extension (struct sfm_reader *r, size_t size, size_t count)
1205 {
1206   unsigned char *buffer;
1207   size_t i;
1208
1209   if (size == 0 || count > 65536 / size)
1210     skip_bytes (r, size * count);
1211   else if (size != 1)
1212     {
1213       buffer = xmalloc (size);
1214       for (i = 0; i < count; i++)
1215         {
1216           read_bytes (r, buffer, size);
1217           hex_dump (i * size, buffer, size);
1218         }
1219       free (buffer);
1220     }
1221   else
1222     {
1223       buffer = xmalloc (count);
1224       read_bytes (r, buffer, count);
1225       print_string (CHAR_CAST (char *, buffer), count);
1226       free (buffer);
1227     }
1228 }
1229
1230 static void
1231 read_variable_attributes (struct sfm_reader *r, size_t size, size_t count)
1232 {
1233   struct text_record *text;
1234
1235   printf ("%08llx: variable attributes\n", (long long int) ftello (r->file));
1236   text = open_text_record (r, size, count);
1237   for (;;)
1238     {
1239       const char *variable = text_tokenize (text, ':');
1240       if (variable == NULL || !read_attributes (r, text, variable))
1241         break;
1242     }
1243   close_text_record (text);
1244 }
1245
1246 static void
1247 read_simple_compressed_data (struct sfm_reader *r, int max_cases)
1248 {
1249   enum { N_OPCODES = 8 };
1250   uint8_t opcodes[N_OPCODES];
1251   long long int opcode_ofs;
1252   int opcode_idx;
1253   int case_num;
1254   int i;
1255
1256   read_int (r);
1257   printf ("\n%08llx: compressed data:\n", (long long int) ftello (r->file));
1258
1259   opcode_idx = N_OPCODES;
1260   opcode_ofs = 0;
1261   case_num = 0;
1262   for (case_num = 0; case_num < max_cases; case_num++)
1263     {
1264       printf ("%08llx: case %d's uncompressible data begins\n",
1265               (long long int) ftello (r->file), case_num);
1266       for (i = 0; i < r->n_var_widths;)
1267         {
1268           int width = r->var_widths[i];
1269           char raw_value[8];
1270           int opcode;
1271
1272           if (opcode_idx >= N_OPCODES)
1273             {
1274               opcode_ofs = ftello (r->file);
1275               if (i == 0)
1276                 {
1277                   if (!try_read_bytes (r, opcodes, 8))
1278                     return;
1279                 }
1280               else
1281                 read_bytes (r, opcodes, 8);
1282               opcode_idx = 0;
1283             }
1284           opcode = opcodes[opcode_idx];
1285           printf ("%08llx: variable %d: opcode %d: ",
1286                   opcode_ofs + opcode_idx, i, opcode);
1287
1288           switch (opcode)
1289             {
1290             default:
1291               printf ("%.*g", DBL_DIG + 1, opcode - r->bias);
1292               if (width != 0)
1293                 printf (", but this is a string variable (width=%d)", width);
1294               printf ("\n");
1295               i++;
1296               break;
1297
1298             case 0:
1299               printf ("ignored padding\n");
1300               break;
1301
1302             case 252:
1303               printf ("end of data\n");
1304               return;
1305
1306             case 253:
1307               read_bytes (r, raw_value, 8);
1308               printf ("uncompressible data: ");
1309               print_untyped_value (r, raw_value);
1310               printf ("\n");
1311               i++;
1312               break;
1313
1314             case 254:
1315               printf ("spaces");
1316               if (width == 0)
1317                 printf (", but this is a numeric variable");
1318               printf ("\n");
1319               i++;
1320               break;
1321
1322             case 255:
1323               printf ("SYSMIS");
1324               if (width != 0)
1325                 printf (", but this is a string variable (width=%d)", width);
1326               printf ("\n");
1327               i++;
1328               break;
1329             }
1330
1331           opcode_idx++;
1332         }
1333     }
1334 }
1335
1336 static void
1337 read_zlib_compressed_data (struct sfm_reader *r)
1338 {
1339   long long int ofs;
1340   long long int this_ofs, next_ofs, next_len;
1341   long long int bias, zero;
1342   long long int expected_uncmp_ofs, expected_cmp_ofs;
1343   unsigned int block_size, n_blocks;
1344   unsigned int i;
1345
1346   read_int (r);
1347   ofs = ftello (r->file);
1348   printf ("\n%08llx: ZLIB compressed data header:\n", ofs);
1349
1350   this_ofs = read_int64 (r);
1351   next_ofs = read_int64 (r);
1352   next_len = read_int64 (r);
1353
1354   printf ("\tzheader_ofs: 0x%llx\n", this_ofs);
1355   if (this_ofs != ofs)
1356     printf ("\t\t(Expected 0x%llx.)\n", ofs);
1357   printf ("\tztrailer_ofs: 0x%llx\n", next_ofs);
1358   printf ("\tztrailer_len: %lld\n", next_len);
1359   if (next_len < 24 || next_len % 24)
1360     printf ("\t\t(Trailer length is not a positive multiple of 24.)\n");
1361
1362   printf ("\n%08llx: 0x%llx bytes of ZLIB compressed data\n",
1363           ofs + 8 * 3, next_ofs - (ofs + 8 * 3));
1364
1365   skip_bytes (r, next_ofs - (ofs + 8 * 3));
1366
1367   printf ("\n%08llx: ZLIB trailer fixed header:\n", next_ofs);
1368   bias = read_int64 (r);
1369   zero = read_int64 (r);
1370   block_size = read_int (r);
1371   n_blocks = read_int (r);
1372   printf ("\tbias: %lld\n", bias);
1373   printf ("\tzero: 0x%llx\n", zero);
1374   if (zero != 0)
1375     printf ("\t\t(Expected 0.)\n");
1376   printf ("\tblock_size: 0x%x\n", block_size);
1377   if (block_size != 0x3ff000)
1378     printf ("\t\t(Expected 0x3ff000.)\n");
1379   printf ("\tn_blocks: %u\n", n_blocks);
1380   if (n_blocks != next_len / 24 - 1)
1381     printf ("\t\t(Expected %llu.)\n", next_len / 24 - 1);
1382
1383   expected_uncmp_ofs = ofs;
1384   expected_cmp_ofs = ofs + 24;
1385   for (i = 0; i < n_blocks; i++)
1386     {
1387       long long int blockinfo_ofs = ftello (r->file);
1388       unsigned long long int uncompressed_ofs = read_int64 (r);
1389       unsigned long long int compressed_ofs = read_int64 (r);
1390       unsigned int uncompressed_size = read_int (r);
1391       unsigned int compressed_size = read_int (r);
1392
1393       printf ("\n%08llx: ZLIB block descriptor %d\n", blockinfo_ofs, i + 1);
1394
1395       printf ("\tuncompressed_ofs: 0x%llx\n", uncompressed_ofs);
1396       if (uncompressed_ofs != expected_uncmp_ofs)
1397         printf ("\t\t(Expected 0x%llx.)\n", ofs);
1398
1399       printf ("\tcompressed_ofs: 0x%llx\n", compressed_ofs);
1400       if (compressed_ofs != expected_cmp_ofs)
1401         printf ("\t\t(Expected 0x%llx.)\n", ofs + 24);
1402
1403       printf ("\tuncompressed_size: 0x%x\n", uncompressed_size);
1404       if (i < n_blocks - 1 && uncompressed_size != block_size)
1405         printf ("\t\t(Expected 0x%x.)\n", block_size);
1406
1407       printf ("\tcompressed_size: 0x%x\n", compressed_size);
1408       if (i == n_blocks - 1 && compressed_ofs + compressed_size != next_ofs)
1409         printf ("\t\t(This was expected to be 0x%llx.)\n",
1410                 next_ofs - compressed_size);
1411
1412       expected_uncmp_ofs += uncompressed_size;
1413       expected_cmp_ofs += compressed_size;
1414     }
1415 }
1416 \f
1417 /* Helpers for reading records that consist of structured text
1418    strings. */
1419
1420 /* State. */
1421 struct text_record
1422   {
1423     struct sfm_reader *reader;  /* Reader. */
1424     char *buffer;               /* Record contents. */
1425     size_t size;                /* Size of buffer. */
1426     size_t pos;                 /* Current position in buffer. */
1427   };
1428
1429 /* Reads SIZE * COUNT bytes into a text record for R,
1430    and returns the new text record. */
1431 static struct text_record *
1432 open_text_record (struct sfm_reader *r, size_t size, size_t count)
1433 {
1434   struct text_record *text = xmalloc (sizeof *text);
1435
1436   if (size_overflow_p (xsum (1, xtimes (size, count))))
1437     sys_error (r, "Extension record too large.");
1438
1439   size_t n_bytes = size * count;
1440   char *buffer = xmalloc (n_bytes + 1);
1441   read_bytes (r, buffer, n_bytes);
1442   buffer[n_bytes] = '\0';
1443   text->reader = r;
1444   text->buffer = buffer;
1445   text->size = n_bytes;
1446   text->pos = 0;
1447   return text;
1448 }
1449
1450 /* Closes TEXT and frees its storage.
1451    Not really needed, because the pool will free the text record anyway,
1452    but can be used to free it earlier. */
1453 static void
1454 close_text_record (struct text_record *text)
1455 {
1456   free (text->buffer);
1457   free (text);
1458 }
1459
1460 static char *
1461 text_tokenize (struct text_record *text, int delimiter)
1462 {
1463   size_t start = text->pos;
1464   while (text->pos < text->size
1465          && text->buffer[text->pos] != delimiter
1466          && text->buffer[text->pos] != '\0')
1467     text->pos++;
1468   if (start == text->pos)
1469     return NULL;
1470   text->buffer[text->pos++] = '\0';
1471   return &text->buffer[start];
1472 }
1473
1474 static bool
1475 text_match (struct text_record *text, int c)
1476 {
1477   if (text->pos < text->size && text->buffer[text->pos] == c)
1478     {
1479       text->pos++;
1480       return true;
1481     }
1482   else
1483     return false;
1484 }
1485
1486 /* Reads a integer value expressed in decimal, then a space, then a string that
1487    consists of exactly as many bytes as specified by the integer, then a space,
1488    from TEXT.  Returns the string, null-terminated, as a subset of TEXT's
1489    buffer (so the caller should not free the string). */
1490 static const char *
1491 text_parse_counted_string (struct text_record *text)
1492 {
1493   size_t start;
1494   size_t n;
1495   char *s;
1496
1497   start = text->pos;
1498   n = 0;
1499   while (isdigit ((unsigned char) text->buffer[text->pos]))
1500     n = (n * 10) + (text->buffer[text->pos++] - '0');
1501   if (start == text->pos)
1502     {
1503       sys_error (text->reader, "expecting digit at offset %zu in record",
1504                  text->pos);
1505       return NULL;
1506     }
1507
1508   if (!text_match (text, ' '))
1509     {
1510       sys_error (text->reader, "expecting space at offset %zu in record",
1511                  text->pos);
1512       return NULL;
1513     }
1514
1515   if (text->pos + n > text->size)
1516     {
1517       sys_error (text->reader, "%zu-byte string starting at offset %zu "
1518                  "exceeds record length %zu", n, text->pos, text->size);
1519       return NULL;
1520     }
1521
1522   s = &text->buffer[text->pos];
1523   if (s[n] != ' ')
1524     {
1525       sys_error (text->reader, "expecting space at offset %zu following "
1526                  "%zu-byte string", text->pos + n, n);
1527       return NULL;
1528     }
1529   s[n] = '\0';
1530   text->pos += n + 1;
1531   return s;
1532 }
1533
1534 /* Reads a variable=value pair from TEXT.
1535    Looks up the variable in DICT and stores it into *VAR.
1536    Stores a null-terminated value into *VALUE. */
1537 static bool
1538 read_variable_to_value_pair (struct text_record *text,
1539                              char **key, char **value)
1540 {
1541   *key = text_tokenize (text, '=');
1542   *value = text_tokenize (text, '\t');
1543   if (!*key || !*value)
1544     return false;
1545
1546   while (text->pos < text->size
1547          && (text->buffer[text->pos] == '\t'
1548              || text->buffer[text->pos] == '\0'))
1549     text->pos++;
1550   return true;
1551 }
1552
1553 /* Returns the current byte offset inside the TEXT's string. */
1554 static size_t
1555 text_pos (const struct text_record *text)
1556 {
1557   return text->pos;
1558 }
1559
1560 static const char *
1561 text_get_all (const struct text_record *text)
1562 {
1563   return text->buffer;
1564 }
1565 \f
1566 static void
1567 usage (void)
1568 {
1569   printf ("\
1570 %s, a utility for dissecting system files.\n\
1571 Usage: %s [OPTION]... SYSFILE...\n\
1572 where each SYSFILE is the name of a system file.\n\
1573 \n\
1574 Options:\n\
1575   --data[=MAXCASES]   print (up to MAXCASES cases of) compressed data\n\
1576   --help              display this help and exit\n\
1577   --version           output version information and exit\n",
1578           program_name, program_name);
1579 }
1580
1581 /* Displays a corruption message. */
1582 static void
1583 sys_msg (struct sfm_reader *r, const char *format, va_list args)
1584 {
1585   printf ("\"%s\" near offset 0x%llx: ",
1586           r->file_name, (long long int) ftello (r->file));
1587   vprintf (format, args);
1588   putchar ('\n');
1589 }
1590
1591 /* Displays a warning for the current file position. */
1592 static void
1593 sys_warn (struct sfm_reader *r, const char *format, ...)
1594 {
1595   va_list args;
1596
1597   va_start (args, format);
1598   sys_msg (r, format, args);
1599   va_end (args);
1600 }
1601
1602 /* Displays an error for the current file position,
1603    marks it as in an error state,
1604    and aborts reading it using longjmp. */
1605 static void
1606 sys_error (struct sfm_reader *r, const char *format, ...)
1607 {
1608   va_list args;
1609
1610   va_start (args, format);
1611   sys_msg (r, format, args);
1612   va_end (args);
1613
1614   exit (EXIT_FAILURE);
1615 }
1616 \f
1617 /* Reads BYTE_CNT bytes into BUF.
1618    Returns true if exactly BYTE_CNT bytes are successfully read.
1619    Aborts if an I/O error or a partial read occurs.
1620    If EOF_IS_OK, then an immediate end-of-file causes false to be
1621    returned; otherwise, immediate end-of-file causes an abort
1622    too. */
1623 static inline bool
1624 read_bytes_internal (struct sfm_reader *r, bool eof_is_ok,
1625                      void *buf, size_t n_bytes)
1626 {
1627   size_t bytes_read = fread (buf, 1, n_bytes, r->file);
1628   if (bytes_read == n_bytes)
1629     return true;
1630   else if (ferror (r->file))
1631     sys_error (r, "System error: %s.", strerror (errno));
1632   else if (!eof_is_ok || bytes_read != 0)
1633     sys_error (r, "Unexpected end of file.");
1634   else
1635     return false;
1636 }
1637
1638 /* Reads BYTE_CNT into BUF.
1639    Aborts upon I/O error or if end-of-file is encountered. */
1640 static void
1641 read_bytes (struct sfm_reader *r, void *buf, size_t n_bytes)
1642 {
1643   read_bytes_internal (r, false, buf, n_bytes);
1644 }
1645
1646 /* Reads BYTE_CNT bytes into BUF.
1647    Returns true if exactly BYTE_CNT bytes are successfully read.
1648    Returns false if an immediate end-of-file is encountered.
1649    Aborts if an I/O error or a partial read occurs. */
1650 static bool
1651 try_read_bytes (struct sfm_reader *r, void *buf, size_t n_bytes)
1652 {
1653   return read_bytes_internal (r, true, buf, n_bytes);
1654 }
1655
1656 /* Reads a 32-bit signed integer from R and returns its value in
1657    host format. */
1658 static int
1659 read_int (struct sfm_reader *r)
1660 {
1661   uint8_t integer[4];
1662   read_bytes (r, integer, sizeof integer);
1663   return integer_get (r->integer_format, integer, sizeof integer);
1664 }
1665
1666 /* Reads a 64-bit signed integer from R and returns its value in
1667    host format. */
1668 static int64_t
1669 read_int64 (struct sfm_reader *r)
1670 {
1671   uint8_t integer[8];
1672   read_bytes (r, integer, sizeof integer);
1673   return integer_get (r->integer_format, integer, sizeof integer);
1674 }
1675
1676 /* Reads a 64-bit floating-point number from R and returns its
1677    value in host format. */
1678 static double
1679 read_float (struct sfm_reader *r)
1680 {
1681   uint8_t number[8];
1682   read_bytes (r, number, sizeof number);
1683   return float_get_double (r->float_format, number);
1684 }
1685
1686 /* Reads exactly SIZE - 1 bytes into BUFFER
1687    and stores a null byte into BUFFER[SIZE - 1]. */
1688 static void
1689 read_string (struct sfm_reader *r, char *buffer, size_t size)
1690 {
1691   assert (size > 0);
1692   read_bytes (r, buffer, size - 1);
1693   buffer[size - 1] = '\0';
1694 }
1695
1696 /* Skips BYTES bytes forward in R. */
1697 static void
1698 skip_bytes (struct sfm_reader *r, size_t bytes)
1699 {
1700   while (bytes > 0)
1701     {
1702       char buffer[1024];
1703       size_t chunk = MIN (sizeof buffer, bytes);
1704       read_bytes (r, buffer, chunk);
1705       bytes -= chunk;
1706     }
1707 }
1708
1709 static void
1710 trim_spaces (char *s)
1711 {
1712   char *end = strchr (s, '\0');
1713   while (end > s && end[-1] == ' ')
1714     end--;
1715   *end = '\0';
1716 }
1717
1718 static void
1719 print_string (const char *s, size_t len)
1720 {
1721   if (memchr (s, 0, len) == 0)
1722     {
1723       size_t i;
1724
1725       for (i = 0; i < len; i++)
1726         {
1727           unsigned char c = s[i];
1728
1729           if (c == '\\')
1730             printf ("\\\\");
1731           else if (c == '\n' || isprint (c))
1732             putchar (c);
1733           else
1734             printf ("\\%02x", c);
1735         }
1736       putchar ('\n');
1737     }
1738   else
1739     hex_dump (0, s, len);
1740 }