Fixed crash calculating trimmed mean with missing values.
[pspp-builds.git] / tests / dissect-sysfile.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 2007, 2008, 2009 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include <ctype.h>
20 #include <errno.h>
21 #include <inttypes.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24
25 #include <data/val-type.h>
26 #include <libpspp/compiler.h>
27 #include <libpspp/float-format.h>
28 #include <libpspp/integer-format.h>
29 #include <libpspp/misc.h>
30
31 #include "error.h"
32 #include "minmax.h"
33 #include "progname.h"
34 #include "xalloc.h"
35
36 #include "gettext.h"
37 #define _(msgid) gettext (msgid)
38
39 struct sfm_reader
40   {
41     const char *file_name;
42     FILE *file;
43
44     int n_variable_records, n_variables;
45
46     enum integer_format integer_format;
47     enum float_format float_format;
48   };
49
50 static void read_header (struct sfm_reader *);
51 static void read_variable_record (struct sfm_reader *);
52 static void read_value_label_record (struct sfm_reader *);
53 static void read_document_record (struct sfm_reader *);
54 static void read_extension_record (struct sfm_reader *);
55 static void read_machine_integer_info (struct sfm_reader *,
56                                        size_t size, size_t count);
57 static void read_machine_float_info (struct sfm_reader *,
58                                      size_t size, size_t count);
59 static void read_display_parameters (struct sfm_reader *,
60                                      size_t size, size_t count);
61 static void read_long_var_name_map (struct sfm_reader *r,
62                                     size_t size, size_t count);
63 static void read_long_string_map (struct sfm_reader *r,
64                                   size_t size, size_t count);
65 static void read_datafile_attributes (struct sfm_reader *r,
66                                       size_t size, size_t count);
67 static void read_variable_attributes (struct sfm_reader *r,
68                                       size_t size, size_t count);
69 static void read_character_encoding (struct sfm_reader *r,
70                                        size_t size, size_t count);
71
72
73 static struct text_record *open_text_record (
74   struct sfm_reader *, size_t size);
75 static void close_text_record (struct text_record *);
76 static bool read_variable_to_value_pair (struct text_record *,
77                                          char **key, char **value);
78 static char *text_tokenize (struct text_record *, int delimiter);
79 static bool text_match (struct text_record *text, int c);
80
81 static void usage (int exit_code);
82 static void sys_warn (struct sfm_reader *, const char *, ...)
83      PRINTF_FORMAT (2, 3);
84 static void sys_error (struct sfm_reader *, const char *, ...)
85      PRINTF_FORMAT (2, 3)
86      NO_RETURN;
87
88 static void read_bytes (struct sfm_reader *, void *, size_t);
89 static int read_int (struct sfm_reader *);
90 static double read_float (struct sfm_reader *);
91 static void read_string (struct sfm_reader *, char *, size_t);
92 static void skip_bytes (struct sfm_reader *, size_t);
93 static void trim_spaces (char *);
94
95 int
96 main (int argc, char *argv[])
97 {
98   struct sfm_reader r;
99   int i;
100
101   set_program_name (argv[0]);
102   if (argc < 2)
103     usage (EXIT_FAILURE);
104
105   for (i = 1; i < argc; i++) 
106     {
107       int rec_type;
108
109       r.file_name = argv[i];
110       r.file = fopen (r.file_name, "rb");
111       if (r.file == NULL)
112         error (EXIT_FAILURE, errno, "error opening \"%s\"", r.file_name);
113       r.n_variable_records = 0;
114       r.n_variables = 0;
115
116       if (argc > 2)
117         printf ("Reading \"%s\":\n", r.file_name);
118       
119       read_header (&r);
120       while ((rec_type = read_int (&r)) != 999)
121         {
122           switch (rec_type)
123             {
124             case 2:
125               read_variable_record (&r);
126               break;
127
128             case 3:
129               read_value_label_record (&r);
130               break;
131
132             case 4:
133               sys_error (&r, _("Misplaced type 4 record."));
134
135             case 6:
136               read_document_record (&r);
137               break;
138
139             case 7:
140               read_extension_record (&r);
141               break;
142
143             default:
144               sys_error (&r, _("Unrecognized record type %d."), rec_type);
145             }
146         }
147       printf ("%08lx: end-of-dictionary record "
148               "(first byte of data at %08lx)\n",
149               ftell (r.file), ftell (r.file) + 4);
150
151       fclose (r.file);
152     }
153   
154   return 0;
155 }
156
157 static void
158 read_header (struct sfm_reader *r)
159 {
160   char rec_type[5];
161   char eye_catcher[61];
162   uint8_t raw_layout_code[4];
163   int32_t layout_code;
164   int32_t nominal_case_size;
165   int32_t compressed;
166   int32_t weight_index;
167   int32_t ncases;
168   uint8_t raw_bias[8];
169   double bias;
170   char creation_date[10];
171   char creation_time[9];
172   char file_label[65];
173
174   read_string (r, rec_type, sizeof rec_type);
175   read_string (r, eye_catcher, sizeof eye_catcher);
176
177   if (strcmp ("$FL2", rec_type) != 0)
178     sys_error (r, _("This is not an SPSS system file."));
179
180   /* Identify integer format. */
181   read_bytes (r, raw_layout_code, sizeof raw_layout_code);
182   if ((!integer_identify (2, raw_layout_code, sizeof raw_layout_code,
183                           &r->integer_format)
184        && !integer_identify (3, raw_layout_code, sizeof raw_layout_code,
185                              &r->integer_format))
186       || (r->integer_format != INTEGER_MSB_FIRST
187           && r->integer_format != INTEGER_LSB_FIRST))
188     sys_error (r, _("This is not an SPSS system file."));
189   layout_code = integer_get (r->integer_format,
190                              raw_layout_code, sizeof raw_layout_code);
191
192   nominal_case_size = read_int (r);
193   compressed = read_int (r) != 0;
194   weight_index = read_int (r);
195   ncases = read_int (r);
196
197   /* Identify floating-point format and obtain compression bias. */
198   read_bytes (r, raw_bias, sizeof raw_bias);
199   if (float_identify (100.0, raw_bias, sizeof raw_bias, &r->float_format) == 0)
200     {
201       sys_warn (r, _("Compression bias is not the usual "
202                      "value of 100, or system file uses unrecognized "
203                      "floating-point format."));
204       if (r->integer_format == INTEGER_MSB_FIRST)
205         r->float_format = FLOAT_IEEE_DOUBLE_BE;
206       else
207         r->float_format = FLOAT_IEEE_DOUBLE_LE;
208     }
209   bias = float_get_double (r->float_format, raw_bias);
210
211   read_string (r, creation_date, sizeof creation_date);
212   read_string (r, creation_time, sizeof creation_time);
213   read_string (r, file_label, sizeof file_label);
214   trim_spaces (file_label);
215   skip_bytes (r, 3);
216
217   printf ("File header record:\n");
218   printf ("\t%17s: %s\n", "Product name", eye_catcher);
219   printf ("\t%17s: %"PRId32"\n", "Layout code", layout_code);
220   printf ("\t%17s: %"PRId32"\n", "Compressed", compressed);
221   printf ("\t%17s: %"PRId32"\n", "Weight index", weight_index);
222   printf ("\t%17s: %"PRId32"\n", "Number of cases", ncases);
223   printf ("\t%17s: %g\n", "Compression bias", bias);
224   printf ("\t%17s: %s\n", "Creation date", creation_date);
225   printf ("\t%17s: %s\n", "Creation time", creation_time);
226   printf ("\t%17s: \"%s\"\n", "File label", file_label);
227 }
228
229 static const char *
230 format_name (int format)
231 {
232   switch ((format >> 16) & 0xff)
233     {
234     case 1: return "A";
235     case 2: return "AHEX";
236     case 3: return "COMMA";
237     case 4: return "DOLLAR";
238     case 5: return "F";
239     case 6: return "IB";
240     case 7: return "PIBHEX";
241     case 8: return "P";
242     case 9: return "PIB";
243     case 10: return "PK";
244     case 11: return "RB";
245     case 12: return "RBHEX";
246     case 15: return "Z";
247     case 16: return "N";
248     case 17: return "E";
249     case 20: return "DATE";
250     case 21: return "TIME";
251     case 22: return "DATETIME";
252     case 23: return "ADATE";
253     case 24: return "JDATE";
254     case 25: return "DTIME";
255     case 26: return "WKDAY";
256     case 27: return "MONTH";
257     case 28: return "MOYR";
258     case 29: return "QYR";
259     case 30: return "WKYR";
260     case 31: return "PCT";
261     case 32: return "DOT";
262     case 33: return "CCA";
263     case 34: return "CCB";
264     case 35: return "CCC";
265     case 36: return "CCD";
266     case 37: return "CCE";
267     case 38: return "EDATE";
268     case 39: return "SDATE";
269     default: return "invalid";
270     }
271 }
272
273 /* Reads a variable (type 2) record from R and adds the
274    corresponding variable to DICT.
275    Also skips past additional variable records for long string
276    variables. */
277 static void
278 read_variable_record (struct sfm_reader *r)
279 {
280   int width;
281   int has_variable_label;
282   int missing_value_code;
283   int print_format;
284   int write_format;
285   char name[9];
286
287   printf ("%08lx: variable record #%d\n",
288           ftell (r->file), r->n_variable_records++);
289
290   width = read_int (r);
291   has_variable_label = read_int (r);
292   missing_value_code = read_int (r);
293   print_format = read_int (r);
294   write_format = read_int (r);
295   read_string (r, name, sizeof name);
296   name[strcspn (name, " ")] = '\0';
297
298   if (width >= 0)
299     r->n_variables++;
300
301   printf ("\tWidth: %d (%s)\n",
302           width,
303           width > 0 ? "string"
304           : width == 0 ? "numeric"
305           : "long string continuation record");
306   printf ("\tVariable label: %d\n", has_variable_label);
307   printf ("\tMissing values code: %d (%s)\n", missing_value_code,
308           (missing_value_code == 0 ? "no missing values"
309            : missing_value_code == 1 ? "one missing value"
310            : missing_value_code == 2 ? "two missing values"
311            : missing_value_code == 3 ? "three missing values"
312            : missing_value_code == -2 ? "one missing value range"
313            : missing_value_code == -3 ? "one missing value, one range"
314            : "bad value"));
315   printf ("\tPrint format: %06x (%s%d.%d)\n",
316           print_format, format_name (print_format),
317           (print_format >> 8) & 0xff, print_format & 0xff);
318   printf ("\tWrite format: %06x (%s%d.%d)\n",
319           write_format, format_name (write_format),
320           (write_format >> 8) & 0xff, write_format & 0xff);
321   printf ("\tName: %s\n", name);
322
323   /* Get variable label, if any. */
324   if (has_variable_label != 0 && has_variable_label != 1)
325     sys_error (r, _("Variable label indicator field is not 0 or 1."));
326   if (has_variable_label == 1)
327     {
328       long int offset = ftell (r->file);
329       size_t len;
330       char label[255 + 1];
331
332       len = read_int (r);
333       if (len >= sizeof label)
334         sys_error (r, _("Variable %s has label of invalid length %zu."),
335                    name, len);
336       read_string (r, label, len + 1);
337       printf("\t%08lx Variable label: \"%s\"\n", offset, label);
338
339       skip_bytes (r, ROUND_UP (len, 4) - len);
340     }
341
342   /* Set missing values. */
343   if (missing_value_code != 0)
344     {
345       int i;
346
347       printf ("\t%08lx Missing values:", ftell (r->file));
348       if (!width)
349         {
350           if (missing_value_code < -3 || missing_value_code > 3
351               || missing_value_code == -1)
352             sys_error (r, _("Numeric missing value indicator field is not "
353                             "-3, -2, 0, 1, 2, or 3."));
354           if (missing_value_code < 0)
355             {
356               double low = read_float (r);
357               double high = read_float (r);
358               printf (" %g...%g", low, high);
359               missing_value_code = -missing_value_code - 2;
360             }
361           for (i = 0; i < missing_value_code; i++)
362             printf (" %g", read_float (r));
363         }
364       else if (width > 0)
365         {
366           if (missing_value_code < 1 || missing_value_code > 3)
367             sys_error (r, _("String missing value indicator field is not "
368                             "0, 1, 2, or 3."));
369           for (i = 0; i < missing_value_code; i++)
370             {
371               char string[9];
372               read_string (r, string, sizeof string);
373               printf (" \"%s\"", string);
374             }
375         }
376       putchar ('\n');
377     }
378 }
379
380 /* Reads value labels from sysfile R and inserts them into the
381    associated dictionary. */
382 static void
383 read_value_label_record (struct sfm_reader *r)
384 {
385   int label_cnt, var_cnt;
386   int i;
387
388   printf ("%08lx: value labels record\n", ftell (r->file));
389
390   /* Read number of labels. */
391   label_cnt = read_int (r);
392   for (i = 0; i < label_cnt; i++)
393     {
394       char raw_value[8];
395       double value;
396       int n_printable;
397       unsigned char label_len;
398       size_t padded_len;
399       char label[256];
400
401       read_bytes (r, raw_value, sizeof raw_value);
402       value = float_get_double (r->float_format, raw_value);
403       for (n_printable = 0; n_printable < sizeof raw_value; n_printable++)
404         if (!isprint (raw_value[n_printable]))
405           break;
406
407       /* Read label length. */
408       read_bytes (r, &label_len, sizeof label_len);
409       padded_len = ROUND_UP (label_len + 1, 8);
410
411       /* Read label, padding. */
412       read_bytes (r, label, padded_len - 1);
413       label[label_len] = 0;
414
415       printf ("\t%g/\"%.*s\": \"%s\"\n", value, n_printable, raw_value, label);
416     }
417
418   /* Now, read the type 4 record that has the list of variables
419      to which the value labels are to be applied. */
420
421   /* Read record type of type 4 record. */
422   if (read_int (r) != 4)
423     sys_error (r, _("Variable index record (type 4) does not immediately "
424                     "follow value label record (type 3) as it should."));
425
426   /* Read number of variables associated with value label from type 4
427      record. */
428   printf ("\t%08lx: apply to variables", ftell (r->file));
429   var_cnt = read_int (r);
430   for (i = 0; i < var_cnt; i++)
431     printf (" #%d", read_int (r));
432   putchar ('\n');
433 }
434
435 static void
436 read_document_record (struct sfm_reader *r)
437 {
438   int n_lines;
439   int i;
440
441   printf ("%08lx: document record\n", ftell (r->file));
442   n_lines = read_int (r);
443   printf ("\t%d lines of documents\n", n_lines);
444
445   for (i = 0; i < n_lines; i++)
446     {
447       char line[81];
448       printf ("\t%08lx: ", ftell (r->file));
449       read_string (r, line, sizeof line);
450       trim_spaces (line);
451       printf ("line %d: \"%s\"\n", i, line);
452     }
453 }
454
455 static void
456 read_extension_record (struct sfm_reader *r)
457 {
458   long int offset = ftell (r->file);
459   int subtype = read_int (r);
460   size_t size = read_int (r);
461   size_t count = read_int (r);
462   size_t bytes = size * count;
463
464   printf ("%08lx: Record 7, subtype %d, size=%zu, count=%zu\n",
465           offset, subtype, size, count);
466
467   switch (subtype)
468     {
469     case 3:
470       read_machine_integer_info (r, size, count);
471       return;
472
473     case 4:
474       read_machine_float_info (r, size, count);
475       return;
476
477     case 5:
478       /* Variable sets information.  We don't use these yet.
479          They only apply to GUIs; see VARSETS on the APPLY
480          DICTIONARY command in SPSS documentation. */
481       break;
482
483     case 6:
484       /* DATE variable information.  We don't use it yet, but we
485          should. */
486       break;
487
488     case 7:
489       /* Unknown purpose. */
490       break;
491
492     case 11:
493       read_display_parameters (r, size, count);
494       return;
495
496     case 13:
497       read_long_var_name_map (r, size, count);
498       return;
499
500     case 14:
501       read_long_string_map (r, size, count);
502       return;
503
504     case 16:
505       /* New in SPSS v14?  Unknown purpose.  */
506       break;
507
508     case 17:
509       read_datafile_attributes (r, size, count);
510       return;
511
512     case 18:
513       read_variable_attributes (r, size, count);
514       return;
515
516     case 20:
517       read_character_encoding (r, size, count);
518       return;
519
520     default:
521       sys_warn (r, _("Unrecognized record type 7, subtype %d."), subtype);
522       break;
523     }
524
525   skip_bytes (r, bytes);
526 }
527
528 static void
529 read_machine_integer_info (struct sfm_reader *r, size_t size, size_t count)
530 {
531   long int offset = ftell (r->file);
532   int version_major = read_int (r);
533   int version_minor = read_int (r);
534   int version_revision = read_int (r);
535   int machine_code = read_int (r);
536   int float_representation = read_int (r);
537   int compression_code = read_int (r);
538   int integer_representation = read_int (r);
539   int character_code = read_int (r);
540
541   printf ("%08lx: machine integer info\n", offset);
542   if (size != 4 || count != 8)
543     sys_error (r, _("Bad size (%zu) or count (%zu) field on record type 7, "
544                     "subtype 3."),
545                 size, count);
546
547   printf ("\tVersion: %d.%d.%d\n",
548           version_major, version_minor, version_revision);
549   printf ("\tMachine code: %d\n", machine_code);
550   printf ("\tFloating point representation: %d (%s)\n",
551           float_representation,
552           float_representation == 1 ? "IEEE 754"
553           : float_representation == 2 ? "IBM 370"
554           : float_representation == 3 ? "DEC VAX"
555           : "unknown");
556   printf ("\tCompression code: %d\n", compression_code);
557   printf ("\tEndianness: %d (%s)\n", integer_representation,
558           integer_representation == 1 ? "big"
559           : integer_representation == 2 ? "little" : "unknown");
560   printf ("\tCharacter code: %d\n", character_code);
561 }
562
563 /* Read record type 7, subtype 4. */
564 static void
565 read_machine_float_info (struct sfm_reader *r, size_t size, size_t count)
566 {
567   long int offset = ftell (r->file);
568   double sysmis = read_float (r);
569   double highest = read_float (r);
570   double lowest = read_float (r);
571
572   printf ("%08lx: machine float info\n", offset);
573   if (size != 8 || count != 3)
574     sys_error (r, _("Bad size (%zu) or count (%zu) on extension 4."),
575                size, count);
576
577   printf ("\tsysmis: %g\n", sysmis);
578   if (sysmis != SYSMIS)
579     sys_warn (r, _("File specifies unexpected value %g as SYSMIS."), sysmis);
580   printf ("\thighest: %g\n", highest);
581   if (highest != HIGHEST)
582     sys_warn (r, _("File specifies unexpected value %g as HIGHEST."), highest);
583   printf ("\tlowest: %g\n", lowest);
584   if (lowest != LOWEST)
585     sys_warn (r, _("File specifies unexpected value %g as LOWEST."), lowest);
586 }
587
588 /* Read record type 7, subtype 11. */
589 static void
590 read_display_parameters (struct sfm_reader *r, size_t size, size_t count)
591 {
592   size_t n_vars;
593   bool includes_width;
594   size_t i;
595
596   printf ("%08lx: variable display parameters\n", ftell (r->file));
597   if (size != 4)
598     {
599       sys_warn (r, _("Bad size %zu on extension 11."), size);
600       skip_bytes (r, size * count);
601       return;
602     }
603
604   n_vars = r->n_variables;
605   if (count == 3 * n_vars)
606     includes_width = true;
607   else if (count == 2 * n_vars)
608     includes_width = false;
609   else
610     {
611       sys_warn (r, _("Extension 11 has bad count %zu (for %zu variables)."),
612                 count, n_vars);
613       skip_bytes (r, size * count);
614       return;
615     }
616
617   for (i = 0; i < n_vars; ++i)
618     {
619       int measure = read_int (r);
620       int width = includes_width ? read_int (r) : 0;
621       int align = read_int (r);
622
623       printf ("\tVar #%zu: measure=%d (%s)", i, measure,
624               (measure == 1 ? "nominal"
625                : measure == 2 ? "ordinal"
626                : measure == 3 ? "scale"
627                : "invalid"));
628       if (includes_width)
629         printf (", width=%d", width);
630       printf (", align=%d (%s)\n", align,
631               (align == 0 ? "left"
632                : align == 1 ? "right"
633                : align == 2 ? "centre"
634                : "invalid"));
635     }
636 }
637
638 /* Reads record type 7, subtype 13, which gives the long name
639    that corresponds to each short name.  */
640 static void
641 read_long_var_name_map (struct sfm_reader *r, size_t size, size_t count)
642 {
643   struct text_record *text;
644   char *var;
645   char *long_name;
646
647   printf ("%08lx: long variable names (short => long)\n", ftell (r->file));
648   text = open_text_record (r, size * count);
649   while (read_variable_to_value_pair (text, &var, &long_name))
650     printf ("\t%s => %s\n", var, long_name);
651   close_text_record (text);
652 }
653
654 /* Reads record type 7, subtype 14, which gives the real length
655    of each very long string.  Rearranges DICT accordingly. */
656 static void
657 read_long_string_map (struct sfm_reader *r, size_t size, size_t count)
658 {
659   struct text_record *text;
660   char *var;
661   char *length_s;
662
663   printf ("%08lx: very long strings (variable => length)\n", ftell (r->file));
664   text = open_text_record (r, size * count);
665   while (read_variable_to_value_pair (text, &var, &length_s))
666     printf ("\t%s => %d\n", var, atoi (length_s));
667   close_text_record (text);
668 }
669
670 static bool
671 read_attributes (struct sfm_reader *r, struct text_record *text,
672                  const char *variable)
673 {
674   const char *key;
675   int index;
676
677   for (;;) 
678     {
679       key = text_tokenize (text, '(');
680       if (key == NULL)
681         return true;
682   
683       for (index = 1; ; index++)
684         {
685           /* Parse the value. */
686           const char *value = text_tokenize (text, '\n');
687           if (value == NULL) 
688             {
689               sys_warn (r, _("%s: Error parsing attribute value %s[%d]"),
690                         variable, key, index);
691               return false;
692             }
693           if (strlen (value) < 2
694               || value[0] != '\'' || value[strlen (value) - 1] != '\'')
695             sys_warn (r, _("%s: Attribute value %s[%d] is not quoted: %s"),
696                       variable, key, index, value);
697           else
698             printf ("\t%s: %s[%d] = \"%.*s\"\n",
699                     variable, key, index, (int) strlen (value) - 2, value + 1);
700
701           /* Was this the last value for this attribute? */
702           if (text_match (text, ')'))
703             break;
704         }
705
706       if (text_match (text, '/'))
707         return true; 
708     }
709 }
710
711 static void
712 read_datafile_attributes (struct sfm_reader *r, size_t size, size_t count) 
713 {
714   struct text_record *text;
715   
716   printf ("%08lx: datafile attributes\n", ftell (r->file));
717   text = open_text_record (r, size * count);
718   read_attributes (r, text, "datafile");
719   close_text_record (text);
720 }
721
722 static void
723 read_character_encoding (struct sfm_reader *r, size_t size, size_t count)
724 {
725   const unsigned long int posn =  ftell (r->file);
726   char *encoding = xcalloc (size, count + 1);
727   read_string (r, encoding, count + 1);
728
729   printf ("%08lx: Character Encoding: %s\n", posn, encoding);
730 }
731
732
733 static void
734 read_variable_attributes (struct sfm_reader *r, size_t size, size_t count) 
735 {
736   struct text_record *text;
737   
738   printf ("%08lx: variable attributes\n", ftell (r->file));
739   text = open_text_record (r, size * count);
740   for (;;) 
741     {
742       const char *variable = text_tokenize (text, ':');
743       if (variable == NULL || !read_attributes (r, text, variable))
744         break; 
745     }
746   close_text_record (text);
747 }
748 \f
749 /* Helpers for reading records that consist of structured text
750    strings. */
751
752 /* State. */
753 struct text_record
754   {
755     char *buffer;               /* Record contents. */
756     size_t size;                /* Size of buffer. */
757     size_t pos;                 /* Current position in buffer. */
758   };
759
760 /* Reads SIZE bytes into a text record for R,
761    and returns the new text record. */
762 static struct text_record *
763 open_text_record (struct sfm_reader *r, size_t size)
764 {
765   struct text_record *text = xmalloc (sizeof *text);
766   char *buffer = xmalloc (size + 1);
767   read_bytes (r, buffer, size);
768   text->buffer = buffer;
769   text->size = size;
770   text->pos = 0;
771   return text;
772 }
773
774 /* Closes TEXT and frees its storage.
775    Not really needed, because the pool will free the text record anyway,
776    but can be used to free it earlier. */
777 static void
778 close_text_record (struct text_record *text)
779 {
780   free (text->buffer);
781   free (text);
782 }
783
784 static char *
785 text_tokenize (struct text_record *text, int delimiter)
786 {
787   size_t start = text->pos;
788   while (text->pos < text->size
789          && text->buffer[text->pos] != delimiter
790          && text->buffer[text->pos] != '\0')
791     text->pos++;
792   if (text->pos == text->size)
793     return NULL;
794   text->buffer[text->pos++] = '\0';
795   return &text->buffer[start];
796 }
797
798 static bool
799 text_match (struct text_record *text, int c) 
800 {
801   if (text->pos < text->size && text->buffer[text->pos] == c) 
802     {
803       text->pos++;
804       return true;
805     }
806   else
807     return false;
808 }
809
810 /* Reads a variable=value pair from TEXT.
811    Looks up the variable in DICT and stores it into *VAR.
812    Stores a null-terminated value into *VALUE. */
813 static bool
814 read_variable_to_value_pair (struct text_record *text,
815                              char **key, char **value)
816 {
817   *key = text_tokenize (text, '=');
818   *value = text_tokenize (text, '\t');
819   if (!*key || !*value)
820     return false;
821
822   while (text->pos < text->size
823          && (text->buffer[text->pos] == '\t'
824              || text->buffer[text->pos] == '\0'))
825     text->pos++;
826   return true;
827 }
828 \f
829 static void
830 usage (int exit_code)
831 {
832   printf ("usage: %s SYSFILE...\n"
833           "where each SYSFILE is the name of a system file\n",
834           program_name);
835   exit (exit_code);
836 }
837
838 /* Displays a corruption message. */
839 static void
840 sys_msg (struct sfm_reader *r, const char *format, va_list args)
841 {
842   printf ("\"%s\" near offset 0x%lx: ",
843           r->file_name, (unsigned long) ftell (r->file));
844   vprintf (format, args);
845   putchar ('\n');
846 }
847
848 /* Displays a warning for the current file position. */
849 static void
850 sys_warn (struct sfm_reader *r, const char *format, ...)
851 {
852   va_list args;
853
854   va_start (args, format);
855   sys_msg (r, format, args);
856   va_end (args);
857 }
858
859 /* Displays an error for the current file position,
860    marks it as in an error state,
861    and aborts reading it using longjmp. */
862 static void
863 sys_error (struct sfm_reader *r, const char *format, ...)
864 {
865   va_list args;
866
867   va_start (args, format);
868   sys_msg (r, format, args);
869   va_end (args);
870
871   exit (EXIT_FAILURE);
872 }
873 \f
874 /* Reads BYTE_CNT bytes into BUF.
875    Returns true if exactly BYTE_CNT bytes are successfully read.
876    Aborts if an I/O error or a partial read occurs.
877    If EOF_IS_OK, then an immediate end-of-file causes false to be
878    returned; otherwise, immediate end-of-file causes an abort
879    too. */
880 static inline bool
881 read_bytes_internal (struct sfm_reader *r, bool eof_is_ok,
882                      void *buf, size_t byte_cnt)
883 {
884   size_t bytes_read = fread (buf, 1, byte_cnt, r->file);
885   if (bytes_read == byte_cnt)
886     return true;
887   else if (ferror (r->file))
888     sys_error (r, _("System error: %s."), strerror (errno));
889   else if (!eof_is_ok || bytes_read != 0)
890     sys_error (r, _("Unexpected end of file."));
891   else
892     return false;
893 }
894
895 /* Reads BYTE_CNT into BUF.
896    Aborts upon I/O error or if end-of-file is encountered. */
897 static void
898 read_bytes (struct sfm_reader *r, void *buf, size_t byte_cnt)
899 {
900   read_bytes_internal (r, false, buf, byte_cnt);
901 }
902
903 /* Reads a 32-bit signed integer from R and returns its value in
904    host format. */
905 static int
906 read_int (struct sfm_reader *r)
907 {
908   uint8_t integer[4];
909   read_bytes (r, integer, sizeof integer);
910   return integer_get (r->integer_format, integer, sizeof integer);
911 }
912
913 /* Reads a 64-bit floating-point number from R and returns its
914    value in host format. */
915 static double
916 read_float (struct sfm_reader *r)
917 {
918   uint8_t number[8];
919   read_bytes (r, number, sizeof number);
920   return float_get_double (r->float_format, number);
921 }
922
923 /* Reads exactly SIZE - 1 bytes into BUFFER
924    and stores a null byte into BUFFER[SIZE - 1]. */
925 static void
926 read_string (struct sfm_reader *r, char *buffer, size_t size)
927 {
928   assert (size > 0);
929   read_bytes (r, buffer, size - 1);
930   buffer[size - 1] = '\0';
931 }
932
933 /* Skips BYTES bytes forward in R. */
934 static void
935 skip_bytes (struct sfm_reader *r, size_t bytes)
936 {
937   while (bytes > 0)
938     {
939       char buffer[1024];
940       size_t chunk = MIN (sizeof buffer, bytes);
941       read_bytes (r, buffer, chunk);
942       bytes -= chunk;
943     }
944 }
945
946 static void
947 trim_spaces (char *s)
948 {
949   char *end = strchr (s, '\0');
950   while (end > s && end[-1] == ' ')
951     end--;
952   *end = '\0';
953 }