added automake.mk files in src/language
[pspp] / src / data / sys-file-writer.c
1 /* PSPP - computes sample statistics.
2    Copyright (C) 1997-9, 2000 Free Software Foundation, Inc.
3    Written by Ben Pfaff <blp@gnu.org>.
4
5    This program is free software; you can redistribute it and/or
6    modify it under the terms of the GNU General Public License as
7    published by the Free Software Foundation; either version 2 of the
8    License, or (at your option) any later version.
9
10    This program is distributed in the hope that it will be useful, but
11    WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    General Public License for more details.
14
15    You should have received a copy of the GNU General Public License
16    along with this program; if not, write to the Free Software
17    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
18    02110-1301, USA. */
19
20 #include <config.h>
21 #include "sys-file-writer.h"
22 #include "sfm-private.h"
23 #include "message.h"
24 #include <stdlib.h>
25 #include <ctype.h>
26 #include <errno.h>
27 #include <fcntl.h>
28 #include <sys/stat.h>
29 #include <time.h>
30 #if HAVE_UNISTD_H
31 #include <unistd.h>     /* Required by SunOS4. */
32 #endif
33 #include "alloc.h"
34 #include "case.h"
35 #include "dictionary.h"
36 #include "message.h"
37 #include "file-handle-def.h"
38 #include "hash.h"
39 #include "magic.h"
40 #include "misc.h"
41 #include "settings.h"
42 #include "stat-macros.h"
43 #include "str.h"
44 #include "value-labels.h"
45 #include "variable.h"
46 #include "version.h"
47
48 #include "gettext.h"
49 #define _(msgid) gettext (msgid)
50
51 #include "debug-print.h"
52
53 /* Compression bias used by PSPP.  Values between (1 -
54    COMPRESSION_BIAS) and (251 - COMPRESSION_BIAS) inclusive can be
55    compressed. */
56 #define COMPRESSION_BIAS 100
57
58 /* System file writer. */
59 struct sfm_writer
60   {
61     struct file_handle *fh;     /* File handle. */
62     FILE *file;                 /* File stream. */
63
64     int needs_translation;      /* 0=use fast path, 1=translation needed. */
65     int compress;               /* 1=compressed, 0=not compressed. */
66     int case_cnt;               /* Number of cases written so far. */
67     size_t flt64_cnt;           /* Number of flt64 elements in case. */
68
69     /* Compression buffering. */
70     flt64 *buf;                 /* Buffered data. */
71     flt64 *end;                 /* Buffer end. */
72     flt64 *ptr;                 /* Current location in buffer. */
73     unsigned char *x;           /* Location in current instruction octet. */
74     unsigned char *y;           /* End of instruction octet. */
75
76     /* Variables. */
77     struct sfm_var *vars;       /* Variables. */
78     size_t var_cnt;             /* Number of variables. */
79   };
80
81 /* A variable in a system file. */
82 struct sfm_var 
83   {
84     int width;                  /* 0=numeric, otherwise string width. */
85     int fv;                     /* Index into case. */
86     size_t flt64_cnt;           /* Number of flt64 elements. */
87   };
88
89 static char *append_string_max (char *, const char *, const char *);
90 static void write_header (struct sfm_writer *, const struct dictionary *);
91 static void buf_write (struct sfm_writer *, const void *, size_t);
92 static void write_variable (struct sfm_writer *, struct variable *);
93 static void write_value_labels (struct sfm_writer *,
94                                 struct variable *, int idx);
95 static void write_rec_7_34 (struct sfm_writer *);
96
97 static void write_longvar_table (struct sfm_writer *w, 
98                                  const struct dictionary *dict);
99
100 static void write_variable_display_parameters (struct sfm_writer *w, 
101                                                const struct dictionary *dict);
102
103 static void write_documents (struct sfm_writer *, const struct dictionary *);
104 static int does_dict_need_translation (const struct dictionary *);
105
106 static inline int
107 var_flt64_cnt (const struct variable *v) 
108 {
109   return v->type == NUMERIC ? 1 : DIV_RND_UP (v->width, sizeof (flt64));
110 }
111
112 /* Returns default options for writing a system file. */
113 struct sfm_write_options
114 sfm_writer_default_options (void) 
115 {
116   struct sfm_write_options opts;
117   opts.create_writeable = true;
118   opts.compress = get_scompression ();
119   opts.version = 3;
120   return opts;
121 }
122
123 /* Opens the system file designated by file handle FH for writing
124    cases from dictionary D according to the given OPTS.  If
125    COMPRESS is nonzero, the system file will be compressed.
126
127    No reference to D is retained, so it may be modified or
128    destroyed at will after this function returns.  D is not
129    modified by this function, except to assign short names. */
130 struct sfm_writer *
131 sfm_open_writer (struct file_handle *fh, struct dictionary *d,
132                  struct sfm_write_options opts)
133 {
134   struct sfm_writer *w = NULL;
135   mode_t mode;
136   int fd;
137   int idx;
138   int i;
139
140   /* Check version. */
141   if (opts.version != 2 && opts.version != 3) 
142     {
143       msg (ME, _("Unknown system file version %d. Treating as version %d."),
144            opts.version, 3);
145       opts.version = 3;
146     }
147
148   /* Create file. */
149   mode = S_IRUSR | S_IRGRP | S_IROTH;
150   if (opts.create_writeable)
151     mode |= S_IWUSR | S_IWGRP | S_IWOTH;
152   fd = open (fh_get_filename (fh), O_WRONLY | O_CREAT | O_TRUNC, mode);
153   if (fd < 0) 
154     goto open_error;
155
156   /* Open file handle. */
157   if (!fh_open (fh, FH_REF_FILE, "system file", "we"))
158     goto error;
159
160   /* Create and initialize writer. */
161   w = xmalloc (sizeof *w);
162   w->fh = fh;
163   w->file = fdopen (fd, "w");
164
165   w->needs_translation = does_dict_need_translation (d);
166   w->compress = opts.compress;
167   w->case_cnt = 0;
168   w->flt64_cnt = 0;
169
170   w->buf = w->end = w->ptr = NULL;
171   w->x = w->y = NULL;
172
173   w->var_cnt = dict_get_var_cnt (d);
174   w->vars = xnmalloc (w->var_cnt, sizeof *w->vars);
175   for (i = 0; i < w->var_cnt; i++) 
176     {
177       const struct variable *dv = dict_get_var (d, i);
178       struct sfm_var *sv = &w->vars[i];
179       sv->width = dv->width;
180       sv->fv = dv->fv;
181       sv->flt64_cnt = var_flt64_cnt (dv);
182     }
183
184   /* Check that file create succeeded. */
185   if (w->file == NULL) 
186     {
187       close (fd);
188       goto open_error;
189     }
190
191   /* Write the file header. */
192   write_header (w, d);
193
194   /* Write basic variable info. */
195   dict_assign_short_names (d);
196   for (i = 0; i < dict_get_var_cnt (d); i++)
197     write_variable (w, dict_get_var (d, i));
198
199   /* Write out value labels. */
200   for (idx = i = 0; i < dict_get_var_cnt (d); i++)
201     {
202       struct variable *v = dict_get_var (d, i);
203
204       write_value_labels (w, v, idx);
205       idx += var_flt64_cnt (v);
206     }
207
208   if (dict_get_documents (d) != NULL)
209     write_documents (w, d);
210
211   write_rec_7_34 (w);
212
213   write_variable_display_parameters (w, d);
214
215   if (opts.version >= 3) 
216     write_longvar_table (w, d);
217
218   /* Write end-of-headers record. */
219   {
220     struct
221       {
222         int32 rec_type P;
223         int32 filler P;
224       }
225     rec_999;
226
227     rec_999.rec_type = 999;
228     rec_999.filler = 0;
229
230     buf_write (w, &rec_999, sizeof rec_999);
231   }
232
233   if (w->compress) 
234     {
235       w->buf = xnmalloc (128, sizeof *w->buf);
236       w->ptr = w->buf;
237       w->end = &w->buf[128];
238       w->x = (unsigned char *) w->ptr++;
239       w->y = (unsigned char *) w->ptr;
240     }
241
242   if (sfm_write_error (w))
243     goto error;
244   
245   return w;
246
247  error:
248   sfm_close_writer (w);
249   return NULL;
250
251  open_error:
252   msg (ME, _("Error opening \"%s\" for writing as a system file: %s."),
253        fh_get_filename (fh), strerror (errno));
254   goto error;
255 }
256
257 static int
258 does_dict_need_translation (const struct dictionary *d)
259 {
260   size_t case_idx;
261   size_t i;
262
263   case_idx = 0;
264   for (i = 0; i < dict_get_var_cnt (d); i++) 
265     {
266       struct variable *v = dict_get_var (d, i);
267       if (v->fv != case_idx)
268         return 0;
269       case_idx += v->nv;
270     }
271   return 1;
272 }
273
274 /* Returns value of X truncated to two least-significant digits. */
275 static int
276 rerange (int x)
277 {
278   if (x < 0)
279     x = -x;
280   if (x >= 100)
281     x %= 100;
282   return x;
283 }
284
285 /* Write the sysfile_header header to system file W. */
286 static void
287 write_header (struct sfm_writer *w, const struct dictionary *d)
288 {
289   struct sysfile_header hdr;
290   char *p;
291   int i;
292
293   time_t t;
294
295   memcpy (hdr.rec_type, "$FL2", 4);
296
297   p = stpcpy (hdr.prod_name, "@(#) SPSS DATA FILE ");
298   p = append_string_max (p, version, &hdr.prod_name[60]);
299   p = append_string_max (p, " - ", &hdr.prod_name[60]);
300   p = append_string_max (p, host_system, &hdr.prod_name[60]);
301   memset (p, ' ', &hdr.prod_name[60] - p);
302
303   hdr.layout_code = 2;
304
305   w->flt64_cnt = 0;
306   for (i = 0; i < dict_get_var_cnt (d); i++)
307     w->flt64_cnt += var_flt64_cnt (dict_get_var (d, i));
308   hdr.case_size = w->flt64_cnt;
309
310   hdr.compress = w->compress;
311
312   if (dict_get_weight (d) != NULL)
313     {
314       struct variable *weight_var;
315       int recalc_weight_idx = 1;
316       int i;
317
318       weight_var = dict_get_weight (d);
319       for (i = 0; ; i++) 
320         {
321           struct variable *v = dict_get_var (d, i);
322           if (v == weight_var)
323             break;
324           recalc_weight_idx += var_flt64_cnt (v);
325         }
326       hdr.weight_idx = recalc_weight_idx;
327     }
328   else
329     hdr.weight_idx = 0;
330
331   hdr.case_cnt = -1;
332   hdr.bias = COMPRESSION_BIAS;
333
334   if (time (&t) == (time_t) -1)
335     {
336       memcpy (hdr.creation_date, "01 Jan 70", 9);
337       memcpy (hdr.creation_time, "00:00:00", 8);
338     }
339   else
340     {
341       static const char *month_name[12] =
342         {
343           "Jan", "Feb", "Mar", "Apr", "May", "Jun",
344           "Jul", "Aug", "Sep", "Oct", "Nov", "Dec",
345         };
346       struct tm *tmp = localtime (&t);
347       int day = rerange (tmp->tm_mday);
348       int mon = rerange (tmp->tm_mon + 1);
349       int year = rerange (tmp->tm_year);
350       int hour = rerange (tmp->tm_hour + 1);
351       int min = rerange (tmp->tm_min + 1);
352       int sec = rerange (tmp->tm_sec + 1);
353       char buf[10];
354
355       sprintf (buf, "%02d %s %02d", day, month_name[mon - 1], year);
356       memcpy (hdr.creation_date, buf, sizeof hdr.creation_date);
357       sprintf (buf, "%02d:%02d:%02d", hour - 1, min - 1, sec - 1);
358       memcpy (hdr.creation_time, buf, sizeof hdr.creation_time);
359     }
360   
361   {
362     const char *label = dict_get_label (d);
363     if (label == NULL)
364       label = "";
365
366     buf_copy_str_rpad (hdr.file_label, sizeof hdr.file_label, label); 
367   }
368   
369   memset (hdr.padding, 0, sizeof hdr.padding);
370
371   buf_write (w, &hdr, sizeof hdr);
372 }
373
374 /* Translates format spec from internal form in SRC to system file
375    format in DEST. */
376 static inline void
377 write_format_spec (struct fmt_spec *src, int32 *dest)
378 {
379   *dest = (formats[src->type].spss << 16) | (src->w << 8) | src->d;
380 }
381
382 /* Write the variable record(s) for primary variable P and secondary
383    variable S to system file W. */
384 static void
385 write_variable (struct sfm_writer *w, struct variable *v)
386 {
387   struct sysfile_variable sv;
388
389   /* Missing values. */
390   struct missing_values mv;
391   flt64 m[3];           /* Missing value values. */
392   int nm;               /* Number of missing values, possibly negative. */
393
394   sv.rec_type = 2;
395   sv.type = v->width;
396   sv.has_var_label = (v->label != NULL);
397
398   mv_copy (&mv, &v->miss);
399   nm = 0;
400   if (mv_has_range (&mv)) 
401     {
402       double x, y;
403       mv_pop_range (&mv, &x, &y);
404       m[nm++] = x == LOWEST ? second_lowest_flt64 : x;
405       m[nm++] = y == HIGHEST ? FLT64_MAX : y;
406     }
407   while (mv_has_value (&mv))
408     {
409       union value value;
410       mv_pop_value (&mv, &value);
411       if (v->type == NUMERIC)
412         m[nm] = value.f;
413       else
414         buf_copy_rpad ((char *) &m[nm], sizeof m[nm], value.s, v->width);
415       nm++;
416     }
417   if (mv_has_range (&v->miss))
418     nm = -nm;
419
420   sv.n_missing_values = nm;
421   write_format_spec (&v->print, &sv.print);
422   write_format_spec (&v->write, &sv.write);
423   buf_copy_str_rpad (sv.name, sizeof sv.name, v->short_name);
424   buf_write (w, &sv, sizeof sv);
425
426   if (v->label)
427     {
428       struct label
429         {
430           int32 label_len P;
431           char label[255] P;
432         }
433       l;
434
435       int ext_len;
436
437       l.label_len = min (strlen (v->label), 255);
438       ext_len = ROUND_UP (l.label_len, sizeof l.label_len);
439       memcpy (l.label, v->label, l.label_len);
440       memset (&l.label[l.label_len], ' ', ext_len - l.label_len);
441
442       buf_write (w, &l, offsetof (struct label, label) + ext_len);
443     }
444
445   if (nm)
446     buf_write (w, m, sizeof *m * abs (nm));
447
448   if (v->type == ALPHA && v->width > (int) sizeof (flt64))
449     {
450       int i;
451       int pad_count;
452
453       sv.type = -1;
454       sv.has_var_label = 0;
455       sv.n_missing_values = 0;
456       memset (&sv.print, 0, sizeof sv.print);
457       memset (&sv.write, 0, sizeof sv.write);
458       memset (&sv.name, 0, sizeof sv.name);
459
460       pad_count = DIV_RND_UP (v->width, (int) sizeof (flt64)) - 1;
461       for (i = 0; i < pad_count; i++)
462         buf_write (w, &sv, sizeof sv);
463     }
464 }
465
466 /* Writes the value labels for variable V having system file
467    variable index IDX to system file W. */
468 static void
469 write_value_labels (struct sfm_writer *w, struct variable *v, int idx)
470 {
471   struct value_label_rec
472     {
473       int32 rec_type P;
474       int32 n_labels P;
475       flt64 labels[1] P;
476     };
477
478   struct var_idx_rec
479     {
480       int32 rec_type P;
481       int32 n_vars P;
482       int32 vars[1] P;
483     };
484
485   struct val_labs_iterator *i;
486   struct value_label_rec *vlr;
487   struct var_idx_rec vir;
488   struct val_lab *vl;
489   size_t vlr_size;
490   flt64 *loc;
491
492   if (!val_labs_count (v->val_labs))
493     return;
494
495   /* Pass 1: Count bytes. */
496   vlr_size = (sizeof (struct value_label_rec)
497               + sizeof (flt64) * (val_labs_count (v->val_labs) - 1));
498   for (vl = val_labs_first (v->val_labs, &i); vl != NULL;
499        vl = val_labs_next (v->val_labs, &i))
500     vlr_size += ROUND_UP (strlen (vl->label) + 1, sizeof (flt64));
501
502   /* Pass 2: Copy bytes. */
503   vlr = xmalloc (vlr_size);
504   vlr->rec_type = 3;
505   vlr->n_labels = val_labs_count (v->val_labs);
506   loc = vlr->labels;
507   for (vl = val_labs_first_sorted (v->val_labs, &i); vl != NULL;
508        vl = val_labs_next (v->val_labs, &i))
509     {
510       size_t len = strlen (vl->label);
511
512       *loc++ = vl->value.f;
513       *(unsigned char *) loc = len;
514       memcpy (&((char *) loc)[1], vl->label, len);
515       memset (&((char *) loc)[1 + len], ' ',
516               REM_RND_UP (len + 1, sizeof (flt64)));
517       loc += DIV_RND_UP (len + 1, sizeof (flt64));
518     }
519   
520   buf_write (w, vlr, vlr_size);
521   free (vlr);
522
523   vir.rec_type = 4;
524   vir.n_vars = 1;
525   vir.vars[0] = idx + 1;
526   buf_write (w, &vir, sizeof vir);
527 }
528
529 /* Writes record type 6, document record. */
530 static void
531 write_documents (struct sfm_writer *w, const struct dictionary *d)
532 {
533   struct
534     {
535       int32 rec_type P;         /* Always 6. */
536       int32 n_lines P;          /* Number of lines of documents. */
537     }
538   rec_6;
539
540   const char *documents;
541   size_t n_lines;
542
543   documents = dict_get_documents (d);
544   n_lines = strlen (documents) / 80;
545
546   rec_6.rec_type = 6;
547   rec_6.n_lines = n_lines;
548   buf_write (w, &rec_6, sizeof rec_6);
549   buf_write (w, documents, 80 * n_lines);
550 }
551
552 /* Write the alignment, width and scale values */
553 static void
554 write_variable_display_parameters (struct sfm_writer *w, 
555                                    const struct dictionary *dict)
556 {
557   int i;
558
559   struct
560   {
561     int32 rec_type P;
562     int32 subtype P;
563     int32 elem_size P;
564     int32 n_elem P;
565   } vdp_hdr;
566
567   vdp_hdr.rec_type = 7;
568   vdp_hdr.subtype = 11;
569   vdp_hdr.elem_size = 4;
570   vdp_hdr.n_elem = w->var_cnt * 3;
571
572   buf_write (w, &vdp_hdr, sizeof vdp_hdr);
573
574   for ( i = 0 ; i < w->var_cnt ; ++i ) 
575     {
576       struct variable *v;
577       struct
578       {
579         int32 measure P;
580         int32 width P;
581         int32 align P;
582       }
583       params;
584
585       v = dict_get_var(dict, i);
586
587       params.measure = v->measure;
588       params.width = v->display_width;
589       params.align = v->alignment;
590       
591       buf_write (w, &params, sizeof(params));
592     }
593 }
594
595 /* Writes the long variable name table */
596 static void
597 write_longvar_table (struct sfm_writer *w, const struct dictionary *dict)
598 {
599   struct
600     {
601       int32 rec_type P;
602       int32 subtype P;
603       int32 elem_size P;
604       int32 n_elem P;
605     }
606   lv_hdr;
607
608   struct string long_name_map;
609   size_t i;
610
611   ds_init (&long_name_map, 10 * dict_get_var_cnt (dict));
612   for (i = 0; i < dict_get_var_cnt (dict); i++)
613     {
614       struct variable *v = dict_get_var (dict, i);
615       
616       if (i)
617         ds_putc (&long_name_map, '\t');
618       ds_printf (&long_name_map, "%s=%s", v->short_name, v->name);
619     }
620
621   lv_hdr.rec_type = 7;
622   lv_hdr.subtype = 13;
623   lv_hdr.elem_size = 1;
624   lv_hdr.n_elem = ds_length (&long_name_map);
625
626   buf_write (w, &lv_hdr, sizeof lv_hdr);
627   buf_write (w, ds_data (&long_name_map), ds_length (&long_name_map));
628
629   ds_destroy (&long_name_map);
630 }
631
632 /* Writes record type 7, subtypes 3 and 4. */
633 static void
634 write_rec_7_34 (struct sfm_writer *w)
635 {
636   struct
637     {
638       int32 rec_type_3 P;
639       int32 subtype_3 P;
640       int32 data_type_3 P;
641       int32 n_elem_3 P;
642       int32 elem_3[8] P;
643       int32 rec_type_4 P;
644       int32 subtype_4 P;
645       int32 data_type_4 P;
646       int32 n_elem_4 P;
647       flt64 elem_4[3] P;
648     }
649   rec_7;
650
651   /* Components of the version number, from major to minor. */
652   int version_component[3];
653   
654   /* Used to step through the version string. */
655   char *p;
656
657   /* Parses the version string, which is assumed to be of the form
658      #.#x, where each # is a string of digits, and x is a single
659      letter. */
660   version_component[0] = strtol (bare_version, &p, 10);
661   if (*p == '.')
662     p++;
663   version_component[1] = strtol (bare_version, &p, 10);
664   version_component[2] = (isalpha ((unsigned char) *p)
665                           ? tolower ((unsigned char) *p) - 'a' : 0);
666     
667   rec_7.rec_type_3 = 7;
668   rec_7.subtype_3 = 3;
669   rec_7.data_type_3 = sizeof (int32);
670   rec_7.n_elem_3 = 8;
671   rec_7.elem_3[0] = version_component[0];
672   rec_7.elem_3[1] = version_component[1];
673   rec_7.elem_3[2] = version_component[2];
674   rec_7.elem_3[3] = -1;
675
676   /* PORTME: 1=IEEE754, 2=IBM 370, 3=DEC VAX E. */
677 #ifdef FPREP_IEEE754
678   rec_7.elem_3[4] = 1;
679 #endif
680
681   rec_7.elem_3[5] = 1;
682
683   /* PORTME: 1=big-endian, 2=little-endian. */
684 #if WORDS_BIGENDIAN
685   rec_7.elem_3[6] = 1;
686 #else
687   rec_7.elem_3[6] = 2;
688 #endif
689
690   /* PORTME: 1=EBCDIC, 2=7-bit ASCII, 3=8-bit ASCII, 4=DEC Kanji. */
691   rec_7.elem_3[7] = 2;
692
693   rec_7.rec_type_4 = 7;
694   rec_7.subtype_4 = 4;
695   rec_7.data_type_4 = sizeof (flt64);
696   rec_7.n_elem_4 = 3;
697   rec_7.elem_4[0] = -FLT64_MAX;
698   rec_7.elem_4[1] = FLT64_MAX;
699   rec_7.elem_4[2] = second_lowest_flt64;
700
701   buf_write (w, &rec_7, sizeof rec_7);
702 }
703
704 /* Write NBYTES starting at BUF to the system file represented by
705    H. */
706 static void
707 buf_write (struct sfm_writer *w, const void *buf, size_t nbytes)
708 {
709   assert (buf != NULL);
710   fwrite (buf, nbytes, 1, w->file);
711 }
712
713 /* Copies string DEST to SRC with the proviso that DEST does not reach
714    byte END; no null terminator is copied.  Returns a pointer to the
715    byte after the last byte copied. */
716 static char *
717 append_string_max (char *dest, const char *src, const char *end)
718 {
719   int nbytes = min (end - dest, (int) strlen (src));
720   memcpy (dest, src, nbytes);
721   return dest + nbytes;
722 }
723
724 /* Makes certain that the compression buffer of H has room for another
725    element.  If there's not room, pads out the current instruction
726    octet with zero and dumps out the buffer. */
727 static void
728 ensure_buf_space (struct sfm_writer *w)
729 {
730   if (w->ptr >= w->end)
731     {
732       memset (w->x, 0, w->y - w->x);
733       w->x = w->y;
734       w->ptr = w->buf;
735       buf_write (w, w->buf, sizeof *w->buf * 128);
736     }
737 }
738
739 static void write_compressed_data (struct sfm_writer *w, const flt64 *elem);
740
741 /* Writes case C to system file W.
742    Returns 1 if successful, 0 if an I/O error occurred. */
743 int
744 sfm_write_case (struct sfm_writer *w, const struct ccase *c)
745 {
746   if (ferror (w->file))
747     return 0;
748   
749   w->case_cnt++;
750
751   if (!w->needs_translation && !w->compress
752       && sizeof (flt64) == sizeof (union value)) 
753     {
754       /* Fast path: external and internal representations are the
755          same and the dictionary is properly ordered.  Write
756          directly to file. */
757       buf_write (w, case_data_all (c), sizeof (union value) * w->flt64_cnt);
758     }
759   else 
760     {
761       /* Slow path: internal and external representations differ.
762          Write into a bounce buffer, then write to W. */
763       flt64 *bounce;
764       flt64 *bounce_cur;
765       size_t bounce_size;
766       size_t i;
767
768       bounce_size = sizeof *bounce * w->flt64_cnt;
769       bounce = bounce_cur = local_alloc (bounce_size);
770
771       for (i = 0; i < w->var_cnt; i++) 
772         {
773           struct sfm_var *v = &w->vars[i];
774
775           if (v->width == 0) 
776             *bounce_cur = case_num (c, v->fv);
777           else 
778             memcpy (bounce_cur, case_data (c, v->fv)->s, v->width);
779           bounce_cur += v->flt64_cnt;
780         }
781
782       if (!w->compress)
783         buf_write (w, bounce, bounce_size);
784       else
785         write_compressed_data (w, bounce);
786
787       local_free (bounce); 
788     }
789   
790   return !sfm_write_error (w);
791 }
792
793 static void
794 put_instruction (struct sfm_writer *w, unsigned char instruction) 
795 {
796   if (w->x >= w->y)
797     {
798       ensure_buf_space (w);
799       w->x = (unsigned char *) w->ptr++;
800       w->y = (unsigned char *) w->ptr;
801     }
802   *w->x++ = instruction;
803 }
804
805 static void
806 put_element (struct sfm_writer *w, const flt64 *elem) 
807 {
808   ensure_buf_space (w);
809   memcpy (w->ptr++, elem, sizeof *elem);
810 }
811
812 static void
813 write_compressed_data (struct sfm_writer *w, const flt64 *elem) 
814 {
815   size_t i;
816
817   for (i = 0; i < w->var_cnt; i++)
818     {
819       struct sfm_var *v = &w->vars[i];
820
821       if (v->width == 0) 
822         {
823           if (*elem == -FLT64_MAX)
824             put_instruction (w, 255);
825           else if (*elem >= 1 - COMPRESSION_BIAS
826                    && *elem <= 251 - COMPRESSION_BIAS
827                    && *elem == (int) *elem) 
828             put_instruction (w, (int) *elem + COMPRESSION_BIAS);
829           else
830             {
831               put_instruction (w, 253);
832               put_element (w, elem);
833             }
834           elem++;
835         }
836       else 
837         {
838           size_t j;
839           
840           for (j = 0; j < v->flt64_cnt; j++, elem++) 
841             {
842               if (!memcmp (elem, "        ", sizeof (flt64)))
843                 put_instruction (w, 254);
844               else 
845                 {
846                   put_instruction (w, 253);
847                   put_element (w, elem);
848                 }
849             }
850         }
851     }
852 }
853
854 /* Returns true if an I/O error has occurred on WRITER, false otherwise. */
855 bool
856 sfm_write_error (const struct sfm_writer *writer)
857 {
858   return ferror (writer->file);
859 }
860
861 /* Closes a system file after we're done with it.
862    Returns true if successful, false if an I/O error occurred. */
863 bool
864 sfm_close_writer (struct sfm_writer *w)
865 {
866   bool ok;
867   
868   if (w == NULL)
869     return true;
870
871   ok = true;
872   if (w->file != NULL) 
873     {
874       /* Flush buffer. */
875       if (w->buf != NULL && w->ptr > w->buf)
876         {
877           memset (w->x, 0, w->y - w->x);
878           buf_write (w, w->buf, (w->ptr - w->buf) * sizeof *w->buf);
879         }
880       fflush (w->file);
881
882       ok = !sfm_write_error (w);
883
884       /* Seek back to the beginning and update the number of cases.
885          This is just a courtesy to later readers, so there's no need
886          to check return values or report errors. */
887       if (ok && !fseek (w->file, offsetof (struct sysfile_header, case_cnt),
888                         SEEK_SET))
889         {
890           int32 case_cnt = w->case_cnt;
891           fwrite (&case_cnt, sizeof case_cnt, 1, w->file);
892           clearerr (w->file);
893         }
894
895       if (fclose (w->file) == EOF)
896         ok = false;
897
898       if (!ok)
899         msg (ME, _("An I/O error occurred writing system file \"%s\"."),
900              fh_get_filename (w->fh));
901     }
902
903   fh_close (w->fh, "system file", "we");
904   
905   free (w->buf);
906   free (w->vars);
907   free (w);
908
909   return ok;
910 }