Add support for value labels on long string variables.
[pspp-builds.git] / src / data / sys-file-writer.c
index aa539a51364fb6804aa1ddfc2b14d2ee545ebbc3..c1ff9a83a212fac17bf2767cadbc92ef1feb1581 100644 (file)
@@ -1,5 +1,5 @@
 /* PSPP - a program for statistical analysis.
-   Copyright (C) 1997-9, 2000, 2006, 2007 Free Software Foundation, Inc.
+   Copyright (C) 1997-9, 2000, 2006, 2007, 2009 Free Software Foundation, Inc.
 
    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
@@ -103,9 +103,14 @@ static void write_float_info_record (struct sfm_writer *);
 static void write_longvar_table (struct sfm_writer *w,
                                  const struct dictionary *dict);
 
+static void write_encoding_record (struct sfm_writer *w,
+                                  const struct dictionary *);
+
 static void write_vls_length_table (struct sfm_writer *w,
                              const struct dictionary *dict);
 
+static void write_long_string_value_labels (struct sfm_writer *,
+                                            const struct dictionary *);
 
 static void write_variable_display_parameters (struct sfm_writer *w,
                                                const struct dictionary *dict);
@@ -126,8 +131,9 @@ static void write_zeros (struct sfm_writer *, size_t);
 static void write_spaces (struct sfm_writer *, size_t);
 static void write_value (struct sfm_writer *, const union value *, int width);
 
-static void write_case_uncompressed (struct sfm_writer *, struct ccase *);
-static void write_case_compressed (struct sfm_writer *, struct ccase *);
+static void write_case_uncompressed (struct sfm_writer *,
+                                     const struct ccase *);
+static void write_case_compressed (struct sfm_writer *, const struct ccase *);
 static void flush_compressed (struct sfm_writer *);
 static void put_cmp_opcode (struct sfm_writer *, uint8_t);
 static void put_cmp_number (struct sfm_writer *, double);
@@ -241,10 +247,14 @@ sfm_open_writer (struct file_handle *fh, struct dictionary *d,
 
   write_vls_length_table (w, d);
 
+  write_long_string_value_labels (w, d);
+
   if (attrset_count (dict_get_attributes (d)))
     write_data_file_attributes (w, d);
   write_variable_attributes (w, d);
 
+  write_encoding_record (w, d);
+
   /* Write end-of-headers record. */
   write_int (w, 999);
   write_int (w, 0);
@@ -255,8 +265,7 @@ sfm_open_writer (struct file_handle *fh, struct dictionary *d,
       return NULL;
     }
 
-  return casewriter_create (dict_get_next_value_idx (d),
-                            &sys_file_casewriter_class, w);
+  return casewriter_create (dict_get_proto (d), &sys_file_casewriter_class, w);
 
 error:
   close_writer (w);
@@ -487,31 +496,39 @@ write_variable (struct sfm_writer *w, const struct variable *v)
 }
 
 /* Writes the value labels for variable V having system file
-   variable index IDX to system file W. */
+   variable index IDX to system file W.
+
+   Value labels for long string variables are written separately,
+   by write_long_string_value_labels. */
 static void
 write_value_labels (struct sfm_writer *w, struct variable *v, int idx)
 {
   const struct val_labs *val_labs;
-  struct val_labs_iterator *i;
-  struct val_lab *vl;
+  const struct val_lab **labels;
+  size_t n_labels;
+  size_t i;
 
   val_labs = var_get_value_labels (v);
-  if (val_labs == NULL)
+  n_labels = val_labs_count (val_labs);
+  if (n_labels == 0 || var_get_width (v) > 8)
     return;
 
   /* Value label record. */
   write_int (w, 3);             /* Record type. */
   write_int (w, val_labs_count (val_labs));
-  for (vl = val_labs_first_sorted (val_labs, &i); vl != NULL;
-       vl = val_labs_next (val_labs, &i))
+  labels = val_labs_sorted (val_labs);
+  for (i = 0; i < n_labels; i++)
     {
-      uint8_t len = MIN (strlen (vl->label), 255);
+      const struct val_lab *vl = labels[i];
+      const char *label = val_lab_get_label (vl);
+      uint8_t len = MIN (strlen (label), 255);
 
-      write_value (w, &vl->value, var_get_width (v));
+      write_value (w, val_lab_get_value (vl), var_get_width (v));
       write_bytes (w, &len, 1);
-      write_bytes (w, vl->label, len);
+      write_bytes (w, label, len);
       write_zeros (w, REM_RND_UP (len + 1, 8));
     }
+  free (labels);
 
   /* Value label variable record. */
   write_int (w, 4);             /* Record type. */
@@ -659,6 +676,89 @@ write_vls_length_table (struct sfm_writer *w,
   ds_destroy (&map);
 }
 
+
+static void
+write_long_string_value_labels (struct sfm_writer *w,
+                                const struct dictionary *dict)
+{
+  size_t n_vars = dict_get_var_cnt (dict);
+  size_t size, i;
+  off_t start UNUSED;
+
+  /* Figure out the size in advance. */
+  size = 0;
+  for (i = 0; i < n_vars; i++)
+    {
+      struct variable *var = dict_get_var (dict, i);
+      const struct val_labs *val_labs = var_get_value_labels (var);
+      int width = var_get_width (var);
+      const struct val_lab *val_lab;
+
+      if (val_labs_count (val_labs) == 0 || width < 9)
+        continue;
+
+      size += 12 + strlen (var_get_name (var));
+      for (val_lab = val_labs_first (val_labs); val_lab != NULL;
+           val_lab = val_labs_next (val_labs, val_lab))
+        size += 8 + width + strlen (val_lab_get_label (val_lab));
+    }
+  if (size == 0)
+    return;
+
+  write_int (w, 7);             /* Record type. */
+  write_int (w, 21);            /* Record subtype */
+  write_int (w, 1);             /* Data item (byte) size. */
+  write_int (w, size);          /* Number of data items. */
+
+  start = ftello (w->file);
+  for (i = 0; i < n_vars; i++)
+    {
+      struct variable *var = dict_get_var (dict, i);
+      const struct val_labs *val_labs = var_get_value_labels (var);
+      const char *var_name = var_get_name (var);
+      int width = var_get_width (var);
+      const struct val_lab *val_lab;
+
+      if (val_labs_count (val_labs) == 0 || width < 9)
+        continue;
+
+      write_int (w, strlen (var_name));
+      write_bytes (w, var_name, strlen (var_name));
+      write_int (w, width);
+      write_int (w, val_labs_count (val_labs));
+      for (val_lab = val_labs_first (val_labs); val_lab != NULL;
+           val_lab = val_labs_next (val_labs, val_lab))
+        {
+          const char *label = val_lab_get_label (val_lab);
+          size_t label_length = strlen (label);
+
+          write_int (w, width);
+          write_bytes (w, value_str (val_lab_get_value (val_lab), width),
+                       width);
+          write_int (w, label_length);
+          write_bytes (w, label, label_length);
+        }
+    }
+  assert (ftello (w->file) == start + size);
+}
+
+static void
+write_encoding_record (struct sfm_writer *w,
+                      const struct dictionary *d)
+{
+  const char *enc = dict_get_encoding (d);
+
+  if ( NULL == enc)
+    return;
+
+  write_int (w, 7);             /* Record type. */
+  write_int (w, 20);            /* Record subtype. */
+  write_int (w, 1);             /* Data item (char) size. */
+  write_int (w, strlen (enc));  /* Number of data items. */
+  write_string (w, enc, strlen (enc));
+}
+
+
 /* Writes the long variable name table. */
 static void
 write_longvar_table (struct sfm_writer *w, const struct dictionary *dict)
@@ -747,7 +847,7 @@ sys_file_casewriter_write (struct casewriter *writer, void *w_,
   if (ferror (w->file))
     {
       casewriter_force_error (writer);
-      case_destroy (c);
+      case_unref (c);
       return;
     }
 
@@ -758,7 +858,7 @@ sys_file_casewriter_write (struct casewriter *writer, void *w_,
   else
     write_case_compressed (w, c);
 
-  case_destroy (c);
+  case_unref (c);
 }
 
 /* Destroys system file writer W. */
@@ -836,7 +936,7 @@ static const struct casewriter_class sys_file_casewriter_class =
 \f
 /* Writes case C to system file W, without compressing it. */
 static void
-write_case_uncompressed (struct sfm_writer *w, struct ccase *c)
+write_case_uncompressed (struct sfm_writer *w, const struct ccase *c)
 {
   size_t i;
 
@@ -844,12 +944,12 @@ write_case_uncompressed (struct sfm_writer *w, struct ccase *c)
     {
       struct sfm_var *v = &w->sfm_vars[i];
 
-      if (v->width == 0)
+      if (v->var_width == 0)
         write_float (w, case_num_idx (c, v->case_index));
       else
         {
           write_bytes (w, case_str_idx (c, v->case_index) + v->offset,
-                       v->width);
+                       v->segment_width);
           write_spaces (w, v->padding);
         }
     }
@@ -857,7 +957,7 @@ write_case_uncompressed (struct sfm_writer *w, struct ccase *c)
 
 /* Writes case C to system file W, with compression. */
 static void
-write_case_compressed (struct sfm_writer *w, struct ccase *c)
+write_case_compressed (struct sfm_writer *w, const struct ccase *c)
 {
   size_t i;
 
@@ -865,7 +965,7 @@ write_case_compressed (struct sfm_writer *w, struct ccase *c)
     {
       struct sfm_var *v = &w->sfm_vars[i];
 
-      if (v->width == 0)
+      if (v->var_width == 0)
         {
           double d = case_num_idx (c, v->case_index);
           if (d == SYSMIS)
@@ -889,7 +989,7 @@ write_case_compressed (struct sfm_writer *w, struct ccase *c)
              multiple of 8, by ensuring that the final partial
              oct (8 byte unit) is treated as padded with spaces
              on the right. */
-          for (width = v->width; width > 0; width -= 8, offset += 8)
+          for (width = v->segment_width; width > 0; width -= 8, offset += 8)
             {
               const void *data = case_str_idx (c, v->case_index) + offset;
               int chunk_size = MIN (width, 8);
@@ -1012,13 +1112,13 @@ write_value (struct sfm_writer *w, const union value *value, int width)
     write_float (w, value->f);
   else
     {
-      write_bytes (w, value->s, width);
+      write_bytes (w, value_str (value, width), width);
       write_zeros (w, 8 - width);
     }
 }
 
 /* Writes null-terminated STRING in a field of the given WIDTH to
-   W.  If WIDTH is longer than WIDTH, it is truncated; if WIDTH
+   W.  If STRING is longer than WIDTH, it is truncated; if WIDTH
    is narrowed, it is padded on the right with spaces. */
 static void
 write_string (struct sfm_writer *w, const char *string, size_t width)