spv-file-format: Finish documenting "format".
[pspp] / dump.c
diff --git a/dump.c b/dump.c
index c247c4af661be8c50ef6312aa18f05c524088b68..a52cafddf0d414cb06ddd8464c9795949b91e2d9 100644 (file)
--- a/dump.c
+++ b/dump.c
@@ -218,11 +218,18 @@ get_string(const char *where)
 }
 #define get_string() get_string(WHERE)
 
+static int
+get_end(void)
+{
+  int len = get_u32();
+  return pos + len;
+}
+
 static char *
 dump_counted_string(void)
 {
   char *s = NULL;
-  int inner_end = pos + get_u32();
+  int inner_end = get_end();
   if (pos != inner_end)
     {
       match_u32_assert(0);
@@ -239,16 +246,57 @@ dump_counted_string(void)
   return s;
 }
 
+static void __attribute__((unused))
+hex_dump(int ofs, int n)
+{
+  for (int i = 0; i < n; i++)
+    {
+      int c = data[ofs + i];
+#if 1
+      if (i && !(i % 16))
+        fprintf(stderr, "-");
+      else
+        fprintf(stderr, " ");
+#endif
+      fprintf(stderr, "%02x", c);
+      //fprintf(stderr, "%c", c >= 32 && c < 127 ? c : '.');
+    }
+  fprintf(stderr, "\n");
+}
+
+static void
+dump_style(FILE *stream)
+{
+  match_byte(1);
+  match_byte(0);
+  match_byte(0);
+  match_byte(0);
+  match_byte_assert(1);
+  char *fg = get_string();     /* foreground */
+  char *bg = get_string();     /* background */
+  char *font = get_string();     /* font */
+  int size = data[pos];
+  if (!match_byte(14))
+    match_byte_assert(12); /* size? */
+  fprintf(stream, " fgcolor=\"%s\" bgcolor=\"%s\" font=\"%s\" size=\"%d\"",
+          fg, bg, font, size);
+}
+
 static char *
-dump_nested_string(void)
+dump_nested_string(FILE *stream)
 {
   char *s = NULL;
 
   match_byte_assert (0);
   match_byte_assert (0);
-  int outer_end = pos + get_u32();
+  int outer_end = get_end();
   s = dump_counted_string();
-  match_byte_assert(0x58);
+  if (s)
+    fprintf(stream, " \"%s\"", s);
+  if (match_byte(0x31))
+    dump_style(stream);
+  else
+    match_byte_assert(0x58);
   match_byte_assert(0x58);
   if (pos != outer_end)
     {
@@ -260,20 +308,23 @@ dump_nested_string(void)
 }
 
 static void
-dump_optional_value(FILE *stream)
+dump_value_modifier(FILE *stream)
 {
   if (match_byte (0x31))
     {
       if (match_u32 (0))
         {
+          fprintf(stream, "<special0");
           if (match_u32 (1))
             {
               /* Corpus frequencies:
                  124 "a"
                  12 "b"
                  8 "a, b"
+
+                 The given text is appended to the cell in a subscript font.
               */
-              get_string();
+              fprintf(stream, " subscript=\"%s\"", get_string());
             }
           else
             match_u32_assert (0);
@@ -291,29 +342,20 @@ dump_optional_value(FILE *stream)
                 match_u32_assert(10);
               match_byte(0);
               match_byte(0);
+              fprintf(stream, "/>\n");
               return;
             }
 
-          int outer_end = pos + get_u32();
-
+          int outer_end = get_end();
+          
           /* This counted-string appears to be a template string,
              e.g. "Design\: [:^1:]1 Within Subjects Design\: [:^1:]2". */
-          dump_counted_string();
+          char *template = dump_counted_string();
+          if (template)
+            fprintf(stream, " template=\"%s\"", template);
 
           if (match_byte(0x31))
-            {
-              /* Only one example in the corpus. */
-              match_byte(1);
-              match_byte(0);
-              match_byte(0);
-              match_byte(0);
-              match_byte_assert(1);
-              get_string();     /* foreground */
-              get_string();     /* background */
-              get_string();     /* font */
-              if (!match_byte(14))
-                match_byte_assert(12); /* size? */
-            }
+            dump_style(stream);
           else
             match_byte_assert(0x58);
           if (match_byte(0x31))
@@ -341,32 +383,36 @@ dump_optional_value(FILE *stream)
               fprintf(stderr, "outer end discrepancy\n");
               exit(1);
             }
+          fprintf(stream, "/>\n");
         }
       else if (match_u32 (1))
         {
-          fprintf(stream, "(footnote %d) ", get_u32());
-          dump_nested_string();
+          fprintf(stream, "<footnote-ref index=%d", get_u32());
+          dump_nested_string(stream);
+          fprintf(stream, "/>\n");
         }
       else if (match_u32 (2))
         {
-          fprintf(stream, "(special 2)");
-          if (!match_byte(0))
+          fprintf(stream, "<special2 %d %d", data[pos], data[pos + 2]);
+          if (!match_byte(0) && !match_byte(1))
             match_byte_assert(2);
           match_byte_assert(0);
           if (!match_u32 (2) && !match_u32(1))
             match_u32_assert(3);
-          dump_nested_string();
+          dump_nested_string(stream);
+          fprintf(stream, "/>\n");
         }
       else
         {
+          fprintf(stream, "<special3");
           match_u32_assert(3);
-          fprintf(stream, "(special 3)");
           match_byte_assert(0);
           match_byte_assert(0);
           match_byte_assert(1);
           match_byte_assert(0);
           match_u32_assert(2);
-          dump_nested_string(); /* Our corpus doesn't contain any examples with strings though. */
+          dump_nested_string(stream); /* Our corpus doesn't contain any examples with strings though. */
+          fprintf(stream, "/>\n");
         }
     }
   else
@@ -437,7 +483,7 @@ dump_value(FILE *stream, int level)
       unsigned int format;
       double value;
 
-      dump_optional_value(stream);
+      dump_value_modifier(stream);
       format = get_u32 ();
       value = get_double ();
       fprintf (stream, "<number value=\"%.*g\" format=\"%s%d.%d\"/>\n",
@@ -449,7 +495,7 @@ dump_value(FILE *stream, int level)
       char *var, *vallab;
       double value;
 
-      dump_optional_value (stream);
+      dump_value_modifier (stream);
       format = get_u32 ();
       value = get_double ();
       var = get_string ();
@@ -459,7 +505,7 @@ dump_value(FILE *stream, int level)
       if (var[0])
         fprintf (stream, " variable=\"%s\"", var);
       if (vallab[0])
-        fprintf (stream, " label=\"%s\"/>\n", vallab);
+        fprintf (stream, " label=\"%s\"", vallab);
       fprintf (stream, "/>\n");
       if (!match_byte (1) && !match_byte(2))
         match_byte_assert (3);
@@ -467,7 +513,7 @@ dump_value(FILE *stream, int level)
   else if (match_byte (3))
     {
       char *text =  get_string();
-      dump_optional_value(stream);
+      dump_value_modifier(stream);
       char *identifier = get_string();
       char *text_eng = get_string();
       fprintf (stream, "<string c=\"%s\"", text_eng);
@@ -484,7 +530,7 @@ dump_value(FILE *stream, int level)
       unsigned int format;
       char *var, *vallab, *value;
 
-      dump_optional_value(stream);
+      dump_value_modifier(stream);
       format = get_u32 ();
       vallab = get_string ();
       var = get_string ();
@@ -501,7 +547,7 @@ dump_value(FILE *stream, int level)
     }
   else if (match_byte (5))
     {
-      dump_optional_value(stream);
+      dump_value_modifier(stream);
       char *name = get_string ();
       char *label = get_string ();
       fprintf (stream, "<variable name=\"%s\"", name);
@@ -513,7 +559,7 @@ dump_value(FILE *stream, int level)
     }
   else
     {
-      dump_optional_value(stream);
+      dump_value_modifier(stream);
 
       char *base = get_string();
       int x = get_u32();
@@ -829,8 +875,8 @@ dump_fonts(void)
                 match_u32_assert(5);
               if (!match_u32(10) && !match_u32(11) && !match_u32(5))
                 match_u32_assert(9);
-              if (!match_u32(0))
-                match_u32_assert(1);
+              if (!match_u32(0) && !match_u32(1))
+                match_u32_assert(2);
             }
           else
             {
@@ -854,25 +900,21 @@ dump_fonts(void)
   match_u32_assert(18);
   pos += 18;
 
-  if (match_u32(117))
-    pos += 117;
-  else if (match_u32(142))
-    pos += 142;
-  else if (match_u32(143))
-    pos += 143;
-  else if (match_u32(150))
-    pos += 150;
-  else
+  int x3 = get_u32();
+  if (version == 3)
     {
-      match_u32_assert(16);
-      pos += 16;
+      assert(x3 >= 117);
+      int len = data[pos + 0x34];
+      if (len)
+        printf("<tablelook>%.*s</tablelook>\n", len, &data[pos + 0x35]);
     }
+  pos += x3;
 
   int count = get_u32();
   pos += 4 * count;
 
-  const char *encoding = get_string();
-  printf ("<encoding>%s</encoding>\n", encoding);
+  const char *locale = get_string();
+  printf ("<locale>%s</locale>\n", locale);
 
   if (!match_u32(0))
     match_u32_assert(UINT32_MAX);
@@ -883,8 +925,9 @@ dump_fonts(void)
     match_byte_assert(1);
   if (version > 1)
     {
-      if (!match_byte(0x97) && !match_byte(0x98) && !match_byte(0x99))
-        match_byte_assert(0x9a);
+      if (!match_byte(0x97) && !match_byte(0x98)
+          && !match_byte(0x99) && !match_byte(0x9a))
+        match_byte_assert(0x9b);
       match_byte_assert(7);
       match_byte_assert(0);
       match_byte_assert(0);
@@ -916,8 +959,111 @@ dump_fonts(void)
     }
   else
     match_u32_assert(0);
-  int skip = get_u32();
-  pos += skip;
+
+  /* The last chunk is an outer envelope that contains two inner envelopes.
+     The second inner envelope has some interesting data like the encoding and
+     the locale. */
+  if (version == 3)
+    {
+      int outer_end = get_end();
+
+      /* First inner envelope: byte*33 int[n] int*[n]. */
+      pos = get_end();
+
+      /* Second inner envelope. */
+      assert(get_end() == outer_end);
+
+      match_byte_assert(1);
+      match_byte_assert(0);
+      if (!match_byte(3) && !match_byte(4))
+        match_byte_assert(5);
+      match_byte_assert(0);
+      match_byte_assert(0);
+      match_byte_assert(0);
+
+      printf("<command>%s</command>\n", get_string());
+      printf("<subcommand>%s</subcommand>\n", get_string());
+      printf("<language>%s</language>\n", get_string());
+      printf("<charset>%s</charset>\n", get_string());
+      printf("<locale>%s</locale>\n", get_string());
+
+      if (!match_byte(0))
+        match_byte_assert(1);
+      match_byte_assert(0);
+      if (!match_byte(0))
+        match_byte_assert(1);
+      if (!match_byte(0))
+        match_byte_assert(1);
+
+      if (!match_byte(0x97) && !match_byte(0x98)
+          && !match_byte(0x99) && !match_byte(0x9a))
+        match_byte_assert(0x9b);
+      match_byte_assert(7);
+      match_byte_assert(0);
+      match_byte_assert(0);
+
+      if (match_byte('.'))
+        {
+          if (!match_byte(',') && !match_byte('\''))
+            match_byte_assert(' ');
+        }
+      else
+        {
+          match_byte_assert(',');
+          if (!match_byte('.') && !match_byte(' '))
+            match_byte_assert(0);
+        }
+
+      pos += 8;
+      match_byte_assert(1);
+
+      if (outer_end - pos > 6)
+        {
+          /* There might be a pair of strings representing a dataset and
+             datafile name, or there might be a set of custom currency strings.
+             The custom currency strings start with a pair of integers, so we
+             can distinguish these from a string by checking for a null byte; a
+             small 32-bit integer will always contain a null and a text string
+             never will. */
+          int save_pos = pos;
+          int len = get_u32();
+          bool has_dataset = !memchr(&data[pos], '\0', len);
+          pos = save_pos;
+
+          if (has_dataset)
+            {
+              printf("<dataset>%s</dataset>\n", get_string());
+              printf("<datafile>%s</datafile>\n", get_string());
+
+              match_u32_assert(0);
+              get_u32();
+              match_u32_assert(0);
+            }
+        }
+
+      if (match_u32(5))
+        {
+          for (int i = 0; i < 5; i++)
+            printf("<CC%c>%s</CC%c>\n", 'A' + i, get_string(), 'A' + i);
+        }
+      else
+        match_u32_assert(0);
+
+      match_byte_assert(0x2e);
+      if (!match_byte(0))
+        match_byte_assert(1);
+
+      if (pos < outer_end)
+        {
+          match_u32_assert(2000000);
+          match_u32_assert(0);
+        }
+      assert(pos == outer_end);
+
+      pos = outer_end;
+    }
+  else
+    match_u32_assert(0);
 }
 
 int
@@ -999,7 +1145,7 @@ main(int argc, char *argv[])
 
       /* This might be a version number of some kind, because value 1 seems
          to only appear in an SPV file that also required its own weird
-         special cases in dump_optional_value(). */
+         special cases in dump_value_modifier(). */
       version = get_u32();
       pos -= 4;
       if (!match_u32(1))