Minor improvements.
[pspp] / dump.c
diff --git a/dump.c b/dump.c
index ff5dcfd4e2c040d2a4e4ad3ff1f8d18b9b30d44f..3e30ce10f2e7b99857a4560ce55490dfc41bb2f4 100644 (file)
--- a/dump.c
+++ b/dump.c
@@ -1,14 +1,20 @@
+#include <assert.h>
+#include <float.h>
 #include <stdbool.h>
 #include <stdint.h>
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include <sys/stat.h>
+#include <time.h>
 #include <unistd.h>
+#include "u8-mbtouc.h"
 
 static uint8_t *data;
 static size_t n;
 
+int version;
+
 static bool
 all_ascii(const uint8_t *p, size_t n)
 {
@@ -25,13 +31,6 @@ try_find(const char *target, size_t target_len)
   return pos ? pos - data : 0;
 }
 
-static size_t
-try_find_tail(const char *target, size_t target_len)
-{
-  size_t pos = try_find(target, target_len);
-  return pos ? pos + target_len : 0;
-}
-
 static size_t
 find(const char *target, size_t target_len)
 {
@@ -44,24 +43,18 @@ find(const char *target, size_t target_len)
   return pos;
 }
 
-static size_t
-find_tail(const char *target, size_t target_len)
-{
-  size_t pos = try_find_tail(target, target_len);
-  if (!pos)
-    {
-      fprintf (stderr, "not found\n");
-      exit(1);
-    }
-  return pos;
-}
-
 size_t pos;
 
 #define XSTR(x) #x
 #define STR(x) XSTR(x)
 #define WHERE __FILE__":" STR(__LINE__)
 
+static uint8_t
+get_byte(void)
+{
+  return data[pos++];
+}
+
 static unsigned int
 get_u32(void)
 {
@@ -71,6 +64,33 @@ get_u32(void)
   return x;
 }
 
+static unsigned long long int
+get_u64(void)
+{
+  uint64_t x;
+  memcpy(&x, &data[pos], 8);
+  pos += 8;
+  return x;
+}
+
+static unsigned int
+get_be32(void)
+{
+  uint32_t x;
+  x = (data[pos] << 24) | (data[pos + 1] << 16) | (data[pos + 2] << 8) | data[pos + 3];
+  pos += 4;
+  return x;
+}
+
+static unsigned int
+get_u16(void)
+{
+  uint16_t x;
+  memcpy(&x, &data[pos], 2);
+  pos += 2;
+  return x;
+}
+
 static double
 get_double(void)
 {
@@ -80,6 +100,15 @@ get_double(void)
   return x;
 }
 
+static double __attribute__((unused))
+get_float(void)
+{
+  float x;
+  memcpy(&x, &data[pos], 4);
+  pos += 4;
+  return x;
+}
+
 static bool
 match_u32(uint32_t x)
 {
@@ -101,6 +130,48 @@ match_u32_assert(uint32_t x, const char *where)
 }
 #define match_u32_assert(x) match_u32_assert(x, WHERE)
 
+static bool __attribute__((unused))
+match_u64(uint64_t x)
+{
+  if (get_u64() == x)
+    return true;
+  pos -= 8;
+  return false;
+}
+
+static void __attribute__((unused))
+match_u64_assert(uint64_t x, const char *where)
+{
+  unsigned long long int y = get_u64();
+  if (x != y)
+    {
+      fprintf(stderr, "%s: 0x%x: expected u64:%llu, got u64:%llu\n", where, pos - 8, x, y);
+      exit(1);
+    }
+}
+#define match_u64_assert(x) match_u64_assert(x, WHERE)
+
+static bool __attribute__((unused))
+match_be32(uint32_t x)
+{
+  if (get_be32() == x)
+    return true;
+  pos -= 4;
+  return false;
+}
+
+static void
+match_be32_assert(uint32_t x, const char *where)
+{
+  unsigned int y = get_be32();
+  if (x != y)
+    {
+      fprintf(stderr, "%s: 0x%x: expected be%u, got be%u\n", where, pos - 4, x, y);
+      exit(1);
+    }
+}
+#define match_be32_assert(x) match_be32_assert(x, WHERE)
+
 static bool
 match_byte(uint8_t b)
 {
@@ -124,6 +195,100 @@ match_byte_assert(uint8_t b, const char *where)
 }
 #define match_byte_assert(b) match_byte_assert(b, WHERE)
 
+static bool
+get_bool(void)
+{
+  if (match_byte(0))
+    return false;
+  match_byte_assert(1);
+  return true;
+}
+
+static void
+newline(FILE *stream, int pos)
+{
+  fprintf(stream, "\n%08x: ", pos);
+}
+
+static void
+dump_raw(FILE *stream, int start, int end)
+{
+  for (size_t i = start; i < end; )
+    {
+      if (i + 5 <= n
+          && data[i]
+          //&& !data[i + 1]
+          && !data[i + 2]
+          && !data[i + 3]
+          && i + 4 + data[i] + data[i + 1] * 256 <= end
+          && all_ascii(&data[i + 4], data[i] + data[i + 1] * 256))
+        {
+          newline(stream, i);
+          fprintf(stream, "\"");
+          fwrite(&data[i + 4], 1, data[i] + data[i + 1] * 256, stream);
+          fputs("\" ", stream);
+
+          i += 4 + data[i] + data[i + 1] * 256;
+        }
+      else if (i + 12 <= end
+               && data[i + 1] == 40
+               && data[i + 2] == 5
+               && data[i + 3] == 0)
+        {
+          double d;
+
+          memcpy (&d, &data[i + 4], 8);
+          fprintf (stream, "F40.%d(%.*f)", data[i], data[i], d);
+          i += 12;
+          newline (stream, i);
+        }
+      else if (i + 12 <= end
+               && data[i + 1] == 40
+               && data[i + 2] == 31
+               && data[i + 3] == 0)
+        {
+          double d;
+
+          memcpy (&d, &data[i + 4], 8);
+          fprintf (stream, "PCT40.%d(%.*f)", data[i], data[i], d);
+          i += 12;
+          newline(stream, i);
+        }
+      else if (i + 4 <= end
+               && (data[i] && data[i] != 88 && data[i] != 0x41)
+               && !data[i + 1]
+               && !data[i + 2]
+               && !data[i + 3])
+        {
+          fprintf (stream, "i%d ", data[i]);
+          i += 4;
+        }
+      else
+        {
+          fprintf(stream, "%02x ", data[i]);
+          i++;
+        }
+    }
+
+
+}
+
+static bool __attribute__((unused))
+all_utf8(const char *p_)
+{
+  const uint8_t *p = (const uint8_t *) p_;
+  size_t len = strlen ((char *) p);
+  for (size_t ofs = 0, mblen; ofs < len; ofs += mblen)
+    {
+      ucs4_t uc;
+
+      mblen = u8_mbtouc (&uc, p + ofs, len - ofs);
+      if ((uc < 32 && uc != '\n') || uc == 127 || uc == 0xfffd)
+        return false;
+    }
+  return true;
+}
+
 static char *
 get_string(const char *where)
 {
@@ -147,748 +312,305 @@ get_string(const char *where)
 }
 #define get_string() get_string(WHERE)
 
-static void
-dump_value_31(void)
+static char *
+get_string_be(const char *where)
 {
-  if (match_byte (0x31))
+  if (1
+      /*data[pos + 1] == 0 && data[pos + 2] == 0 && data[pos + 3] == 0*/
+      /*&& all_ascii(&data[pos + 4], data[pos])*/)
     {
-      if (match_u32 (0))
-        {
-          match_u32_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else if (match_u32 (1))
-        {
-          printf("(footnote %d) ", get_u32());
-          match_byte_assert (0);
-          match_byte_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else if (match_u32 (2))
-        {
-          printf("(special 2)");
-          match_byte_assert(0);
-          match_byte_assert(0);
-          match_u32_assert(1);
-          match_byte_assert(0);
-          match_byte_assert(0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else
-        {
-          match_u32_assert(3);
-          printf("(special 3)");
-          match_byte_assert(0);
-          match_byte_assert(0);
-          match_byte_assert(1);
-          match_byte_assert(0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes, ", subn);
-          pos += subn;
-          subn = get_u32 ();
-          printf ("nested %d bytes, ", subn);
-          pos += subn;
-        }
+      int len = data[pos + 2] * 256 + data[pos + 3];
+      char *s = malloc(len + 1);
+
+      memcpy(s, &data[pos + 4], len);
+      s[len] = 0;
+      pos += 4 + len;
+      return s;
     }
   else
-    match_byte_assert (0x58);
+    {
+      fprintf(stderr, "%s: 0x%x: expected string\n", where, pos);
+      exit(1);
+    }
 }
+#define get_string_be() get_string_be(WHERE)
 
-static void
-dump_value(int level)
+static int
+get_end(void)
 {
-  for (int i = 0; i <= level; i++)
-    printf ("    ");
+  int len = get_u32();
+  return pos + len;
+}
 
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  if (match_byte (3))
+static void __attribute__((unused))
+hex_dump(int ofs, int n)
+{
+  for (int i = 0; i < n; i++)
     {
-      char *s1 = get_string();
-      dump_value_31();
-      char *s2 = get_string();
-      char *s3 = get_string();
-      if (strcmp(s1, s3))
-        printf("strings \"%s\", \"%s\" and \"%s\"", s1, s2, s3);
+      int c = data[ofs + i];
+#if 1
+      if (i && !(i % 16))
+        printf("-");
       else
-        printf("string \"%s\" and \"%s\"", s1, s2);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
-      match_byte (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
+        printf(" ");
+#endif
+      printf("%02x", c);
     }
-  else if (match_byte (5))
+  for (int i = 0; i < n; i++)
     {
-      match_byte_assert (0x58);
-      printf ("variable \"%s\"", get_string());
-      get_string();
-      if (!match_byte(1) && !match_byte(2))
-        match_byte_assert(3);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
+      int c = data[ofs + i];
+      printf("%c", c >= 32 && c < 127 ? c : '.');
     }
-  else if (match_byte (2))
-    {
-      unsigned int format;
-      char *var, *vallab;
-      double value;
+}
 
-      match_byte_assert (0x58);
-      format = get_u32 ();
-      value = get_double ();
-      var = get_string ();
-      vallab = get_string ();
-      printf ("value %g format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-      if (!match_byte (1) && !match_byte(2))
-        match_byte_assert (3);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-    }
-  else if (match_byte (4))
-    {
-      unsigned int format;
-      char *var, *vallab, *value;
+static char *
+dump_counted_string(void)
+{
+  int inner_end = get_end();
+  if (pos == inner_end)
+    return NULL;
 
-      match_byte_assert (0x58);
-      format = get_u32 ();
-      vallab = get_string ();
-      var = get_string ();
-      if (!match_byte(1) && !match_byte(2))
-        match_byte_assert (3);
-      value = get_string ();
-      printf ("value \"%s\" format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-    }
-  else if (match_byte (1))
+  if (match_u32(5))
     {
-      unsigned int format;
-      double value;
-
-      dump_value_31();
-      format = get_u32 ();
-      value = get_double ();
-      printf ("value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
-      match_byte (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
+      match_u32_assert(0);
+      match_byte_assert(0x58);
     }
   else
+    match_u32_assert(0);
+
+  char *s = NULL;
+  if (match_byte(0x31))
+    s = get_string();
+  else
+    match_byte_assert(0x58);
+  if (pos != inner_end)
     {
-      dump_value_31();
-      char *base = get_string();
-      int x = get_u32();
-      printf ("\"%s\" with %d variables:\n", base, x);
-      if (match_u32(0))
-        {
-          for (int i = 0; i < x; i++)
-            {
-              dump_value (level+1);
-              putchar('\n');
-            }
-        }
-      else
-        {
-          for (int i = 0; i < x; i++)
-            {
-              int y = get_u32();
-              match_u32_assert(0);
-              for (int j = 0; j <= level; j++)
-                printf ("    ");
-              printf("variable %d has %d values:\n", i, y);
-              for (int j = 0; j < y; j++)
-                {
-                  if (match_byte(3))
-                    {
-                      char *a = get_string();
-                      match_byte_assert(0x58);
-                      char *b = get_string();
-                      char *c = get_string();
-                      for (int k = 0; k <= level + 1; k++)
-                        printf ("    ");
-                      printf ("\"%s\", \"%s\", \"%s\"", a, b, c);
-                      match_byte(0);
-                      match_byte(0);
-                      match_byte(0);
-                      match_byte(0);
-                      match_byte(0);
-                    }
-                  else
-                    dump_value (level+1);
-                  putchar('\n');
-                }
-            }
-        }
+      fprintf(stderr, "inner end discrepancy\n");
+      exit(1);
     }
+  return s;
 }
 
 static void
-dump_dim_value(int level)
+dump_style(FILE *stream)
 {
-  for (int i = 0; i <= level; i++)
-    printf ("    ");
+  if (match_byte(0x58))
+    return;
 
-  if (match_byte (3))
-    {
-      get_string();
-      if (match_byte (0x31))
-        {
-          match_u32 (1);
-          printf("(footnote %d) ", get_u32());
-          match_byte_assert (0);
-          match_byte_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else
-        match_byte_assert (0x58);
-      get_string();
-      printf("string \"%s\"", get_string());
-      match_byte (0);
-      match_byte_assert (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
-    }
-  else if (match_byte (5))
+  match_byte_assert(0x31);
+  if (get_bool())
+    printf (" bold=\"yes\"");
+  if (get_bool())
+    printf (" italic=\"yes\"");
+  if (get_bool())
+    printf (" underline=\"yes\"");
+  if (!get_bool())
+    printf (" show=\"no\"");
+  char *fg = get_string();     /* foreground */
+  char *bg = get_string();     /* background */
+  char *font = get_string();     /* font */
+  int size = get_byte() * (72. / 96.);
+  fprintf(stream, " fgcolor=\"%s\" bgcolor=\"%s\" font=\"%s\" size=\"%dpt\"",
+          fg, bg, font, size);
+}
+
+static void
+dump_style2(FILE *stream)
+{
+  if (match_byte(0x58))
+    return;
+
+  match_byte_assert(0x31);
+  uint32_t halign = get_u32();
+  printf (" halign=\"%s\"",
+          halign == 0 ? "center"
+          : halign == 2 ? "left"
+          : halign == 4 ? "right"
+          : halign == 6 ? "decimal"
+          : halign == 0xffffffad ? "mixed"
+          : "<error>");
+  int valign = get_u32();
+  printf (" valign=\"%s\"",
+          valign == 0 ? "center"
+          : valign == 1 ? "top"
+          : valign == 3 ? "bottom"
+          : "<error>");
+  printf (" offset=\"%gpt\"", get_double());
+  int l = get_u16();
+  int r = get_u16();
+  int t = get_u16();
+  int b = get_u16();
+  printf (" margins=\"%d %d %d %d\"", l, r, t, b);
+}
+
+static char *
+dump_nested_string(FILE *stream)
+{
+  char *s = NULL;
+
+  match_byte_assert (0);
+  match_byte_assert (0);
+  int outer_end = get_end();
+  s = dump_counted_string();
+  if (s)
+    fprintf(stream, " \"%s\"", s);
+  dump_style(stream);
+  match_byte_assert(0x58);
+  if (pos != outer_end)
     {
-      match_byte_assert (0x58);
-      printf ("variable \"%s\"", get_string());
-      get_string();
-      match_byte_assert (2);
+      fprintf(stderr, "outer end discrepancy\n");
+      exit(1);
     }
-  else if (match_byte (2))
-    {
-      unsigned int format;
-      char *var, *vallab;
-      double value;
-
-      match_byte_assert (0x58);
-      format = get_u32 ();
-      value = get_double ();
-      var = get_string ();
-      vallab = get_string ();
-      printf ("value %g format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-      if (!match_u32 (3))
-        match_u32_assert (2);
-      match_byte (0);
-    }
-  else if (match_byte (1))
-    {
-      unsigned int format;
-      double value;
-
-      match_byte_assert (0x58);
-      format = get_u32 ();
-      value = get_double ();
-      printf ("value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
-      match_byte (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
-    }
-  else
-    {
-      int subn;
-
-      match_byte (0);
-      match_byte_assert (0x31);
-      match_u32_assert (0);
-      match_u32_assert (0);
-      subn = get_u32 ();
-      printf ("nested %d bytes", subn);
-      pos += subn;
-      printf ("; \"%s\", substitutions:", get_string());
-      int total_subs = get_u32();
-      int x = get_u32();
-      if (x)
-        {
-          total_subs = (total_subs - 1) + x;
-          match_u32_assert (0);
-        }
-      printf (" (total %d)", total_subs);
-
-      for (int i = 0; i < total_subs; i++)
-        {
-          putc ('\n', stdout);
-          dump_value (level + 1);
-        }
-    }
-}
-
-static void
-dump_category(int level)
-{
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  dump_value (level);
-
-  if (match_u32 (2))
-    get_u32 ();
-  else if (match_u32 (1))
-    {
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      get_u32 ();
-    }
-  else if (match_byte (1))
-    {
-      match_byte (0);
-      if (!match_u32 (2))
-        match_u32_assert (1);
-      match_byte (0);
-      get_u32();
-    }
-  else
-    {
-      match_u32_assert (0);
-      get_u32 ();
-    }
-
-  int n_categories = get_u32();
-  if (n_categories > 0)
-    printf (", %d subcategories:", n_categories);
-  printf("\n");
-  for (int i = 0; i < n_categories; i++)
-    dump_category (level + 1);
-}
-
-static void
-dump_dim(void)
-{
-  int n_categories;
-  printf("next dim\n");
-  match_byte(0);
-  if (match_byte(3))
-    {
-      get_string();
-      match_byte_assert(0x58);
-      get_string();
-      printf("string \"%s\": ", get_string());
-      match_byte(1) || match_byte(0);
-    }
-  else if (match_byte(5)) 
-    {
-      match_byte_assert(0x58);
-      printf("variable \"%s\": ", get_string());
-      get_string();
-      if (!match_byte(2))
-        match_byte_assert(3);
-    }
-  else if (match_byte(0x31))
-    {
-      int subn;
-      int total_subs = 1;
-
-      match_u32_assert (0);
-      match_u32_assert (0);
-      subn = get_u32 ();
-      printf ("nested %d bytes", subn);
-      pos += subn;
-      printf ("; \"%s\", substitutions:", get_string());
-      for (;;)
-        {
-          int n_subst = get_u32();
-          if (!n_subst)
-            break;
-          printf (" %d", n_subst);
-          total_subs *= n_subst;
-        }
-
-      for (int i = 0; i < total_subs; i++)
-        {
-          putc ('\n', stdout);
-          dump_dim_value (0);
-        }
-    }
-  else
-    {
-      int total_subs = 1;
-
-      match_byte_assert (0x58);
-      printf ("\"%s\" with substitutions:", get_string());
-      for (;;)
-        {
-          int n_subst = get_u32();
-          if (!n_subst)
-            break;
-          printf (" %d", n_subst);
-          total_subs *= n_subst;
-        }
-
-      for (int i = 0; i < total_subs; i++)
-        {
-          putc ('\n', stdout);
-          dump_dim_value (0);
-        }
-    }
-
-  /* This byte is usually 0x02 but 0x00 and 0x75 (!) have also been spotted. */
-  pos++;
-
-  if (!match_byte(0) && !match_byte(1))
-    match_byte_assert(2);
-  if (!match_u32(0))
-    match_u32_assert(2);
-  if (!match_byte(0))
-    match_byte_assert(1);
-  match_byte(0);
-  match_byte(0);
-  match_byte(0);
-  match_byte(0);
-  get_u32();
-  match_byte(0);
-  match_byte(0);
-  match_byte(0);
-  match_byte(0);
-  n_categories = get_u32();
-  printf("%d nested categories\n", n_categories);
-  for (int i = 0; i < n_categories; i++)
-    dump_category (0);
-}
 
-int n_dims;
-static void
-dump_dims(void)
-{
-  n_dims = get_u32();
-  printf ("%u dimensions\n", n_dims);
-  for (int i = 0; i < n_dims; i++)
-    {
-      printf("\n");
-      dump_dim ();
-    }
+  return s;
 }
 
 static void
-dump_data_value_31(void)
+dump_value_modifier(FILE *stream)
 {
   if (match_byte (0x31))
     {
       if (match_u32 (0))
         {
+          fprintf(stream, "<special0");
           if (match_u32 (1))
-            get_string();
+            {
+              /* Corpus frequencies:
+                 124 "a"
+                 12 "b"
+                 8 "a, b"
+
+                 The given text is appended to the cell in a subscript font.
+              */
+              fprintf(stream, " subscript=\"%s\"", get_string());
+            }
           else
             match_u32_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else if (match_u32 (1))
-        {
-          printf("(footnote %d) ", get_u32());
-          match_byte_assert (0);
-          match_byte_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else if (match_u32 (2))
-        {
-          printf("(special 2)");
-          match_byte_assert(0);
-          match_byte_assert(0);
-          match_u32_assert(1);
-          match_byte_assert(0);
-          match_byte_assert(0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
+
+          if (version == 1)
+            {
+              /* We only have one SPV file for this version (with many
+                 tables). */
+              match_byte(0);
+              if (!match_u32(1))
+                match_u32_assert(2);
+              match_byte(0);
+              match_byte(0);
+              if (!match_u32(0) && !match_u32(1) && !match_u32(2) && !match_u32(3) && !match_u32(4) && !match_u32(5) && !match_u32(6) && !match_u32(7) && !match_u32(8) && !match_u32(9))
+                match_u32_assert(10);
+              match_byte(0);
+              match_byte(0);
+              fprintf(stream, "/>\n");
+              return;
+            }
+
+          int outer_end = get_end();
+          
+          /* This counted-string appears to be a template string,
+             e.g. "Design\: [:^1:]1 Within Subjects Design\: [:^1:]2". */
+          char *template = dump_counted_string();
+          if (template)
+            fprintf(stream, " template=\"%s\"", template);
+
+          dump_style(stream);
+          dump_style2(stream);
+          if (pos != outer_end)
+            {
+              fprintf(stderr, "outer end discrepancy\n");
+              exit(1);
+            }
+          fprintf(stream, "/>\n");
         }
       else
         {
-          match_u32_assert(3);
-          printf("(special 3)");
+          int count = get_u32();
+          fprintf(stream, "<footnote-ref indexes=\"");
+          for (int i = 0; i < count; i++)
+            {
+              if (i)
+                putc(' ', stream);
+              fprintf(stream, "%d", get_u16());
+            }
+          putc('"', stream);
           match_byte_assert(0);
           match_byte_assert(0);
-          match_byte_assert(1);
-          match_byte_assert(0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes, ", subn);
-          pos += subn;
-          subn = get_u32 ();
-          printf ("nested %d bytes, ", subn);
-          pos += subn;
+          dump_nested_string(stream);
+          fprintf(stream, "/>\n");
         }
     }
   else
     match_byte_assert (0x58);
 }
 
-static void
-dump_data(void)
+static const char *
+format_to_string (int type)
 {
-#if 1
-  int a[16];
-  for (int i = 0; i < 3 + n_dims; i++)
-    a[i] = get_u32();
-  printf ("data intro:");
-  for (int i = 0; i < 3 + n_dims; i++)
-    printf(" %d", a[i]);
-  printf("\n");
-#else
-  fprintf (stderr,"data intro (%d dims):", n_dims);
-  for (int i = 0; i < 3+n_dims; i++)
-    fprintf (stderr," %d", get_u32());
-  fprintf(stderr,"\n");
-#endif
-  int x = get_u32();
-  printf ("%d data values, starting at %08x\n", x, pos);
-  for (int i = 0; i < x; i++)
+  static char tmp[16];
+  switch (type)
     {
-      printf("%08x, index %d:\n", pos, get_u32());
-      match_u32_assert(0);
-      match_byte(0);
-      match_byte(0);
-      match_byte(0);
-      match_byte(0);
-      if (match_byte (1))
-        {
-          unsigned int format;
-          double value;
-
-          dump_data_value_31();
-          format = get_u32 ();
-          value = get_double ();
-          printf ("    value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
-        }
-      else if (match_byte (3))
-        {
-          get_string();
-          dump_data_value_31();
-          get_string();
-          printf("string \"%s\"", get_string());
-          match_byte (0);
-        }
-      else if (match_byte (2))
-        {
-          unsigned int format;
-          char *var, *vallab;
-          double value;
-
-          match_byte_assert (0x58);
-          format = get_u32 ();
-          value = get_double ();
-          var = get_string ();
-          vallab = get_string ();
-          printf ("value %g format %d(%d.%d) var \"%s\" vallab \"%s\"",
-                  value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-          if (!match_byte (1) && !match_byte(2))
-            match_byte_assert (3);
-        }
-      else if (match_byte (4))
-        {
-          unsigned int format;
-          char *var, *vallab, *value;
-
-          match_byte_assert (0x58);
-          format = get_u32 ();
-          vallab = get_string ();
-          var = get_string ();
-          if (!match_byte(1) && !match_byte(2))
-            match_byte_assert (3);
-          value = get_string ();
-          printf ("value \"%s\" format %d(%d.%d) var \"%s\" vallab \"%s\"",
-                  value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-        }
-      else if (match_byte (5))
-        {
-          match_byte_assert (0x58);
-          printf ("variable \"%s\"", get_string());
-          get_string();
-          if (!match_byte(1) && !match_byte(2))
-            match_byte_assert(3);
-          match_byte (0);
-          match_byte (0);
-          match_byte (0);
-          match_byte (0);
-        }
-      else
-        {
-          dump_data_value_31();
-          char *base = get_string();
-          int x = get_u32();
-          printf ("\"%s\"; %d variables:\n", base, x);
-          for (int i = 0; i < x; i++)
-            {
-              int y = get_u32();
-              if (!y)
-                y = 1;
-              else
-                match_u32_assert(0);
-              for (int j = 0; j <= 0; j++)
-                printf ("    ");
-              printf("variable %d has %d values:\n", i, y);
-              for (int j = 0; j < y; j++)
-                {
-                  if (match_byte (1))
-                    {
-                      unsigned int format;
-                      double value;
-
-                      dump_data_value_31();
-                      format = get_u32 ();
-                      value = get_double ();
-                      printf ("    value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
-                    }
-                  else if (match_byte(3))
-                    {
-                      char *a = get_string();
-                      match_byte_assert(0x58);
-                      char *b = get_string();
-                      char *c = get_string();
-                      for (int k = 0; k <= 1; k++)
-                        printf ("    ");
-                      printf ("\"%s\", \"%s\", \"%s\"", a, b, c);
-                      match_byte(0);
-                      match_byte(0);
-                      match_byte(0);
-                      match_byte(0);
-                    }
-                  else if (match_byte(5))
-                    {
-                      match_byte_assert (0x58);
-                      printf ("variable \"%s\"", get_string());
-                      get_string();
-                      if (!match_byte(1) && !match_byte(2))
-                        match_byte_assert(3);
-                      match_byte (0);
-                      match_byte (0);
-                      match_byte (0);
-                      match_byte (0);
-                    }
-                  else
-                    dump_value (0);
-                  putchar('\n');
-                }
-            }
-        }
-      putchar('\n');
+    case 1: return "A";
+    case 2: return "AHEX";
+    case 3: return "COMMA";
+    case 4: return "DOLLAR";
+    case 5: case 40: return "F";
+    case 6: return "IB";
+    case 7: return "PIBHEX";
+    case 8: return "P";
+    case 9: return "PIB";
+    case 10: return "PK";
+    case 11: return "RB";
+    case 12: return "RBHEX";
+    case 15: return "Z";
+    case 16: return "N";
+    case 17: return "E";
+    case 20: return "DATE";
+    case 21: return "TIME";
+    case 22: return "DATETIME";
+    case 23: return "ADATE";
+    case 24: return "JDATE";
+    case 25: return "DTIME";
+    case 26: return "WKDAY";
+    case 27: return "MONTH";
+    case 28: return "MOYR";
+    case 29: return "QYR";
+    case 30: return "WKYR";
+    case 31: return "PCT";
+    case 32: return "DOT";
+    case 33: return "CCA";
+    case 34: return "CCB";
+    case 35: return "CCC";
+    case 36: return "CCD";
+    case 37: return "CCE";
+    case 38: return "EDATE";
+    case 39: return "SDATE";
+    default:
+      abort();
+      sprintf(tmp, "<%d>", type);
+      return tmp;
     }
 }
 
 static void
-dump_title_value_31(int level)
+dump_value(FILE *stream, int level)
 {
-  if (match_byte (0x31))
-    {
-      if (match_u32 (0))
-        {
-          match_u32_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else if (match_u32 (1))
-        {
-          printf("(footnote %d) ", get_u32());
-          match_byte_assert (0);
-          match_byte_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else if (match_u32 (2))
-        {
-          printf("(special 2)");
-          match_byte_assert(0);
-          match_byte_assert(0);
-          if (!match_u32(2))
-            match_u32_assert(1);
-          match_byte_assert(0);
-          match_byte_assert(0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else
-        {
-          match_u32_assert(3);
-          printf("(special 3)");
-          match_byte_assert(0);
-          match_byte_assert(0);
-          match_byte_assert(1);
-          match_byte_assert(0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes, ", subn);
-          pos += subn;
-          subn = get_u32 ();
-          printf ("nested %d bytes, ", subn);
-          pos += subn;
-        }
-    }
-  else
-    match_byte_assert (0x58);
-}
+  match_byte(0);
+  match_byte(0);
+  match_byte(0);
+  match_byte(0);
 
-static void
-dump_title_value(int level)
-{
   for (int i = 0; i <= level; i++)
-    printf ("    ");
-
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  if (match_byte (3))
-    {
-      get_string();
-      dump_title_value_31(level);
-      get_string();
-      printf("string \"%s\"", get_string());
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
-      match_byte (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
-    }
-  else if (match_byte (5))
+    fprintf (stream, "    ");
+
+  if (match_byte (1))
     {
-      dump_title_value_31(level);
-      printf ("variable \"%s\"", get_string());
-      get_string();
-      if (!match_byte(1) && !match_byte(2))
-        match_byte_assert(3);
+      unsigned int format;
+      double value;
+
+      dump_value_modifier(stream);
+      format = get_u32 ();
+      value = get_double ();
+      fprintf (stream, "<number value=\"%.*g\" format=\"%s%d.%d\"/>\n",
+               DBL_DIG, value, format_to_string(format >> 16), (format >> 8) & 0xff, format & 0xff);
     }
   else if (match_byte (2))
     {
@@ -896,64 +618,75 @@ dump_title_value(int level)
       char *var, *vallab;
       double value;
 
-      match_byte_assert (0x58);
+      dump_value_modifier (stream);
       format = get_u32 ();
       value = get_double ();
       var = get_string ();
       vallab = get_string ();
-      printf ("value %g format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
+      fprintf (stream, "<numeric-datum value=\"%.*g\" format=\"%s%d.%d\"",
+              DBL_DIG, value, format_to_string(format >> 16), (format >> 8) & 0xff, format & 0xff);
+      if (var[0])
+        fprintf (stream, " variable=\"%s\"", var);
+      if (vallab[0])
+        fprintf (stream, " label=\"%s\"", vallab);
+      fprintf (stream, "/>\n");
       if (!match_byte (1) && !match_byte(2))
         match_byte_assert (3);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
+    }
+  else if (match_byte (3))
+    {
+      char *text =  get_string();
+      dump_value_modifier(stream);
+      char *identifier = get_string();
+      char *text_eng = get_string();
+      fprintf (stream, "<string c=\"%s\"", text_eng);
+      if (identifier[0])
+        fprintf (stream, " identifier=\"%s\"", identifier);
+      if (strcmp(text_eng, text))
+        fprintf (stream, " local=\"%s\"", text);
+      fprintf (stream, "/>\n");
+      if (!match_byte (0))
+        match_byte_assert(1);
     }
   else if (match_byte (4))
     {
       unsigned int format;
       char *var, *vallab, *value;
 
-      match_byte_assert (0x58);
+      dump_value_modifier(stream);
       format = get_u32 ();
       vallab = get_string ();
       var = get_string ();
       if (!match_byte(1) && !match_byte(2))
         match_byte_assert (3);
       value = get_string ();
-      printf ("value \"%s\" format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
+      fprintf (stream, "<string-datum value=\"%s\" format=\"%s%d.%d\"",
+              value, format_to_string(format >> 16), (format >> 8) & 0xff, format & 0xff);
+      if (var[0])
+        fprintf (stream, " variable=\"%s\"", var);
+      if (vallab[0])
+        fprintf (stream, " label=\"%s\"/>\n", vallab);
+      fprintf (stream, "/>\n");
     }
-  else if (match_byte (1))
+  else if (match_byte (5))
     {
-      unsigned int format;
-      double value;
-
-      dump_title_value_31(level);
-      format = get_u32 ();
-      value = get_double ();
-      printf ("value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
-      match_byte (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
+      dump_value_modifier(stream);
+      char *name = get_string ();
+      char *label = get_string ();
+      fprintf (stream, "<variable name=\"%s\"", name);
+      if (label[0])
+        fprintf (stream, " label=\"%s\"", label);
+      fprintf (stream, "/>\n");
+      if (!match_byte(1) && !match_byte(2))
+        match_byte_assert(3);
     }
   else
     {
-      dump_title_value_31(level);
+      dump_value_modifier(stream);
 
       char *base = get_string();
       int x = get_u32();
-      printf ("\"%s\" with %d variables:\n", base, x);
+      fprintf (stream, "<template format=\"%s\">\n", base);
       for (int i = 0; i < x; i++)
         {
           int y = get_u32();
@@ -961,422 +694,578 @@ dump_title_value(int level)
             y = 1;
           else
             match_u32_assert(0);
-          for (int j = 0; j <= level; j++)
-            printf ("    ");
-          printf("variable %d has %d values:\n", i, y);
+          for (int j = 0; j <= level + 1; j++)
+            fprintf (stream, "    ");
+          fprintf (stream, "<substitution index=\"%d\">\n", i + 1);
           for (int j = 0; j < y; j++)
-            {
-              match_byte(0);
-              if (match_byte(3))
-                {
-                  char *a = get_string();
-                  match_byte_assert(0x58);
-                  char *b = get_string();
-                  char *c = get_string();
-                  for (int k = 0; k <= level + 1; k++)
-                    printf ("    ");
-                  printf ("\"%s\", \"%s\", \"%s\"", a, b, c);
-                }
-              else
-                dump_title_value (level+1);
-              putchar('\n');
-            }
+            dump_value (stream, level + 2);
+          for (int j = 0; j <= level + 1; j++)
+            fprintf (stream, "    ");
+          fprintf (stream, "</substitution>\n");
         }
+      for (int j = 0; j <= level; j++)
+        fprintf (stream, "    ");
+      fprintf (stream, "</template>\n");
     }
 }
 
+static int
+compare_int(const void *a_, const void *b_)
+{
+  const int *a = a_;
+  const int *b = b_;
+  return *a < *b ? -1 : *a > *b;
+}
+
+static void
+check_permutation(int *a, int n, const char *name)
+{
+  int b[n];
+  memcpy(b, a, n * sizeof *a);
+  qsort(b, n, sizeof *b, compare_int);
+  for (int i = 0; i < n; i++)
+    if (b[i] != i)
+      {
+        fprintf(stderr, "bad %s permutation:", name);
+        for (int i = 0; i < n; i++)
+          fprintf(stderr, " %d", a[i]);
+        putc('\n', stderr);
+        exit(1);
+      }
+}
+
 static void
-dump_footnote_value(int level)
+dump_category(FILE *stream, int level, int **indexes, int *allocated_indexes,
+              int *n_indexes)
 {
   for (int i = 0; i <= level; i++)
-    printf ("    ");
+    fprintf (stream, "    ");
+  printf ("<category>\n");
+  dump_value (stream, level + 1);
+
+  int merge = data[pos];
+  if (!match_byte(0))
+    match_byte_assert (1);
+
+  match_byte_assert (0);
+
+  int unindexed = data[pos];
+  if (!match_byte(0))
+    match_byte_assert (1);
 
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  if (match_byte (3))
+  int x = get_u32 ();
+  pos -= 4;
+  if (!match_u32 (0))
+    match_u32_assert (2);
+
+  int indx = get_u32();
+  int n_categories = get_u32();
+  if (indx == -1)
     {
-      get_string();
-      if (match_byte (0x31))
+      if (merge)
         {
-          if (match_u32 (1))
-            {
-              printf("(footnote %d) ", get_u32());
-              match_byte_assert (0);
-              match_byte_assert (0);
-              int subn = get_u32 ();
-              printf ("nested %d bytes", subn);
-              pos += subn;
-            }
-          else if (match_u32 (2))
-            {
-              printf("(special 2)");
-              match_byte_assert(0);
-              match_byte_assert(0);
-              match_u32_assert(1);
-              match_byte_assert(0);
-              match_byte_assert(0);
-              int subn = get_u32 ();
-              printf ("nested %d bytes", subn);
-              pos += subn;
-            }
-          else
-            {
-              match_u32_assert(3);
-              printf("(special 3)");
-              match_byte_assert(0);
-              match_byte_assert(0);
-              match_byte_assert(1);
-              match_byte_assert(0);
-              int subn = get_u32 ();
-              printf ("nested %d bytes, ", subn);
-              pos += subn;
-              subn = get_u32 ();
-              printf ("nested %d bytes, ", subn);
-              pos += subn;
-            }
+          for (int i = 0; i <= level + 1; i++)
+            fprintf (stream, "    ");
+          fprintf (stream, "<merge/>\n");
         }
-      else
-        match_byte_assert (0x58);
-      get_string();
-      printf("string \"%s\"", get_string());
-      if (!match_byte (0))
-        match_byte_assert (1);
     }
-  else if (match_byte (5))
+  else
     {
-      match_byte_assert (0x58);
-      printf ("variable \"%s\"", get_string());
-      get_string();
-      if (!match_byte(1) && !match_byte(2))
-        match_byte_assert(3);
+      if (merge)
+        {
+          fprintf(stderr, "index not -1 but merged\n");
+          exit(1);
+        }
+      if (x != 2)
+        {
+          fprintf(stderr, "index not -1 but x != 2\n");
+          exit(1);
+        }
+      if (n_categories != 0)
+        {
+          fprintf(stderr, "index not -1 but subcategories\n");
+          exit(1);
+        }
+      if (*n_indexes >= *allocated_indexes)
+        {
+          *allocated_indexes = *allocated_indexes ? 2 * *allocated_indexes : 16;
+          *indexes = realloc(*indexes, *allocated_indexes * sizeof **indexes);
+        }
+      (*indexes)[(*n_indexes)++] = indx;
     }
-  else if (match_byte (2))
-    {
-      unsigned int format;
-      char *var, *vallab;
-      double value;
 
-      match_byte_assert (0x58);
-      format = get_u32 ();
-      value = get_double ();
-      var = get_string ();
-      vallab = get_string ();
-      printf ("value %g format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-      if (!match_byte (1) && !match_byte(2))
-        match_byte_assert (3);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-    }
-  else if (match_byte (4))
+  int expected_unindexed = indx == -1;
+  if (unindexed != expected_unindexed)
     {
-      unsigned int format;
-      char *var, *vallab, *value;
-
-      match_byte_assert (0x58);
-      format = get_u32 ();
-      vallab = get_string ();
-      var = get_string ();
-      if (!match_byte(1) && !match_byte(2))
-        match_byte_assert (3);
-      value = get_string ();
-      printf ("value \"%s\" format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
+      fprintf(stderr, "unindexed (%d) mismatch with indx (%d)\n",
+              unindexed, indx);
+      exit(1);
     }
-  else if (match_byte (1))
-    {
-      unsigned int format;
-      double value;
 
-      if (match_byte (0x31))
-        {
-          if (match_u32 (1))
-            {
-              printf("(footnote %d) ", get_u32());
-              match_byte_assert (0);
-              match_byte_assert (0);
-              int subn = get_u32 ();
-              printf ("nested %d bytes", subn);
-              pos += subn;
-            }
-        }
-      else
-        match_byte_assert (0x58);
-      format = get_u32 ();
-      value = get_double ();
-      printf ("value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
+  if (n_categories == 0)
+    {
+      for (int i = 0; i <= level + 1; i++)
+        fprintf (stream, "    ");
+      fprintf (stream, "<category-index>%d</category-index>\n", indx);
     }
-  else if (match_byte (0x31))
+  for (int i = 0; i < n_categories; i++)
+    dump_category (stream, level + 1, indexes, allocated_indexes, n_indexes);
+  for (int i = 0; i <= level; i++)
+    fprintf (stream, "    ");
+  printf ("</category>\n");
+}
+
+static int
+dump_dim(int indx)
+{
+  int n_categories;
+
+  printf ("<dimension index=\"%d\">\n", indx);
+  dump_value (stdout, 0);
+
+  /* This byte is usually 0 but many other values have been spotted. */
+  pos++;
+
+  if (!match_byte(0) && !match_byte(1))
+    match_byte_assert(2);
+  if (!match_u32(0))
+    match_u32_assert(2);
+  if (!match_byte(0))
+    match_byte_assert(1);
+  if (!match_byte(0))
+    match_byte_assert(1);
+  match_byte_assert(1);
+  if (!match_u32(UINT32_MAX))
+    match_u32_assert(indx);
+  n_categories = get_u32();
+
+  int *indexes = NULL;
+  int n_indexes = 0;
+  int allocated_indexes = 0;
+  for (int i = 0; i < n_categories; i++)
+    dump_category (stdout, 0, &indexes, &allocated_indexes, &n_indexes);
+  check_permutation(indexes, n_indexes, "categories");
+
+  fprintf (stdout, "</dimension>\n");
+  return n_indexes;
+}
+
+int n_dims;
+static int dim_n_cats[64];
+#define MAX_DIMS (sizeof dim_n_cats / sizeof *dim_n_cats)
+
+static void
+dump_dims(void)
+{
+  n_dims = get_u32();
+  assert(n_dims < MAX_DIMS);
+  for (int i = 0; i < n_dims; i++)
+    dim_n_cats[i] = dump_dim (i);
+}
+
+static void
+dump_data(void)
+{
+  /* The first three numbers add to the number of dimensions. */
+  int l = get_u32();
+  int r = get_u32();
+  int c = n_dims - l - r;
+  match_u32_assert(c);
+
+  /* The next n_dims numbers are a permutation of the dimension numbers. */
+  int a[n_dims];
+  for (int i = 0; i < n_dims; i++)
     {
-      if (match_u32 (1))
-        {
-          printf("(footnote %d) ", get_u32());
-          match_byte_assert (0);
-          match_byte_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else
-        {
-          match_u32_assert (0);
-          match_u32_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      char *base = get_string();
-      int x = get_u32();
-      printf ("\"%s\"; %d variables:\n", base, x);
-      for (int i = 0; i < x; i++)
-        {
-          int y = get_u32();
-          if (!y)
-            y = 1;
-          else
-            match_u32_assert(0);
-          for (int j = 0; j <= level; j++)
-            printf ("    ");
-          printf("variable %d has %d values:\n", i, y);
-          for (int j = 0; j < y; j++)
-            {
-              if (match_byte(3))
-                {
-                  char *a = get_string();
-                  match_byte_assert(0x58);
-                  char *b = get_string();
-                  char *c = get_string();
-                  for (int k = 0; k <= level + 1; k++)
-                    printf ("    ");
-                  printf ("\"%s\", \"%s\", \"%s\"", a, b, c);
-                  if (!match_byte(1))
-                    match_byte_assert(0);
-                }
-              else
-                dump_footnote_value (level+1);
-              putchar('\n');
-            }
-        }
+      int dim = get_u32();
+      a[i] = dim;
+
+      const char *name = i < l ? "layer" : i < l + r ? "row" : "column";
+      printf ("<%s dimension=\"%d\"/>\n", name, dim);
     }
-  else
+  check_permutation(a, n_dims, "dimensions");
+
+  int x = get_u32();
+  printf ("<data>\n");
+  for (int i = 0; i < x; i++)
     {
+      unsigned int indx = get_u32();
+      printf ("    <datum index=\"%d\" coords=", indx);
 
-      match_byte_assert (0x58);
-      char *base = get_string();
-      int x = get_u32();
-      printf ("\"%s\" with %d variables:\n", base, x);
-      for (int i = 0; i < x; i++)
+      int coords[MAX_DIMS];
+      for (int i = n_dims; i-- > 0; )
         {
-          int y = get_u32();
-          if (!y)
-            y = 1;
-          else
-            match_u32_assert(0);
-          for (int j = 0; j <= level; j++)
-            printf ("    ");
-          printf("variable %d has %d values:\n", i, y);
-          for (int j = 0; j < y; j++)
-            {
-              if (match_byte(3))
-                {
-                  char *a = get_string();
-                  match_byte_assert(0x58);
-                  char *b = get_string();
-                  char *c = get_string();
-                  for (int k = 0; k <= level + 1; k++)
-                    printf ("    ");
-                  printf ("\"%s\", \"%s\", \"%s\"", a, b, c);
-                  match_byte_assert(0);
-                }
-              else
-                dump_footnote_value (level+1);
-              putchar('\n');
-            }
+          coords[i] = indx % dim_n_cats[i];
+          indx /= dim_n_cats[i];
         }
+      for (int i = 0; i < n_dims; i++)
+        printf("%c%d", i ? ',' : '"', coords[i]);
+
+      printf ("\">\n");
+      match_u32_assert(0);
+      if (version == 1)
+        match_byte(0);
+      dump_value(stdout, 1);
+      fprintf (stdout, "    </datum>\n");
     }
+  printf ("</data>\n");
 }
 
 static void
 dump_title(void)
 {
-  pos = 0x27;
-  dump_title_value(0); putchar('\n');
-  dump_title_value(0); putchar('\n');
+  printf ("<title-local>\n");
+  dump_value(stdout, 0);
+  match_byte(1);
+  printf ("</title-local>\n");
+
+  printf ("<subtype>\n");
+  dump_value(stdout, 0);
+  match_byte(1);
+  printf ("</subtype>\n");
+
   match_byte_assert(0x31);
-  dump_title_value(0); putchar('\n');
-  match_byte(0);
-  match_byte_assert(0x58);
+
+  printf ("<title-c>\n");
+  dump_value(stdout, 0);
+  match_byte(1);
+  printf ("</title-c>\n");
+
   if (match_byte(0x31))
     {
-      dump_footnote_value(0); putchar('\n');
+      printf ("<user-caption>\n");
+      dump_value(stdout, 0);
+      printf ("</user-caption>\n");
     }
   else
     match_byte_assert(0x58);
-
-
-  int n_footnotes = get_u32();
-  if (n_footnotes >= 20)
+  if (match_byte(0x31))
     {
-      fprintf(stderr, "%08x: %d footnotes\n", pos - 4, n_footnotes);
-      exit(1);
+      printf ("<caption>\n");
+      dump_value(stdout, 0);
+      printf ("</caption>\n");
     }
+  else
+    match_byte_assert(0x58);
 
-  printf("------\n%d footnotes\n", n_footnotes);
-  if (n_footnotes < 20)
+  int n_footnotes = get_u32();
+  for (int i = 0; i < n_footnotes; i++)
     {
-      for (int i = 0; i < n_footnotes; i++)
-        {
-          printf("footnote %d:\n", i);
-          dump_footnote_value(0);
-          match_byte(0);
-          match_byte(0);
-          match_byte(0);
-          match_byte(0);
-          if (match_byte (1))
-            {
-              unsigned int format;
-              double value;
-
-              if (match_byte (0x31))
-                {
-                  if (match_u32 (1))
-                    {
-                      printf("(footnote %d) ", get_u32());
-                      match_byte_assert (0);
-                      match_byte_assert (0);
-                      int subn = get_u32 ();
-                      printf ("nested %d bytes", subn);
-                      pos += subn;
-                    }
-                }
-              else
-                match_byte_assert (0x58);
-              format = get_u32 ();
-              value = get_double ();
-              printf ("value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
-              match_byte (1);
-              match_byte (0);
-              match_byte (0);
-              match_byte (0);
-              match_byte (1);
-            }
-          else if (match_byte (0x31))
-            {
-              match_byte_assert(3);
-              get_string();
-              match_byte_assert(0x58);
-              match_u32_assert(0);
-              get_string();
-              match_byte(0);
-            }
-          else
-            match_byte_assert (0x58);
-          printf("(%d)\n", get_u32());
-        }
+      printf ("<footnote index=\"%d\">\n", i);
+      dump_value(stdout, 0);
+      /* Custom footnote marker string. */
+      if (match_byte (0x31))
+        dump_value(stdout, 0);
+      else
+        match_byte_assert (0x58);
+      get_u32 ();
+      printf ("</footnote>\n");
     }
 }
 
-static int
-find_dimensions(void)
-{
-  {
-    const char dimensions[] = "-,,,.\0";
-    int x = try_find_tail(dimensions, sizeof dimensions - 1);
-    if (x)
-      return x;
-  }
-
-  const char dimensions[] = "-,,, .\0";
-  return find_tail(dimensions, sizeof dimensions - 1);
-}
-
 static void
 dump_fonts(void)
 {
-  printf("fonts: offset=%08x\n", pos);
   match_byte(0);
   for (int i = 1; i <= 8; i++)
     {
-      printf("%08x: font %d, ", pos, i);
+      printf ("<style index=\"%d\"", i);
       match_byte_assert(i);
       match_byte_assert(0x31);
-      printf("%s, ", get_string());
-      match_byte_assert(0);
-      match_byte_assert(0);
-      if (!match_byte(0x40) && !match_byte(0x20) && !match_byte(0x80) && !match_byte(0x10))
-        match_byte_assert(0x50);
-      if (!match_byte(0x41))
-        match_byte_assert(0x51);
-      pos += 13;
-      printf ("%s, ", get_string());
-      printf ("%s, ", get_string());
-      match_u32_assert(0);
-      match_u32_assert(0);
-      pos++;
-      get_u32();
-      get_u32();
-      get_u32();
-      get_u32();
-      putchar('\n');
-    }
+      printf(" font=\"%s\"", get_string());
 
-  match_u32_assert(240);
-  pos += 240;
+      printf(" size=\"%gpt\"", get_float());
 
-  match_u32_assert(18);
-  pos += 18;
+      int style = get_u32();
+      if (style & 1)
+        printf(" bold=\"true\"");
+      if (style & 2)
+        printf(" italic=\"true\"");
 
-  if (match_u32(117))
-    pos += 117;
-  else
+      bool underline = data[pos++];
+      if (underline)
+        printf(" underline=\"true\"");
+
+      int halign = get_u32();
+      printf(" halign=%d", halign);
+
+      int valign = get_u32();
+      printf(" valign=%d", valign);
+
+      printf (" fgcolor=\"%s\"", get_string());
+      printf (" bgcolor=\"%s\"", get_string());
+
+      if (!match_byte(0))
+        match_byte_assert(1);
+
+      char *alt_fgcolor = get_string();
+      if (alt_fgcolor[0])
+        printf (" altfg=\"%s\"", alt_fgcolor);
+      char *alt_bgcolor = get_string();
+      if (alt_bgcolor[0])
+        printf (" altbg=\"%s\"", alt_bgcolor);
+
+      if (version > 1)
+        {
+          printf(" margins=\"");
+          for (int i = 0; i < 4; i++)
+            {
+              if (i)
+                putchar(' ');
+              printf("%d", get_u32());
+            }
+          putchar('"');
+        }
+
+      printf ("/>\n");
+    }
+
+  int x1 = get_u32();
+  int x1_end = pos + x1;
+  printf("<borders>\n");
+  match_be32_assert(1);
+  int n_borders = get_be32();
+  for (int i = 0; i < n_borders; i++)
+    {
+      int type = get_be32();
+      int stroke = get_be32();
+      int color = get_be32();
+      printf("  <border type=\"%d\" stroke=\"%s\" color=\"#%06x\"/>\n",
+             type,
+             (stroke == 0 ? "none"
+              : stroke == 1 ? "solid"
+              : stroke == 2 ? "dashed"
+              : stroke == 3 ? "thick"
+              : stroke == 4 ? "thin"
+              : stroke == 5 ? "double"
+              : "<error>"),
+             color);
+    }
+  bool grid = get_byte();
+  pos += 3;
+  printf("  <grid show=\"%s\"/>\n", grid ? "yes" : "no");
+  printf("</borders>\n");
+  assert(pos == x1_end);
+
+  int skip = get_u32();
+  assert(skip == 18 || skip == 25);
+  pos += skip;
+
+  int x3 = get_u32();
+  int x3_end = pos + x3;
+  if (version == 3)
     {
-      match_u32_assert(142);
-      pos += 142;
+      match_be32_assert(1);
+      get_be32();
+      printf("<settings layer=\"%d\"", get_be32());
+      if (!get_byte())
+        printf(" skipempty=\"false\"");
+      if (!get_byte())
+        printf(" showdimensionincorner=\"false\"");
+      if (!get_byte())
+        printf(" markers=\"numeric\"");
+      if (!get_byte())
+        printf(" footnoteposition=\"subscript\"");
+      get_byte();
+      int nbytes = get_be32();
+      printf("\n");
+      hex_dump(pos, nbytes);
+      printf("\n");
+      pos += nbytes;
+      char *notes = get_string_be();
+      if (notes[0])
+        printf(" notes=\"%s\"", notes);
+      char *look = get_string_be();
+      if (look[0])
+        printf(" look=\"%s\"", look);
+      printf(">\n");
     }
+  pos = x3_end;
 
+  /* Manual column widths, if present. */
   int count = get_u32();
-  pos += 4 * count;
+  if (count > 0)
+    {
+      printf("<columnwidths>");
+      for (int i = 0; i < count; i++)
+        {
+          if (i)
+            putchar(' ');
+          printf("%d", get_u32());
+        }
+      printf("</columnwidths>\n");
+    }
 
-  char *encoding = get_string();
-  printf("encoding=%s\n", encoding);
+  const char *locale = get_string();
+  printf ("<locale>%s</locale>\n", locale);
 
-  if (!match_u32(0))
-    match_u32_assert(UINT32_MAX);
+  get_u32();            /* Seen: 0, UINT32_MAX, 2, 3, 4, 5, 6, 8, 9, 21, 24. */
   if (!match_byte(0))
     match_byte_assert(1);
   match_byte_assert(0);
   if (!match_byte(0))
     match_byte_assert(1);
-  if (!match_byte(0x99) && !match_byte(0x98))
-    match_byte_assert(0x97);
-  match_byte_assert(7);
-  match_byte_assert(0);
-  match_byte_assert(0);
+  printf("<epoch>%d</epoch>\n", get_u32());
+
+  int decimal = data[pos];
+  int grouping = data[pos + 1];
   if (match_byte('.'))
-    match_byte_assert(',');
+    {
+      if (!match_byte(',') && !match_byte('\''))
+        match_byte_assert(' ');
+    }
   else
     {
       match_byte_assert(',');
-      if (!match_byte('.'))
-        match_byte_assert(' ');
+      if (!match_byte('.') && !match_byte(' ') && !match_byte(','))
+        match_byte_assert(0);
+    }
+  printf("<format decimal=\"%c\" grouping=\"", decimal);
+  if (grouping)
+    putchar(grouping);
+  printf("\"/>\n");
+  if (match_u32(5))
+    {
+      for (int i = 0; i < 5; i++)
+        printf("<CC%c>%s</CC%c>\n", 'A' + i, get_string(), 'A' + i);
+    }
+  else
+    match_u32_assert(0);
+
+  /* The last chunk is an outer envelope that contains two inner envelopes.
+     The second inner envelope has some interesting data like the encoding and
+     the locale. */
+  if (version == 3)
+    {
+      int outer_end = get_end();
+
+      /* First inner envelope: byte*33 int[n] int*[n]. */
+      int inner_len = get_u32();
+      int inner_end = pos + inner_len;
+      int array_start = pos + 33;
+      match_byte_assert(0);
+      pos++;                    /* 0, 1, 10 seen. */
+      match_byte_assert(0);
+      pos++;                    /* 0...11 seen. */
+      if (!match_byte(0) && !match_byte(1) && !match_byte(2))
+        match_byte_assert(3);
+      if (!match_byte(0) && !match_byte(2))
+        match_byte_assert(3);
+      if (!match_u64(0))
+        match_u64_assert(UINT64_MAX);
+      match_u32_assert(0);
+      match_u32_assert(0);
+      match_u32_assert(0);
+      match_u32_assert(0);
+      match_byte_assert(0);
+      if (!match_byte(0))
+        match_byte_assert(1);
+      match_byte_assert(1);
+      pos = array_start;
+#if 1
+      printf("widths:");
+      while (pos < inner_end)
+        printf(" %d", get_u32());
+      printf("\n");
+#endif
+      pos = inner_end;;
+
+      /* Second inner envelope. */
+      assert(get_end() == outer_end);
+
+      match_byte_assert(1);
+      match_byte_assert(0);
+      if (!match_byte(3) && !match_byte(4))
+        match_byte_assert(5);
+      match_byte_assert(0);
+      match_byte_assert(0);
+      match_byte_assert(0);
+
+      printf("<command>%s</command>\n", get_string());
+      printf("<subcommand>%s</subcommand>\n", get_string());
+      printf("<language>%s</language>\n", get_string());
+      printf("<charset>%s</charset>\n", get_string());
+      printf("<locale>%s</locale>\n", get_string());
+
+      if (!match_byte(0))
+        match_byte_assert(1);
+      match_byte_assert(0);
+      if (!match_byte(0))
+        match_byte_assert(1);
+      if (!match_byte(0))
+        match_byte_assert(1);
+
+      printf("<epoch2>%d</epoch2>\n", get_u32());
+
+      if (match_byte('.'))
+        {
+          if (!match_byte(',') && !match_byte('\''))
+            match_byte_assert(' ');
+        }
+      else
+        {
+          match_byte_assert(',');
+          if (!match_byte('.') && !match_byte(' ') && !match_byte(','))
+            match_byte_assert(0);
+        }
+
+      printf ("small: %g\n", get_double());
+
+      match_byte_assert(1);
+      if (outer_end - pos > 6)
+        {
+          /* There might be a pair of strings representing a dataset and
+             datafile name, or there might be a set of custom currency strings.
+             The custom currency strings start with a pair of integers, so we
+             can distinguish these from a string by checking for a null byte; a
+             small 32-bit integer will always contain a null and a text string
+             never will. */
+          int save_pos = pos;
+          int len = get_u32();
+          bool has_dataset = !memchr(&data[pos], '\0', len);
+          pos = save_pos;
+
+          if (has_dataset)
+            {
+              printf("<dataset>%s</dataset>\n", get_string());
+              printf("<datafile>%s</datafile>\n", get_string());
+
+              match_u32_assert(0);
+
+              time_t date = get_u32();
+              struct tm tm = *localtime(&date);
+              char s[128];
+              strftime(s, sizeof s, "%a, %d %b %Y %H:%M:%S %z", &tm);
+              printf("<date>%s</date>\n", s);
+
+              match_u32_assert(0);
+            }
+        }
+
+      if (match_u32(5))
+        {
+          for (int i = 0; i < 5; i++)
+            printf("<CC%c>%s</CC%c>\n", 'A' + i, get_string(), 'A' + i);
+        }
+      else
+        match_u32_assert(0);
+
+      match_byte_assert('.');
+      if (!match_byte(0))
+        match_byte_assert(1);
+
+      if (pos < outer_end)
+        {
+          printf("<seed>%d</seed>\n", get_u32());
+          match_u32_assert(0);
+        }
+      assert(pos == outer_end);
+
+      pos = outer_end;
+    }
+  else
+    {
+      pos = get_end();
     }
-  match_u32_assert(5);
-  for (int i = 0; i < 5; i++)
-    get_string();
-  pos += get_u32();
-  if (pos != find_dimensions())
-    fprintf (stderr, "%08x / %08x\n", pos, find_dimensions());
 }
 
 int
@@ -1408,135 +1297,102 @@ main(int argc, char *argv[])
       exit(1);
     }
 
-  if (argc > 1)
+  if (argc != 2)
     {
-      if (!strcmp(argv[1], "title0"))
-        {
-          pos = 0x27;
-          if (match_byte (0x03)
-              || (match_byte (0x05) && match_byte (0x58)))
-            printf ("%s\n", get_string());
-          else
-            printf ("<unknown>\n");
-          return 0;
-        }
-      else if (!strcmp(argv[1], "title"))
-        {
-          dump_title();
-          exit(0);
-        }
-      else if (!strcmp(argv[1], "titleraw"))
-        {
-          const char fonts[] = "\x01\x31\x09\0\0\0SansSerif";
-          start = 0x27;
-          n = find(fonts, sizeof fonts - 1);
-        }
-      else if (!strcmp(argv[1], "fonts"))
-        {
-          const char fonts[] = "\x01\x31\x09\0\0\0SansSerif";
-          const char styles[] = "\xf0\0\0\0";
-          start = find(fonts, sizeof fonts - 1);
-          n = find(styles, sizeof styles - 1);
-        }
-      else if (!strcmp(argv[1], "styles"))
-        {
-          const char styles[] = "\xf0\0\0\0";
-          const char dimensions[] = "-,,,.\0";
-          start = find(styles, sizeof styles - 1);
-          n = find(dimensions, sizeof dimensions - 1) + sizeof dimensions - 1;
-        }
-      else if (!strcmp(argv[1], "dimensions") || !strcmp(argv[1], "all"))
-        {
-          pos = 0;
-          match_byte_assert(1);
-          match_byte_assert(0);
-          match_u32_assert(3);
-          match_byte_assert(1);
-          if (!match_byte(0))
-            match_byte_assert(1);
-          match_byte_assert(0);
-          match_byte_assert(0);
-          if (!match_byte(0))
-            match_byte_assert(1);
-          pos++;
-          match_byte_assert(0);
-          match_byte_assert(0);
-          match_byte_assert(0);
-          dump_title ();
-          dump_fonts();
-          dump_dims ();
-          printf("\n\ndata:\n");
-          dump_data ();
-          if (pos == n - 1)
-            match_byte_assert (1);
-          if (pos != n)
-            {
-              fprintf (stderr, "%x / %x\n", pos, n);
-              exit(1);
-            }
-          exit(0);
-        }
-      else
-        {
-          fprintf (stderr, "unknown section %s\n", argv[1]);
-          exit(1);
-        }
+      fprintf (stderr, "usage: %s TYPE < .bin", argv[0]);
+      exit (1);
     }
-  else
-    start = 0x27;
 
-  for (size_t i = start; i < n; )
+  if (!strcmp(argv[1], "title0"))
     {
-      if (i + 5 <= n
-          && data[i]
-          //&& !data[i + 1]
-          && !data[i + 2]
-          && !data[i + 3]
-          && i + 4 + data[i] + data[i + 1] * 256 <= n
-          && all_ascii(&data[i + 4], data[i] + data[i + 1] * 256))
-        {
-          fputs("\n\"", stdout);
-          fwrite(&data[i + 4], 1, data[i] + data[i + 1] * 256, stdout);
-          fputs("\" ", stdout);
-
-          i += 4 + data[i] + data[i + 1] * 256;
-        }
-      else if (i + 12 <= n
-               && data[i + 1] == 40
-               && data[i + 2] == 5
-               && data[i + 3] == 0)
-        {
-          double d;
+      pos = 0x27;
+      if (match_byte (0x03)
+          || (match_byte (0x05) && match_byte (0x58)))
+        printf ("%s\n", get_string());
+      else
+        printf ("<unknown>\n");
+      return 0;
+    }
+  else if (!strcmp(argv[1], "title"))
+    {
+      pos = 0x27;
+      dump_title();
+      exit(0);
+    }
+  else if (!strcmp(argv[1], "titleraw"))
+    {
+      const char fonts[] = "\x01\x31\x09\0\0\0SansSerif";
+      start = 0x27;
+      n = find(fonts, sizeof fonts - 1);
+    }
+  else if (!strcmp(argv[1], "fonts"))
+    {
+      const char fonts[] = "\x01\x31\x09\0\0\0SansSerif";
+      const char styles[] = "\xf0\0\0\0";
+      start = find(fonts, sizeof fonts - 1);
+      n = find(styles, sizeof styles - 1);
+    }
+  else if (!strcmp(argv[1], "styles"))
+    {
+      const char styles[] = "\xf0\0\0\0";
+      const char dimensions[] = "-,,,.\0";
+      start = find(styles, sizeof styles - 1);
+      n = find(dimensions, sizeof dimensions - 1) + sizeof dimensions - 1;
+    }
+  else if (!strcmp(argv[1], "dimensions") || !strcmp(argv[1], "all"))
+    {
+      pos = 0;
+      match_byte_assert(1);
+      match_byte_assert(0);
 
-          memcpy (&d, &data[i + 4], 8);
-          printf ("F40.%d(%.*f)\n", data[i], data[i], d);
-          i += 12;
-        }
-      else if (i + 12 <= n
-               && data[i + 1] == 40
-               && data[i + 2] == 31
-               && data[i + 3] == 0)
-        {
-          double d;
+      /* This might be a version number of some kind, because value 1 seems
+         to only appear in an SPV file that also required its own weird
+         special cases in dump_value_modifier(). */
+      version = get_u32();
+      pos -= 4;
+      if (!match_u32(1))
+        match_u32_assert(3);
+
+      match_byte_assert(1);
+      for (int i = 0; i < 4; i++)
+        if (!match_byte(0))
+          match_byte_assert(1);
+      get_u32();
 
-          memcpy (&d, &data[i + 4], 8);
-          printf ("PCT40.%d(%.*f)\n", data[i], data[i], d);
-          i += 12;
-        }
-      else if (i + 4 <= n
-               && (data[i] && data[i] != 88 && data[i] != 0x41)
-               && !data[i + 1]
-               && !data[i + 2]
-               && !data[i + 3])
-        {
-          printf ("i%d ", data[i]);
-          i += 4;
-        }
-      else
+      int min_col_width = get_u32();
+      int max_col_width = get_u32();
+      int min_row_width = get_u32();
+      int max_row_width = get_u32();
+      printf("<label-width min-col=\"%d\" max-col=\"%d\" min-row=\"%d\" "
+             "max-row=\"%d\"/>\n",
+             min_col_width, max_col_width,
+             min_row_width, max_row_width);
+
+      /* Offset 31. */
+      printf("<tableid>%lld</tableid>", get_u64());
+
+      dump_title ();
+      dump_fonts();
+      dump_dims ();
+      dump_data ();
+      match_byte (1);
+      if (pos != n)
         {
-          printf("%02x ", data[i]);
-          i++;
+          fprintf (stderr, "%x / %x\n", pos, n);
+          exit(1);
         }
+      exit(0);
+    }
+  else if (!strcmp(argv[1], "raw"))
+    {
+      start = 0x27;
+
+      dump_raw(stdout, start, n);
+    }
+  else
+    {
+      fprintf (stderr, "unknown section %s\n", argv[1]);
+      exit(1);
     }
 
   return 0;