notes update
[pspp] / dump.c
diff --git a/dump.c b/dump.c
index bd12c3eb23a22db2ea5fc968408e0ef3fe639a78..8ec7e56ae1c8335ddf92ae995dba1748e4c46baf 100644 (file)
--- a/dump.c
+++ b/dump.c
@@ -1,3 +1,4 @@
+#include <float.h>
 #include <stdbool.h>
 #include <stdint.h>
 #include <stdio.h>
@@ -25,13 +26,6 @@ try_find(const char *target, size_t target_len)
   return pos ? pos - data : 0;
 }
 
-static size_t
-try_find_tail(const char *target, size_t target_len)
-{
-  size_t pos = try_find(target, target_len);
-  return pos ? pos + target_len : 0;
-}
-
 static size_t
 find(const char *target, size_t target_len)
 {
@@ -44,18 +38,6 @@ find(const char *target, size_t target_len)
   return pos;
 }
 
-static size_t
-find_tail(const char *target, size_t target_len)
-{
-  size_t pos = try_find_tail(target, target_len);
-  if (!pos)
-    {
-      fprintf (stderr, "not found\n");
-      exit(1);
-    }
-  return pos;
-}
-
 size_t pos;
 
 #define XSTR(x) #x
@@ -104,7 +86,7 @@ match_u32_assert(uint32_t x, const char *where)
 static bool
 match_byte(uint8_t b)
 {
-  if (data[pos] == b)
+  if (pos < n && data[pos] == b)
     {
       pos++;
       return true;
@@ -124,18 +106,79 @@ match_byte_assert(uint8_t b, const char *where)
 }
 #define match_byte_assert(b) match_byte_assert(b, WHERE)
 
+static void
+dump_raw(FILE *stream, int start, int end, const char *separator)
+{
+  for (size_t i = start; i < end; )
+    {
+      if (i + 5 <= n
+          && data[i]
+          //&& !data[i + 1]
+          && !data[i + 2]
+          && !data[i + 3]
+          && i + 4 + data[i] + data[i + 1] * 256 <= end
+          && all_ascii(&data[i + 4], data[i] + data[i + 1] * 256))
+        {
+          fprintf(stream, "%s\"", separator);
+          fwrite(&data[i + 4], 1, data[i] + data[i + 1] * 256, stream);
+          fputs("\" ", stream);
+
+          i += 4 + data[i] + data[i + 1] * 256;
+        }
+      else if (i + 12 <= end
+               && data[i + 1] == 40
+               && data[i + 2] == 5
+               && data[i + 3] == 0)
+        {
+          double d;
+
+          memcpy (&d, &data[i + 4], 8);
+          fprintf (stream, "F40.%d(%.*f)%s", data[i], data[i], d, separator);
+          i += 12;
+        }
+      else if (i + 12 <= end
+               && data[i + 1] == 40
+               && data[i + 2] == 31
+               && data[i + 3] == 0)
+        {
+          double d;
+
+          memcpy (&d, &data[i + 4], 8);
+          fprintf (stream, "PCT40.%d(%.*f)%s", data[i], data[i], d, separator);
+          i += 12;
+        }
+      else if (i + 4 <= end
+               && (data[i] && data[i] != 88 && data[i] != 0x41)
+               && !data[i + 1]
+               && !data[i + 2]
+               && !data[i + 3])
+        {
+          fprintf (stream, "i%d ", data[i]);
+          i += 4;
+        }
+      else
+        {
+          fprintf(stream, "%02x ", data[i]);
+          i++;
+        }
+    }
+
+
+}
+
 static char *
 get_string(const char *where)
 {
-  if (data[pos + 1] == 0 && data[pos + 2] == 0 && data[pos + 3] == 0
+  if (1
+      /*data[pos + 1] == 0 && data[pos + 2] == 0 && data[pos + 3] == 0*/
       /*&& all_ascii(&data[pos + 4], data[pos])*/)
     {
-      int len = data[pos];
+      int len = data[pos] + data[pos + 1] * 256;
       char *s = malloc(len + 1);
 
       memcpy(s, &data[pos + 4], len);
       s[len] = 0;
-      pos += 4 + data[pos];
+      pos += 4 + len;
       return s;
     }
   else
@@ -146,83 +189,210 @@ get_string(const char *where)
 }
 #define get_string() get_string(WHERE)
 
-static void
-dump_value(int level)
+static char *
+dump_nested_string(void)
 {
-  for (int i = 0; i <= level; i++)
-    printf ("    ");
+  char *s = NULL;
 
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  if (match_byte (3))
+  match_byte_assert (0);
+  match_byte_assert (0);
+  int outer_end = pos + get_u32();
+  int inner_end = pos + get_u32();
+  if (pos != inner_end)
     {
-      get_string();
-      if (match_byte (0x31))
+      match_u32_assert(0);
+      if (match_byte(0x31))
+        s = get_string();
+      else
+        match_byte_assert(0x58);
+      if (pos != inner_end)
+        {
+          fprintf(stderr, "inner end discrepancy\n");
+          exit(1);
+        }
+    }
+  match_byte_assert(0x58);
+  match_byte_assert(0x58);
+  if (pos != outer_end)
+    {
+      fprintf(stderr, "outer end discrepancy\n");
+      exit(1);
+    }
+
+  return s;
+}
+
+static void
+dump_value_31(FILE *stream)
+{
+  if (match_byte (0x31))
+    {
+      if (match_u32 (0))
         {
           if (match_u32 (1))
             {
-              printf("(footnote %d) ", get_u32());
-              match_byte_assert (0);
-              match_byte_assert (0);
-              int subn = get_u32 ();
-              printf ("nested %d bytes", subn);
-              pos += subn;
+              /* Only "a" observed as a sample value (although it appears 44 times in the corpus). */
+              get_string();
             }
-          else if (match_u32 (2))
+          else
+            match_u32_assert (0);
+
+          int outer_end = pos + get_u32();
+          int inner_end = pos + get_u32();
+          match_u32_assert(0);
+          if (match_byte(0x31))
             {
-              printf("(special 2)");
-              match_byte_assert(0);
-              match_byte_assert(0);
-              match_u32_assert(1);
-              match_byte_assert(0);
-              match_byte_assert(0);
-              int subn = get_u32 ();
-              printf ("nested %d bytes", subn);
-              pos += subn;
+              /* Appears to be a template string, e.g. '^1 cells (^2) expf < 5. Min exp = ^3...'.
+                 Probably doesn't actually appear in output because many examples look unpolished,
+                 e.g. 'partial list cases value ^1 shown upper...' */
+              get_string();
             }
           else
+            match_byte_assert(0x58);
+          if (pos != inner_end)
             {
-              match_u32_assert(3);
-              printf("(special 3)");
-              match_byte_assert(0);
-              match_byte_assert(0);
+              fprintf(stderr, "inner end discrepancy\n");
+              exit(1);
+            }
+
+          if (match_byte(0x31))
+            {
+              /* Only one example in the corpus. */
+              match_byte(0);
+              match_byte(0);
+              match_byte(0);
               match_byte_assert(1);
-              match_byte_assert(0);
-              int subn = get_u32 ();
-              printf ("nested %d bytes, ", subn);
-              pos += subn;
-              subn = get_u32 ();
-              printf ("nested %d bytes, ", subn);
-              pos += subn;
+              get_string();     /* foreground */
+              get_string();     /* background */
+              get_string();     /* font */
+              match_byte_assert(12); /* size? */
+            }
+          else
+            match_byte_assert(0x58);
+          match_byte_assert(0x58);
+          if (pos != outer_end)
+            {
+              fprintf(stderr, "outer end discrepancy\n");
+              exit(1);
             }
         }
+      else if (match_u32 (1))
+        {
+          fprintf(stream, "(footnote %d) ", get_u32());
+          dump_nested_string();
+        }
+      else if (match_u32 (2))
+        {
+          fprintf(stream, "(special 2)");
+          match_byte_assert(0);
+          match_byte_assert(0);
+          if (!match_u32 (2))
+            match_u32_assert(1);
+          dump_nested_string(); /* Our corpus doesn't contain any examples with strings though. */
+        }
       else
-        match_byte_assert (0x58);
-      get_string();
-      printf("string \"%s\"", get_string());
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1) || match_byte(3);
-      match_byte (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
+        {
+          match_u32_assert(3);
+          fprintf(stream, "(special 3)");
+          match_byte_assert(0);
+          match_byte_assert(0);
+          match_byte_assert(1);
+          match_byte_assert(0);
+          match_u32_assert(2);
+          dump_nested_string(); /* Our corpus doesn't contain any examples with strings though. */
+        }
+    }
+  else
+    match_byte_assert (0x58);
+}
+
+static const char *
+format_to_string (int type)
+{
+  static char tmp[16];
+  switch (type)
+    {
+    case 1: return "A";
+    case 2: return "AHEX";
+    case 3: return "COMMA";
+    case 4: return "DOLLAR";
+    case 5: case 40: return "F";
+    case 6: return "IB";
+    case 7: return "PIBHEX";
+    case 8: return "P";
+    case 9: return "PIB";
+    case 10: return "PK";
+    case 11: return "RB";
+    case 12: return "RBHEX";
+    case 15: return "Z";
+    case 16: return "N";
+    case 17: return "E";
+    case 20: return "DATE";
+    case 21: return "TIME";
+    case 22: return "DATETIME";
+    case 23: return "ADATE";
+    case 24: return "JDATE";
+    case 25: return "DTIME";
+    case 26: return "WKDAY";
+    case 27: return "MONTH";
+    case 28: return "MOYR";
+    case 29: return "QYR";
+    case 30: return "WKYR";
+    case 31: return "PCT";
+    case 32: return "DOT";
+    case 33: return "CCA";
+    case 34: return "CCB";
+    case 35: return "CCC";
+    case 36: return "CCD";
+    case 37: return "CCE";
+    case 38: return "EDATE";
+    case 39: return "SDATE";
+    default:
+      abort();
+      sprintf(tmp, "<%d>", type);
+      return tmp;
+    }
+}
+
+static void
+dump_value(FILE *stream, int level, bool match1)
+{
+  match_byte(0);
+  match_byte(0);
+  match_byte(0);
+  match_byte(0);
+
+  for (int i = 0; i <= level; i++)
+    fprintf (stream, "    ");
+
+  if (match_byte (3))
+    {
+      char *text = get_string();
+      dump_value_31(stream);
+      char *identifier = get_string();
+      char *text_eng = get_string();
+      fprintf (stream, "<string c=\"%s\"", text_eng);
+      if (identifier[0])
+        fprintf (stream, " identifier=\"%s\"", identifier);
+      if (strcmp(text_eng, text))
+        fprintf (stream, " local=\"%s\"", text);
+      fprintf (stream, "/>\n");
+      if (!match_byte (0))
+        match_byte_assert(1);
+      if (match1)
+        match_byte (1);
     }
   else if (match_byte (5))
     {
-      match_byte_assert (0x58);
-      printf ("variable \"%s\"", get_string());
-      get_string();
+      dump_value_31(stream);
+      char *name = get_string ();
+      char *label = get_string ();
+      fprintf (stream, "<variable name=\"%s\"", name);
+      if (label[0])
+        fprintf (stream, " label=\"%s\"", label);
+      fprintf (stream, "/>\n");
       if (!match_byte(1) && !match_byte(2))
         match_byte_assert(3);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
     }
   else if (match_byte (2))
     {
@@ -235,17 +405,15 @@ dump_value(int level)
       value = get_double ();
       var = get_string ();
       vallab = get_string ();
-      printf ("value %g format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
+      fprintf (stream, "<numeric-datum value=\"%.*g\" format=\"%s%d.%d\"",
+              DBL_DIG, value, format_to_string(format >> 16), (format >> 8) & 0xff, format & 0xff);
+      if (var[0])
+        fprintf (stream, " variable=\"%s\"", var);
+      if (vallab[0])
+        fprintf (stream, " label=\"%s\"/>\n", vallab);
+      fprintf (stream, "/>\n");
       if (!match_byte (1) && !match_byte(2))
         match_byte_assert (3);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
     }
   else if (match_byte (4))
     {
@@ -259,330 +427,344 @@ dump_value(int level)
       if (!match_byte(1) && !match_byte(2))
         match_byte_assert (3);
       value = get_string ();
-      printf ("value \"%s\" format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
+      fprintf (stream, "<string-datum value=\"%s\" format=\"%s%d.%d\"",
+              value, format_to_string(format >> 16), (format >> 8) & 0xff, format & 0xff);
+      if (var[0])
+        fprintf (stream, " variable=\"%s\"", var);
+      if (vallab[0])
+        fprintf (stream, " label=\"%s\"/>\n", vallab);
+      fprintf (stream, "/>\n");
     }
   else if (match_byte (1))
     {
       unsigned int format;
       double value;
 
-      match_byte_assert (0x58);
+      dump_value_31(stream);
       format = get_u32 ();
       value = get_double ();
-      printf ("value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
-      match_byte (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
+      fprintf (stream, "<number value=\"%.*g\" format=\"%s%d.%d\"/>\n",
+               DBL_DIG, value, format_to_string(format >> 16), (format >> 8) & 0xff, format & 0xff);
+      if (match1)
+        match_byte (1);
     }
-  else if (match_byte (0x31))
+  else
     {
-      int subn;
+      dump_value_31(stream);
 
-      if (match_u32 (1))
-        {
-          printf("(footnote %d) ", get_u32());
-          match_byte_assert (0);
-          match_byte_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else
-        {
-          match_u32_assert (0);
-          match_u32_assert (0);
-          subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      printf ("; \"%s\", substitutions:", get_string());
-      int total_subs = get_u32();
+      char *base = get_string();
       int x = get_u32();
-      if (x)
+      fprintf (stream, "<template format=\"%s\">\n", base);
+      for (int i = 0; i < x; i++)
         {
-          total_subs = (total_subs - 1) + x;
-          match_u32_assert (0);
-        }
-      printf (" (total %d)", total_subs);
-
-      for (int i = 0; i < total_subs; i++)
-        {
-          putc ('\n', stdout);
-          dump_value (level + 1);
+          int y = get_u32();
+          if (!y)
+            y = 1;
+          else
+            match_u32_assert(0);
+          for (int j = 0; j <= level + 1; j++)
+            fprintf (stream, "    ");
+          fprintf (stream, "<substitution index=\"%d\">\n", i + 1);
+          for (int j = 0; j < y; j++)
+            dump_value (stream, level + 2, false);
+          for (int j = 0; j <= level + 1; j++)
+            fprintf (stream, "    ");
+          fprintf (stream, "</substitution>\n");
         }
+      for (int j = 0; j <= level; j++)
+        fprintf (stream, "    ");
+      fprintf (stream, "</template>\n");
     }
-  else
-    {
+}
 
-      match_byte_assert (0x58);
-      printf ("\"%s\" with substitutions:", get_string());
-      int total_subs = get_u32();
-      int x = get_u32();
-      if (x)
-        {
-          total_subs = (total_subs - 1) + x;
-          match_u32_assert (0);
-        }
-      printf (" (total %d)", total_subs);
+static int
+compare_int(const void *a_, const void *b_)
+{
+  const int *a = a_;
+  const int *b = b_;
+  return *a < *b ? -1 : *a > *b;
+}
 
-      for (int i = 0; i < total_subs; i++)
-        {
-          putc ('\n', stdout);
-          dump_value (level + 1);
-        }
-    }
+static void
+check_permutation(int *a, int n, const char *name)
+{
+  int b[n];
+  memcpy(b, a, n * sizeof *a);
+  qsort(b, n, sizeof *b, compare_int);
+  for (int i = 0; i < n; i++)
+    if (b[i] != i)
+      {
+        fprintf(stderr, "bad %s permutation:", name);
+        for (int i = 0; i < n; i++)
+          fprintf(stderr, " %d", a[i]);
+        putc('\n', stderr);
+        exit(1);
+      }
 }
 
 static void
-dump_dim_value(int level)
+dump_category(int level, int *indexes, int *n_indexes)
 {
   for (int i = 0; i <= level; i++)
-    printf ("    ");
+    fprintf (stdout, "    ");
+  printf ("<category>\n");
+  dump_value (stdout, level + 1, true);
+  match_byte(0);
+  match_byte(0);
+  match_byte(0);
 
-  if (match_byte (3))
+  if (match_u32 (1))
+    match_byte (0);
+  else if (match_byte (1))
     {
-      get_string();
-      if (match_byte (0x31))
-        {
-          match_u32 (1);
-          printf("(footnote %d) ", get_u32());
-          match_byte_assert (0);
-          match_byte_assert (0);
-          int subn = get_u32 ();
-          printf ("nested %d bytes", subn);
-          pos += subn;
-        }
-      else
-        match_byte_assert (0x58);
-      get_string();
-      printf("string \"%s\"", get_string());
-      match_byte (0);
-      match_byte_assert (1);
-      match_byte (0);
       match_byte (0);
+      if (!match_u32 (2))
+        match_u32_assert (1);
       match_byte (0);
-      match_byte (1);
     }
-  else if (match_byte (5))
+  else if (!match_u32(2))
+    match_u32_assert (0);
+
+  int indx = get_u32();
+  int n_categories = get_u32();
+  if (indx != -1)
     {
-      match_byte_assert (0x58);
-      printf ("variable \"%s\"", get_string());
-      get_string();
-      match_byte_assert (2);
+      if (n_categories != 0)
+        {
+          fprintf(stderr, "index not -1 but subcategories\n");
+          exit(1);
+        }
+      indexes[(*n_indexes)++] = indx;
     }
-  else if (match_byte (2))
+  if (n_categories == 0)
     {
-      unsigned int format;
-      char *var, *vallab;
-      double value;
-
-      match_byte_assert (0x58);
-      format = get_u32 ();
-      value = get_double ();
-      var = get_string ();
-      vallab = get_string ();
-      printf ("value %g format %d(%d.%d) var \"%s\" vallab \"%s\"",
-              value, format >> 16, (format >> 8) & 0xff, format & 0xff, var, vallab);
-      if (!match_u32 (3))
-        match_u32_assert (2);
-      match_byte (0);
+      for (int i = 0; i <= level + 1; i++)
+        fprintf (stdout, "    ");
+      fprintf (stdout, "<category-index>%d</category-index>\n", indx);
     }
-  else if (match_byte (1))
-    {
-      unsigned int format;
-      double value;
+  for (int i = 0; i < n_categories; i++)
+    dump_category (level + 1, indexes, n_indexes);
+  for (int i = 0; i <= level; i++)
+    fprintf (stdout, "    ");
+  printf ("</category>\n");
+}
 
-      match_byte_assert (0x58);
-      format = get_u32 ();
-      value = get_double ();
-      printf ("value %g format %d(%d.%d)", value, format >> 16, (format >> 8) & 0xff, format & 0xff);
-      match_byte (1);
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      match_byte (1);
-    }
-  else
-    {
-      int subn;
+static void
+dump_dim(int indx)
+{
+  int n_categories;
 
-      match_byte (0);
-      match_byte_assert (0x31);
-      match_u32_assert (0);
-      match_u32_assert (0);
-      subn = get_u32 ();
-      printf ("nested %d bytes", subn);
-      pos += subn;
-      printf ("; \"%s\", substitutions:", get_string());
-      int total_subs = get_u32();
-      int x = get_u32();
-      if (x)
-        {
-          total_subs = (total_subs - 1) + x;
-          match_u32_assert (0);
-        }
-      printf (" (total %d)", total_subs);
+  printf ("<dimension index=\"%d\">\n", indx);
+  dump_value (stdout, 0, false);
 
-      for (int i = 0; i < total_subs; i++)
-        {
-          putc ('\n', stdout);
-          dump_value (level + 1);
-        }
-    }
+  /* This byte is usually 0x02 but 0x00 and 0x75 (!) have also been spotted. */
+  pos++;
+
+  if (!match_byte(0) && !match_byte(1))
+    match_byte_assert(2);
+  if (!match_u32(0))
+    match_u32_assert(2);
+  if (!match_byte(0))
+    match_byte_assert(1);
+  if (!match_byte(0))
+    match_byte_assert(1);
+  match_byte_assert(1);
+  match_u32_assert(indx);
+  n_categories = get_u32();
+
+  int indexes[1024];
+  int n_indexes = 0;
+  for (int i = 0; i < n_categories; i++)
+    dump_category (0, indexes, &n_indexes);
+  check_permutation(indexes, n_indexes, "categories");
+
+  fprintf (stdout, "</dimension>\n");
+}
+
+int n_dims;
+static void
+dump_dims(void)
+{
+  n_dims = get_u32();
+  for (int i = 0; i < n_dims; i++)
+    dump_dim (i);
 }
 
 static void
-dump_category(int level)
+dump_data(void)
 {
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  match_byte (0);
-  dump_value (level);
-
-  if (match_u32 (2))
-    get_u32 ();
-  else if (match_u32 (1))
+  /* The first three numbers add to the number of dimensions. */
+  int t = get_u32();
+  t += get_u32();
+  match_u32_assert(n_dims - t);
+
+  /* The next n_dims numbers are a permutation of the dimension numbers. */
+  int a[n_dims];
+  for (int i = 0; i < n_dims; i++)
+    a[i] = get_u32();
+  check_permutation(a, n_dims, "dimensions");
+
+  int x = get_u32();
+  printf ("<data>\n");
+  for (int i = 0; i < x; i++)
     {
-      match_byte (0);
-      match_byte (0);
-      match_byte (0);
-      get_u32 ();
+      printf ("    <datum index=\"%d\">\n", get_u32());
+      match_u32_assert(0);
+      dump_value(stdout, 1, false);
+      fprintf (stdout, "    </datum>\n");
     }
-  else if (match_byte (1))
+  printf ("</data>\n");
+}
+
+static void
+dump_title(void)
+{
+  pos = 0x27;
+  printf ("<title-local>\n");
+  dump_value(stdout, 0, true);
+  printf ("</title-local>\n");
+
+  printf ("<subtype>\n");
+  dump_value(stdout, 0, true);
+  printf ("</subtype>\n");
+
+  match_byte_assert(0x31);
+
+  printf ("<title-c>\n");
+  dump_value(stdout, 0, true);
+  printf ("</title-c>\n");
+
+  match_byte(0);
+  match_byte_assert(0x58);
+  if (match_byte(0x31))
     {
-      match_byte (0);
-      if (!match_u32 (2))
-        match_u32_assert (1);
-      match_byte (0);
-      get_u32();
+      printf ("<caption>\n");
+      dump_value(stdout, 0, false);
+      printf ("</caption>\n");
     }
   else
+    match_byte_assert(0x58);
+
+
+  int n_footnotes = get_u32();
+  for (int i = 0; i < n_footnotes; i++)
     {
-      match_u32_assert (0);
-      get_u32 ();
+      printf ("<footnote index=\"%d\">\n", i);
+      dump_value(stdout, 0, false);
+      if (match_byte (0x31))
+        {
+          /* Custom footnote marker string. */
+          match_byte_assert(3);
+          get_string();
+          match_byte_assert(0x58);
+          match_u32_assert(0);
+          get_string();
+        }
+      else
+        match_byte_assert (0x58);
+      printf("(%d)\n", get_u32());
+      printf ("</footnote>\n");
     }
-
-  int n_categories = get_u32();
-  if (n_categories > 0)
-    printf (", %d subcategories:", n_categories);
-  printf("\n");
-  for (int i = 0; i < n_categories; i++)
-    dump_category (level + 1);
 }
 
 static void
-dump_dim(void)
+dump_fonts(void)
 {
-  int n_categories;
-  printf("next dim\n");
   match_byte(0);
-  if (match_byte(3))
-    {
-      get_string();
-      match_byte_assert(0x58);
-      get_string();
-      printf("string \"%s\": ", get_string());
-      match_byte(1) || match_byte(0);
-    }
-  else if (match_byte(5)) 
-    {
-      match_byte_assert(0x58);
-      printf("variable \"%s\": ", get_string());
-      get_string();
-      if (!match_byte(2))
-        match_byte_assert(3);
-    }
-  else if (match_byte(0x31))
-    {
-      int subn;
-      int total_subs = 1;
-
-      match_u32_assert (0);
-      match_u32_assert (0);
-      subn = get_u32 ();
-      printf ("nested %d bytes", subn);
-      pos += subn;
-      printf ("; \"%s\", substitutions:", get_string());
-      for (;;)
+  for (int i = 1; i <= 8; i++)
+    {
+      printf ("<style index=\"%d\"", i);
+      match_byte_assert(i);
+      match_byte_assert(0x31);
+      printf(" font=\"%s\"", get_string());
+      match_byte_assert(0);
+      match_byte_assert(0);
+      if (!match_byte(0x40) && !match_byte(0x20) && !match_byte(0x80) && !match_byte(0x10))
+        match_byte_assert(0x50);
+      if (!match_byte(0x41))
+        match_byte_assert(0x51);
+      if (!match_u32(0))
+        match_u32_assert(1);
+      match_byte_assert(0);
+
+      /* OK, this seems really unlikely to be totally correct, but it matches my corpus... */
+      if (!match_u32(0) && !match_u32(2))
+        match_u32_assert(0xfaad);
+
+      if (!match_u32(0) && !match_u32(1) && !match_u32(2))
+        match_u32_assert(3);
+      printf (" fgcolor=\"%s\"", get_string());
+      printf (" bgcolor=\"%s\"", get_string());
+      match_u32_assert(0);
+      match_u32_assert(0);
+      match_byte_assert(0);
+
+      /* These seem unlikely to be correct too. */
+      if (i != 3)
         {
-          int n_subst = get_u32();
-          if (!n_subst)
-            break;
-          printf (" %d", n_subst);
-          total_subs *= n_subst;
+          match_u32_assert(8);
+          if (!match_u32(10))
+            match_u32_assert(11);
+          match_u32_assert(1);
         }
-
-      for (int i = 0; i < total_subs; i++)
+      else
         {
-          putc ('\n', stdout);
-          dump_dim_value (0);
+          get_u32();
+          if (!match_u32(-1) && !match_u32(8))
+            match_u32_assert(24);
+          if (!match_u32(-1) && !match_u32(2))
+            match_u32_assert(3);
         }
+
+      /* Who knows? Ranges from -1 to 8 with no obvious pattern. */
+      get_u32();
+
+      printf ("/>\n");
     }
-  else
-    {
-      int total_subs = 1;
 
-      match_byte_assert (0x58);
-      printf ("\"%s\" with substitutions:", get_string());
-      for (;;)
-        {
-          int n_subst = get_u32();
-          if (!n_subst)
-            break;
-          printf (" %d", n_subst);
-          total_subs *= n_subst;
-        }
+  match_u32_assert(240);
+  pos += 240;
 
-      for (int i = 0; i < total_subs; i++)
-        {
-          putc ('\n', stdout);
-          dump_dim_value (0);
-        }
+  match_u32_assert(18);
+  pos += 18;
+
+  if (match_u32(117))
+    pos += 117;
+  else
+    {
+      match_u32_assert(142);
+      pos += 142;
     }
 
-  /* This byte is usually 0x02 but 0x00 and 0x75 (!) have also been spotted. */
-  pos++;
+  int count = get_u32();
+  pos += 4 * count;
+
+  printf ("<encoding>%s</encoding>\n", get_string ());
 
-  if (!match_byte(0) && !match_byte(1))
-    match_byte_assert(2);
   if (!match_u32(0))
-    match_u32_assert(2);
+    match_u32_assert(UINT32_MAX);
   if (!match_byte(0))
     match_byte_assert(1);
-  match_byte(0);
-  match_byte(0);
-  match_byte(0);
-  match_byte(0);
-  get_u32();
-  match_byte(0);
-  match_byte(0);
-  match_byte(0);
-  match_byte(0);
-  n_categories = get_u32();
-  printf("%d nested categories\n", n_categories);
-  for (int i = 0; i < n_categories; i++)
-    dump_category (0);
-}
-
-static void
-dump_dims(void)
-{
-  int n_dims = get_u32();
-
-  printf ("%u dimensions\n", n_dims);
-  for (int i = 0; i < n_dims; i++)
+  match_byte_assert(0);
+  if (!match_byte(0))
+    match_byte_assert(1);
+  if (!match_byte(0x99) && !match_byte(0x98))
+    match_byte_assert(0x97);
+  match_byte_assert(7);
+  match_byte_assert(0);
+  match_byte_assert(0);
+  if (match_byte('.'))
+    match_byte_assert(',');
+  else
     {
-      printf("\n");
-      dump_dim ();
+      match_byte_assert(',');
+      if (!match_byte('.'))
+        match_byte_assert(' ');
     }
+  match_u32_assert(5);
+  for (int i = 0; i < 5; i++)
+    get_string();
+  pos += get_u32();
 }
 
 int
@@ -626,7 +808,12 @@ main(int argc, char *argv[])
             printf ("<unknown>\n");
           return 0;
         }
-      if (!strcmp(argv[1], "title"))
+      else if (!strcmp(argv[1], "title"))
+        {
+          dump_title();
+          exit(0);
+        }
+      else if (!strcmp(argv[1], "titleraw"))
         {
           const char fonts[] = "\x01\x31\x09\0\0\0SansSerif";
           start = 0x27;
@@ -646,22 +833,34 @@ main(int argc, char *argv[])
           start = find(styles, sizeof styles - 1);
           n = find(dimensions, sizeof dimensions - 1) + sizeof dimensions - 1;
         }
-      else if (!strcmp(argv[1], "dimensions"))
+      else if (!strcmp(argv[1], "dimensions") || !strcmp(argv[1], "all"))
         {
-          {
-            const char dimensions[] = "-,,,.\0";
-            start = try_find_tail(dimensions, sizeof dimensions - 1);
-          }
-
-          if (!start)
+          pos = 0;
+          match_byte_assert(1);
+          match_byte_assert(0);
+          match_u32_assert(3);
+          match_byte_assert(1);
+          if (!match_byte(0))
+            match_byte_assert(1);
+          match_byte_assert(0);
+          match_byte_assert(0);
+          if (!match_byte(0))
+            match_byte_assert(1);
+          pos++;
+          match_byte_assert(0);
+          match_byte_assert(0);
+          match_byte_assert(0);
+          dump_title ();
+          dump_fonts();
+          dump_dims ();
+          dump_data ();
+          match_byte (1);
+          if (pos != n)
             {
-              const char dimensions[] = "-,,, .\0";
-              start = find_tail(dimensions, sizeof dimensions - 1);
+              fprintf (stderr, "%x / %x\n", pos, n);
+              exit(1);
             }
-
-          pos = start;
-          dump_dims ();
-          return 0;
+          exit(0);
         }
       else
         {
@@ -672,59 +871,7 @@ main(int argc, char *argv[])
   else
     start = 0x27;
 
-  for (size_t i = start; i < n; )
-    {
-      if (i + 5 <= n
-          && data[i]
-          && !data[i + 1]
-          && !data[i + 2]
-          && !data[i + 3]
-          && i + 4 + data[i] <= n
-          && all_ascii(&data[i + 4], data[i]))
-        {
-          fputs("\n\"", stdout);
-          fwrite(&data[i + 4], 1, data[i], stdout);
-          fputs("\" ", stdout);
-
-          i += 4 + data[i];
-        }
-      else if (i + 12 <= n
-               && data[i + 1] == 40
-               && data[i + 2] == 5
-               && data[i + 3] == 0)
-        {
-          double d;
-
-          memcpy (&d, &data[i + 4], 8);
-          printf ("F40.%d(%.*f)\n", data[i], data[i], d);
-          i += 12;
-        }
-      else if (i + 12 <= n
-               && data[i + 1] == 40
-               && data[i + 2] == 31
-               && data[i + 3] == 0)
-        {
-          double d;
-
-          memcpy (&d, &data[i + 4], 8);
-          printf ("PCT40.%d(%.*f)\n", data[i], data[i], d);
-          i += 12;
-        }
-      else if (i + 4 <= n
-               && (data[i] && data[i] != 88 && data[i] != 0x41)
-               && !data[i + 1]
-               && !data[i + 2]
-               && !data[i + 3])
-        {
-          printf ("i%d ", data[i]);
-          i += 4;
-        }
-      else
-        {
-          printf("%02x ", data[i]);
-          i++;
-        }
-    }
+  dump_raw(stdout, start, n, "\n");
 
   return 0;
 }