Figure out more parts of format.
[pspp] / dump.c
diff --git a/dump.c b/dump.c
index 61ee61ac0c72639825ca6e258a4386606b40020e..12ee73ebdf4d02d143776cb252eca089ac215a7e 100644 (file)
--- a/dump.c
+++ b/dump.c
@@ -6,6 +6,7 @@
 #include <stdlib.h>
 #include <string.h>
 #include <sys/stat.h>
+#include <time.h>
 #include <unistd.h>
 #include "u8-mbtouc.h"
 
@@ -48,6 +49,12 @@ size_t pos;
 #define STR(x) XSTR(x)
 #define WHERE __FILE__":" STR(__LINE__)
 
+static uint8_t
+get_byte(void)
+{
+  return data[pos++];
+}
+
 static unsigned int
 get_u32(void)
 {
@@ -57,6 +64,24 @@ get_u32(void)
   return x;
 }
 
+static unsigned long long int
+get_u64(void)
+{
+  uint64_t x;
+  memcpy(&x, &data[pos], 8);
+  pos += 8;
+  return x;
+}
+
+static unsigned int
+get_be32(void)
+{
+  uint32_t x;
+  x = (data[pos] << 24) | (data[pos + 1] << 16) | (data[pos + 2] << 8) | data[pos + 3];
+  pos += 4;
+  return x;
+}
+
 static unsigned int
 get_u16(void)
 {
@@ -75,6 +100,15 @@ get_double(void)
   return x;
 }
 
+static double __attribute__((unused))
+get_float(void)
+{
+  float x;
+  memcpy(&x, &data[pos], 4);
+  pos += 4;
+  return x;
+}
+
 static bool
 match_u32(uint32_t x)
 {
@@ -96,6 +130,48 @@ match_u32_assert(uint32_t x, const char *where)
 }
 #define match_u32_assert(x) match_u32_assert(x, WHERE)
 
+static bool __attribute__((unused))
+match_u64(uint64_t x)
+{
+  if (get_u64() == x)
+    return true;
+  pos -= 8;
+  return false;
+}
+
+static void __attribute__((unused))
+match_u64_assert(uint64_t x, const char *where)
+{
+  unsigned long long int y = get_u64();
+  if (x != y)
+    {
+      fprintf(stderr, "%s: 0x%x: expected u64:%llu, got u64:%llu\n", where, pos - 8, x, y);
+      exit(1);
+    }
+}
+#define match_u64_assert(x) match_u64_assert(x, WHERE)
+
+static bool __attribute__((unused))
+match_be32(uint32_t x)
+{
+  if (get_be32() == x)
+    return true;
+  pos -= 4;
+  return false;
+}
+
+static void
+match_be32_assert(uint32_t x, const char *where)
+{
+  unsigned int y = get_be32();
+  if (x != y)
+    {
+      fprintf(stderr, "%s: 0x%x: expected be%u, got be%u\n", where, pos - 4, x, y);
+      exit(1);
+    }
+}
+#define match_be32_assert(x) match_be32_assert(x, WHERE)
+
 static bool
 match_byte(uint8_t b)
 {
@@ -227,6 +303,29 @@ get_string(const char *where)
 }
 #define get_string() get_string(WHERE)
 
+static char *
+get_string_be(const char *where)
+{
+  if (1
+      /*data[pos + 1] == 0 && data[pos + 2] == 0 && data[pos + 3] == 0*/
+      /*&& all_ascii(&data[pos + 4], data[pos])*/)
+    {
+      int len = data[pos + 2] * 256 + data[pos + 3];
+      char *s = malloc(len + 1);
+
+      memcpy(s, &data[pos + 4], len);
+      s[len] = 0;
+      pos += 4 + len;
+      return s;
+    }
+  else
+    {
+      fprintf(stderr, "%s: 0x%x: expected string\n", where, pos);
+      exit(1);
+    }
+}
+#define get_string_be() get_string_be(WHERE)
+
 static int
 get_end(void)
 {
@@ -242,14 +341,17 @@ hex_dump(int ofs, int n)
       int c = data[ofs + i];
 #if 1
       if (i && !(i % 16))
-        fprintf(stderr, "-");
+        printf("-");
       else
-        fprintf(stderr, " ");
+        printf(" ");
 #endif
-      fprintf(stderr, "%02x", c);
-      //fprintf(stderr, "%c", c >= 32 && c < 127 ? c : '.');
+      printf("%02x", c);
+    }
+  for (int i = 0; i < n; i++)
+    {
+      int c = data[ofs + i];
+      printf("%c", c >= 32 && c < 127 ? c : '.');
     }
-  fprintf(stderr, "\n");
 }
 
 static char *
@@ -851,28 +953,28 @@ dump_fonts(void)
       match_byte_assert(i);
       match_byte_assert(0x31);
       printf(" font=\"%s\"", get_string());
-      match_byte_assert(0);
-      match_byte_assert(0);
-      if (!match_byte(0x40) && !match_byte(0x20) && !match_byte(0x80) && !match_byte(0x10) && !match_byte(0x70))
-        match_byte_assert(0x50);
-      match_byte_assert(0x41);
-      if (!match_u32(0) && !match_u32(1))
-        match_u32_assert(2);
-      match_byte_assert(0);
 
-      /* OK, this seems really unlikely to be totally correct, but it matches my corpus... */
-      if (!match_u32(0) && !match_u32(2) && !match_u32(4))
-        {
-          if (i == 7)
-            match_u32_assert(0xfaad);
-          else
-            match_u32_assert(0);
-        }
+      printf(" size=\"%gpt\"", get_float());
+
+      int style = get_u32();
+      if (style & 1)
+        printf(" bold=\"true\"");
+      if (style & 2)
+        printf(" italic=\"true\"");
+
+      bool underline = data[pos++];
+      if (underline)
+        printf(" underline=\"true\"");
+
+      int halign = get_u32();
+      printf("\nhalign=%d\n", halign);
+
+      int valign = get_u32();
+      printf("\nvalign=%d\n", valign);
 
-      if (!match_u32(0) && !match_u32(1) && !match_u32(2))
-        match_u32_assert(3);
       printf (" fgcolor=\"%s\"", get_string());
       printf (" bgcolor=\"%s\"", get_string());
+
       if (!match_byte(0))
         match_byte_assert(1);
       match_u32_assert(0);
@@ -882,45 +984,85 @@ dump_fonts(void)
 
       if (version > 1)
         {
-          if (i != 3)
-            {
-              pos += 12;
-            }
-          else
-            {
-              get_u32();
-              if (!match_u32(-1) && !match_u32(8))
-                match_u32_assert(24);
-              if (!match_u32(-1) && !match_u32(2))
-                match_u32_assert(3);
-            }
-
-          /* Who knows? Ranges from -1 to 8 with no obvious pattern. */
-          get_u32();
+          printf("\nfonts:");
+          for (int i = 0; i < 4; i++)
+            printf(" %2d", get_u32());
+          printf("\n");
         }
 
       printf ("/>\n");
     }
 
-  match_u32_assert(240);
-  pos += 240;
+  int x1 = get_u32();
+  int x1_end = pos + x1;
+  printf("<borders>\n");
+  match_be32_assert(1);
+  int n_borders = get_be32();
+  for (int i = 0; i < n_borders; i++)
+    {
+      int type = get_be32();
+      int stroke = get_be32();
+      int color = get_be32();
+      printf("  <border type=\"%d\" stroke=\"%s\" color=\"#%06x\"/>\n",
+             type,
+             (stroke == 0 ? "none"
+              : stroke == 1 ? "solid"
+              : stroke == 2 ? "dashed"
+              : stroke == 3 ? "thick"
+              : stroke == 4 ? "thin"
+              : stroke == 5 ? "double"
+              : "<error>"),
+             color);
+    }
+  bool grid = get_byte();
+  pos += 3;
+  printf("  <grid show=\"%s\"/>\n", grid ? "yes" : "no");
+  printf("</borders>\n");
+  assert(pos == x1_end);
 
   int skip = get_u32();
   assert(skip == 18 || skip == 25);
   pos += skip;
 
   int x3 = get_u32();
+  int x3_end = pos + x3;
   if (version == 3)
     {
-      assert(x3 >= 117);
-      int len = data[pos + 0x34];
-      if (len)
-        printf("<tablelook>%.*s</tablelook>\n", len, &data[pos + 0x35]);
+      match_be32_assert(1);
+      get_be32();
+      printf("<settings layer=\"%d\"", get_be32());
+      if (!get_byte())
+        printf(" skipempty=\"false\"");
+      if (!get_byte())
+        printf(" showdimensionincorner=\"false\"");
+      if (!get_byte())
+        printf(" markers=\"numeric\"");
+      if (!get_byte())
+        printf(" footnoteposition=\"subscript\"");
+      get_byte();
+      int nbytes = get_be32();
+      printf("\n");
+      hex_dump(pos, nbytes);
+      printf("\n");
+      pos += nbytes;
+      get_string_be();
+      char *look = get_string_be();
+      if (look[0])
+        printf(" look=\"%s\"", look);
+      printf(">\n");
     }
-  pos += x3;
+  pos = x3_end;
 
+  /* Manual column widths, if present. */
   int count = get_u32();
-  pos += 4 * count;
+  printf("<columnwidths>");
+  for (int i = 0; i < count; i++)
+    {
+      if (i)
+        putchar(' ');
+      printf("%d", get_u32());
+    }
+  printf("</columnwidths>\n");
 
   const char *locale = get_string();
   printf ("<locale>%s</locale>\n", locale);
@@ -931,19 +1073,7 @@ dump_fonts(void)
   match_byte_assert(0);
   if (!match_byte(0))
     match_byte_assert(1);
-  if (version > 1)
-    {
-      if (!match_byte(0x97) && !match_byte(0x98)
-          && !match_byte(0x99) && !match_byte(0x9a) && !match_byte(0x9b))
-        match_byte_assert(0x9c);
-      match_byte_assert(7);
-      match_byte_assert(0);
-      match_byte_assert(0);
-    }
-  else
-    {
-      printf("%x\n", get_u32());
-    }
+  printf("<epoch>%d</epoch>\n", get_u32());
 
   int decimal = data[pos];
   int grouping = data[pos + 1];
@@ -978,7 +1108,35 @@ dump_fonts(void)
       int outer_end = get_end();
 
       /* First inner envelope: byte*33 int[n] int*[n]. */
-      pos = get_end();
+      int inner_len = get_u32();
+      int inner_end = pos + inner_len;
+      int array_start = pos + 33;
+      match_byte_assert(0);
+      pos++;                    /* 0, 1, 10 seen. */
+      match_byte_assert(0);
+      pos++;                    /* 0...11 seen. */
+      if (!match_byte(0) && !match_byte(1) && !match_byte(2))
+        match_byte_assert(3);
+      if (!match_byte(0) && !match_byte(2))
+        match_byte_assert(3);
+      if (!match_u64(0))
+        match_u64_assert(UINT64_MAX);
+      match_u32_assert(0);
+      match_u32_assert(0);
+      match_u32_assert(0);
+      match_u32_assert(0);
+      match_byte_assert(0);
+      if (!match_byte(0))
+        match_byte_assert(1);
+      match_byte_assert(1);
+      pos = array_start;
+#if 1
+      printf("widths:");
+      while (pos < inner_end)
+        printf(" %d", get_u32());
+      printf("\n");
+#endif
+      pos = inner_end;;
 
       /* Second inner envelope. */
       assert(get_end() == outer_end);
@@ -1005,12 +1163,7 @@ dump_fonts(void)
       if (!match_byte(0))
         match_byte_assert(1);
 
-      if (!match_byte(0x97) && !match_byte(0x98)
-          && !match_byte(0x99) && !match_byte(0x9a) && !match_byte(0x9b))
-        match_byte_assert(0x9c);
-      match_byte_assert(7);
-      match_byte_assert(0);
-      match_byte_assert(0);
+      printf("<epoch2>%d</epoch2>\n", get_u32());
 
       if (match_byte('.'))
         {
@@ -1024,9 +1177,9 @@ dump_fonts(void)
             match_byte_assert(0);
         }
 
-      pos += 8;
-      match_byte_assert(1);
+      printf ("small: %g\n", get_double());
 
+      match_byte_assert(1);
       if (outer_end - pos > 6)
         {
           /* There might be a pair of strings representing a dataset and
@@ -1046,7 +1199,13 @@ dump_fonts(void)
               printf("<datafile>%s</datafile>\n", get_string());
 
               match_u32_assert(0);
-              get_u32();
+
+              time_t date = get_u32();
+              struct tm tm = *localtime(&date);
+              char s[128];
+              strftime(s, sizeof s, "%a, %d %b %Y %H:%M:%S %z", &tm);
+              printf("<date>%s</date>\n", s);
+
               match_u32_assert(0);
             }
         }
@@ -1059,7 +1218,7 @@ dump_fonts(void)
       else
         match_u32_assert(0);
 
-      match_byte_assert(0x2e);
+      match_byte_assert('.');
       if (!match_byte(0))
         match_byte_assert(1);
 
@@ -1202,19 +1361,20 @@ main(int argc, char *argv[])
       match_byte_assert(0);
 
       /* Offset 27. */
+#if 1
       pos++;
       pos++;
       pos++;
       pos++;
+#else
+      printf("\nheader:");
+      for (int i = 0; i < 4; i++)
+        printf(" %02x", data[pos++]);
+      printf("\n");
+#endif
 
-      /* Offset 31.
-
-         This is the tableId, e.g. -4154297861994971133 would be 0xdca00003.
-         We don't have enough context to validate it. */
-      pos += 4;
-
-      /* Offset 35. */
-      pos += 4;
+      /* Offset 31. */
+      printf("<tableid>%lld</tableid>", get_u64());
 
       dump_title ();
       dump_fonts();