Fixed some incorrect range imputation
[pspp] / src / data / ods-reader.c
index d6ed43e8f64257db79ad48bd7fbc0ad451bfb523..ae7d3fbbc44398f93f408fcab612f0e70f0efcbb 100644 (file)
@@ -1,5 +1,5 @@
 /* PSPP - a program for statistical analysis.
-   Copyright (C) 2011, 2012 Free Software Foundation, Inc.
+   Copyright (C) 2011, 2012, 2013 Free Software Foundation, Inc.
 
    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
@@ -18,6 +18,7 @@
 
 #include "libpspp/message.h"
 #include "libpspp/misc.h"
+#include "libpspp/assertion.h"
 
 #include "data/data-in.h"
 
@@ -33,7 +34,7 @@
 #if !ODF_READ_SUPPORT
 
 struct casereader *
-ods_open_reader (const struct spreadsheet_read_info *gri, struct spreadsheet_read_options *opts, 
+ods_open_reader (const struct spreadsheet_read_options *opts, 
                 struct dictionary **dict)
 {
   msg (ME, _("Support for %s files was not compiled into this installation of PSPP"), "OpenDocument");
@@ -76,6 +77,18 @@ static const struct casereader_class ods_file_casereader_class =
     NULL,
   };
 
+struct sheet_detail
+{
+  /* The name of the sheet (utf8 encoding) */
+  char *name;
+
+  int start_col;
+  int stop_col;
+  int start_row;
+  int stop_row;
+};
+
+
 enum reader_state
   {
     STATE_INIT = 0,        /* Initial state */
@@ -107,6 +120,9 @@ struct ods_reader
   int stop_row;
   int stop_col;
 
+  struct sheet_detail *sheets;
+  int n_allocated_sheets;
+
   struct caseproto *proto;
   struct dictionary *dict;
   struct ccase *first_case;
@@ -114,11 +130,57 @@ struct ods_reader
   bool read_names;
 
   struct string ods_errs;
-  int span;
 };
 
+
 static void process_node (struct ods_reader *r);
 
+
+const char *
+ods_get_sheet_name (struct spreadsheet *s, int n)
+{
+  int ret;
+  struct ods_reader *or = (struct ods_reader *) s;
+  
+  assert (n < s->n_sheets);
+
+  while ( 
+        (or->n_allocated_sheets <= n)
+        && 
+        (1 == (ret = xmlTextReaderRead (or->xtr)))
+         )
+    {
+      process_node (or);
+    }
+
+  return or->sheets[n].name;
+}
+
+char *
+ods_get_sheet_range (struct spreadsheet *s, int n)
+{
+  int ret;
+  struct ods_reader *or = (struct ods_reader *) s;
+  
+  assert (n < s->n_sheets);
+
+  while ( 
+        (or->n_allocated_sheets <= n || or->state != STATE_SPREADSHEET)
+        && 
+        (1 == (ret = xmlTextReaderRead (or->xtr)))
+         )
+    {
+      process_node (or);
+    }
+
+  return create_cell_ref (
+                         or->sheets[n].start_col,
+                         or->sheets[n].start_row,
+                         or->sheets[n].stop_col,
+                         or->sheets[n].stop_row);
+}
+
+
 static void
 ods_file_casereader_destroy (struct casereader *reader UNUSED, void *r_)
 {
@@ -149,111 +211,153 @@ process_node (struct ods_reader *r)
   if (name == NULL)
     name = xmlStrdup (_xml ("--"));
 
+
   r->node_type = xmlTextReaderNodeType (r->xtr);
 
-  switch ( r->state)
+  switch (r->state)
     {
     case STATE_INIT:
       if (0 == xmlStrcasecmp (name, _xml("office:spreadsheet")) &&
          XML_READER_TYPE_ELEMENT  == r->node_type)
        {
+         printf ("%s:%d Start of Workbook %d: Rows %d\n", __FILE__, __LINE__,
+                 r->sheet_index,  r->row);
+
          r->state = STATE_SPREADSHEET;
        }
       break;
     case STATE_SPREADSHEET:
-      if (0 == xmlStrcasecmp (name, _xml("table:table")))
+      if (0 == xmlStrcasecmp (name, _xml("table:table"))
+         && 
+         (XML_READER_TYPE_ELEMENT == r->node_type))
        {
-         if (XML_READER_TYPE_ELEMENT == r->node_type)
+         xmlChar *value = xmlTextReaderGetAttribute (r->xtr, _xml ("table:name"));
+         r->sheets = xrealloc (r->sheets, sizeof (*r->sheets) * ++r->n_allocated_sheets);
+         r->sheets[r->n_allocated_sheets - 1].start_col = -1;
+         r->sheets[r->n_allocated_sheets - 1].stop_col = -1;
+         r->sheets[r->n_allocated_sheets - 1].start_row = -1;
+         r->sheets[r->n_allocated_sheets - 1].stop_row = -1;
+         r->sheets[r->n_allocated_sheets - 1].name = value;
+         r->col = 0;
+         r->row = 0;
+         ++r->sheet_index;
+
+         printf ("%s:%d Start of SHEET %d: Rows %d\n", __FILE__, __LINE__,
+                 r->sheet_index,  r->row);
+
+         if ( r->target_sheet != NULL)
            {
-             r->col = -1;
-             r->row = -1;
-             ++r->sheet_index;
-             if ( r->target_sheet != NULL)
-               {
-                 xmlChar *value = xmlTextReaderGetAttribute (r->xtr, _xml ("table:name"));
-                 if ( 0 == xmlStrcmp (value, r->target_sheet))
-                   {
-                     r->sheet_found = true;
-                     r->state = STATE_TABLE;
-                   }
-                 free (value);
-               }
-             else if (r->target_sheet_index == r->sheet_index)
+             if ( 0 == xmlStrcmp (value, r->target_sheet))
                {
                  r->sheet_found = true;
-                 r->state = STATE_TABLE;
                }
-             else if ( r->target_sheet_index == -1)
-               r->state = STATE_TABLE;
            }
+         else if (r->target_sheet_index == r->sheet_index)
+           {
+             r->sheet_found = true;
+           }
+         r->state = STATE_TABLE;
        }
-      else if (XML_READER_TYPE_END_ELEMENT  == r->node_type
-                  && r->sheet_found)
+      else if (0 == xmlStrcasecmp (name, _xml("office:spreadsheet")) &&
+              XML_READER_TYPE_ELEMENT  == r->node_type)
        {
          r->state = STATE_INIT;
+         printf ("%s:%d End of Workbook %d: Rows %d Cols %d\n", __FILE__, __LINE__,
+                 r->sheet_index,  r->row, r->col);
        }
-       break;
+      break;
     case STATE_TABLE:
-      if (0 == xmlStrcasecmp (name, _xml("table:table-row")) )
+      if (0 == xmlStrcasecmp (name, _xml("table:table-row")) && 
+         (XML_READER_TYPE_ELEMENT  == r->node_type))
        {
-         if ( XML_READER_TYPE_ELEMENT  == r->node_type)
-           {
-             if (! xmlTextReaderIsEmptyElement (r->xtr))
-               {
-                 r->state = STATE_ROW;
-               }
-             r->row++;
-             r->span = 1;
-           }
+         xmlChar *value =
+           xmlTextReaderGetAttribute (r->xtr,
+                                      _xml ("table:number-rows-repeated"));
+         
+         int row_span = value ? _xmlchar_to_int (value) : 1;
+
+         printf ("%s:%d  Start of Row %d Span %d\n", __FILE__, __LINE__,  r->row, row_span);
+         r->row += row_span;
+         r->col = 0;
+         
+         if (! xmlTextReaderIsEmptyElement (r->xtr))
+           r->state = STATE_ROW;
        }
-      else if (XML_READER_TYPE_END_ELEMENT  == r->node_type)
+      else if (0 == xmlStrcasecmp (name, _xml("table:table")) && 
+              (XML_READER_TYPE_END_ELEMENT  == r->node_type))
        {
+         printf ("%s:%d End of SHEET %d %d,%d\n", __FILE__, __LINE__,  r->sheet_index,  r->row, r->col);
          r->state = STATE_SPREADSHEET;
+
        }
       break;
     case STATE_ROW:
-      if (0 == xmlStrcasecmp (name, _xml ("table:table-cell")))
+      if ( (0 == xmlStrcasecmp (name, _xml ("table:table-cell")))
+          && 
+          (XML_READER_TYPE_ELEMENT  == r->node_type))
        {
-         if ( XML_READER_TYPE_ELEMENT  == r->node_type)
-           {
-             xmlChar *value =
-               xmlTextReaderGetAttribute (r->xtr,
-                                          _xml ("table:number-columns-repeated"));
-             r->col += r->span;
-             r->span = value ? _xmlchar_to_int (value) : 1;
-             free (value);
-             if (! xmlTextReaderIsEmptyElement (r->xtr))
-               {
-                 r->state = STATE_CELL;
-               }
-           }
+         xmlChar *value =
+           xmlTextReaderGetAttribute (r->xtr,
+                                      _xml ("table:number-columns-repeated"));
+         
+         int col_span = value ? _xmlchar_to_int (value) : 1;
+
+         r->col += col_span;
+
+         printf ("%s:%d  (span %d) Start of Cell %d, %d\n", __FILE__, __LINE__,  
+                 col_span,
+                 r->row, r->col);
+         if (! xmlTextReaderIsEmptyElement (r->xtr))
+           r->state = STATE_CELL;
        }
-      else if (XML_READER_TYPE_END_ELEMENT  == r->node_type)
+      else if ( (0 == xmlStrcasecmp (name, _xml ("table:table-row")))
+               &&
+               (XML_READER_TYPE_END_ELEMENT  == r->node_type))
        {
-         r->state = STATE_TABLE;
-         r->col = -1;
          /* Set the span back to the default */
-         r->span = 1;
+         printf ("%s:%d  End of Cell:  %d, %d\n", __FILE__, __LINE__, r->row, r->col);
+         r->state = STATE_TABLE;
        }
       break;
     case STATE_CELL:
-      if (0 == xmlStrcasecmp (name, _xml("text:p")))
+      if ( (0 == xmlStrcasecmp (name, _xml("text:p")))
+           &&
+          ( XML_READER_TYPE_ELEMENT  == r->node_type))
        {
-         if ( XML_READER_TYPE_ELEMENT  == r->node_type)
-           {
-             r->state = STATE_CELL_CONTENT;
-           }
+         //      printf ("%s:%d  Start of Cell Contents %d\n", __FILE__, __LINE__,    r->row);
+         if (! xmlTextReaderIsEmptyElement (r->xtr))
+           r->state = STATE_CELL_CONTENT;
        }
-      else if (XML_READER_TYPE_END_ELEMENT  == r->node_type)
+      else if
+       ( (0 == xmlStrcasecmp (name, _xml("table:table-cell")))
+         &&
+         (XML_READER_TYPE_END_ELEMENT  == r->node_type)
+         )
        {
+         //  printf ("%s:%d End of Cell contents: Rows %d\n", __FILE__, __LINE__, r->row);
          r->state = STATE_ROW;
        }
       break;
     case STATE_CELL_CONTENT:
-      if (XML_READER_TYPE_TEXT != r->node_type)
-       r->state = STATE_CELL;
+      if (r->sheets[r->sheet_index].start_row == -1)
+       r->sheets[r->sheet_index].start_row = r->row - 1;
+
+      if ( 
+         (r->sheets[r->sheet_index].start_col == -1)
+         ||
+         (r->sheets[r->sheet_index].start_col >= r->col - 1)
+          )
+       r->sheets[r->sheet_index].start_col = r->col - 1;
+
+      r->sheets[r->sheet_index].stop_row = r->row - 1;
+
+      if ( r->sheets[r->sheet_index].stop_col <  r->col - 1)
+       r->sheets[r->sheet_index].stop_col = r->col - 1;
+
+      r->state = STATE_CELL;
       break;
     default:
+      NOT_REACHED ();
       break;
     };
 
@@ -349,7 +453,7 @@ get_sheet_count (struct zip_reader *zreader)
 
   mxtr = xmlReaderForIO ((xmlInputReadCallback) zip_member_read,
                         (xmlInputCloseCallback) zip_member_finish,
-                        meta,   NULL, NULL, XML_PARSE_RECOVER);
+                        meta,   NULL, NULL, 0);
 
   while (1 == xmlTextReaderRead (mxtr))
     {
@@ -368,7 +472,22 @@ get_sheet_count (struct zip_reader *zreader)
   return -1;
 }
 
-struct spreadsheet *ods_probe (const char *filename)
+static void
+ods_error_handler (void *ctx, const char *mesg,
+                       UNUSED xmlParserSeverities sev, xmlTextReaderLocatorPtr loc)
+{
+  struct ods_reader *r = ctx;
+       
+  msg (MW, _("There was a problem whilst reading the %s file `%s' (near line %d): `%s'"),
+       "ODF",
+       r->spreadsheet.file_name,
+       xmlTextReaderLocatorLineNumber (loc),
+       mesg);
+}
+
+
+struct spreadsheet *
+ods_probe (const char *filename, bool report_errors)
 {
   struct ods_reader *r;
   struct string errs;
@@ -395,8 +514,9 @@ struct spreadsheet *ods_probe (const char *filename)
   sheet_count = get_sheet_count (zreader);
 
   xtr = xmlReaderForIO ((xmlInputReadCallback) zip_member_read,
-                          (xmlInputCloseCallback) zip_member_finish,
-                          content,   NULL, NULL, XML_PARSE_RECOVER);
+                       (xmlInputCloseCallback) zip_member_finish,
+                       content,   NULL, NULL,
+                       report_errors ? 0 : (XML_PARSE_NOERROR | XML_PARSE_NOWARNING) );
 
   if ( xtr == NULL)
     goto error;
@@ -405,9 +525,18 @@ struct spreadsheet *ods_probe (const char *filename)
   r->xtr = xtr;
   r->spreadsheet.type = SPREADSHEET_ODS;
   r->spreadsheet.n_sheets = sheet_count;
+  r->n_allocated_sheets = 0;
+  r->sheet_index = -1;
+  r->sheets = NULL;
+
+  if (report_errors) 
+    xmlTextReaderSetErrorHandler (xtr, ods_error_handler, r);
+
 
   ds_destroy (&errs);
 
+  printf ("%s:%d\n", __FILE__, __LINE__);
+
   r->spreadsheet.file_name = filename;
   return &r->spreadsheet;
 
@@ -419,7 +548,7 @@ struct spreadsheet *ods_probe (const char *filename)
 
 struct casereader *
 ods_make_reader (struct spreadsheet *spreadsheet, 
-                const struct spreadsheet_read_info *gri, struct spreadsheet_read_options *opts)
+                const struct spreadsheet_read_options *opts)
 {
   intf ret = 0;
   xmlChar *type = NULL;
@@ -433,7 +562,7 @@ ods_make_reader (struct spreadsheet *spreadsheet,
   xmlChar *val_string = NULL;
 
   assert (r);
-  r->read_names = gri->read_names;
+  r->read_names = opts->read_names;
   ds_init_empty (&r->ods_errs);
 
   if ( opts->cell_range )
@@ -458,7 +587,7 @@ ods_make_reader (struct spreadsheet *spreadsheet,
   r->state = STATE_INIT;
   r->target_sheet = BAD_CAST opts->sheet_name;
   r->target_sheet_index = opts->sheet_index;
-  r->row = r->col = -1;
+  r->row = r->col = 0;
   r->sheet_index = 0;
 
 
@@ -488,7 +617,7 @@ ods_make_reader (struct spreadsheet *spreadsheet,
       goto error;
     }
 
-  if ( gri->read_names)
+  if ( opts->read_names)
     {
       while (1 == (ret = xmlTextReaderRead (r->xtr)))
        {
@@ -537,7 +666,7 @@ ods_make_reader (struct spreadsheet *spreadsheet,
     {
       int idx;
       process_node (r);
-      if ( r->row >= r->start_row + 1 + gri->read_names)
+      if ( r->row >= r->start_row + 1 + opts->read_names)
        break;
 
       if ( r->col < r->start_col)
@@ -575,7 +704,7 @@ ods_make_reader (struct spreadsheet *spreadsheet,
       struct fmt_spec fmt;
       struct variable *var = NULL;
       char *name = dict_make_unique_var_name (r->dict, var_spec[i].name, &vstart);
-      int width  = xmv_to_width (&var_spec[i].firstval, gri->asw);
+      int width  = xmv_to_width (&var_spec[i].firstval, opts->asw);
       dict_create_var (r->dict, name, width);
       free (name);
 
@@ -713,6 +842,7 @@ ods_file_casereader_read (struct casereader *reader UNUSED, void *r_)
          xmv->value = val_string;
          val_string = NULL;
 
+         /*
          for (col = 0; col < r->span ; ++col)
            {
              const int idx = r->col + col - r->start_col;
@@ -721,6 +851,7 @@ ods_file_casereader_read (struct casereader *reader UNUSED, void *r_)
 
              convert_xml_to_value (c, var, xmv);
            }
+         */
          free (xmv->text);
          free (xmv->value);
          free (xmv);