Add support for reading and writing SPV files.
[pspp] / src / output / csv.c
index 158c78952233282e4580d1f5814f80f498c27db8..9c70a4515899dcda1570cecbdd8a297e00698ee8 100644 (file)
@@ -1,5 +1,5 @@
 /* PSPP - a program for statistical analysis.
-   Copyright (C) 2009 Free Software Foundation, Inc.
+   Copyright (C) 2009, 2010, 2012, 2013, 2014 Free Software Foundation, Inc.
 
    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
 #include <errno.h>
 #include <stdlib.h>
 
-#include <data/file-name.h>
-#include <libpspp/assertion.h>
-#include <libpspp/compiler.h>
-#include <libpspp/string-map.h>
-#include <output/text-item.h>
-#include <output/driver-provider.h>
-#include <output/options.h>
-#include <output/table-item.h>
-#include <output/table-provider.h>
-
-#include "gl/error.h"
+#include "data/file-name.h"
+#include "data/file-handle-def.h"
+#include "libpspp/assertion.h"
+#include "libpspp/compiler.h"
+#include "libpspp/message.h"
+#include "libpspp/str.h"
+#include "libpspp/string-map.h"
+#include "output/text-item.h"
+#include "output/driver-provider.h"
+#include "output/options.h"
+#include "output/message-item.h"
+#include "output/table-item.h"
+#include "output/table-provider.h"
+
+#include "gl/minmax.h"
 #include "gl/xalloc.h"
 #include "gl/xvasprintf.h"
 
@@ -41,17 +45,23 @@ struct csv_driver
   {
     struct output_driver driver;
 
-    char *separator;            /* Comma or tab. */
+    char *separator;            /* Field separator (usually comma or tab). */
+    int quote;                  /* Quote character (usually ' or ") or 0. */
+    char *quote_set;            /* Characters that force quoting. */
+    bool titles;                /* Print table titles? */
+    bool captions;              /* Print table captions? */
 
-    char *file_name;            /* Output file name. */
+    struct file_handle *handle;
     FILE *file;                 /* Output file. */
-    bool reported_error;        /* Reported file open error? */
+    int n_items;                /* Number of items output so far. */
   };
 
+static const struct output_driver_class csv_driver_class;
+
 static struct csv_driver *
 csv_driver_cast (struct output_driver *driver)
 {
-  assert (driver->class == &csv_class);
+  assert (driver->class == &csv_driver_class);
   return UP_CAST (driver, struct csv_driver, driver);
 }
 
@@ -63,20 +73,34 @@ opt (struct output_driver *d, struct string_map *options, const char *key,
 }
 
 static struct output_driver *
-csv_create (const char *name, enum output_device_type device_type,
+csv_create (struct file_handle *fh, enum settings_output_devices device_type,
             struct string_map *o)
 {
   struct output_driver *d;
   struct csv_driver *csv;
+  char *quote;
 
   csv = xzalloc (sizeof *csv);
   d = &csv->driver;
-  output_driver_init (&csv->driver, &csv_class, name, device_type);
+  output_driver_init (&csv->driver, &csv_driver_class, fh_get_file_name (fh), device_type);
 
   csv->separator = parse_string (opt (d, o, "separator", ","));
-  csv->file_name = parse_string (opt (d, o, "output-file", "pspp.csv"));
-  csv->file = NULL;
-  csv->reported_error = false;
+  quote = parse_string (opt (d, o, "quote", "\""));
+  csv->quote = quote[0];
+  free (quote);
+  csv->quote_set = xasprintf ("\n\r\t%s%c", csv->separator, csv->quote);
+  csv->titles = parse_boolean (opt (d, o, "titles", "true"));
+  csv->captions = parse_boolean (opt (d, o, "captions", "true"));
+  csv->handle = fh;
+  csv->file = fn_open (fh, "w");
+  csv->n_items = 0;
+
+  if (csv->file == NULL)
+    {
+      msg_error (errno, _("error opening output file `%s'"), fh_get_file_name (fh));
+      output_driver_destroy (d);
+      return NULL;
+    }
 
   return d;
 }
@@ -86,10 +110,12 @@ csv_destroy (struct output_driver *driver)
 {
   struct csv_driver *csv = csv_driver_cast (driver);
 
-  free (csv->separator);
-  free (csv->file_name);
   if (csv->file != NULL)
-    fclose (csv->file);
+    fn_close (csv->handle, csv->file);
+
+  free (csv->separator);
+  free (csv->quote_set);
+  fh_unref (csv->handle);
   free (csv);
 }
 
@@ -102,65 +128,72 @@ csv_flush (struct output_driver *driver)
 }
 
 static void
-csv_output_field (FILE *file, const char *field)
+csv_output_field__ (struct csv_driver *csv, struct substring field)
 {
-  while (*field == ' ')
-    field++;
+  ss_ltrim (&field, ss_cstr (" "));
 
-  if (field[strcspn (field, "\"\n\r,\t")])
+  if (csv->quote && ss_cspan (field, ss_cstr (csv->quote_set)) < field.length)
     {
-      const char *p;
-
-      putc ('"', file);
-      for (p = field; *p != '\0'; p++)
+      putc (csv->quote, csv->file);
+      for (size_t i = 0; i < field.length; i++)
         {
-          if (*p == '"')
-            putc ('"', file);
-          putc (*p, file);
+          if (field.string[i] == csv->quote)
+            putc (csv->quote, csv->file);
+          putc (field.string[i], csv->file);
         }
-      putc ('"', file);
+      putc (csv->quote, csv->file);
     }
   else
-    fputs (field, file);
+    fwrite (field.string, field.length, 1, csv->file);
 }
 
 static void
-csv_output_field_format (FILE *file, const char *format, ...)
-  PRINTF_FORMAT (2, 3);
+csv_output_field (struct csv_driver *csv, const char *field)
+{
+  csv_output_field__ (csv, ss_cstr (field));
+}
 
 static void
-csv_output_field_format (FILE *file, const char *format, ...)
+csv_put_separator (struct csv_driver *csv)
 {
-  va_list args;
-  char *s;
-
-  va_start (args, format);
-  s = xvasprintf (format, args);
-  va_end (args);
-
-  csv_output_field (file, s);
-  free (s);
+  if (csv->n_items++ > 0)
+    putc ('\n', csv->file);
 }
 
-static bool
-csv_open_file (struct csv_driver *csv)
+static void
+csv_output_lines (struct csv_driver *csv, const char *text_)
 {
-  if (csv->file == NULL)
+  struct substring text = ss_cstr (text_);
+  struct substring line;
+  size_t save_idx = 0;
+  while (ss_separate (text, ss_cstr ("\n"), &save_idx, &line))
     {
-      csv->file = fn_open (csv->file_name, "w");
-      if (csv->file == NULL)
-        {
-          if (!csv->reported_error)
-            error (0, errno, _("csv: opening output file \"%s\""),
-                   csv->file_name);
-          csv->reported_error = true;
-          return false;
-        }
+      csv_output_field__ (csv, line);
+      putc ('\n', csv->file);
     }
-  else
-    putc ('\n', csv->file);
+}
+
+static void
+csv_format_footnotes (const struct footnote **f, size_t n, struct string *s)
+{
+  for (size_t i = 0; i < n; i++)
+    ds_put_format (s, "[%s]", f[i]->marker);
+}
 
-  return true;
+static void
+csv_output_table_item_text (struct csv_driver *csv,
+                            const struct table_item_text *text,
+                            const char *leader)
+{
+  if (!text)
+    return;
+
+  struct string s = DS_EMPTY_INITIALIZER;
+  ds_put_format (&s, "%s: %s", leader, text->content);
+  csv_format_footnotes (text->footnotes, text->n_footnotes, &s);
+  csv_output_field (csv, ds_cstr (&s));
+  ds_destroy (&s);
+  putc ('\n', csv->file);
 }
 
 static void
@@ -172,18 +205,14 @@ csv_submit (struct output_driver *driver,
   if (is_table_item (output_item))
     {
       struct table_item *table_item = to_table_item (output_item);
-      const char *caption = table_item_get_caption (table_item);
       const struct table *t = table_item_get_table (table_item);
       int x, y;
 
-      if (!csv_open_file (csv))
-        return;
+      csv_put_separator (csv);
 
-      if (caption != NULL)
-        {
-          csv_output_field_format (csv->file, "Table: %s", caption);
-          putc ('\n', csv->file);
-        }
+      if (csv->titles)
+        csv_output_table_item_text (csv, table_item_get_title (table_item),
+                                    "Table");
 
       for (y = 0; y < table_nr (t); y++)
         {
@@ -197,14 +226,52 @@ csv_submit (struct output_driver *driver,
                 fputs (csv->separator, csv->file);
 
               if (x != cell.d[TABLE_HORZ][0] || y != cell.d[TABLE_VERT][0])
-                csv_output_field (csv->file, "");
+                csv_output_field (csv, "");
+              else if (!(cell.options & TAB_MARKUP) && !cell.n_footnotes)
+                csv_output_field (csv, cell.text);
               else
-                csv_output_field (csv->file, cell.contents);
+                {
+                  struct string s = DS_EMPTY_INITIALIZER;
+
+                  if (cell.options & TAB_MARKUP)
+                    {
+                      char *t = output_get_text_from_markup (cell.text);
+                      ds_put_cstr (&s, t);
+                      free (t);
+                    }
+                  else
+                    ds_put_cstr (&s, cell.text);
+
+                  csv_format_footnotes (cell.footnotes, cell.n_footnotes, &s);
+                  csv_output_field (csv, ds_cstr (&s));
+                  ds_destroy (&s);
+                }
 
               table_cell_free (&cell);
             }
           putc ('\n', csv->file);
         }
+
+      if (csv->captions)
+        csv_output_table_item_text (csv, table_item_get_caption (table_item),
+                                    "Caption");
+
+      const struct footnote **f;
+      size_t n_footnotes = table_collect_footnotes (table_item, &f);
+      if (n_footnotes)
+        {
+          fputs ("\nFootnotes:\n", csv->file);
+
+          for (size_t i = 0; i < n_footnotes; i++)
+            {
+              csv_output_field (csv, f[i]->marker);
+              fputs (csv->separator, csv->file);
+              csv_output_field (csv, f[i]->content);
+              putc ('\n', csv->file);
+            }
+
+          free (f);
+        }
     }
   else if (is_text_item (output_item))
     {
@@ -212,33 +279,36 @@ csv_submit (struct output_driver *driver,
       enum text_item_type type = text_item_get_type (text_item);
       const char *text = text_item_get_text (text_item);
 
-      if (type == TEXT_ITEM_COMMAND_OPEN || type == TEXT_ITEM_COMMAND_CLOSE
-          || type == TEXT_ITEM_SYNTAX)
+      if (type == TEXT_ITEM_SYNTAX || type == TEXT_ITEM_PAGE_TITLE)
         return;
 
-      csv_open_file (csv);
-      switch (type)
-        {
-        case TEXT_ITEM_TITLE:
-          csv_output_field_format (csv->file, "Title: %s", text);
-          break;
+      csv_put_separator (csv);
 
-        case TEXT_ITEM_SUBTITLE:
-          csv_output_field_format (csv->file, "Subtitle: %s", text);
-          break;
-
-        default:
-          csv_output_field (csv->file, text);
-          break;
+      if (text_item->markup)
+        {
+          char *plain_text = output_get_text_from_markup (text);
+          csv_output_lines (csv, plain_text);
+          free (plain_text);
         }
+      else
+        csv_output_lines (csv, text);
+    }
+  else if (is_message_item (output_item))
+    {
+      const struct message_item *message_item = to_message_item (output_item);
+      char *s = msg_to_string (message_item_get_msg (message_item));
+      csv_put_separator (csv);
+      csv_output_field (csv, s);
+      free (s);
       putc ('\n', csv->file);
     }
 }
 
-const struct output_driver_class csv_class =
+struct output_driver_factory csv_driver_factory = { "csv", "-", csv_create };
+
+static const struct output_driver_class csv_driver_class =
   {
     "csv",
-    csv_create,
     csv_destroy,
     csv_submit,
     csv_flush,