Add support for reading and writing SPV files.
[pspp] / src / output / odt.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 2009-2014 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 /* A driver for creating OpenDocument Format text files from PSPP's output */
20
21 #include <errno.h>
22 #include <libgen.h>
23 #include <libxml/xmlwriter.h>
24 #ifdef HAVE_PWD_H
25 #include <pwd.h>
26 #endif
27 #include <sys/stat.h>
28 #include <sys/types.h>
29 #include <time.h>
30 #include <unistd.h>
31
32 #include "libpspp/assertion.h"
33 #include "libpspp/cast.h"
34 #include "libpspp/message.h"
35 #include "libpspp/str.h"
36 #include "libpspp/temp-file.h"
37 #include "libpspp/version.h"
38 #include "libpspp/zip-writer.h"
39 #include "data/file-handle-def.h"
40 #include "output/driver-provider.h"
41 #include "output/message-item.h"
42 #include "output/options.h"
43 #include "output/table-item.h"
44 #include "output/table-provider.h"
45 #include "output/text-item.h"
46
47 #include "gl/xalloc.h"
48
49 #include "gettext.h"
50 #define _(msgid) gettext (msgid)
51
52 #define _xml(X) (CHAR_CAST (const xmlChar *, X))
53
54 struct odt_driver
55 {
56   struct output_driver driver;
57
58   struct zip_writer *zip;     /* ZIP file writer. */
59   struct file_handle *handle; /* Handle for 'file_name'. */
60   char *file_name;            /* Output file name. */
61
62   /* content.xml */
63   xmlTextWriterPtr content_wtr; /* XML writer. */
64   FILE *content_file;           /* Temporary file. */
65
66   /* manifest.xml */
67   xmlTextWriterPtr manifest_wtr; /* XML writer. */
68   FILE *manifest_file;           /* Temporary file. */
69
70   /* Number of tables so far. */
71   int table_num;
72 };
73
74 static const struct output_driver_class odt_driver_class;
75
76 static struct odt_driver *
77 odt_driver_cast (struct output_driver *driver)
78 {
79   assert (driver->class == &odt_driver_class);
80   return UP_CAST (driver, struct odt_driver, driver);
81 }
82
83 /* Creates a new temporary file and stores it in *FILE, then creates an XML
84    writer for it and stores it in *W. */
85 static void
86 create_writer (FILE **file, xmlTextWriterPtr *w)
87 {
88   /* XXX this can fail */
89   *file = create_temp_file ();
90   *w = xmlNewTextWriter (xmlOutputBufferCreateFile (*file, NULL));
91
92   xmlTextWriterStartDocument (*w, NULL, "UTF-8", NULL);
93 }
94
95
96 static void
97 register_file (struct odt_driver *odt, const char *filename)
98 {
99   assert (odt->manifest_wtr);
100   xmlTextWriterStartElement (odt->manifest_wtr, _xml("manifest:file-entry"));
101   xmlTextWriterWriteAttribute (odt->manifest_wtr, _xml("manifest:media-type"),  _xml("text/xml"));
102   xmlTextWriterWriteAttribute (odt->manifest_wtr, _xml("manifest:full-path"),  _xml (filename));
103   xmlTextWriterEndElement (odt->manifest_wtr);
104 }
105
106 static void
107 write_style_data (struct odt_driver *odt)
108 {
109   xmlTextWriterPtr w;
110   FILE *file;
111
112   create_writer (&file, &w);
113   register_file (odt, "styles.xml");
114
115   xmlTextWriterStartElement (w, _xml ("office:document-styles"));
116   xmlTextWriterWriteAttribute (w, _xml ("xmlns:office"),
117                                _xml ("urn:oasis:names:tc:opendocument:xmlns:office:1.0"));
118
119   xmlTextWriterWriteAttribute (w, _xml ("xmlns:style"),
120                                _xml ("urn:oasis:names:tc:opendocument:xmlns:style:1.0"));
121
122   xmlTextWriterWriteAttribute (w, _xml ("xmlns:fo"),
123                                _xml ("urn:oasis:names:tc:opendocument:xmlns:xsl-fo-compatible:1.0") );
124
125   xmlTextWriterWriteAttribute (w, _xml ("office:version"),  _xml ("1.1"));
126
127
128
129   xmlTextWriterStartElement (w, _xml ("office:styles"));
130
131
132   {
133     xmlTextWriterStartElement (w, _xml ("style:style"));
134     xmlTextWriterWriteAttribute (w, _xml ("style:name"),
135                                  _xml ("Standard"));
136
137     xmlTextWriterWriteAttribute (w, _xml ("style:family"),
138                                  _xml ("paragraph"));
139
140     xmlTextWriterWriteAttribute (w, _xml ("style:class"),
141                                  _xml ("text"));
142
143     xmlTextWriterEndElement (w); /* style:style */
144   }
145
146   {
147     xmlTextWriterStartElement (w, _xml ("style:style"));
148     xmlTextWriterWriteAttribute (w, _xml ("style:name"),
149                                  _xml ("Table_20_Contents"));
150
151     xmlTextWriterWriteAttribute (w, _xml ("style:display-name"),
152                                  _xml ("Table Contents"));
153
154     xmlTextWriterWriteAttribute (w, _xml ("style:family"),
155                                  _xml ("paragraph"));
156
157     xmlTextWriterWriteAttribute (w, _xml ("style:parent-style-name"),
158                                  _xml ("Standard"));
159
160     xmlTextWriterWriteAttribute (w, _xml ("style:class"),
161                                  _xml ("extra"));
162
163     xmlTextWriterEndElement (w); /* style:style */
164   }
165
166   {
167     xmlTextWriterStartElement (w, _xml ("style:style"));
168     xmlTextWriterWriteAttribute (w, _xml ("style:name"),
169                                  _xml ("Table_20_Heading"));
170
171     xmlTextWriterWriteAttribute (w, _xml ("style:display-name"),
172                                  _xml ("Table Heading"));
173
174     xmlTextWriterWriteAttribute (w, _xml ("style:family"),
175                                  _xml ("paragraph"));
176
177     xmlTextWriterWriteAttribute (w, _xml ("style:parent-style-name"),
178                                  _xml ("Table_20_Contents"));
179
180     xmlTextWriterWriteAttribute (w, _xml ("style:class"),
181                                  _xml ("extra"));
182
183
184     xmlTextWriterStartElement (w, _xml ("style:text-properties"));
185     xmlTextWriterWriteAttribute (w, _xml ("fo:font-weight"), _xml ("bold"));
186     xmlTextWriterWriteAttribute (w, _xml ("style:font-weight-asian"), _xml ("bold"));
187     xmlTextWriterWriteAttribute (w, _xml ("style:font-weight-complex"), _xml ("bold"));
188     xmlTextWriterEndElement (w); /* style:text-properties */
189
190     xmlTextWriterEndElement (w); /* style:style */
191   }
192
193
194   xmlTextWriterEndElement (w); /* office:styles */
195   xmlTextWriterEndElement (w); /* office:document-styles */
196
197   xmlTextWriterEndDocument (w);
198   xmlFreeTextWriter (w);
199   zip_writer_add (odt->zip, file, "styles.xml");
200   close_temp_file (file);
201 }
202
203 static void
204 write_meta_data (struct odt_driver *odt)
205 {
206   xmlTextWriterPtr w;
207   FILE *file;
208
209   create_writer (&file, &w);
210   register_file (odt, "meta.xml");
211
212   xmlTextWriterStartElement (w, _xml ("office:document-meta"));
213   xmlTextWriterWriteAttribute (w, _xml ("xmlns:office"), _xml ("urn:oasis:names:tc:opendocument:xmlns:office:1.0"));
214   xmlTextWriterWriteAttribute (w, _xml ("xmlns:dc"),  _xml ("http://purl.org/dc/elements/1.1/"));
215   xmlTextWriterWriteAttribute (w, _xml ("xmlns:meta"), _xml ("urn:oasis:names:tc:opendocument:xmlns:meta:1.0"));
216   xmlTextWriterWriteAttribute (w, _xml ("xmlns:ooo"), _xml("http://openoffice.org/2004/office"));
217   xmlTextWriterWriteAttribute (w, _xml ("office:version"),  _xml("1.1"));
218
219   xmlTextWriterStartElement (w, _xml ("office:meta"));
220   {
221     xmlTextWriterStartElement (w, _xml ("meta:generator"));
222     xmlTextWriterWriteString (w, _xml (version));
223     xmlTextWriterEndElement (w);
224   }
225
226
227   {
228     char buf[30];
229     time_t t = time (NULL);
230     struct tm *tm =  localtime (&t);
231
232     strftime (buf, 30, "%Y-%m-%dT%H:%M:%S", tm);
233
234     xmlTextWriterStartElement (w, _xml ("meta:creation-date"));
235     xmlTextWriterWriteString (w, _xml (buf));
236     xmlTextWriterEndElement (w);
237
238     xmlTextWriterStartElement (w, _xml ("dc:date"));
239     xmlTextWriterWriteString (w, _xml (buf));
240     xmlTextWriterEndElement (w);
241   }
242
243 #ifdef HAVE_PWD_H
244   {
245     struct passwd *pw = getpwuid (getuid ());
246     if (pw != NULL)
247       {
248         xmlTextWriterStartElement (w, _xml ("meta:initial-creator"));
249         xmlTextWriterWriteString (w, _xml (strtok (pw->pw_gecos, ",")));
250         xmlTextWriterEndElement (w);
251
252         xmlTextWriterStartElement (w, _xml ("dc:creator"));
253         xmlTextWriterWriteString (w, _xml (strtok (pw->pw_gecos, ",")));
254         xmlTextWriterEndElement (w);
255       }
256   }
257 #endif
258
259   xmlTextWriterEndElement (w);
260   xmlTextWriterEndElement (w);
261   xmlTextWriterEndDocument (w);
262   xmlFreeTextWriter (w);
263   zip_writer_add (odt->zip, file, "meta.xml");
264   close_temp_file (file);
265 }
266
267 static struct output_driver *
268 odt_create (struct file_handle *fh, enum settings_output_devices device_type,
269             struct string_map *o UNUSED)
270 {
271   struct output_driver *d;
272   struct odt_driver *odt;
273   struct zip_writer *zip;
274   const char *file_name = fh_get_file_name (fh);
275
276   zip = zip_writer_create (file_name);
277   if (zip == NULL)
278     return NULL;
279
280   odt = xzalloc (sizeof *odt);
281   d = &odt->driver;
282
283   output_driver_init (d, &odt_driver_class, file_name, device_type);
284
285   odt->zip = zip;
286   odt->handle = fh;
287   odt->file_name = xstrdup (file_name);
288
289   zip_writer_add_string (zip, "mimetype",
290                          "application/vnd.oasis.opendocument.text");
291
292   /* Create the manifest */
293   create_writer (&odt->manifest_file, &odt->manifest_wtr);
294
295   xmlTextWriterStartElement (odt->manifest_wtr, _xml("manifest:manifest"));
296   xmlTextWriterWriteAttribute (odt->manifest_wtr, _xml("xmlns:manifest"),
297                                _xml("urn:oasis:names:tc:opendocument:xmlns:manifest:1.0"));
298
299
300   /* Add a manifest entry for the document as a whole */
301   xmlTextWriterStartElement (odt->manifest_wtr, _xml("manifest:file-entry"));
302   xmlTextWriterWriteAttribute (odt->manifest_wtr, _xml("manifest:media-type"),  _xml("application/vnd.oasis.opendocument.text"));
303   xmlTextWriterWriteAttribute (odt->manifest_wtr, _xml("manifest:full-path"),  _xml("/"));
304   xmlTextWriterEndElement (odt->manifest_wtr);
305
306
307   write_meta_data (odt);
308   write_style_data (odt);
309
310   create_writer (&odt->content_file, &odt->content_wtr);
311   register_file (odt, "content.xml");
312
313
314   /* Some necessary junk at the start */
315   xmlTextWriterStartElement (odt->content_wtr, _xml("office:document-content"));
316   xmlTextWriterWriteAttribute (odt->content_wtr, _xml("xmlns:office"),
317                                _xml("urn:oasis:names:tc:opendocument:xmlns:office:1.0"));
318
319   xmlTextWriterWriteAttribute (odt->content_wtr, _xml("xmlns:text"),
320                                _xml("urn:oasis:names:tc:opendocument:xmlns:text:1.0"));
321
322   xmlTextWriterWriteAttribute (odt->content_wtr, _xml("xmlns:table"),
323                                _xml("urn:oasis:names:tc:opendocument:xmlns:table:1.0"));
324
325   xmlTextWriterWriteAttribute (odt->content_wtr, _xml("office:version"), _xml("1.1"));
326
327   xmlTextWriterStartElement (odt->content_wtr, _xml("office:body"));
328   xmlTextWriterStartElement (odt->content_wtr, _xml("office:text"));
329
330
331
332   /* Close the manifest */
333   xmlTextWriterEndElement (odt->manifest_wtr);
334   xmlTextWriterEndDocument (odt->manifest_wtr);
335   xmlFreeTextWriter (odt->manifest_wtr);
336   zip_writer_add (odt->zip, odt->manifest_file, "META-INF/manifest.xml");
337   close_temp_file (odt->manifest_file);
338
339   return d;
340 }
341
342 static void
343 odt_destroy (struct output_driver *driver)
344 {
345   struct odt_driver *odt = odt_driver_cast (driver);
346
347   if (odt->content_wtr != NULL)
348     {
349       xmlTextWriterEndElement (odt->content_wtr); /* office:text */
350       xmlTextWriterEndElement (odt->content_wtr); /* office:body */
351       xmlTextWriterEndElement (odt->content_wtr); /* office:document-content */
352
353       xmlTextWriterEndDocument (odt->content_wtr);
354       xmlFreeTextWriter (odt->content_wtr);
355       zip_writer_add (odt->zip, odt->content_file, "content.xml");
356       close_temp_file (odt->content_file);
357
358       zip_writer_close (odt->zip);
359     }
360
361   fh_unref (odt->handle);
362   free (odt->file_name);
363   free (odt);
364 }
365
366 static void
367 write_xml_with_line_breaks (struct odt_driver *odt, const char *line_)
368 {
369   xmlTextWriterPtr writer = odt->content_wtr;
370
371   if (!strchr (line_, '\n'))
372     xmlTextWriterWriteString (writer, _xml(line_));
373   else
374     {
375       char *line = xstrdup (line_);
376       char *newline;
377       char *p;
378
379       for (p = line; *p; p = newline + 1)
380         {
381           newline = strchr (p, '\n');
382
383           if (!newline)
384             {
385               xmlTextWriterWriteString (writer, _xml(p));
386               free (line);
387               return;
388             }
389
390           if (newline > p && newline[-1] == '\r')
391             newline[-1] = '\0';
392           else
393             *newline = '\0';
394           xmlTextWriterWriteString (writer, _xml(p));
395           xmlTextWriterWriteElement (writer, _xml("text:line-break"), _xml(""));
396         }
397     }
398 }
399
400 static void
401 write_footnote (struct odt_driver *odt, const struct footnote *f)
402 {
403   xmlTextWriterStartElement (odt->content_wtr, _xml("text:note"));
404   xmlTextWriterWriteAttribute (odt->content_wtr, _xml("text:note-class"),
405                                _xml("footnote"));
406
407   xmlTextWriterStartElement (odt->content_wtr, _xml("text:note-citation"));
408   if (strlen (f->marker) > 1)
409     xmlTextWriterWriteFormatAttribute (odt->content_wtr, _xml("text:label"),
410                                        "(%s)", f->marker);
411   else
412     xmlTextWriterWriteAttribute (odt->content_wtr, _xml("text:label"),
413                                  _xml(f->marker));
414   xmlTextWriterEndElement (odt->content_wtr);
415
416   xmlTextWriterStartElement (odt->content_wtr, _xml("text:note-body"));
417   xmlTextWriterStartElement (odt->content_wtr, _xml("text:p"));
418   write_xml_with_line_breaks (odt, f->content);
419   xmlTextWriterEndElement (odt->content_wtr);
420   xmlTextWriterEndElement (odt->content_wtr);
421
422   xmlTextWriterEndElement (odt->content_wtr);
423 }
424
425 static void
426 write_table_item_text (struct odt_driver *odt,
427                        const struct table_item_text *text)
428 {
429   if (!text)
430     return;
431
432   xmlTextWriterStartElement (odt->content_wtr, _xml("text:h"));
433   xmlTextWriterWriteFormatAttribute (odt->content_wtr,
434                                      _xml("text:outline-level"), "%d", 2);
435   xmlTextWriterWriteString (odt->content_wtr, _xml (text->content) );
436   for (size_t i = 0; i < text->n_footnotes; i++)
437     write_footnote (odt, text->footnotes[i]);
438   xmlTextWriterEndElement (odt->content_wtr);
439 }
440
441 static void
442 write_table_item_layers (struct odt_driver *odt,
443                          const struct table_item_layers *layers)
444 {
445   if (!layers)
446     return;
447
448   for (size_t i = 0; i < layers->n_layers; i++)
449     {
450       const struct table_item_layer *layer = &layers->layers[i];
451       xmlTextWriterStartElement (odt->content_wtr, _xml("text:h"));
452       xmlTextWriterWriteFormatAttribute (odt->content_wtr,
453                                          _xml("text:outline-level"), "%d", 2);
454       xmlTextWriterWriteString (odt->content_wtr, _xml (layer->content) );
455       for (size_t i = 0; i < layer->n_footnotes; i++)
456         write_footnote (odt, layer->footnotes[i]);
457       xmlTextWriterEndElement (odt->content_wtr);
458     }
459 }
460
461 static void
462 write_table (struct odt_driver *odt, const struct table_item *item)
463 {
464   const struct table *tab = table_item_get_table (item);
465   int r, c;
466
467   /* Write a heading for the table */
468   write_table_item_text (odt, table_item_get_title (item));
469   write_table_item_layers (odt, table_item_get_layers (item));
470
471   /* Start table */
472   xmlTextWriterStartElement (odt->content_wtr, _xml("table:table"));
473   xmlTextWriterWriteFormatAttribute (odt->content_wtr, _xml("table:name"),
474                                      "TABLE-%d", odt->table_num++);
475
476
477   /* Start column definitions */
478   xmlTextWriterStartElement (odt->content_wtr, _xml("table:table-column"));
479   xmlTextWriterWriteFormatAttribute (odt->content_wtr, _xml("table:number-columns-repeated"), "%d", table_nc (tab));
480   xmlTextWriterEndElement (odt->content_wtr);
481
482
483   /* Deal with row headers */
484   if ( table_ht (tab) > 0)
485     xmlTextWriterStartElement (odt->content_wtr, _xml("table:table-header-rows"));
486
487
488   /* Write all the rows */
489   for (r = 0 ; r < table_nr (tab); ++r)
490     {
491       /* Start row definition */
492       xmlTextWriterStartElement (odt->content_wtr, _xml("table:table-row"));
493
494       /* Write all the columns */
495       for (c = 0 ; c < table_nc (tab) ; ++c)
496         {
497           struct table_cell cell;
498
499           table_get_cell (tab, c, r, &cell);
500
501           if (c == cell.d[TABLE_HORZ][0] && r == cell.d[TABLE_VERT][0])
502             {
503               int colspan = table_cell_colspan (&cell);
504               int rowspan = table_cell_rowspan (&cell);
505
506               xmlTextWriterStartElement (odt->content_wtr, _xml("table:table-cell"));
507               xmlTextWriterWriteAttribute (odt->content_wtr, _xml("office:value-type"), _xml("string"));
508
509               if (colspan > 1)
510                 xmlTextWriterWriteFormatAttribute (
511                   odt->content_wtr, _xml("table:number-columns-spanned"),
512                   "%d", colspan);
513
514               if (rowspan > 1)
515                 xmlTextWriterWriteFormatAttribute (
516                   odt->content_wtr, _xml("table:number-rows-spanned"),
517                   "%d", rowspan);
518
519               xmlTextWriterStartElement (odt->content_wtr, _xml("text:p"));
520
521               if ( r < table_ht (tab) || c < table_hl (tab) )
522                 xmlTextWriterWriteAttribute (odt->content_wtr, _xml("text:style-name"), _xml("Table_20_Heading"));
523               else
524                 xmlTextWriterWriteAttribute (odt->content_wtr, _xml("text:style-name"), _xml("Table_20_Contents"));
525
526               if (cell.options & TAB_MARKUP)
527                 {
528                   /* XXX */
529                   char *s = output_get_text_from_markup (cell.text);
530                   write_xml_with_line_breaks (odt, s);
531                   free (s);
532                 }
533               else
534                 write_xml_with_line_breaks (odt, cell.text);
535
536               for (int i = 0; i < cell.n_footnotes; i++)
537                 write_footnote (odt, cell.footnotes[i]);
538
539               xmlTextWriterEndElement (odt->content_wtr); /* text:p */
540               xmlTextWriterEndElement (odt->content_wtr); /* table:table-cell */
541             }
542           else
543             {
544               xmlTextWriterStartElement (odt->content_wtr, _xml("table:covered-table-cell"));
545               xmlTextWriterEndElement (odt->content_wtr);
546             }
547
548           table_cell_free (&cell);
549         }
550
551       xmlTextWriterEndElement (odt->content_wtr); /* row */
552
553       if ( table_ht (tab) > 0 && r == table_ht (tab) - 1)
554         xmlTextWriterEndElement (odt->content_wtr); /* table-header-rows */
555     }
556
557   xmlTextWriterEndElement (odt->content_wtr); /* table */
558
559   /* Write a caption for the table */
560   write_table_item_text (odt, table_item_get_caption (item));
561 }
562
563 static void
564 odt_output_text (struct odt_driver *odt, const char *text)
565 {
566   xmlTextWriterStartElement (odt->content_wtr, _xml("text:p"));
567   xmlTextWriterWriteString (odt->content_wtr, _xml(text));
568   xmlTextWriterEndElement (odt->content_wtr);
569 }
570
571 /* Submit a table to the ODT driver */
572 static void
573 odt_submit (struct output_driver *driver,
574             const struct output_item *output_item)
575 {
576   struct odt_driver *odt = odt_driver_cast (driver);
577
578   if (is_table_item (output_item))
579     write_table (odt, to_table_item (output_item));
580   else if (is_text_item (output_item))
581     odt_output_text (odt, text_item_get_text (to_text_item (output_item)));
582   else if (is_message_item (output_item))
583     {
584       const struct message_item *message_item = to_message_item (output_item);
585       char *s = msg_to_string (message_item_get_msg (message_item));
586       odt_output_text (odt, s);
587       free (s);
588     }
589 }
590
591 struct output_driver_factory odt_driver_factory =
592   { "odt", "pspp.odf", odt_create };
593
594 static const struct output_driver_class odt_driver_class =
595 {
596   "odf",
597   odt_destroy,
598   odt_submit,
599   NULL,
600 };