Got the text file import working again
[pspp] / src / ui / gui / text-data-import-dialog.c
1 /* PSPPIRE - a graphical user interface for PSPP.
2    Copyright (C) 2008, 2009, 2010, 2011, 2012, 2013  Free Software Foundation
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include "ui/gui/text-data-import-dialog.h"
20
21 #include "page-intro.h"
22 #include "page-sheet-spec.h"
23 #include "page-first-line.h"
24 #include "page-separators.h"
25 #include "page-formats.h"
26
27 #include <errno.h>
28 #include <fcntl.h>
29 #include <gtk-contrib/psppire-sheet.h>
30 #include <gtk/gtk.h>
31 #include <limits.h>
32 #include <stdlib.h>
33 #include <sys/stat.h>
34
35 #include "data/data-in.h"
36 #include "data/data-out.h"
37 #include "data/format-guesser.h"
38 #include "data/value-labels.h"
39 #include "language/data-io/data-parser.h"
40 #include "language/lexer/lexer.h"
41 #include "libpspp/assertion.h"
42 #include "libpspp/i18n.h"
43 #include "libpspp/line-reader.h"
44 #include "libpspp/message.h"
45 #include "ui/gui/checkbox-treeview.h"
46 #include "ui/gui/dialog-common.h"
47 #include "ui/gui/executor.h"
48 #include "ui/gui/helper.h"
49 #include "ui/gui/builder-wrapper.h"
50 #include "ui/gui/psppire-data-window.h"
51 #include "ui/gui/psppire-dialog.h"
52 #include "ui/gui/psppire-encoding-selector.h"
53 #include "ui/gui/psppire-empty-list-store.h"
54 #include "ui/gui/psppire-var-sheet.h"
55 #include "ui/gui/psppire-var-store.h"
56 #include "ui/gui/psppire-scanf.h"
57 #include "ui/syntax-gen.h"
58
59 #include "gl/error.h"
60 #include "gl/intprops.h"
61 #include "gl/xalloc.h"
62
63 #include "gettext.h"
64 #define _(msgid) gettext (msgid)
65 #define N_(msgid) msgid
66
67 struct import_assistant;
68
69 static void apply_dict (const struct dictionary *, struct string *);
70 static char *generate_syntax (const struct import_assistant *);
71
72 static void add_line_number_column (const struct import_assistant *,
73                                     GtkTreeView *);
74
75 /* Pops up the Text Data Import assistant. */
76 void
77 text_data_import_assistant (PsppireDataWindow *dw)
78 {
79   GtkWindow *parent_window = GTK_WINDOW (dw);
80   struct import_assistant *ia = init_assistant (parent_window);
81   struct sheet_spec_page *ssp ;
82
83   if (!init_file (ia, parent_window))
84     {
85       free (ia);
86       return;
87     }
88
89   ssp = ia->sheet_spec;
90
91   if (ia->spreadsheet)
92     {
93       ia->sheet_spec = sheet_spec_page_create (ia);
94     }
95   else
96     {
97       ia->intro = intro_page_create (ia);
98       ia->separators = separators_page_create (ia);
99       ia->first_line = first_line_page_create (ia);
100
101       printf ("%s:%d %p\n", __FILE__, __LINE__, ia->intro);
102     }
103   ia->formats = formats_page_create (ia);
104
105   gtk_widget_show_all (GTK_WIDGET (ia->asst.assistant));
106
107   ia->asst.main_loop = g_main_loop_new (NULL, false);
108   g_main_loop_run (ia->asst.main_loop);
109   g_main_loop_unref (ia->asst.main_loop);
110
111   switch (ia->asst.response)
112     {
113     case GTK_RESPONSE_APPLY:
114       free (execute_syntax_string (dw, generate_syntax (ia)));
115       break;
116     case PSPPIRE_RESPONSE_PASTE:
117       free (paste_syntax_to_window (generate_syntax (ia)));
118       break;
119     default:
120       break;
121     }
122
123   if (ssp) 
124     {
125       destroy_formats_page (ia);
126       destroy_separators_page (ia);
127     }
128
129   destroy_assistant (ia);
130   destroy_file (ia);
131   free (ia);
132 }
133
134 /* Emits PSPP syntax to S that applies the dictionary attributes
135    (such as missing values and value labels) of the variables in
136    DICT.  */
137 static void
138 apply_dict (const struct dictionary *dict, struct string *s)
139 {
140   size_t var_cnt = dict_get_var_cnt (dict);
141   size_t i;
142
143   for (i = 0; i < var_cnt; i++)
144     {
145       struct variable *var = dict_get_var (dict, i);
146       const char *name = var_get_name (var);
147       enum val_type type = var_get_type (var);
148       int width = var_get_width (var);
149       enum measure measure = var_get_measure (var);
150       enum alignment alignment = var_get_alignment (var);
151       const struct fmt_spec *format = var_get_print_format (var);
152
153       if (var_has_missing_values (var))
154         {
155           const struct missing_values *mv = var_get_missing_values (var);
156           size_t j;
157
158           syntax_gen_pspp (s, "MISSING VALUES %ss (", name);
159           for (j = 0; j < mv_n_values (mv); j++)
160             {
161               if (j)
162                 ds_put_cstr (s, ", ");
163               syntax_gen_value (s, mv_get_value (mv, j), width, format);
164             }
165
166           if (mv_has_range (mv))
167             {
168               double low, high;
169               if (mv_has_value (mv))
170                 ds_put_cstr (s, ", ");
171               mv_get_range (mv, &low, &high);
172               syntax_gen_num_range (s, low, high, format);
173             }
174           ds_put_cstr (s, ").\n");
175         }
176       if (var_has_value_labels (var))
177         {
178           const struct val_labs *vls = var_get_value_labels (var);
179           const struct val_lab **labels = val_labs_sorted (vls);
180           size_t n_labels = val_labs_count (vls);
181           size_t i;
182
183           syntax_gen_pspp (s, "VALUE LABELS %ss", name);
184           for (i = 0; i < n_labels; i++)
185             {
186               const struct val_lab *vl = labels[i];
187               ds_put_cstr (s, "\n  ");
188               syntax_gen_value (s, &vl->value, width, format);
189               ds_put_byte (s, ' ');
190               syntax_gen_string (s, ss_cstr (val_lab_get_escaped_label (vl)));
191             }
192           free (labels);
193           ds_put_cstr (s, ".\n");
194         }
195       if (var_has_label (var))
196         syntax_gen_pspp (s, "VARIABLE LABELS %ss %sq.\n",
197                          name, var_get_label (var));
198       if (measure != var_default_measure (type))
199         syntax_gen_pspp (s, "VARIABLE LEVEL %ss (%ss).\n",
200                          name,
201                          (measure == MEASURE_NOMINAL ? "NOMINAL"
202                           : measure == MEASURE_ORDINAL ? "ORDINAL"
203                           : "SCALE"));
204       if (alignment != var_default_alignment (type))
205         syntax_gen_pspp (s, "VARIABLE ALIGNMENT %ss (%ss).\n",
206                          name,
207                          (alignment == ALIGN_LEFT ? "LEFT"
208                           : alignment == ALIGN_CENTRE ? "CENTER"
209                           : "RIGHT"));
210       if (var_get_display_width (var) != var_default_display_width (width))
211         syntax_gen_pspp (s, "VARIABLE WIDTH %ss (%d).\n",
212                          name, var_get_display_width (var));
213     }
214 }
215
216 /* Generates and returns PSPP syntax to execute the import
217    operation described by IA.  The caller must free the syntax
218    with free(). */
219 static char *
220 generate_syntax (const struct import_assistant *ia)
221 {
222   struct string s = DS_EMPTY_INITIALIZER;
223
224   if (ia->spreadsheet == NULL)
225     {
226       syntax_gen_pspp (&s,
227                        "GET DATA"
228                        "\n  /TYPE=TXT"
229                        "\n  /FILE=%sq\n",
230                        ia->file.file_name);
231       if (ia->file.encoding && strcmp (ia->file.encoding, "Auto"))
232         syntax_gen_pspp (&s, "  /ENCODING=%sq\n", ia->file.encoding);
233
234
235       intro_append_syntax (ia->intro, &s);
236
237
238       ds_put_cstr (&s,
239                    "  /ARRANGEMENT=DELIMITED\n"
240                    "  /DELCASE=LINE\n");
241
242       first_line_append_syntax (ia, &s);
243       separators_append_syntax (ia, &s);
244       formats_append_syntax (ia, &s);
245       apply_dict (ia->dict, &s);
246     }
247   else
248     {
249       return sheet_spec_gen_syntax (ia);
250     }
251
252   return ds_cstr (&s);
253 }
254
255
256
257 static void render_input_cell (GtkTreeViewColumn *tree_column,
258                                GtkCellRenderer *cell,
259                                GtkTreeModel *model, GtkTreeIter *iter,
260                                gpointer ia);
261
262 static gboolean on_query_input_tooltip (GtkWidget *widget, gint wx, gint wy,
263                                         gboolean keyboard_mode UNUSED,
264                                         GtkTooltip *tooltip,
265                                         struct import_assistant *);
266
267
268
269 /* Called to render one of the cells in the fields preview tree
270    view. */
271 static void
272 render_input_cell (GtkTreeViewColumn *tree_column, GtkCellRenderer *cell,
273                    GtkTreeModel *model, GtkTreeIter *iter,
274                    gpointer ia_)
275 {
276   struct import_assistant *ia = ia_;
277   struct substring field;
278   size_t row;
279   gint column;
280
281   column = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
282                                                "column-number"));
283   row = empty_list_store_iter_to_row (iter) + ia->skip_lines;
284   field = ia->columns[column].contents[row];
285   if (field.string != NULL)
286     {
287       GValue text = {0, };
288       g_value_init (&text, G_TYPE_STRING);
289       g_value_take_string (&text, ss_xstrdup (field));
290       g_object_set_property (G_OBJECT (cell), "text", &text);
291       g_value_unset (&text);
292       g_object_set (cell, "background-set", FALSE, (void *) NULL);
293     }
294   else
295     g_object_set (cell,
296                   "text", "",
297                   "background", "red",
298                   "background-set", TRUE,
299                   (void *) NULL);
300 }
301
302 static gboolean
303 get_tooltip_location (GtkWidget *widget, gint wx, gint wy,
304                       const struct import_assistant *ia,
305                       size_t *row, size_t *column);
306
307
308 /* Called to render a tooltip on one of the cells in the fields
309    preview tree view. */
310 static gboolean
311 on_query_input_tooltip (GtkWidget *widget, gint wx, gint wy,
312                         gboolean keyboard_mode UNUSED,
313                         GtkTooltip *tooltip, struct import_assistant *ia)
314 {
315   size_t row, column;
316
317   if (!get_tooltip_location (widget, wx, wy, ia, &row, &column))
318     return FALSE;
319
320   if (ia->columns[column].contents[row].string != NULL)
321     return FALSE;
322
323   gtk_tooltip_set_text (tooltip,
324                         _("This input line has too few separators "
325                           "to fill in this field."));
326   return TRUE;
327 }
328
329
330 /* Parses the contents of the field at (ROW,COLUMN) according to
331    its variable format.  If OUTPUTP is non-null, then *OUTPUTP
332    receives the formatted output for that field (which must be
333    freed with free).  If TOOLTIPP is non-null, then *TOOLTIPP
334    receives a message suitable for use in a tooltip, if one is
335    needed, or a null pointer otherwise.  Returns true if a
336    tooltip message is needed, otherwise false. */
337 static bool
338 parse_field (struct import_assistant *ia,
339              size_t row, size_t column,
340              char **outputp, char **tooltipp)
341 {
342   const struct fmt_spec *in;
343   struct fmt_spec out;
344   char *tooltip;
345   bool ok;
346
347   struct substring field = ia->columns[column].contents[row];
348   struct variable *var = dict_get_var (ia->dict, column);
349   union value val;
350
351   value_init (&val, var_get_width (var));
352   in = var_get_print_format (var);
353   out = fmt_for_output_from_input (in);
354   tooltip = NULL;
355   if (field.string != NULL)
356     {
357       char *error;
358
359       error = data_in (field, "UTF-8", in->type, &val, var_get_width (var),
360                        dict_get_encoding (ia->dict));
361       if (error != NULL)
362         {
363           tooltip = xasprintf (_("Cannot parse field content `%.*s' as "
364                                  "format %s: %s"),
365                                (int) field.length, field.string,
366                                fmt_name (in->type), error);
367           free (error);
368         }
369     }
370   else
371     {
372       tooltip = xstrdup (_("This input line has too few separators "
373                            "to fill in this field."));
374       value_set_missing (&val, var_get_width (var));
375     }
376   if (outputp != NULL)
377     {
378       *outputp = data_out (&val, dict_get_encoding (ia->dict),  &out);
379     }
380   value_destroy (&val, var_get_width (var));
381
382   ok = tooltip == NULL;
383   if (tooltipp != NULL)
384     *tooltipp = tooltip;
385   else
386     free (tooltip);
387   return ok;
388 }
389
390 /* Called to render one of the cells in the data preview tree
391    view. */
392 static void
393 render_output_cell (GtkTreeViewColumn *tree_column,
394                     GtkCellRenderer *cell,
395                     GtkTreeModel *model,
396                     GtkTreeIter *iter,
397                     gpointer ia_)
398 {
399   struct import_assistant *ia = ia_;
400   char *output;
401   GValue gvalue = { 0, };
402   bool ok;
403
404   ok = parse_field (ia,
405                     (empty_list_store_iter_to_row (iter)
406                      + ia->skip_lines),
407                     GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
408                                                         "column-number")),
409                     &output, NULL);
410
411   g_value_init (&gvalue, G_TYPE_STRING);
412   g_value_take_string (&gvalue, output);
413   g_object_set_property (G_OBJECT (cell), "text", &gvalue);
414   g_value_unset (&gvalue);
415
416   if (ok)
417     g_object_set (cell, "background-set", FALSE, (void *) NULL);
418   else
419     g_object_set (cell,
420                   "background", "red",
421                   "background-set", TRUE,
422                   (void *) NULL);
423 }
424
425 /* Called to render a tooltip for one of the cells in the data
426    preview tree view. */
427 static gboolean
428 on_query_output_tooltip (GtkWidget *widget, gint wx, gint wy,
429                          gboolean keyboard_mode UNUSED,
430                          GtkTooltip *tooltip, struct import_assistant *ia)
431 {
432   size_t row, column;
433   char *text;
434
435   if (!get_tooltip_location (widget, wx, wy, ia, &row, &column))
436     return FALSE;
437
438   if (parse_field (ia, row, column, NULL, &text))
439     return FALSE;
440
441   gtk_tooltip_set_text (tooltip, text);
442   free (text);
443   return TRUE;
444 }
445 \f
446 /* Utility functions used by multiple pages of the assistant. */
447
448 static gboolean
449 get_tooltip_location (GtkWidget *widget, gint wx, gint wy,
450                       const struct import_assistant *ia,
451                       size_t *row, size_t *column)
452 {
453   GtkTreeView *tree_view = GTK_TREE_VIEW (widget);
454   gint bx, by;
455   GtkTreePath *path;
456   GtkTreeIter iter;
457   GtkTreeViewColumn *tree_column;
458   GtkTreeModel *tree_model;
459   bool ok;
460
461   /* Check that WIDGET is really visible on the screen before we
462      do anything else.  This is a bug fix for a sticky situation:
463      when text_data_import_assistant() returns, it frees the data
464      necessary to compose the tool tip message, but there may be
465      a tool tip under preparation at that point (even if there is
466      no visible tool tip) that will call back into us a little
467      bit later.  Perhaps the correct solution to this problem is
468      to make the data related to the tool tips part of a GObject
469      that only gets destroyed when all references are released,
470      but this solution appears to be effective too. */
471   if (!gtk_widget_get_mapped (widget))
472     return FALSE;
473
474   gtk_tree_view_convert_widget_to_bin_window_coords (tree_view,
475                                                      wx, wy, &bx, &by);
476   if (!gtk_tree_view_get_path_at_pos (tree_view, bx, by,
477                                       &path, &tree_column, NULL, NULL))
478     return FALSE;
479
480   *column = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
481                                                 "column-number"));
482
483   tree_model = gtk_tree_view_get_model (tree_view);
484   ok = gtk_tree_model_get_iter (tree_model, &iter, path);
485   gtk_tree_path_free (path);
486   if (!ok)
487     return FALSE;
488
489   *row = empty_list_store_iter_to_row (&iter) + ia->skip_lines;
490   return TRUE;
491 }
492
493 void
494 make_tree_view (const struct import_assistant *ia,
495                 size_t first_line,
496                 GtkTreeView **tree_view)
497 {
498   GtkTreeModel *model;
499
500   *tree_view = GTK_TREE_VIEW (gtk_tree_view_new ());
501   model = GTK_TREE_MODEL (psppire_empty_list_store_new (
502                                                         ia->file.line_cnt - first_line));
503   g_object_set_data (G_OBJECT (model), "lines", ia->file.lines + first_line);
504   g_object_set_data (G_OBJECT (model), "first-line",
505                      GINT_TO_POINTER (first_line));
506   gtk_tree_view_set_model (*tree_view, model);
507   g_object_unref (model);
508
509   add_line_number_column (ia, *tree_view);
510 }
511
512 static void
513 render_line_number (GtkTreeViewColumn *tree_column,
514                     GtkCellRenderer *cell,
515                     GtkTreeModel *tree_model,
516                     GtkTreeIter *iter,
517                     gpointer data)
518 {
519   gint row = empty_list_store_iter_to_row (iter);
520   char s[INT_BUFSIZE_BOUND (int)];
521   int first_line;
522
523   first_line = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_model),
524                                                    "first-line"));
525   sprintf (s, "%d", first_line + row);
526   g_object_set (cell, "text", s, NULL);
527 }
528
529 static void
530 add_line_number_column (const struct import_assistant *ia,
531                         GtkTreeView *treeview)
532 {
533   GtkTreeViewColumn *column;
534
535   column = gtk_tree_view_column_new_with_attributes (
536                                                      _("Line"), ia->asst.prop_renderer, (void *) NULL);
537   gtk_tree_view_column_set_sizing (column, GTK_TREE_VIEW_COLUMN_FIXED);
538   gtk_tree_view_column_set_fixed_width (
539                                         column, get_monospace_width (treeview, ia->asst.prop_renderer, 5));
540   gtk_tree_view_column_set_resizable (column, TRUE);
541   gtk_tree_view_column_set_cell_data_func (column, ia->asst.prop_renderer,
542                                            render_line_number, NULL, NULL);
543   gtk_tree_view_append_column (treeview, column);
544 }
545
546 gint
547 get_monospace_width (GtkTreeView *treeview, GtkCellRenderer *renderer,
548                      size_t char_cnt)
549 {
550   struct string s;
551   gint width;
552
553   ds_init_empty (&s);
554   ds_put_byte_multiple (&s, '0', char_cnt);
555   ds_put_byte (&s, ' ');
556   width = get_string_width (treeview, renderer, ds_cstr (&s));
557   ds_destroy (&s);
558
559   return width;
560 }
561
562 gint
563 get_string_width (GtkTreeView *treeview, GtkCellRenderer *renderer,
564                   const char *string)
565 {
566   gint width;
567   g_object_set (G_OBJECT (renderer), "text", string, (void *) NULL);
568   gtk_cell_renderer_get_size (renderer, GTK_WIDGET (treeview),
569                               NULL, NULL, NULL, &width, NULL);
570   return width;
571 }
572
573 GtkTreeViewColumn *
574 make_data_column (struct import_assistant *ia, GtkTreeView *tree_view,
575                   bool input, gint dict_idx)
576 {
577   struct variable *var = NULL;
578   struct column *column = NULL;
579   size_t char_cnt;
580   gint content_width, header_width;
581   GtkTreeViewColumn *tree_column;
582   char *name;
583
584   if (input)
585     column = &ia->columns[dict_idx];
586   else
587     var = dict_get_var (ia->dict, dict_idx);
588
589   name = escape_underscores (input ? column->name : var_get_name (var));
590   char_cnt = input ? column->width : var_get_print_format (var)->w;
591   content_width = get_monospace_width (tree_view, ia->asst.fixed_renderer,
592                                        char_cnt);
593   header_width = get_string_width (tree_view, ia->asst.prop_renderer,
594                                    name);
595
596   tree_column = gtk_tree_view_column_new ();
597   g_object_set_data (G_OBJECT (tree_column), "column-number",
598                      GINT_TO_POINTER (dict_idx));
599   gtk_tree_view_column_set_title (tree_column, name);
600   gtk_tree_view_column_pack_start (tree_column, ia->asst.fixed_renderer,
601                                    FALSE);
602   gtk_tree_view_column_set_cell_data_func (
603                                            tree_column, ia->asst.fixed_renderer,
604                                            input ? render_input_cell : render_output_cell, ia, NULL);
605   gtk_tree_view_column_set_sizing (tree_column, GTK_TREE_VIEW_COLUMN_FIXED);
606   gtk_tree_view_column_set_fixed_width (tree_column, MAX (content_width,
607                                                           header_width));
608
609   free (name);
610
611   return tree_column;
612 }
613
614 GtkTreeView *
615 create_data_tree_view (bool input, GtkContainer *parent,
616                        struct import_assistant *ia)
617 {
618   GtkTreeView *tree_view;
619   gint i;
620
621   make_tree_view (ia, ia->skip_lines, &tree_view);
622   gtk_tree_selection_set_mode (gtk_tree_view_get_selection (tree_view),
623                                GTK_SELECTION_NONE);
624
625   for (i = 0; i < ia->column_cnt; i++)
626     gtk_tree_view_append_column (tree_view,
627                                  make_data_column (ia, tree_view, input, i));
628
629   g_object_set (G_OBJECT (tree_view), "has-tooltip", TRUE, (void *) NULL);
630   g_signal_connect (tree_view, "query-tooltip",
631                     G_CALLBACK (input ? on_query_input_tooltip
632                                 : on_query_output_tooltip), ia);
633   gtk_tree_view_set_fixed_height_mode (tree_view, true);
634
635   gtk_container_add (parent, GTK_WIDGET (tree_view));
636   gtk_widget_show (GTK_WIDGET (tree_view));
637
638   return tree_view;
639 }
640
641 /* Increments the "watch cursor" level, setting the cursor for
642    the assistant window to a watch face to indicate to the user
643    that the ongoing operation may take some time. */
644 void
645 push_watch_cursor (struct import_assistant *ia)
646 {
647   if (++ia->asst.watch_cursor == 1)
648     {
649       GtkWidget *widget = GTK_WIDGET (ia->asst.assistant);
650       GdkDisplay *display = gtk_widget_get_display (widget);
651       GdkCursor *cursor = gdk_cursor_new_for_display (display, GDK_WATCH);
652       gdk_window_set_cursor (widget->window, cursor);
653       gdk_cursor_unref (cursor);
654       gdk_display_flush (display);
655     }
656 }
657
658 /* Decrements the "watch cursor" level.  If the level reaches
659    zero, the cursor is reset to its default shape. */
660 void
661 pop_watch_cursor (struct import_assistant *ia)
662 {
663   if (--ia->asst.watch_cursor == 0)
664     {
665       GtkWidget *widget = GTK_WIDGET (ia->asst.assistant);
666       gdk_window_set_cursor (widget->window, NULL);
667     }
668 }