Reorganised the text-data import assistant into separate files for each page
[pspp] / src / ui / gui / text-data-import-dialog.c
1 /* PSPPIRE - a graphical user interface for PSPP.
2    Copyright (C) 2008, 2009, 2010, 2011, 2012, 2013  Free Software Foundation
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include "ui/gui/text-data-import-dialog.h"
20
21 #include "page-intro.h"
22 #include "page-first-line.h"
23 #include "page-separators.h"
24 #include "page-formats.h"
25
26 #include <errno.h>
27 #include <fcntl.h>
28 #include <gtk-contrib/psppire-sheet.h>
29 #include <gtk/gtk.h>
30 #include <limits.h>
31 #include <stdlib.h>
32 #include <sys/stat.h>
33
34 #include "data/data-in.h"
35 #include "data/data-out.h"
36 #include "data/format-guesser.h"
37 #include "data/value-labels.h"
38 #include "language/data-io/data-parser.h"
39 #include "language/lexer/lexer.h"
40 #include "libpspp/assertion.h"
41 #include "libpspp/i18n.h"
42 #include "libpspp/line-reader.h"
43 #include "libpspp/message.h"
44 #include "ui/gui/checkbox-treeview.h"
45 #include "ui/gui/dialog-common.h"
46 #include "ui/gui/executor.h"
47 #include "ui/gui/helper.h"
48 #include "ui/gui/builder-wrapper.h"
49 #include "ui/gui/psppire-data-window.h"
50 #include "ui/gui/psppire-dialog.h"
51 #include "ui/gui/psppire-encoding-selector.h"
52 #include "ui/gui/psppire-empty-list-store.h"
53 #include "ui/gui/psppire-var-sheet.h"
54 #include "ui/gui/psppire-var-store.h"
55 #include "ui/gui/psppire-scanf.h"
56 #include "ui/syntax-gen.h"
57
58 #include "gl/error.h"
59 #include "gl/intprops.h"
60 #include "gl/xalloc.h"
61
62 #include "gettext.h"
63 #define _(msgid) gettext (msgid)
64 #define N_(msgid) msgid
65
66 struct import_assistant;
67
68 static void apply_dict (const struct dictionary *, struct string *);
69 static char *generate_syntax (const struct import_assistant *);
70
71 static void add_line_number_column (const struct import_assistant *,
72                                     GtkTreeView *);
73
74 /* Pops up the Text Data Import assistant. */
75 void
76 text_data_import_assistant (PsppireDataWindow *dw)
77 {
78   GtkWindow *parent_window = GTK_WINDOW (dw);
79   struct import_assistant *ia = init_assistant (parent_window);
80
81   if (!init_file (ia, parent_window))
82     {
83       free (ia);
84       return;
85     }
86
87
88     {
89       ia->intro = intro_page_create (ia);
90       ia->separators = separators_page_create (ia);
91       ia->first_line = first_line_page_create (ia);
92     }
93   ia->formats = formats_page_create (ia);
94
95   gtk_widget_show_all (GTK_WIDGET (ia->asst.assistant));
96
97   ia->asst.main_loop = g_main_loop_new (NULL, false);
98
99   {  
100   /*
101     Instead of this block,
102     A simple     g_main_loop_run (ia->asst.main_loop);  should work here.  But it seems to crash.
103     I have no idea why.
104   */
105     GMainContext *ctx = g_main_loop_get_context (ia->asst.main_loop);
106     ia->asst.loop_done = false;
107     while (! ia->asst.loop_done)
108       {
109         g_main_context_iteration (ctx, TRUE);
110       }
111   }
112   g_main_loop_unref (ia->asst.main_loop);
113
114   switch (ia->asst.response)
115     {
116     case GTK_RESPONSE_APPLY:
117       free (execute_syntax_string (dw, generate_syntax (ia)));
118       break;
119     case PSPPIRE_RESPONSE_PASTE:
120       free (paste_syntax_to_window (generate_syntax (ia)));
121       break;
122     default:
123       break;
124     }
125
126     {
127       destroy_formats_page (ia);
128       destroy_separators_page (ia);
129     }
130
131   destroy_assistant (ia);
132   destroy_file (ia);
133   free (ia);
134 }
135
136 /* Emits PSPP syntax to S that applies the dictionary attributes
137    (such as missing values and value labels) of the variables in
138    DICT.  */
139 static void
140 apply_dict (const struct dictionary *dict, struct string *s)
141 {
142   size_t var_cnt = dict_get_var_cnt (dict);
143   size_t i;
144
145   for (i = 0; i < var_cnt; i++)
146     {
147       struct variable *var = dict_get_var (dict, i);
148       const char *name = var_get_name (var);
149       enum val_type type = var_get_type (var);
150       int width = var_get_width (var);
151       enum measure measure = var_get_measure (var);
152       enum alignment alignment = var_get_alignment (var);
153       const struct fmt_spec *format = var_get_print_format (var);
154
155       if (var_has_missing_values (var))
156         {
157           const struct missing_values *mv = var_get_missing_values (var);
158           size_t j;
159
160           syntax_gen_pspp (s, "MISSING VALUES %ss (", name);
161           for (j = 0; j < mv_n_values (mv); j++)
162             {
163               if (j)
164                 ds_put_cstr (s, ", ");
165               syntax_gen_value (s, mv_get_value (mv, j), width, format);
166             }
167
168           if (mv_has_range (mv))
169             {
170               double low, high;
171               if (mv_has_value (mv))
172                 ds_put_cstr (s, ", ");
173               mv_get_range (mv, &low, &high);
174               syntax_gen_num_range (s, low, high, format);
175             }
176           ds_put_cstr (s, ").\n");
177         }
178       if (var_has_value_labels (var))
179         {
180           const struct val_labs *vls = var_get_value_labels (var);
181           const struct val_lab **labels = val_labs_sorted (vls);
182           size_t n_labels = val_labs_count (vls);
183           size_t i;
184
185           syntax_gen_pspp (s, "VALUE LABELS %ss", name);
186           for (i = 0; i < n_labels; i++)
187             {
188               const struct val_lab *vl = labels[i];
189               ds_put_cstr (s, "\n  ");
190               syntax_gen_value (s, &vl->value, width, format);
191               ds_put_byte (s, ' ');
192               syntax_gen_string (s, ss_cstr (val_lab_get_escaped_label (vl)));
193             }
194           free (labels);
195           ds_put_cstr (s, ".\n");
196         }
197       if (var_has_label (var))
198         syntax_gen_pspp (s, "VARIABLE LABELS %ss %sq.\n",
199                          name, var_get_label (var));
200       if (measure != var_default_measure (type))
201         syntax_gen_pspp (s, "VARIABLE LEVEL %ss (%ss).\n",
202                          name,
203                          (measure == MEASURE_NOMINAL ? "NOMINAL"
204                           : measure == MEASURE_ORDINAL ? "ORDINAL"
205                           : "SCALE"));
206       if (alignment != var_default_alignment (type))
207         syntax_gen_pspp (s, "VARIABLE ALIGNMENT %ss (%ss).\n",
208                          name,
209                          (alignment == ALIGN_LEFT ? "LEFT"
210                           : alignment == ALIGN_CENTRE ? "CENTER"
211                           : "RIGHT"));
212       if (var_get_display_width (var) != var_default_display_width (width))
213         syntax_gen_pspp (s, "VARIABLE WIDTH %ss (%d).\n",
214                          name, var_get_display_width (var));
215     }
216 }
217
218 /* Generates and returns PSPP syntax to execute the import
219    operation described by IA.  The caller must free the syntax
220    with free(). */
221 static char *
222 generate_syntax (const struct import_assistant *ia)
223 {
224   struct string s = DS_EMPTY_INITIALIZER;
225
226     {
227       syntax_gen_pspp (&s,
228                        "GET DATA"
229                        "\n  /TYPE=TXT"
230                        "\n  /FILE=%sq\n",
231                        ia->file.file_name);
232       if (ia->file.encoding && strcmp (ia->file.encoding, "Auto"))
233         syntax_gen_pspp (&s, "  /ENCODING=%sq\n", ia->file.encoding);
234
235
236       intro_append_syntax (ia->intro, &s);
237
238
239       ds_put_cstr (&s,
240                    "  /ARRANGEMENT=DELIMITED\n"
241                    "  /DELCASE=LINE\n");
242
243       first_line_append_syntax (ia, &s);
244       separators_append_syntax (ia, &s);
245       formats_append_syntax (ia, &s);
246       apply_dict (ia->dict, &s);
247     }
248
249   return ds_cstr (&s);
250 }
251
252
253
254 static void render_input_cell (GtkTreeViewColumn *tree_column,
255                                GtkCellRenderer *cell,
256                                GtkTreeModel *model, GtkTreeIter *iter,
257                                gpointer ia);
258
259 static gboolean on_query_input_tooltip (GtkWidget *widget, gint wx, gint wy,
260                                         gboolean keyboard_mode UNUSED,
261                                         GtkTooltip *tooltip,
262                                         struct import_assistant *);
263
264
265
266 /* Called to render one of the cells in the fields preview tree
267    view. */
268 static void
269 render_input_cell (GtkTreeViewColumn *tree_column, GtkCellRenderer *cell,
270                    GtkTreeModel *model, GtkTreeIter *iter,
271                    gpointer ia_)
272 {
273   struct import_assistant *ia = ia_;
274   struct substring field;
275   size_t row;
276   gint column;
277
278   column = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
279                                                "column-number"));
280   row = empty_list_store_iter_to_row (iter) + ia->skip_lines;
281   field = ia->columns[column].contents[row];
282   if (field.string != NULL)
283     {
284       GValue text = {0, };
285       g_value_init (&text, G_TYPE_STRING);
286       g_value_take_string (&text, ss_xstrdup (field));
287       g_object_set_property (G_OBJECT (cell), "text", &text);
288       g_value_unset (&text);
289       g_object_set (cell, "background-set", FALSE, (void *) NULL);
290     }
291   else
292     g_object_set (cell,
293                   "text", "",
294                   "background", "red",
295                   "background-set", TRUE,
296                   (void *) NULL);
297 }
298
299 static gboolean
300 get_tooltip_location (GtkWidget *widget, gint wx, gint wy,
301                       const struct import_assistant *ia,
302                       size_t *row, size_t *column);
303
304
305 /* Called to render a tooltip on one of the cells in the fields
306    preview tree view. */
307 static gboolean
308 on_query_input_tooltip (GtkWidget *widget, gint wx, gint wy,
309                         gboolean keyboard_mode UNUSED,
310                         GtkTooltip *tooltip, struct import_assistant *ia)
311 {
312   size_t row, column;
313
314   if (!get_tooltip_location (widget, wx, wy, ia, &row, &column))
315     return FALSE;
316
317   if (ia->columns[column].contents[row].string != NULL)
318     return FALSE;
319
320   gtk_tooltip_set_text (tooltip,
321                         _("This input line has too few separators "
322                           "to fill in this field."));
323   return TRUE;
324 }
325
326
327 /* Parses the contents of the field at (ROW,COLUMN) according to
328    its variable format.  If OUTPUTP is non-null, then *OUTPUTP
329    receives the formatted output for that field (which must be
330    freed with free).  If TOOLTIPP is non-null, then *TOOLTIPP
331    receives a message suitable for use in a tooltip, if one is
332    needed, or a null pointer otherwise.  Returns true if a
333    tooltip message is needed, otherwise false. */
334 static bool
335 parse_field (struct import_assistant *ia,
336              size_t row, size_t column,
337              char **outputp, char **tooltipp)
338 {
339   const struct fmt_spec *in;
340   struct fmt_spec out;
341   char *tooltip;
342   bool ok;
343
344   struct substring field = ia->columns[column].contents[row];
345   struct variable *var = dict_get_var (ia->dict, column);
346   union value val;
347
348   value_init (&val, var_get_width (var));
349   in = var_get_print_format (var);
350   out = fmt_for_output_from_input (in);
351   tooltip = NULL;
352   if (field.string != NULL)
353     {
354       char *error;
355
356       error = data_in (field, "UTF-8", in->type, &val, var_get_width (var),
357                        dict_get_encoding (ia->dict));
358       if (error != NULL)
359         {
360           tooltip = xasprintf (_("Cannot parse field content `%.*s' as "
361                                  "format %s: %s"),
362                                (int) field.length, field.string,
363                                fmt_name (in->type), error);
364           free (error);
365         }
366     }
367   else
368     {
369       tooltip = xstrdup (_("This input line has too few separators "
370                            "to fill in this field."));
371       value_set_missing (&val, var_get_width (var));
372     }
373   if (outputp != NULL)
374     {
375       *outputp = data_out (&val, dict_get_encoding (ia->dict),  &out);
376     }
377   value_destroy (&val, var_get_width (var));
378
379   ok = tooltip == NULL;
380   if (tooltipp != NULL)
381     *tooltipp = tooltip;
382   else
383     free (tooltip);
384   return ok;
385 }
386
387 /* Called to render one of the cells in the data preview tree
388    view. */
389 static void
390 render_output_cell (GtkTreeViewColumn *tree_column,
391                     GtkCellRenderer *cell,
392                     GtkTreeModel *model,
393                     GtkTreeIter *iter,
394                     gpointer ia_)
395 {
396   struct import_assistant *ia = ia_;
397   char *output;
398   GValue gvalue = { 0, };
399   bool ok;
400
401   ok = parse_field (ia,
402                     (empty_list_store_iter_to_row (iter)
403                      + ia->skip_lines),
404                     GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
405                                                         "column-number")),
406                     &output, NULL);
407
408   g_value_init (&gvalue, G_TYPE_STRING);
409   g_value_take_string (&gvalue, output);
410   g_object_set_property (G_OBJECT (cell), "text", &gvalue);
411   g_value_unset (&gvalue);
412
413   if (ok)
414     g_object_set (cell, "background-set", FALSE, (void *) NULL);
415   else
416     g_object_set (cell,
417                   "background", "red",
418                   "background-set", TRUE,
419                   (void *) NULL);
420 }
421
422 /* Called to render a tooltip for one of the cells in the data
423    preview tree view. */
424 static gboolean
425 on_query_output_tooltip (GtkWidget *widget, gint wx, gint wy,
426                          gboolean keyboard_mode UNUSED,
427                          GtkTooltip *tooltip, struct import_assistant *ia)
428 {
429   size_t row, column;
430   char *text;
431
432   if (!get_tooltip_location (widget, wx, wy, ia, &row, &column))
433     return FALSE;
434
435   if (parse_field (ia, row, column, NULL, &text))
436     return FALSE;
437
438   gtk_tooltip_set_text (tooltip, text);
439   free (text);
440   return TRUE;
441 }
442 \f
443 /* Utility functions used by multiple pages of the assistant. */
444
445 static gboolean
446 get_tooltip_location (GtkWidget *widget, gint wx, gint wy,
447                       const struct import_assistant *ia,
448                       size_t *row, size_t *column)
449 {
450   GtkTreeView *tree_view = GTK_TREE_VIEW (widget);
451   gint bx, by;
452   GtkTreePath *path;
453   GtkTreeIter iter;
454   GtkTreeViewColumn *tree_column;
455   GtkTreeModel *tree_model;
456   bool ok;
457
458   /* Check that WIDGET is really visible on the screen before we
459      do anything else.  This is a bug fix for a sticky situation:
460      when text_data_import_assistant() returns, it frees the data
461      necessary to compose the tool tip message, but there may be
462      a tool tip under preparation at that point (even if there is
463      no visible tool tip) that will call back into us a little
464      bit later.  Perhaps the correct solution to this problem is
465      to make the data related to the tool tips part of a GObject
466      that only gets destroyed when all references are released,
467      but this solution appears to be effective too. */
468   if (!gtk_widget_get_mapped (widget))
469     return FALSE;
470
471   gtk_tree_view_convert_widget_to_bin_window_coords (tree_view,
472                                                      wx, wy, &bx, &by);
473   if (!gtk_tree_view_get_path_at_pos (tree_view, bx, by,
474                                       &path, &tree_column, NULL, NULL))
475     return FALSE;
476
477   *column = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
478                                                 "column-number"));
479
480   tree_model = gtk_tree_view_get_model (tree_view);
481   ok = gtk_tree_model_get_iter (tree_model, &iter, path);
482   gtk_tree_path_free (path);
483   if (!ok)
484     return FALSE;
485
486   *row = empty_list_store_iter_to_row (&iter) + ia->skip_lines;
487   return TRUE;
488 }
489
490 void
491 make_tree_view (const struct import_assistant *ia,
492                 size_t first_line,
493                 GtkTreeView **tree_view)
494 {
495   GtkTreeModel *model;
496
497   *tree_view = GTK_TREE_VIEW (gtk_tree_view_new ());
498   model = GTK_TREE_MODEL (psppire_empty_list_store_new (
499                                                         ia->file.line_cnt - first_line));
500   g_object_set_data (G_OBJECT (model), "lines", ia->file.lines + first_line);
501   g_object_set_data (G_OBJECT (model), "first-line",
502                      GINT_TO_POINTER (first_line));
503   gtk_tree_view_set_model (*tree_view, model);
504   g_object_unref (model);
505
506   add_line_number_column (ia, *tree_view);
507 }
508
509 static void
510 render_line_number (GtkTreeViewColumn *tree_column,
511                     GtkCellRenderer *cell,
512                     GtkTreeModel *tree_model,
513                     GtkTreeIter *iter,
514                     gpointer data)
515 {
516   gint row = empty_list_store_iter_to_row (iter);
517   char s[INT_BUFSIZE_BOUND (int)];
518   int first_line;
519
520   first_line = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_model),
521                                                    "first-line"));
522   sprintf (s, "%d", first_line + row);
523   g_object_set (cell, "text", s, NULL);
524 }
525
526 static void
527 add_line_number_column (const struct import_assistant *ia,
528                         GtkTreeView *treeview)
529 {
530   GtkTreeViewColumn *column;
531
532   column = gtk_tree_view_column_new_with_attributes (
533                                                      _("Line"), ia->asst.prop_renderer, (void *) NULL);
534   gtk_tree_view_column_set_sizing (column, GTK_TREE_VIEW_COLUMN_FIXED);
535   gtk_tree_view_column_set_fixed_width (
536                                         column, get_monospace_width (treeview, ia->asst.prop_renderer, 5));
537   gtk_tree_view_column_set_resizable (column, TRUE);
538   gtk_tree_view_column_set_cell_data_func (column, ia->asst.prop_renderer,
539                                            render_line_number, NULL, NULL);
540   gtk_tree_view_append_column (treeview, column);
541 }
542
543 gint
544 get_monospace_width (GtkTreeView *treeview, GtkCellRenderer *renderer,
545                      size_t char_cnt)
546 {
547   struct string s;
548   gint width;
549
550   ds_init_empty (&s);
551   ds_put_byte_multiple (&s, '0', char_cnt);
552   ds_put_byte (&s, ' ');
553   width = get_string_width (treeview, renderer, ds_cstr (&s));
554   ds_destroy (&s);
555
556   return width;
557 }
558
559 gint
560 get_string_width (GtkTreeView *treeview, GtkCellRenderer *renderer,
561                   const char *string)
562 {
563   gint width;
564   g_object_set (G_OBJECT (renderer), "text", string, (void *) NULL);
565   gtk_cell_renderer_get_size (renderer, GTK_WIDGET (treeview),
566                               NULL, NULL, NULL, &width, NULL);
567   return width;
568 }
569
570 GtkTreeViewColumn *
571 make_data_column (struct import_assistant *ia, GtkTreeView *tree_view,
572                   bool input, gint dict_idx)
573 {
574   struct variable *var = NULL;
575   struct column *column = NULL;
576   size_t char_cnt;
577   gint content_width, header_width;
578   GtkTreeViewColumn *tree_column;
579   char *name;
580
581   if (input)
582     column = &ia->columns[dict_idx];
583   else
584     var = dict_get_var (ia->dict, dict_idx);
585
586   name = escape_underscores (input ? column->name : var_get_name (var));
587   char_cnt = input ? column->width : var_get_print_format (var)->w;
588   content_width = get_monospace_width (tree_view, ia->asst.fixed_renderer,
589                                        char_cnt);
590   header_width = get_string_width (tree_view, ia->asst.prop_renderer,
591                                    name);
592
593   tree_column = gtk_tree_view_column_new ();
594   g_object_set_data (G_OBJECT (tree_column), "column-number",
595                      GINT_TO_POINTER (dict_idx));
596   gtk_tree_view_column_set_title (tree_column, name);
597   gtk_tree_view_column_pack_start (tree_column, ia->asst.fixed_renderer,
598                                    FALSE);
599   gtk_tree_view_column_set_cell_data_func (
600                                            tree_column, ia->asst.fixed_renderer,
601                                            input ? render_input_cell : render_output_cell, ia, NULL);
602   gtk_tree_view_column_set_sizing (tree_column, GTK_TREE_VIEW_COLUMN_FIXED);
603   gtk_tree_view_column_set_fixed_width (tree_column, MAX (content_width,
604                                                           header_width));
605
606   free (name);
607
608   return tree_column;
609 }
610
611 GtkTreeView *
612 create_data_tree_view (bool input, GtkContainer *parent,
613                        struct import_assistant *ia)
614 {
615   GtkTreeView *tree_view;
616   gint i;
617
618   make_tree_view (ia, ia->skip_lines, &tree_view);
619   gtk_tree_selection_set_mode (gtk_tree_view_get_selection (tree_view),
620                                GTK_SELECTION_NONE);
621
622   for (i = 0; i < ia->column_cnt; i++)
623     gtk_tree_view_append_column (tree_view,
624                                  make_data_column (ia, tree_view, input, i));
625
626   g_object_set (G_OBJECT (tree_view), "has-tooltip", TRUE, (void *) NULL);
627   g_signal_connect (tree_view, "query-tooltip",
628                     G_CALLBACK (input ? on_query_input_tooltip
629                                 : on_query_output_tooltip), ia);
630   gtk_tree_view_set_fixed_height_mode (tree_view, true);
631
632   gtk_container_add (parent, GTK_WIDGET (tree_view));
633   gtk_widget_show (GTK_WIDGET (tree_view));
634
635   return tree_view;
636 }
637
638 /* Increments the "watch cursor" level, setting the cursor for
639    the assistant window to a watch face to indicate to the user
640    that the ongoing operation may take some time. */
641 void
642 push_watch_cursor (struct import_assistant *ia)
643 {
644   if (++ia->asst.watch_cursor == 1)
645     {
646       GtkWidget *widget = GTK_WIDGET (ia->asst.assistant);
647       GdkDisplay *display = gtk_widget_get_display (widget);
648       GdkCursor *cursor = gdk_cursor_new_for_display (display, GDK_WATCH);
649       gdk_window_set_cursor (widget->window, cursor);
650       gdk_cursor_unref (cursor);
651       gdk_display_flush (display);
652     }
653 }
654
655 /* Decrements the "watch cursor" level.  If the level reaches
656    zero, the cursor is reset to its default shape. */
657 void
658 pop_watch_cursor (struct import_assistant *ia)
659 {
660   if (--ia->asst.watch_cursor == 0)
661     {
662       GtkWidget *widget = GTK_WIDGET (ia->asst.assistant);
663       gdk_window_set_cursor (widget->window, NULL);
664     }
665 }