2559cf8b36e4539b56635c0c83baf8786ec13b36
[pspp] / src / ui / gui / text-data-import-dialog.c
1 /* PSPPIRE - a graphical user interface for PSPP.
2    Copyright (C) 2008, 2009, 2010, 2011, 2012, 2013  Free Software Foundation
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include "ui/gui/text-data-import-dialog.h"
20
21 #include "page-intro.h"
22 #include "page-sheet-spec.h"
23 #include "page-first-line.h"
24 #include "page-separators.h"
25 #include "page-formats.h"
26
27 #include <errno.h>
28 #include <fcntl.h>
29 #include <gtk/gtk.h>
30 #include <limits.h>
31 #include <stdlib.h>
32 #include <sys/stat.h>
33
34 #include "data/data-in.h"
35 #include "data/data-out.h"
36 #include "data/format-guesser.h"
37 #include "data/value-labels.h"
38 #include "language/data-io/data-parser.h"
39 #include "language/lexer/lexer.h"
40 #include "libpspp/assertion.h"
41 #include "libpspp/i18n.h"
42 #include "libpspp/line-reader.h"
43 #include "libpspp/message.h"
44 #include "ui/gui/checkbox-treeview.h"
45 #include "ui/gui/dialog-common.h"
46 #include "ui/gui/executor.h"
47 #include "ui/gui/helper.h"
48 #include "ui/gui/builder-wrapper.h"
49 #include "ui/gui/pspp-sheet-selection.h"
50 #include "ui/gui/pspp-sheet-view.h"
51 #include "ui/gui/psppire-data-window.h"
52 #include "ui/gui/psppire-dialog.h"
53 #include "ui/gui/psppire-encoding-selector.h"
54 #include "ui/gui/psppire-empty-list-store.h"
55 #include "ui/gui/psppire-var-sheet.h"
56 #include "ui/gui/psppire-scanf.h"
57 #include "ui/syntax-gen.h"
58
59 #include "gl/error.h"
60 #include "gl/intprops.h"
61 #include "gl/xalloc.h"
62
63 #include "gettext.h"
64 #define _(msgid) gettext (msgid)
65 #define N_(msgid) msgid
66
67 struct import_assistant;
68
69 static void apply_dict (const struct dictionary *, struct string *);
70 static char *generate_syntax (const struct import_assistant *);
71
72 static void add_line_number_column (const struct import_assistant *,
73                                     PsppSheetView *);
74
75 /* Pops up the Text Data Import assistant. */
76 void
77 text_data_import_assistant (PsppireDataWindow *dw)
78 {
79   GtkWindow *parent_window = GTK_WINDOW (dw);
80   struct import_assistant *ia = init_assistant (parent_window);
81   struct sheet_spec_page *ssp ;
82
83   if (!init_file (ia, parent_window))
84     {
85       free (ia);
86       return;
87     }
88
89   ssp = ia->sheet_spec;
90
91   if (ia->spreadsheet)
92     {
93       ia->sheet_spec = sheet_spec_page_create (ia);
94     }
95   else
96     {
97       ia->intro = intro_page_create (ia);
98       ia->first_line = first_line_page_create (ia);
99       ia->separators = separators_page_create (ia);
100     }
101   ia->formats = formats_page_create (ia);
102
103   gtk_widget_show_all (GTK_WIDGET (ia->asst.assistant));
104
105   ia->asst.main_loop = g_main_loop_new (NULL, false);
106
107   {  
108   /*
109     Instead of this block,
110     A simple     g_main_loop_run (ia->asst.main_loop);  should work here.  But it seems to crash.
111     I have no idea why.
112   */
113     GMainContext *ctx = g_main_loop_get_context (ia->asst.main_loop);
114     ia->asst.loop_done = false;
115     while (! ia->asst.loop_done)
116       {
117         g_main_context_iteration (ctx, TRUE);
118       }
119   }
120   g_main_loop_unref (ia->asst.main_loop);
121
122   switch (ia->asst.response)
123     {
124     case GTK_RESPONSE_APPLY:
125       {
126         gchar *fn = g_path_get_basename (ia->file.file_name);
127         open_data_window (PSPPIRE_WINDOW (dw), fn, generate_syntax (ia));
128         g_free (fn);
129       }
130       break;
131     case PSPPIRE_RESPONSE_PASTE:
132       free (paste_syntax_to_window (generate_syntax (ia)));
133       break;
134     default:
135       break;
136     }
137
138   if (ssp) 
139     {
140       destroy_formats_page (ia);
141       destroy_separators_page (ia);
142     }
143
144   destroy_assistant (ia);
145   destroy_file (ia);
146   free (ia);
147 }
148
149 /* Emits PSPP syntax to S that applies the dictionary attributes
150    (such as missing values and value labels) of the variables in
151    DICT.  */
152 static void
153 apply_dict (const struct dictionary *dict, struct string *s)
154 {
155   size_t var_cnt = dict_get_var_cnt (dict);
156   size_t i;
157
158   for (i = 0; i < var_cnt; i++)
159     {
160       struct variable *var = dict_get_var (dict, i);
161       const char *name = var_get_name (var);
162       enum val_type type = var_get_type (var);
163       int width = var_get_width (var);
164       enum measure measure = var_get_measure (var);
165       enum alignment alignment = var_get_alignment (var);
166       const struct fmt_spec *format = var_get_print_format (var);
167
168       if (var_has_missing_values (var))
169         {
170           const struct missing_values *mv = var_get_missing_values (var);
171           size_t j;
172
173           syntax_gen_pspp (s, "MISSING VALUES %ss (", name);
174           for (j = 0; j < mv_n_values (mv); j++)
175             {
176               if (j)
177                 ds_put_cstr (s, ", ");
178               syntax_gen_value (s, mv_get_value (mv, j), width, format);
179             }
180
181           if (mv_has_range (mv))
182             {
183               double low, high;
184               if (mv_has_value (mv))
185                 ds_put_cstr (s, ", ");
186               mv_get_range (mv, &low, &high);
187               syntax_gen_num_range (s, low, high, format);
188             }
189           ds_put_cstr (s, ").\n");
190         }
191       if (var_has_value_labels (var))
192         {
193           const struct val_labs *vls = var_get_value_labels (var);
194           const struct val_lab **labels = val_labs_sorted (vls);
195           size_t n_labels = val_labs_count (vls);
196           size_t i;
197
198           syntax_gen_pspp (s, "VALUE LABELS %ss", name);
199           for (i = 0; i < n_labels; i++)
200             {
201               const struct val_lab *vl = labels[i];
202               ds_put_cstr (s, "\n  ");
203               syntax_gen_value (s, &vl->value, width, format);
204               ds_put_byte (s, ' ');
205               syntax_gen_string (s, ss_cstr (val_lab_get_escaped_label (vl)));
206             }
207           free (labels);
208           ds_put_cstr (s, ".\n");
209         }
210       if (var_has_label (var))
211         syntax_gen_pspp (s, "VARIABLE LABELS %ss %sq.\n",
212                          name, var_get_label (var));
213       if (measure != var_default_measure (type))
214         syntax_gen_pspp (s, "VARIABLE LEVEL %ss (%ss).\n",
215                          name,
216                          (measure == MEASURE_NOMINAL ? "NOMINAL"
217                           : measure == MEASURE_ORDINAL ? "ORDINAL"
218                           : "SCALE"));
219       if (alignment != var_default_alignment (type))
220         syntax_gen_pspp (s, "VARIABLE ALIGNMENT %ss (%ss).\n",
221                          name,
222                          (alignment == ALIGN_LEFT ? "LEFT"
223                           : alignment == ALIGN_CENTRE ? "CENTER"
224                           : "RIGHT"));
225       if (var_get_display_width (var) != var_default_display_width (width))
226         syntax_gen_pspp (s, "VARIABLE WIDTH %ss (%d).\n",
227                          name, var_get_display_width (var));
228     }
229 }
230
231 /* Generates and returns PSPP syntax to execute the import
232    operation described by IA.  The caller must free the syntax
233    with free(). */
234 static char *
235 generate_syntax (const struct import_assistant *ia)
236 {
237   struct string s = DS_EMPTY_INITIALIZER;
238
239   if (ia->spreadsheet == NULL)
240     {
241       syntax_gen_pspp (&s,
242                        "GET DATA"
243                        "\n  /TYPE=TXT"
244                        "\n  /FILE=%sq\n",
245                        ia->file.file_name);
246       if (ia->file.encoding && strcmp (ia->file.encoding, "Auto"))
247         syntax_gen_pspp (&s, "  /ENCODING=%sq\n", ia->file.encoding);
248
249       intro_append_syntax (ia->intro, &s);
250
251
252       ds_put_cstr (&s,
253                    "  /ARRANGEMENT=DELIMITED\n"
254                    "  /DELCASE=LINE\n");
255
256       first_line_append_syntax (ia, &s);
257       separators_append_syntax (ia, &s);
258       formats_append_syntax (ia, &s);
259       apply_dict (ia->dict, &s);
260     }
261   else
262     {
263       return sheet_spec_gen_syntax (ia);
264     }
265   
266   return ds_cstr (&s);
267 }
268
269
270
271 static void render_input_cell (PsppSheetViewColumn *tree_column,
272                                GtkCellRenderer *cell,
273                                GtkTreeModel *model, GtkTreeIter *iter,
274                                gpointer ia);
275
276 static gboolean on_query_input_tooltip (GtkWidget *widget, gint wx, gint wy,
277                                         gboolean keyboard_mode UNUSED,
278                                         GtkTooltip *tooltip,
279                                         struct import_assistant *);
280
281
282
283 /* Called to render one of the cells in the fields preview tree
284    view. */
285 static void
286 render_input_cell (PsppSheetViewColumn *tree_column, GtkCellRenderer *cell,
287                    GtkTreeModel *model, GtkTreeIter *iter,
288                    gpointer ia_)
289 {
290   struct import_assistant *ia = ia_;
291   struct substring field;
292   size_t row;
293   gint column;
294
295   column = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
296                                                "column-number"));
297   row = empty_list_store_iter_to_row (iter) + ia->skip_lines;
298   field = ia->columns[column].contents[row];
299   if (field.string != NULL)
300     {
301       GValue text = {0, };
302       g_value_init (&text, G_TYPE_STRING);
303       g_value_take_string (&text, ss_xstrdup (field));
304       g_object_set_property (G_OBJECT (cell), "text", &text);
305       g_value_unset (&text);
306       g_object_set (cell, "background-set", FALSE, (void *) NULL);
307     }
308   else
309     g_object_set (cell,
310                   "text", "",
311                   "background", "red",
312                   "background-set", TRUE,
313                   (void *) NULL);
314 }
315
316 static gboolean
317 get_tooltip_location (GtkWidget *widget, gint wx, gint wy,
318                       const struct import_assistant *ia,
319                       size_t *row, size_t *column);
320
321
322 /* Called to render a tooltip on one of the cells in the fields
323    preview tree view. */
324 static gboolean
325 on_query_input_tooltip (GtkWidget *widget, gint wx, gint wy,
326                         gboolean keyboard_mode UNUSED,
327                         GtkTooltip *tooltip, struct import_assistant *ia)
328 {
329   size_t row, column;
330
331   if (!get_tooltip_location (widget, wx, wy, ia, &row, &column))
332     return FALSE;
333
334   if (ia->columns[column].contents[row].string != NULL)
335     return FALSE;
336
337   gtk_tooltip_set_text (tooltip,
338                         _("This input line has too few separators "
339                           "to fill in this field."));
340   return TRUE;
341 }
342
343
344 /* Parses the contents of the field at (ROW,COLUMN) according to
345    its variable format.  If OUTPUTP is non-null, then *OUTPUTP
346    receives the formatted output for that field (which must be
347    freed with free).  If TOOLTIPP is non-null, then *TOOLTIPP
348    receives a message suitable for use in a tooltip, if one is
349    needed, or a null pointer otherwise.  Returns true if a
350    tooltip message is needed, otherwise false. */
351 static bool
352 parse_field (struct import_assistant *ia,
353              size_t row, size_t column,
354              char **outputp, char **tooltipp)
355 {
356   const struct fmt_spec *in;
357   struct fmt_spec out;
358   char *tooltip;
359   bool ok;
360
361   struct substring field = ia->columns[column].contents[row];
362   struct variable *var = dict_get_var (ia->dict, column);
363   union value val;
364
365   value_init (&val, var_get_width (var));
366   in = var_get_print_format (var);
367   out = fmt_for_output_from_input (in);
368   tooltip = NULL;
369   if (field.string != NULL)
370     {
371       char *error;
372
373       error = data_in (field, "UTF-8", in->type, &val, var_get_width (var),
374                        dict_get_encoding (ia->dict));
375       if (error != NULL)
376         {
377           tooltip = xasprintf (_("Cannot parse field content `%.*s' as "
378                                  "format %s: %s"),
379                                (int) field.length, field.string,
380                                fmt_name (in->type), error);
381           free (error);
382         }
383     }
384   else
385     {
386       tooltip = xstrdup (_("This input line has too few separators "
387                            "to fill in this field."));
388       value_set_missing (&val, var_get_width (var));
389     }
390   if (outputp != NULL)
391     {
392       *outputp = data_out (&val, dict_get_encoding (ia->dict),  &out);
393     }
394   value_destroy (&val, var_get_width (var));
395
396   ok = tooltip == NULL;
397   if (tooltipp != NULL)
398     *tooltipp = tooltip;
399   else
400     free (tooltip);
401   return ok;
402 }
403
404 /* Called to render one of the cells in the data preview tree
405    view. */
406 static void
407 render_output_cell (PsppSheetViewColumn *tree_column,
408                     GtkCellRenderer *cell,
409                     GtkTreeModel *model,
410                     GtkTreeIter *iter,
411                     gpointer ia_)
412 {
413   struct import_assistant *ia = ia_;
414   char *output;
415   GValue gvalue = { 0, };
416   bool ok;
417
418   ok = parse_field (ia,
419                     (empty_list_store_iter_to_row (iter)
420                      + ia->skip_lines),
421                     GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
422                                                         "column-number")),
423                     &output, NULL);
424
425   g_value_init (&gvalue, G_TYPE_STRING);
426   g_value_take_string (&gvalue, output);
427   g_object_set_property (G_OBJECT (cell), "text", &gvalue);
428   g_value_unset (&gvalue);
429
430   if (ok)
431     g_object_set (cell, "background-set", FALSE, (void *) NULL);
432   else
433     g_object_set (cell,
434                   "background", "red",
435                   "background-set", TRUE,
436                   (void *) NULL);
437 }
438
439 /* Called to render a tooltip for one of the cells in the data
440    preview tree view. */
441 static gboolean
442 on_query_output_tooltip (GtkWidget *widget, gint wx, gint wy,
443                          gboolean keyboard_mode UNUSED,
444                          GtkTooltip *tooltip, struct import_assistant *ia)
445 {
446   size_t row, column;
447   char *text;
448
449   if (!get_tooltip_location (widget, wx, wy, ia, &row, &column))
450     return FALSE;
451
452   if (parse_field (ia, row, column, NULL, &text))
453     return FALSE;
454
455   gtk_tooltip_set_text (tooltip, text);
456   free (text);
457   return TRUE;
458 }
459 \f
460 /* Utility functions used by multiple pages of the assistant. */
461
462 static gboolean
463 get_tooltip_location (GtkWidget *widget, gint wx, gint wy,
464                       const struct import_assistant *ia,
465                       size_t *row, size_t *column)
466 {
467   PsppSheetView *tree_view = PSPP_SHEET_VIEW (widget);
468   gint bx, by;
469   GtkTreePath *path;
470   GtkTreeIter iter;
471   PsppSheetViewColumn *tree_column;
472   GtkTreeModel *tree_model;
473   bool ok;
474
475   /* Check that WIDGET is really visible on the screen before we
476      do anything else.  This is a bug fix for a sticky situation:
477      when text_data_import_assistant() returns, it frees the data
478      necessary to compose the tool tip message, but there may be
479      a tool tip under preparation at that point (even if there is
480      no visible tool tip) that will call back into us a little
481      bit later.  Perhaps the correct solution to this problem is
482      to make the data related to the tool tips part of a GObject
483      that only gets destroyed when all references are released,
484      but this solution appears to be effective too. */
485   if (!gtk_widget_get_mapped (widget))
486     return FALSE;
487
488   pspp_sheet_view_convert_widget_to_bin_window_coords (tree_view,
489                                                        wx, wy, &bx, &by);
490   if (!pspp_sheet_view_get_path_at_pos (tree_view, bx, by,
491                                       &path, &tree_column, NULL, NULL))
492     return FALSE;
493
494   *column = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_column),
495                                                 "column-number"));
496
497   tree_model = pspp_sheet_view_get_model (tree_view);
498   ok = gtk_tree_model_get_iter (tree_model, &iter, path);
499   gtk_tree_path_free (path);
500   if (!ok)
501     return FALSE;
502
503   *row = empty_list_store_iter_to_row (&iter) + ia->skip_lines;
504   return TRUE;
505 }
506
507 void
508 make_tree_view (const struct import_assistant *ia,
509                 size_t first_line,
510                 PsppSheetView **tree_view)
511 {
512   GtkTreeModel *model;
513
514   *tree_view = PSPP_SHEET_VIEW (pspp_sheet_view_new ());
515   pspp_sheet_view_set_grid_lines (*tree_view, PSPP_SHEET_VIEW_GRID_LINES_BOTH);
516   model = GTK_TREE_MODEL (psppire_empty_list_store_new (
517                                                         ia->file.line_cnt - first_line));
518   g_object_set_data (G_OBJECT (model), "lines", ia->file.lines + first_line);
519   g_object_set_data (G_OBJECT (model), "first-line",
520                      GINT_TO_POINTER (first_line));
521   pspp_sheet_view_set_model (*tree_view, model);
522   g_object_unref (model);
523
524   add_line_number_column (ia, *tree_view);
525 }
526
527 static void
528 render_line_number (PsppSheetViewColumn *tree_column,
529                     GtkCellRenderer *cell,
530                     GtkTreeModel *tree_model,
531                     GtkTreeIter *iter,
532                     gpointer data)
533 {
534   gint row = empty_list_store_iter_to_row (iter);
535   char s[INT_BUFSIZE_BOUND (int)];
536   int first_line;
537
538   first_line = GPOINTER_TO_INT (g_object_get_data (G_OBJECT (tree_model),
539                                                    "first-line"));
540   sprintf (s, "%d", first_line + row);
541   g_object_set (cell, "text", s, NULL);
542 }
543
544 static void
545 add_line_number_column (const struct import_assistant *ia,
546                         PsppSheetView *treeview)
547 {
548   PsppSheetViewColumn *column;
549
550   column = pspp_sheet_view_column_new_with_attributes (
551     _("Line"), ia->asst.prop_renderer, (void *) NULL);
552   pspp_sheet_view_column_set_fixed_width (
553     column, get_monospace_width (treeview, ia->asst.prop_renderer, 5));
554   pspp_sheet_view_column_set_resizable (column, TRUE);
555   pspp_sheet_view_column_set_cell_data_func (column, ia->asst.prop_renderer,
556                                              render_line_number, NULL, NULL);
557   pspp_sheet_view_append_column (treeview, column);
558 }
559
560 gint
561 get_monospace_width (PsppSheetView *treeview, GtkCellRenderer *renderer,
562                      size_t char_cnt)
563 {
564   struct string s;
565   gint width;
566
567   ds_init_empty (&s);
568   ds_put_byte_multiple (&s, '0', char_cnt);
569   ds_put_byte (&s, ' ');
570   width = get_string_width (treeview, renderer, ds_cstr (&s));
571   ds_destroy (&s);
572
573   return width;
574 }
575
576 gint
577 get_string_width (PsppSheetView *treeview, GtkCellRenderer *renderer,
578                   const char *string)
579 {
580   gint width;
581   g_object_set (G_OBJECT (renderer), "text", string, (void *) NULL);
582   gtk_cell_renderer_get_size (renderer, GTK_WIDGET (treeview),
583                               NULL, NULL, NULL, &width, NULL);
584   return width;
585 }
586
587 PsppSheetViewColumn *
588 make_data_column (struct import_assistant *ia, PsppSheetView *tree_view,
589                   bool input, gint dict_idx)
590 {
591   struct variable *var = NULL;
592   struct column *column = NULL;
593   size_t char_cnt;
594   gint content_width, header_width;
595   PsppSheetViewColumn *tree_column;
596   char *name;
597
598   if (input)
599     column = &ia->columns[dict_idx];
600   else
601     var = dict_get_var (ia->dict, dict_idx);
602
603   name = escape_underscores (input ? column->name : var_get_name (var));
604   char_cnt = input ? column->width : var_get_print_format (var)->w;
605   content_width = get_monospace_width (tree_view, ia->asst.fixed_renderer,
606                                        char_cnt);
607   header_width = get_string_width (tree_view, ia->asst.prop_renderer,
608                                    name);
609
610   tree_column = pspp_sheet_view_column_new ();
611   g_object_set_data (G_OBJECT (tree_column), "column-number",
612                      GINT_TO_POINTER (dict_idx));
613   pspp_sheet_view_column_set_title (tree_column, name);
614   pspp_sheet_view_column_pack_start (tree_column, ia->asst.fixed_renderer,
615                                      FALSE);
616   pspp_sheet_view_column_set_cell_data_func (
617     tree_column, ia->asst.fixed_renderer,
618     input ? render_input_cell : render_output_cell, ia, NULL);
619   pspp_sheet_view_column_set_fixed_width (tree_column, MAX (content_width,
620                                                             header_width));
621
622   free (name);
623
624   return tree_column;
625 }
626
627 PsppSheetView *
628 create_data_tree_view (bool input, GtkContainer *parent,
629                        struct import_assistant *ia)
630 {
631   PsppSheetView *tree_view;
632   gint i;
633
634   make_tree_view (ia, ia->skip_lines, &tree_view);
635   pspp_sheet_selection_set_mode (pspp_sheet_view_get_selection (tree_view),
636                                  PSPP_SHEET_SELECTION_NONE);
637
638   for (i = 0; i < ia->column_cnt; i++)
639     pspp_sheet_view_append_column (tree_view,
640                                    make_data_column (ia, tree_view, input, i));
641
642   g_object_set (G_OBJECT (tree_view), "has-tooltip", TRUE, (void *) NULL);
643   g_signal_connect (tree_view, "query-tooltip",
644                     G_CALLBACK (input ? on_query_input_tooltip
645                                 : on_query_output_tooltip), ia);
646
647
648   gtk_container_add (parent, GTK_WIDGET (tree_view));
649   gtk_widget_show (GTK_WIDGET (tree_view));
650
651   return tree_view;
652 }
653
654 /* Increments the "watch cursor" level, setting the cursor for
655    the assistant window to a watch face to indicate to the user
656    that the ongoing operation may take some time. */
657 void
658 push_watch_cursor (struct import_assistant *ia)
659 {
660   if (++ia->asst.watch_cursor == 1)
661     {
662       GtkWidget *widget = GTK_WIDGET (ia->asst.assistant);
663       GdkDisplay *display = gtk_widget_get_display (widget);
664       GdkCursor *cursor = gdk_cursor_new_for_display (display, GDK_WATCH);
665       gdk_window_set_cursor (widget->window, cursor);
666       gdk_cursor_unref (cursor);
667       gdk_display_flush (display);
668     }
669 }
670
671 /* Decrements the "watch cursor" level.  If the level reaches
672    zero, the cursor is reset to its default shape. */
673 void
674 pop_watch_cursor (struct import_assistant *ia)
675 {
676   if (--ia->asst.watch_cursor == 0)
677     {
678       GtkWidget *widget = GTK_WIDGET (ia->asst.assistant);
679       gdk_window_set_cursor (widget->window, NULL);
680     }
681 }