gui: Allow File|Open to select an encoding for system files.
[pspp] / src / language / command.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 1997-9, 2000, 2009, 2010, 2011, 2012, 2013 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include "language/command.h"
20
21 #include <stdio.h>
22 #include <stdlib.h>
23 #include <ctype.h>
24 #include <errno.h>
25
26 #include "data/casereader.h"
27 #include "data/dataset.h"
28 #include "data/dictionary.h"
29 #include "data/session.h"
30 #include "data/settings.h"
31 #include "data/variable.h"
32 #include "language/lexer/command-name.h"
33 #include "language/lexer/lexer.h"
34 #include "libpspp/assertion.h"
35 #include "libpspp/compiler.h"
36 #include "libpspp/i18n.h"
37 #include "libpspp/message.h"
38 #include "libpspp/str.h"
39 #include "output/text-item.h"
40
41 #include "xalloc.h"
42 #include "xmalloca.h"
43
44 #include "gettext.h"
45 #define _(msgid) gettext (msgid)
46 #define N_(msgid) msgid
47 \f
48 /* Returns true if RESULT is a valid "enum cmd_result",
49    false otherwise. */
50 static inline bool
51 cmd_result_is_valid (enum cmd_result result)
52 {
53   switch (result)
54     {
55     case CMD_SUCCESS:
56     case CMD_EOF:
57     case CMD_FINISH:
58     case CMD_DATA_LIST:
59     case CMD_END_CASE:
60     case CMD_END_FILE:
61     case CMD_FAILURE:
62     case CMD_NOT_IMPLEMENTED:
63     case CMD_CASCADING_FAILURE:
64       return true;
65
66     default:
67       return false;
68     }
69 }
70
71 /* Returns true if RESULT indicates success,
72    false otherwise. */
73 bool
74 cmd_result_is_success (enum cmd_result result)
75 {
76   assert (cmd_result_is_valid (result));
77   return result > 0;
78 }
79
80 /* Returns true if RESULT indicates failure,
81    false otherwise. */
82 bool
83 cmd_result_is_failure (enum cmd_result result)
84 {
85   assert (cmd_result_is_valid (result));
86   return result < 0;
87 }
88 \f
89 /* Command processing states. */
90 enum states
91   {
92     S_INITIAL = 0x01,         /* Allowed before active dataset defined. */
93     S_DATA = 0x02,            /* Allowed after active dataset defined. */
94     S_INPUT_PROGRAM = 0x04,   /* Allowed in INPUT PROGRAM. */
95     S_FILE_TYPE = 0x08,       /* Allowed in FILE TYPE. */
96     S_ANY = 0x0f              /* Allowed anywhere. */
97   };
98
99 /* Other command requirements. */
100 enum flags
101   {
102     F_ENHANCED = 0x10,        /* Allowed only in enhanced syntax mode. */
103     F_TESTING = 0x20,         /* Allowed only in testing mode. */
104     F_ABBREV = 0x80           /* Not a candidate for name completion. */
105   };
106
107 /* A single command. */
108 struct command
109   {
110     enum states states;         /* States in which command is allowed. */
111     enum flags flags;           /* Other command requirements. */
112     const char *name;           /* Command name. */
113     int (*function) (struct lexer *, struct dataset *); /* Function to call. */
114   };
115
116 /* Define the command array. */
117 #define DEF_CMD(STATES, FLAGS, NAME, FUNCTION) {STATES, FLAGS, NAME, FUNCTION},
118 #define UNIMPL_CMD(NAME, DESCRIPTION) {S_ANY, 0, NAME, NULL},
119 static const struct command commands[] =
120   {
121 #include "command.def"
122   };
123 #undef DEF_CMD
124 #undef UNIMPL_CMD
125
126 static const size_t command_cnt = sizeof commands / sizeof *commands;
127
128 static bool in_correct_state (const struct command *, enum cmd_state);
129 static bool report_state_mismatch (const struct command *, enum cmd_state);
130 static void set_completion_state (enum cmd_state);
131 \f
132 /* Command parser. */
133
134 static const struct command *parse_command_name (struct lexer *,
135                                                  int *n_tokens);
136 static enum cmd_result do_parse_command (struct lexer *, struct dataset *, enum cmd_state);
137
138 /* Parses an entire command, from command name to terminating
139    dot.  On failure, skips to the terminating dot.
140    Returns the command's success or failure result. */
141 enum cmd_result
142 cmd_parse_in_state (struct lexer *lexer, struct dataset *ds,
143                     enum cmd_state state)
144 {
145   struct session *session = dataset_session (ds);
146   int result;
147
148   result = do_parse_command (lexer, ds, state);
149
150   ds = session_active_dataset (session);
151   assert (!proc_is_open (ds));
152   unset_cmd_algorithm ();
153   if (!dataset_end_of_command (ds))
154     result = CMD_CASCADING_FAILURE;
155
156   return result;
157 }
158
159 enum cmd_result
160 cmd_parse (struct lexer *lexer, struct dataset *ds)
161 {
162   const struct dictionary *dict = dataset_dict (ds);
163   return cmd_parse_in_state (lexer, ds,
164                              dataset_has_source (ds) &&
165                              dict_get_var_cnt (dict) > 0 ?
166                              CMD_STATE_DATA : CMD_STATE_INITIAL);
167 }
168
169
170 /* Parses an entire command, from command name to terminating
171    dot. */
172 static enum cmd_result
173 do_parse_command (struct lexer *lexer,
174                   struct dataset *ds, enum cmd_state state)
175 {
176   const struct command *command = NULL;
177   enum cmd_result result;
178   bool opened = false;
179   int n_tokens;
180
181   /* Read the command's first token. */
182   set_completion_state (state);
183   if (lex_token (lexer) == T_STOP)
184     {
185       result = CMD_EOF;
186       goto finish;
187     }
188   else if (lex_token (lexer) == T_ENDCMD)
189     {
190       /* Null commands can result from extra empty lines. */
191       result = CMD_SUCCESS;
192       goto finish;
193     }
194
195   /* Parse the command name. */
196   command = parse_command_name (lexer, &n_tokens);
197   if (command == NULL)
198     {
199       result = CMD_FAILURE;
200       goto finish;
201     }
202   text_item_submit (text_item_create (TEXT_ITEM_COMMAND_OPEN, command->name));
203   opened = true;
204
205   if (command->function == NULL)
206     {
207       msg (SE, _("%s is not yet implemented."), command->name);
208       result = CMD_NOT_IMPLEMENTED;
209     }
210   else if ((command->flags & F_TESTING) && !settings_get_testing_mode ())
211     {
212       msg (SE, _("%s may be used only in testing mode."), command->name);
213       result = CMD_FAILURE;
214     }
215   else if ((command->flags & F_ENHANCED) && settings_get_syntax () != ENHANCED)
216     {
217       msg (SE, _("%s may be used only in enhanced syntax mode."),
218            command->name);
219       result = CMD_FAILURE;
220     }
221   else if (!in_correct_state (command, state))
222     {
223       report_state_mismatch (command, state);
224       result = CMD_FAILURE;
225     }
226   else
227     {
228       /* Execute command. */
229       int i;
230
231       for (i = 0; i < n_tokens; i++)
232         lex_get (lexer);
233       result = command->function (lexer, ds);
234     }
235
236   assert (cmd_result_is_valid (result));
237
238 finish:
239   if (cmd_result_is_failure (result))
240     lex_interactive_reset (lexer);
241   else if (result == CMD_SUCCESS)
242     result = lex_end_of_command (lexer);
243
244   lex_discard_rest_of_command (lexer);
245   while (lex_token (lexer) == T_ENDCMD)
246     lex_get (lexer);
247
248   if (opened)
249     text_item_submit (text_item_create (TEXT_ITEM_COMMAND_CLOSE,
250                                         command->name));
251
252   return result;
253 }
254
255 static int
256 find_best_match (struct substring s, const struct command **matchp)
257 {
258   const struct command *cmd;
259   struct command_matcher cm;
260   int missing_words;
261
262   command_matcher_init (&cm, s);
263   for (cmd = commands; cmd < &commands[command_cnt]; cmd++)
264     command_matcher_add (&cm, ss_cstr (cmd->name), CONST_CAST (void *, cmd));
265
266   *matchp = command_matcher_get_match (&cm);
267   missing_words = command_matcher_get_missing_words (&cm);
268
269   command_matcher_destroy (&cm);
270
271   return missing_words;
272 }
273
274 static bool
275 parse_command_word (struct lexer *lexer, struct string *s, int n)
276 {
277   bool need_space = ds_last (s) != EOF && ds_last (s) != '-';
278
279   switch (lex_next_token (lexer, n))
280     {
281     case T_DASH:
282       ds_put_byte (s, '-');
283       return true;
284
285     case T_ID:
286       if (need_space)
287         ds_put_byte (s, ' ');
288       ds_put_cstr (s, lex_next_tokcstr (lexer, n));
289       return true;
290
291     case T_POS_NUM:
292       if (lex_next_is_integer (lexer, n))
293         {
294           int integer = lex_next_integer (lexer, n);
295           if (integer >= 0)
296             {
297               if (need_space)
298                 ds_put_byte (s, ' ');
299               ds_put_format (s, "%ld", lex_next_integer (lexer, n));
300               return true;
301             }
302         }
303       return false;
304
305     default:
306       return false;
307     }
308 }
309
310 /* Parses the command name.  On success returns a pointer to the corresponding
311    struct command and stores the number of tokens in the command name into
312    *N_TOKENS.  On failure, returns a null pointer and stores the number of
313    tokens required to determine that no command name was present into
314    *N_TOKENS. */
315 static const struct command *
316 parse_command_name (struct lexer *lexer, int *n_tokens)
317 {
318   const struct command *command;
319   int missing_words;
320   struct string s;
321   int word;
322
323   command = NULL;
324   missing_words = 0;
325   ds_init_empty (&s);
326   word = 0;
327   while (parse_command_word (lexer, &s, word))
328     {
329       missing_words = find_best_match (ds_ss (&s), &command);
330       if (missing_words <= 0)
331         break;
332       word++;
333     }
334
335   if (command == NULL && missing_words > 0)
336     {
337       ds_put_cstr (&s, " .");
338       missing_words = find_best_match (ds_ss (&s), &command);
339       ds_truncate (&s, ds_length (&s) - 2);
340     }
341
342   if (command == NULL)
343     {
344       if (ds_is_empty (&s))
345         lex_error (lexer, _("expecting command name"));
346       else
347         msg (SE, _("Unknown command `%s'."), ds_cstr (&s));
348     }
349
350   ds_destroy (&s);
351
352   *n_tokens = (word + 1) + missing_words;
353   return command;
354 }
355
356 /* Returns true if COMMAND is allowed in STATE,
357    false otherwise. */
358 static bool
359 in_correct_state (const struct command *command, enum cmd_state state)
360 {
361   return ((state == CMD_STATE_INITIAL && command->states & S_INITIAL)
362           || (state == CMD_STATE_DATA && command->states & S_DATA)
363           || (state == CMD_STATE_INPUT_PROGRAM
364               && command->states & S_INPUT_PROGRAM)
365           || (state == CMD_STATE_FILE_TYPE && command->states & S_FILE_TYPE));
366 }
367
368 /* Emits an appropriate error message for trying to invoke
369    COMMAND in STATE. */
370 static bool
371 report_state_mismatch (const struct command *command, enum cmd_state state)
372 {
373   assert (!in_correct_state (command, state));
374   if (state == CMD_STATE_INITIAL || state == CMD_STATE_DATA)
375     {
376       switch ((int) command->states)
377         {
378           /* One allowed state. */
379         case S_INITIAL:
380           msg (SE, _("%s is allowed only before the active dataset has "
381                      "been defined."), command->name);
382           break;
383         case S_DATA:
384           msg (SE, _("%s is allowed only after the active dataset has "
385                      "been defined."), command->name);
386           break;
387         case S_INPUT_PROGRAM:
388           msg (SE, _("%s is allowed only inside INPUT PROGRAM."),
389                command->name);
390           break;
391         case S_FILE_TYPE:
392           msg (SE, _("%s is allowed only inside FILE TYPE."), command->name);
393           break;
394
395           /* Two allowed states. */
396         case S_INITIAL | S_DATA:
397           NOT_REACHED ();
398         case S_INITIAL | S_INPUT_PROGRAM:
399           msg (SE, _("%s is allowed only before the active dataset has been defined or inside %s."),
400                command->name, "INPUT PROGRAM");
401           break;
402         case S_INITIAL | S_FILE_TYPE:
403           msg (SE, _("%s is allowed only before the active dataset has been defined or inside %s."),
404                command->name, "FILE TYPE");
405           break;
406         case S_DATA | S_INPUT_PROGRAM:
407           msg (SE, _("%s is allowed only after the active dataset has been defined or inside %s."),
408                command->name, "INPUT PROGRAM");
409           break;
410         case S_DATA | S_FILE_TYPE:
411           msg (SE, _("%s is allowed only after the active dataset has been defined or inside %s."),
412                command->name, "FILE TYPE");
413           break;
414         case S_INPUT_PROGRAM | S_FILE_TYPE:
415           msg (SE, _("%s is allowed only inside INPUT PROGRAM or inside FILE TYPE."), command->name);
416           break;
417
418           /* Three allowed states. */
419         case S_DATA | S_INPUT_PROGRAM | S_FILE_TYPE:
420           msg (SE, _("%s is allowed only after the active dataset has "
421                      "been defined, inside INPUT PROGRAM, or inside "
422                      "FILE TYPE."), command->name);
423           break;
424         case S_INITIAL | S_INPUT_PROGRAM | S_FILE_TYPE:
425           msg (SE, _("%s is allowed only before the active dataset has "
426                      "been defined, inside INPUT PROGRAM, or inside "
427                      "FILE TYPE."), command->name);
428           break;
429         case S_INITIAL | S_DATA | S_FILE_TYPE:
430           NOT_REACHED ();
431         case S_INITIAL | S_DATA | S_INPUT_PROGRAM:
432           NOT_REACHED ();
433
434           /* Four allowed states. */
435         case S_INITIAL | S_DATA | S_INPUT_PROGRAM | S_FILE_TYPE:
436           NOT_REACHED ();
437
438         default:
439           NOT_REACHED ();
440         }
441     }
442   else if (state == CMD_STATE_INPUT_PROGRAM)
443     msg (SE, _("%s is not allowed inside %s."),
444          command->name, "INPUT PROGRAM" );
445   else if (state == CMD_STATE_FILE_TYPE)
446     msg (SE, _("%s is not allowed inside %s."), command->name, "FILE TYPE");
447
448   return false;
449 }
450 \f
451 /* Command name completion. */
452
453 static enum cmd_state completion_state = CMD_STATE_INITIAL;
454
455 static void
456 set_completion_state (enum cmd_state state)
457 {
458   completion_state = state;
459 }
460
461 /* Returns the next possible completion of a command name that
462    begins with PREFIX, in the current command state, or a null
463    pointer if no completions remain.
464    Before calling the first time, set *CMD to a null pointer. */
465 const char *
466 cmd_complete (const char *prefix, const struct command **cmd)
467 {
468   if (*cmd == NULL)
469     *cmd = commands;
470
471   for (; *cmd < commands + command_cnt; (*cmd)++)
472     if (!memcasecmp ((*cmd)->name, prefix, strlen (prefix))
473         && (!((*cmd)->flags & F_TESTING) || settings_get_testing_mode ())
474         && (!((*cmd)->flags & F_ENHANCED) || settings_get_syntax () == ENHANCED)
475         && !((*cmd)->flags & F_ABBREV)
476         && ((*cmd)->function != NULL)
477         && in_correct_state (*cmd, completion_state))
478       return (*cmd)++->name;
479
480   return NULL;
481 }
482 \f
483 /* Simple commands. */
484
485 /* Parse and execute FINISH command. */
486 int
487 cmd_finish (struct lexer *lexer UNUSED, struct dataset *ds UNUSED)
488 {
489   return CMD_FINISH;
490 }
491
492 /* Parses the N command. */
493 int
494 cmd_n_of_cases (struct lexer *lexer, struct dataset *ds)
495 {
496   /* Value for N. */
497   int x;
498
499   if (!lex_force_int (lexer))
500     return CMD_FAILURE;
501   x = lex_integer (lexer);
502   lex_get (lexer);
503   if (!lex_match_id (lexer, "ESTIMATED"))
504     dict_set_case_limit (dataset_dict (ds), x);
505
506   return CMD_SUCCESS;
507 }
508
509 /* Parses, performs the EXECUTE procedure. */
510 int
511 cmd_execute (struct lexer *lexer UNUSED, struct dataset *ds)
512 {
513   bool ok = casereader_destroy (proc_open (ds));
514   if (!proc_commit (ds) || !ok)
515     return CMD_CASCADING_FAILURE;
516   return CMD_SUCCESS;
517 }
518
519 /* Parses, performs the ERASE command. */
520 int
521 cmd_erase (struct lexer *lexer, struct dataset *ds UNUSED)
522 {
523   char *filename;
524   int retval;
525
526   if (settings_get_safer_mode ())
527     {
528       msg (SE, _("This command not allowed when the SAFER option is set."));
529       return CMD_FAILURE;
530     }
531
532   if (!lex_force_match_id (lexer, "FILE"))
533     return CMD_FAILURE;
534   lex_match (lexer, T_EQUALS);
535   if (!lex_force_string (lexer))
536     return CMD_FAILURE;
537
538   filename = utf8_to_filename (lex_tokcstr (lexer));
539   retval = remove (filename);
540   free (filename);
541
542   if (retval == -1)
543     {
544       msg (SW, _("Error removing `%s': %s."),
545            lex_tokcstr (lexer), strerror (errno));
546       return CMD_FAILURE;
547     }
548   lex_get (lexer);
549
550   return CMD_SUCCESS;
551 }
552
553 /* Parses, performs the NEW FILE command. */
554 int
555 cmd_new_file (struct lexer *lexer UNUSED, struct dataset *ds)
556 {
557   dataset_clear (ds);
558   return CMD_SUCCESS;
559 }