Revise.
[pspp] / src / inpt-pgm.c
1 /* PSPP - computes sample statistics.
2    Copyright (C) 1997-9, 2000 Free Software Foundation, Inc.
3    Written by Ben Pfaff <blp@gnu.org>.
4
5    This program is free software; you can redistribute it and/or
6    modify it under the terms of the GNU General Public License as
7    published by the Free Software Foundation; either version 2 of the
8    License, or (at your option) any later version.
9
10    This program is distributed in the hope that it will be useful, but
11    WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    General Public License for more details.
14
15    You should have received a copy of the GNU General Public License
16    along with this program; if not, write to the Free Software
17    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
18    02110-1301, USA. */
19
20 #include <config.h>
21 #include "error.h"
22 #include <float.h>
23 #include <stdlib.h>
24 #include "alloc.h"
25 #include "case.h"
26 #include "command.h"
27 #include "data-list.h"
28 #include "dfm-read.h"
29 #include "dictionary.h"
30 #include "error.h"
31 #include "expressions/public.h"
32 #include "file-handle.h"
33 #include "lexer.h"
34 #include "misc.h"
35 #include "str.h"
36 #include "var.h"
37 #include "vfm.h"
38
39 #include "gettext.h"
40 #define _(msgid) gettext (msgid)
41
42 #include "debug-print.h"
43
44 /* Indicates how a `union value' should be initialized. */
45 enum value_init_type
46   {
47     INP_NUMERIC = 01,           /* Numeric. */
48     INP_STRING = 0,             /* String. */
49     
50     INP_INIT_ONCE = 02,         /* Initialize only once. */
51     INP_REINIT = 0,             /* Reinitialize for each iteration. */
52   };
53
54 struct input_program_pgm 
55   {
56     enum value_init_type *init; /* How to initialize each `union value'. */
57     size_t init_cnt;            /* Number of elements in inp_init. */
58     size_t case_size;           /* Size of case in bytes. */
59   };
60
61 static trns_proc_func end_case_trns_proc, reread_trns_proc, end_file_trns_proc;
62 static trns_free_func reread_trns_free;
63
64 int
65 cmd_input_program (void)
66 {
67   discard_variables ();
68
69   /* FIXME: we shouldn't do this here, but I'm afraid that other
70      code will check the class of vfm_source. */
71   vfm_source = create_case_source (&input_program_source_class, NULL);
72
73   return lex_end_of_command ();
74 }
75
76 int
77 cmd_end_input_program (void)
78 {
79   struct input_program_pgm *inp;
80   size_t i;
81
82   if (!case_source_is_class (vfm_source, &input_program_source_class))
83     {
84       msg (SE, _("No matching INPUT PROGRAM command."));
85       return CMD_FAILURE;
86     }
87   
88   if (dict_get_next_value_idx (default_dict) == 0)
89     msg (SW, _("No data-input or transformation commands specified "
90          "between INPUT PROGRAM and END INPUT PROGRAM."));
91
92   /* Mark the boundary between INPUT PROGRAM transformations and
93      ordinary transformations. */
94   f_trns = n_trns;
95
96   /* Figure out how to initialize each input case. */
97   inp = xmalloc (sizeof *inp);
98   inp->init_cnt = dict_get_next_value_idx (default_dict);
99   inp->init = xmalloc (inp->init_cnt * sizeof *inp->init);
100   for (i = 0; i < inp->init_cnt; i++)
101     inp->init[i] = -1;
102   for (i = 0; i < dict_get_var_cnt (default_dict); i++)
103     {
104       struct variable *var = dict_get_var (default_dict, i);
105       enum value_init_type value_init;
106       size_t j;
107       
108       value_init = var->type == NUMERIC ? INP_NUMERIC : INP_STRING;
109       value_init |= var->reinit ? INP_REINIT : INP_INIT_ONCE;
110
111       for (j = 0; j < var->nv; j++)
112         inp->init[j + var->fv] = value_init;
113     }
114   for (i = 0; i < inp->init_cnt; i++)
115     assert (inp->init[i] != -1);
116   inp->case_size = dict_get_case_size (default_dict);
117
118   /* Put inp into vfm_source for later use. */
119   vfm_source->aux = inp;
120
121   return lex_end_of_command ();
122 }
123
124 /* Initializes case C.  Called before the first case is read. */
125 static void
126 init_case (const struct input_program_pgm *inp, struct ccase *c)
127 {
128   size_t i;
129
130   for (i = 0; i < inp->init_cnt; i++)
131     switch (inp->init[i]) 
132       {
133       case INP_NUMERIC | INP_INIT_ONCE:
134         case_data_rw (c, i)->f = 0.0;
135         break;
136       case INP_NUMERIC | INP_REINIT:
137         case_data_rw (c, i)->f = SYSMIS;
138         break;
139       case INP_STRING | INP_INIT_ONCE:
140       case INP_STRING | INP_REINIT:
141         memset (case_data_rw (c, i)->s, ' ', sizeof case_data_rw (c, i)->s);
142         break;
143       default:
144         assert (0);
145       }
146 }
147
148 /* Clears case C.  Called between reading successive records. */
149 static void
150 clear_case (const struct input_program_pgm *inp, struct ccase *c)
151 {
152   size_t i;
153
154   for (i = 0; i < inp->init_cnt; i++)
155     switch (inp->init[i]) 
156       {
157       case INP_NUMERIC | INP_INIT_ONCE:
158         break;
159       case INP_NUMERIC | INP_REINIT:
160         case_data_rw (c, i)->f = SYSMIS;
161         break;
162       case INP_STRING | INP_INIT_ONCE:
163         break;
164       case INP_STRING | INP_REINIT:
165         memset (case_data_rw (c, i)->s, ' ', sizeof case_data_rw (c, i)->s);
166         break;
167       default:
168         assert (0);
169       }
170 }
171
172 /* Executes each transformation in turn on a `blank' case.  When a
173    transformation fails, returning -2, then that's the end of the
174    file.  -1 means go on to the next transformation.  Otherwise the
175    return value is the index of the transformation to go to next. */
176 static void
177 input_program_source_read (struct case_source *source,
178                            struct ccase *c,
179                            write_case_func *write_case,
180                            write_case_data wc_data)
181 {
182   struct input_program_pgm *inp = source->aux;
183   int i;
184
185   /* Nonzero if there were any END CASE commands in the set of
186      transformations.  If so, we don't automatically write out
187      cases. */
188   int end_case = 0;
189
190   /* FIXME?  This is the number of cases sent out of the input
191      program, not the number of cases written to the procedure.
192      The difference should only show up in $CASENUM in COMPUTE.
193      We should check behavior against SPSS. */
194   int cases_written = 0;
195
196   assert (inp != NULL);
197
198   /* Figure end_case. */
199   for (i = 0; i < f_trns; i++)
200     if (t_trns[i]->proc == end_case_trns_proc)
201       end_case = 1;
202
203   /* FIXME: This is an ugly kluge. */
204   for (i = 0; i < f_trns; i++)
205     if (t_trns[i]->proc == repeating_data_trns_proc)
206       repeating_data_set_write_case (t_trns[i], write_case, wc_data);
207
208   init_case (inp, c);
209   for (;;)
210     {
211       /* Perform transformations on `blank' case. */
212       for (i = 0; i < f_trns; )
213         {
214           int code;     /* Return value of last-called transformation. */
215
216           if (t_trns[i]->proc == end_case_trns_proc) 
217             {
218               cases_written++;
219               if (!write_case (wc_data))
220                 goto done;
221               clear_case (inp, c);
222               i++;
223               continue;
224             }
225
226           code = t_trns[i]->proc (t_trns[i], c, cases_written + 1);
227           switch (code)
228             {
229             case -1:
230               i++;
231               break;
232             case -2:
233               goto done;
234             case -3:
235               goto next_case;
236             default:
237               i = code;
238               break;
239             }
240         }
241
242       /* Write the case if appropriate. */
243       if (!end_case) 
244         {
245           cases_written++;
246           if (!write_case (wc_data))
247             break;
248         }
249
250       /* Blank out the case for the next iteration. */
251     next_case:
252       clear_case (inp, c);
253     }
254  done: ;
255 }
256
257 /* Destroys an INPUT PROGRAM source. */
258 static void
259 input_program_source_destroy (struct case_source *source)
260 {
261   struct input_program_pgm *inp = source->aux;
262
263   cancel_transformations ();
264
265   if (inp != NULL) 
266     {
267       free (inp->init);
268       free (inp);
269     }
270 }
271
272 const struct case_source_class input_program_source_class =
273   {
274     "INPUT PROGRAM",
275     NULL,
276     input_program_source_read,
277     input_program_source_destroy,
278   };
279 \f
280 int
281 cmd_end_case (void)
282 {
283   struct trns_header *t;
284
285   if (!case_source_is_class (vfm_source, &input_program_source_class))
286     {
287       msg (SE, _("This command may only be executed between INPUT PROGRAM "
288                  "and END INPUT PROGRAM."));
289       return CMD_FAILURE;
290     }
291
292   t = xmalloc (sizeof *t);
293   t->proc = end_case_trns_proc;
294   t->free = NULL;
295   add_transformation ((struct trns_header *) t);
296
297   return lex_end_of_command ();
298 }
299
300 /* Should never be called, because this is handled in
301    input_program_source_read(). */
302 int
303 end_case_trns_proc (struct trns_header *t UNUSED, struct ccase * c UNUSED,
304                     int case_num UNUSED)
305 {
306   assert (0);
307   abort ();
308 }
309
310 /* REREAD transformation. */
311 struct reread_trns
312   {
313     struct trns_header h;
314
315     struct dfm_reader *reader;  /* File to move file pointer back on. */
316     struct expression *column;  /* Column to reset file pointer to. */
317   };
318
319 /* Parses REREAD command. */
320 int
321 cmd_reread (void)
322 {
323   struct file_handle *fh;       /* File to be re-read. */
324   struct expression *e;         /* Expression for column to set. */
325   struct reread_trns *t;        /* Created transformation. */
326
327   fh = default_handle;
328   e = NULL;
329   while (token != '.')
330     {
331       if (lex_match_id ("COLUMN"))
332         {
333           lex_match ('=');
334           
335           if (e)
336             {
337               msg (SE, _("COLUMN subcommand multiply specified."));
338               expr_free (e);
339               return CMD_FAILURE;
340             }
341           
342           e = expr_parse (default_dict, EXPR_NUMBER);
343           if (!e)
344             return CMD_FAILURE;
345         }
346       else if (lex_match_id ("FILE"))
347         {
348           lex_match ('=');
349           fh = fh_parse ();
350           if (fh == NULL)
351             {
352               expr_free (e);
353               return CMD_FAILURE;
354             }
355           lex_get ();
356         }
357       else
358         {
359           lex_error (NULL);
360           expr_free (e);
361         }
362     }
363
364   t = xmalloc (sizeof *t);
365   t->h.proc = reread_trns_proc;
366   t->h.free = reread_trns_free;
367   t->reader = dfm_open_reader (fh);
368   t->column = e;
369   add_transformation ((struct trns_header *) t);
370
371   return CMD_SUCCESS;
372 }
373
374 /* Executes a REREAD transformation. */
375 static int
376 reread_trns_proc (struct trns_header * pt, struct ccase * c,
377                   int case_num)
378 {
379   struct reread_trns *t = (struct reread_trns *) pt;
380
381   if (t->column == NULL)
382     dfm_reread_record (t->reader, 1);
383   else
384     {
385       double column = expr_evaluate_num (t->column, c, case_num);
386       if (!finite (column) || column < 1)
387         {
388           msg (SE, _("REREAD: Column numbers must be positive finite "
389                "numbers.  Column set to 1."));
390           dfm_reread_record (t->reader, 1);
391         }
392       else
393         dfm_reread_record (t->reader, column);
394     }
395   return -1;
396 }
397
398 /* Frees a REREAD transformation. */
399 static void
400 reread_trns_free (struct trns_header *t_)
401 {
402   struct reread_trns *t = (struct reread_trns *) t_;
403   expr_free (t->column);
404   dfm_close_reader (t->reader);
405 }
406
407 /* Parses END FILE command. */
408 int
409 cmd_end_file (void)
410 {
411   struct trns_header *t;
412
413   if (!case_source_is_class (vfm_source, &input_program_source_class))
414     {
415       msg (SE, _("This command may only be executed between INPUT PROGRAM "
416                  "and END INPUT PROGRAM."));
417       return CMD_FAILURE;
418     }
419
420   t = xmalloc (sizeof *t);
421   t->proc = end_file_trns_proc;
422   t->free = NULL;
423   add_transformation ((struct trns_header *) t);
424
425   return lex_end_of_command ();
426 }
427
428 /* Executes an END FILE transformation. */
429 static int
430 end_file_trns_proc (struct trns_header * t UNUSED, struct ccase * c UNUSED,
431                     int case_num UNUSED)
432 {
433   return -2;
434 }