TODO

   1 Time-stamp: <2006-05-04 21:46:50 blp>
   2
   3 Procedure processing:
   4
   5 * Should not need temporary casefile in the common case.
   6
   7 * All of the procedure_*() variants can (and should) be implemented in terms of
   8   a variant that provides "proc_func" plus an "end_func" called after all
   9   processing is complete.
  10
  11 * The "split" variants should not dump the splits to the output file
  12   automatically.  There is no need for the procedure code to talk to the output
  13   manager.
  14
  15 * LAG need not be as much of a special case.
  16
  17 * Push PROCESS IF, FILTER, N OF CASES out of procedure.c.
  18
  19 * Change sources into state machines?
  20
  21 Get rid of need for GNU diff in `make check'.
  22
  23 Format specifier code needs to be rewritten for lowered crappiness.
  24
  25 CROSSTABS needs to be re-examined.
  26
  27 RANK, which is needed for the Wilcoxon signed-rank statistic, Mann-Whitney U,
  28 Kruskal-Wallis on NPAR TESTS and for Spearman and the Johnkheere trend test (in
  29 other procedures).
  30
  31 Add NOT_REACHED() macro.
  32
  33 Scratch variables should not be available for use following TEMPORARY.
  34
  35 Check our results against the NIST StRD benchmark results at
  36 strd.itl.nist.gov/div898/strd
  37
  38 Storage of value labels on disk is inefficient.  Invent new data structure.
  39
  40 Fix spanned joint cells, i.e., EDLEVEL on crosstabs.stat.
  41
  42 SELECT IF should be moved before other transformations whenever possible.  It
  43 should only be impossible when one of the variables referred to in SELECT IF is
  44 created or modified by a previous transformation.
  45
  46 Figure out a stylesheet for messages displayed by PSPP: i.e., what quotation
  47 marks around filenames, etc.
  48
  49 From Zvi Grauer <z.grauer@csuohio.edu> and <zvi@mail.ohio.net>:
  50
  51    1. design of experiments software, specifically Factorial, response surface
  52    methodology and mixrture design.
  53
  54    These would be EXTREMELY USEFUL for chemists, engineeris, and anyone
  55    involved in the production of chemicals or formulations.
  56
  57    2. Multidimensional Scaling analysis (for market analysis) -
  58
  59    3. Preference mapping software for market analysis
  60
  61    4. Hierarchical clustering (as well as partition clustering)
  62
  63    5. Conjoint analysis
  64
  65    6. Categorical data analsys ?
  66
  67 Sometimes very wide (or very tall) columns can occur in tables.  What is a good
  68 way to truncate them?  It doesn't seem to cause problems for the ascii or
  69 postscript drivers, but it's not good in the general case.  Should they be
  70 split somehow?  (One way that wide columns can occur is through user request,
  71 for instance through a wide PRINT request--try time-date.stat with a narrow
  72 ascii page or with the postscript driver on letter size paper.)
  73
  74 From Moshe Braner <mbraner@nessie.vdh.state.vt.us>: An idea regarding MATCH
  75 FILES, again getting BEYOND the state of SPSS: it always bothered me that if I
  76 have a large data file and I want to match it to a small lookup table, via
  77 MATCH FILES FILE= /TABLE= /BY key, I need to SORT the large file on key, do the
  78 match, then (usually) re-sort back into the order I really want it.  There is
  79 no reason to do this, when the lookup table is small.  Even a dumb sequential
  80 search through the table, for every case in the big file, is better, in some
  81 cases, than the sort.  So here's my idea: first look at the /TABLE file, if it
  82 is "small enough", read it into memory, and create an index (or hash table,
  83 whatever) for it.  Then read the /FILE and use the index to match to each case.
  84 OTOH, if the /TABLE is too large, then do it the old way, complaining if either
  85 file is not sorted on key.
  86
  87 ----------------------------------------------------------------------
  88 Statistical procedures:
  89
  90 For each case we read from the input program:
  91
  92 1. Execute permanent transformations.  If these drop the case, stop.
  93 2. N OF CASES.  If we have already written N cases, stop.
  94 3. Write case to replacement active file.
  95 4. Execute temporary transformations.  If these drop the case, stop.
  96 5. Post-TEMPORARY N OF CASES.  If we have already analyzed N cases, stop.
  97 6. FILTER, PROCESS IF.  If these drop the case, stop.
  98 7. Pass case to procedure.
  99
 100 Ugly cases:
 101
 102 LAG records cases in step 3.
 103
 104 AGGREGATE: When output goes to an external file, this is just an ordinary
 105 procedure.  When output goes to the active file, step 3 should be skipped,
 106 because AGGREGATE creates its own case sink and writes to it in step 7.  Also,
 107 TEMPORARY has no effect and we just cancel it.  Regardless of direction of
 108 output, we should not implement AGGREGATE through a transformation because that
 109 will fail to honor FILTER, PROCESS IF, N OF CASES.
 110
 111 ADD FILES: Essentially an input program.  It silently cancels unclosed LOOPs
 112 and DO IFs.  If the active file is used for input, then runs EXECUTE (if there
 113 are any transformations) and then steals vfm_source and encapsulates it.  If
 114 the active file is not used for input, then it cancels all the transformations
 115 and deletes the original active file.
 116
 117 CASESTOVARS: ???
 118
 119 FLIP:
 120
 121 MATCH FILES: Similar to AGGREGATE.  This is a procedure.  When the active file
 122 is used for input, it reads the active file; otherwise, it just cancels all the
 123 transformations and deletes the original active file.  Step 3 should be
 124 skipped, because MATCH FILES creates its own case sink and writes to it in step
 125 7.  TEMPORARY is not allowed.
 126
 127 MODIFY VARS:
 128
 129 REPEATING DATA:
 130
 131 SORT CASES:
 132
 133 UPDATE: same as ADD FILES.
 134
 135 VARSTOCASES: ???
 136 ----------------------------------------------------------------------
 137 N OF CASES
 138
 139   * Before TEMPORARY, limits number of cases sent to the sink.
 140
 141   * After TEMPORARY, limits number of cases sent to the procedure.
 142
 143   * Without TEMPORARY, those are the same cases, so it limits both.
 144
 145 SAMPLE
 146
 147   * Sample is just a transformation.  It has no special properties.
 148
 149 FILTER
 150
 151   * Always selects cases sent to the procedure.
 152
 153   * No effect on cases sent to sink.
 154
 155   * Before TEMPORARY, selection is permanent.  After TEMPORARY,
 156     selection stops after a procedure.
 157
 158 PROCESS IF
 159
 160   * Always selects cases sent to the procedure.
 161
 162   * No effect on cases sent to sink.
 163
 164   * Always stops after a procedure.
 165
 166 SPLIT FILE
 167
 168   * Ignored by AGGREGATE.  Used when procedures write matrices.
 169
 170   * Always applies to the procedure.
 171
 172   * Before TEMPORARY, splitting is permanent.  After TEMPORARY,
 173     splitting stops after a procedure.
 174
 175 TEMPORARY
 176
 177   * TEMPORARY has no effect on AGGREGATE when output goes to the active file.
 178
 179   * SORT CASES, ADD FILES, RENAME VARIABLES, CASESTOVARS, VARSTOCASES,
 180     COMPUTE with a lag function cannot be used after TEMPORARY.
 181
 182   * Cannot be used in DO IF...END IF or LOOP...END LOOP.
 183
 184   * FLIP ignores TEMPORARY.  All transformations become permanent.
 185
 186   * MATCH FILES and UPDATE cannot be used after TEMPORARY if active
 187     file is an input source.
 188
 189   * RENAME VARIABLES is invalid after TEMPORARY.
 190
 191   * WEIGHT, SPLIT FILE, N OF CASES, FILTER, PROCESS IF apply only to
 192     the next procedure when used after TEMPORARY.
 193
 194 WEIGHT
 195
 196   * Always applies to the procedure.
 197
 198   * Before TEMPORARY, weighting is permanent.  After TEMPORARY,
 199     weighting stops after a procedure.
 200
 201
 202 -------------------------------------------------------------------------------
 203 Local Variables:
 204 mode: text
 205 fill-column: 79
 206 End: