TODO

   1 Time-stamp: <2006-04-26 15:15:36 blp>
   2
   3 Get rid of need for GNU diff in `make check'.
   4
   5 Format specifier code needs to be rewritten for lowered crappiness.
   6
   7 CROSSTABS needs to be re-examined.
   8
   9 RANK, which is needed for the Wilcoxon signed-rank statistic, Mann-Whitney U,
  10 Kruskal-Wallis on NPAR TESTS and for Spearman and the Johnkheere trend test (in
  11 other procedures).
  12
  13 Add NOT_REACHED() macro.
  14
  15 Scratch variables should not be available for use following TEMPORARY.
  16
  17 Check our results against the NIST StRD benchmark results at
  18 strd.itl.nist.gov/div898/strd
  19
  20 Storage of value labels on disk is inefficient.  Invent new data structure.
  21
  22 Fix spanned joint cells, i.e., EDLEVEL on crosstabs.stat.
  23
  24 SELECT IF should be moved before other transformations whenever possible.  It
  25 should only be impossible when one of the variables referred to in SELECT IF is
  26 created or modified by a previous transformation.
  27
  28 Figure out a stylesheet for messages displayed by PSPP: i.e., what quotation
  29 marks around filenames, etc.
  30
  31 From Zvi Grauer <z.grauer@csuohio.edu> and <zvi@mail.ohio.net>:
  32
  33    1. design of experiments software, specifically Factorial, response surface
  34    methodology and mixrture design.
  35
  36    These would be EXTREMELY USEFUL for chemists, engineeris, and anyone
  37    involved in the production of chemicals or formulations.
  38
  39    2. Multidimensional Scaling analysis (for market analysis) -
  40
  41    3. Preference mapping software for market analysis
  42
  43    4. Hierarchical clustering (as well as partition clustering)
  44
  45    5. Conjoint analysis
  46
  47    6. Categorical data analsys ?
  48
  49 Sometimes very wide (or very tall) columns can occur in tables.  What is a good
  50 way to truncate them?  It doesn't seem to cause problems for the ascii or
  51 postscript drivers, but it's not good in the general case.  Should they be
  52 split somehow?  (One way that wide columns can occur is through user request,
  53 for instance through a wide PRINT request--try time-date.stat with a narrow
  54 ascii page or with the postscript driver on letter size paper.)
  55
  56 From Moshe Braner <mbraner@nessie.vdh.state.vt.us>: An idea regarding MATCH
  57 FILES, again getting BEYOND the state of SPSS: it always bothered me that if I
  58 have a large data file and I want to match it to a small lookup table, via
  59 MATCH FILES FILE= /TABLE= /BY key, I need to SORT the large file on key, do the
  60 match, then (usually) re-sort back into the order I really want it.  There is
  61 no reason to do this, when the lookup table is small.  Even a dumb sequential
  62 search through the table, for every case in the big file, is better, in some
  63 cases, than the sort.  So here's my idea: first look at the /TABLE file, if it
  64 is "small enough", read it into memory, and create an index (or hash table,
  65 whatever) for it.  Then read the /FILE and use the index to match to each case.
  66 OTOH, if the /TABLE is too large, then do it the old way, complaining if either
  67 file is not sorted on key.
  68
  69 ----------------------------------------------------------------------
  70 Statistical procedures:
  71
  72 For each case we read from the input program:
  73
  74 1. Execute permanent transformations.  If these drop the case, stop.
  75 2. N OF CASES.  If we have already written N cases, stop.
  76 3. Write case to replacement active file.
  77 4. Execute temporary transformations.  If these drop the case, stop.
  78 5. Post-TEMPORARY N OF CASES.  If we have already analyzed N cases, stop.
  79 6. FILTER, PROCESS IF.  If these drop the case, stop.
  80 7. Pass case to procedure.
  81
  82 Ugly cases:
  83
  84 LAG records cases in step 3.
  85
  86 AGGREGATE: When output goes to an external file, this is just an ordinary
  87 procedure.  When output goes to the active file, step 3 should be skipped,
  88 because AGGREGATE creates its own case sink and writes to it in step 7.  Also,
  89 TEMPORARY has no effect and we just cancel it.  Regardless of direction of
  90 output, we should not implement AGGREGATE through a transformation because that
  91 will fail to honor FILTER, PROCESS IF, N OF CASES.
  92
  93 ADD FILES: Essentially an input program.  It silently cancels unclosed LOOPs
  94 and DO IFs.  If the active file is used for input, then runs EXECUTE (if there
  95 are any transformations) and then steals vfm_source and encapsulates it.  If
  96 the active file is not used for input, then it cancels all the transformations
  97 and deletes the original active file.
  98
  99 CASESTOVARS: ???
 100
 101 FLIP:
 102
 103 MATCH FILES: Similar to AGGREGATE.  This is a procedure.  When the active file
 104 is used for input, it reads the active file; otherwise, it just cancels all the
 105 transformations and deletes the original active file.  Step 3 should be
 106 skipped, because MATCH FILES creates its own case sink and writes to it in step
 107 7.  TEMPORARY is not allowed.
 108
 109 MODIFY VARS:
 110
 111 REPEATING DATA:
 112
 113 SORT CASES:
 114
 115 UPDATE: same as ADD FILES.
 116
 117 VARSTOCASES: ???
 118 ----------------------------------------------------------------------
 119 N OF CASES
 120
 121   * Before TEMPORARY, limits number of cases sent to the sink.
 122
 123   * After TEMPORARY, limits number of cases sent to the procedure.
 124
 125   * Without TEMPORARY, those are the same cases, so it limits both.
 126
 127 SAMPLE
 128
 129   * Sample is just a transformation.  It has no special properties.
 130
 131 FILTER
 132
 133   * Always selects cases sent to the procedure.
 134
 135   * No effect on cases sent to sink.
 136
 137   * Before TEMPORARY, selection is permanent.  After TEMPORARY,
 138     selection stops after a procedure.
 139
 140 PROCESS IF
 141
 142   * Always selects cases sent to the procedure.
 143
 144   * No effect on cases sent to sink.
 145
 146   * Always stops after a procedure.
 147
 148 SPLIT FILE
 149
 150   * Ignored by AGGREGATE.  Used when procedures write matrices.
 151
 152   * Always applies to the procedure.
 153
 154   * Before TEMPORARY, splitting is permanent.  After TEMPORARY,
 155     splitting stops after a procedure.
 156
 157 TEMPORARY
 158
 159   * TEMPORARY has no effect on AGGREGATE when output goes to the active file.
 160
 161   * SORT CASES, ADD FILES, RENAME VARIABLES, CASESTOVARS, VARSTOCASES,
 162     COMPUTE with a lag function cannot be used after TEMPORARY.
 163
 164   * Cannot be used in DO IF...END IF or LOOP...END LOOP.
 165
 166   * FLIP ignores TEMPORARY.  All transformations become permanent.
 167
 168   * MATCH FILES and UPDATE cannot be used after TEMPORARY if active
 169     file is an input source.
 170
 171   * RENAME VARIABLES is invalid after TEMPORARY.
 172
 173   * WEIGHT, SPLIT FILE, N OF CASES, FILTER, PROCESS IF apply only to
 174     the next procedure when used after TEMPORARY.
 175
 176 WEIGHT
 177
 178   * Always applies to the procedure.
 179
 180   * Before TEMPORARY, weighting is permanent.  After TEMPORARY,
 181     weighting stops after a procedure.
 182
 183
 184 -------------------------------------------------------------------------------
 185 Local Variables:
 186 mode: text
 187 fill-column: 79
 188 End: