TODO

   1 Time-stamp: <2006-02-17 22:06:31 blp>
   2
   3 Get rid of need for GNU diff in `make check'.
   4
   5 Get rid of need for file name canonicalization.
   6
   7 Format specifier code needs to be rewritten for lowered crappiness.
   8
   9 CROSSTABS needs to be re-examined.
  10
  11 RANK, which is needed for the Wilcoxon signed-rank statistic, Mann-Whitney U,
  12 Kruskal-Wallis on NPAR TESTS and for Spearman and the Johnkheere trend test (in
  13 other procedures).
  14
  15 lex_token_representation() should take a buffer to fill.
  16
  17 Make valgrind --leak-check=yes --show-reachable=yes work.
  18
  19 Add NOT_REACHED() macro.
  20
  21 Add compression to casefiles.
  22
  23 Scratch variables should not be available for use following TEMPORARY.
  24
  25 Check our results against the NIST StRD benchmark results at
  26 strd.itl.nist.gov/div898/strd
  27
  28 In debug mode hash table code should verify that collisions are reasonably low.
  29
  30 Use AFM files instead of Groff font files, and include AFMs for our default
  31 fonts with the distribution.
  32
  33 Storage of value labels on disk is inefficient.  Invent new data structure.
  34
  35 Add an output flag which would cause a page break if a table segment could fit
  36 vertically on a page but it just happens to be positioned such that it won't.
  37
  38 Fix spanned joint cells, i.e., EDLEVEL on crosstabs.stat.
  39
  40 Cell footnotes.
  41
  42 PostScript driver should emit thin lines, then thick lines, to optimize time
  43 and space.
  44
  45 Should be able to bottom-justify cells.  It'll be expensive, though, by
  46 requiring an extra metrics call.
  47
  48 Perhaps instead of the current lines we should define the following line types:
  49 null, thin, thick, double.  It might look pretty classy.
  50
  51 Perhaps thick table borders that are cut off by a page break should decay to
  52 thin borders.  (i.e., on a thick bordered table that's longer than one page,
  53 but narrow, the bottom border would be thin on the first page, and the top and
  54 bottom borders on middle pages.)
  55
  56 Support multi-line titles on tables. (For the first page only, presumably.)
  57
  58 In addition to searching the source directory, we should search the current
  59 directory (for data files).  (Yuck!)
  60
  61 Fix line-too-long problems in PostScript code, instead of covering them up.
  62 setlinecap is *not* a proper solution.
  63
  64 Fix som_columns().
  65
  66 Improve interactivity of output by allowing a `commit' function for a page.
  67 This will also allow for infinite-length pages.
  68
  69 Implement thin single lines, should be pretty easy now.
  70
  71 SELECT IF should be moved before other transformations whenever possible.  It
  72 should only be impossible when one of the variables referred to in SELECT IF is
  73 created or modified by a previous transformation.
  74
  75 The manual: add text, add index entries, add examples.
  76
  77 Figure out a stylesheet for messages displayed by PSPP: i.e., what quotation
  78 marks around filenames, etc.
  79
  80 From Zvi Grauer <z.grauer@csuohio.edu> and <zvi@mail.ohio.net>:
  81
  82    1. design of experiments software, specifically Factorial, response surface
  83    methodology and mixrture design.
  84
  85    These would be EXTREMELY USEFUL for chemists, engineeris, and anyone
  86    involved in the production of chemicals or formulations.
  87
  88    2. Multidimensional Scaling analysis (for market analysis) -
  89
  90    3. Preference mapping software for market analysis
  91
  92    4. Hierarchical clustering (as well as partition clustering)
  93
  94    5. Conjoint analysis
  95
  96    6. Categorical data analsys ?
  97
  98 MORE NOTES/IDEAS/BUGS
  99 ---------------------
 100
 101 Sometimes very wide (or very tall) columns can occur in tables.  What is a good
 102 way to truncate them?  It doesn't seem to cause problems for the ascii or
 103 postscript drivers, but it's not good in the general case.  Should they be
 104 split somehow?  (One way that wide columns can occur is through user request,
 105 for instance through a wide PRINT request--try time-date.stat with a narrow
 106 ascii page or with the postscript driver on letter size paper.)
 107
 108 NULs in input files break the products we're replacing: although it will input
 109 them properly and display them properly as AHEX format, it truncates them in A
 110 format.  Also, string-manipulation functions such as CONCAT truncate their
 111 results after the first NUL.  This should simplify the result of PSPP design.
 112 Perhaps those ugly a_string, b_string, ..., can all be eliminated.
 113
 114 From Moshe Braner <mbraner@nessie.vdh.state.vt.us>: An idea regarding MATCH
 115 FILES, again getting BEYOND the state of SPSS: it always bothered me that if I
 116 have a large data file and I want to match it to a small lookup table, via
 117 MATCH FILES FILE= /TABLE= /BY key, I need to SORT the large file on key, do the
 118 match, then (usually) re-sort back into the order I really want it.  There is
 119 no reason to do this, when the lookup table is small.  Even a dumb sequential
 120 search through the table, for every case in the big file, is better, in some
 121 cases, than the sort.  So here's my idea: first look at the /TABLE file, if it
 122 is "small enough", read it into memory, and create an index (or hash table,
 123 whatever) for it.  Then read the /FILE and use the index to match to each case.
 124 OTOH, if the /TABLE is too large, then do it the old way, complaining if either
 125 file is not sorted on key.
 126
 127 ----------------------------------------------------------------------
 128 Statistical procedures:
 129
 130 For each case we read from the input program:
 131
 132 1. Execute permanent transformations.  If these drop the case, stop.
 133 2. N OF CASES.  If we have already written N cases, stop.
 134 3. Write case to replacement active file.
 135 4. Execute temporary transformations.  If these drop the case, stop.
 136 5. Post-TEMPORARY N OF CASES.  If we have already analyzed N cases, stop.
 137 6. FILTER, PROCESS IF.  If these drop the case, stop.
 138 7. Pass case to procedure.
 139
 140 Ugly cases:
 141
 142 LAG records cases in step 3.
 143
 144 AGGREGATE: When output goes to an external file, this is just an ordinary
 145 procedure.  When output goes to the active file, step 3 should be skipped,
 146 because AGGREGATE creates its own case sink and writes to it in step 7.  Also,
 147 TEMPORARY has no effect and we just cancel it.  Regardless of direction of
 148 output, we should not implement AGGREGATE through a transformation because that
 149 will fail to honor FILTER, PROCESS IF, N OF CASES.
 150
 151 ADD FILES: Essentially an input program.  It silently cancels unclosed LOOPs
 152 and DO IFs.  If the active file is used for input, then runs EXECUTE (if there
 153 are any transformations) and then steals vfm_source and encapsulates it.  If
 154 the active file is not used for input, then it cancels all the transformations
 155 and deletes the original active file.
 156
 157 CASESTOVARS: ???
 158
 159 FLIP:
 160
 161 MATCH FILES: Similar to AGGREGATE.  This is a procedure.  When the active file
 162 is used for input, it reads the active file; otherwise, it just cancels all the
 163 transformations and deletes the original active file.  Step 3 should be
 164 skipped, because MATCH FILES creates its own case sink and writes to it in step
 165 7.  TEMPORARY is not allowed.
 166
 167 MODIFY VARS:
 168
 169 REPEATING DATA:
 170
 171 SORT CASES:
 172
 173 UPDATE: same as ADD FILES.
 174
 175 VARSTOCASES: ???
 176 ----------------------------------------------------------------------
 177 N OF CASES
 178
 179   * Before TEMPORARY, limits number of cases sent to the sink.
 180
 181   * After TEMPORARY, limits number of cases sent to the procedure.
 182
 183   * Without TEMPORARY, those are the same cases, so it limits both.
 184
 185 SAMPLE
 186
 187   * Sample is just a transformation.  It has no special properties.
 188
 189 FILTER
 190
 191   * Always selects cases sent to the procedure.
 192
 193   * No effect on cases sent to sink.
 194
 195   * Before TEMPORARY, selection is permanent.  After TEMPORARY,
 196     selection stops after a procedure.
 197
 198 PROCESS IF
 199
 200   * Always selects cases sent to the procedure.
 201
 202   * No effect on cases sent to sink.
 203
 204   * Always stops after a procedure.
 205
 206 SPLIT FILE
 207
 208   * Ignored by AGGREGATE.  Used when procedures write matrices.
 209
 210   * Always applies to the procedure.
 211
 212   * Before TEMPORARY, splitting is permanent.  After TEMPORARY,
 213     splitting stops after a procedure.
 214
 215 TEMPORARY
 216
 217   * TEMPORARY has no effect on AGGREGATE when output goes to the active file.
 218
 219   * SORT CASES, ADD FILES, RENAME VARIABLES, CASESTOVARS, VARSTOCASES,
 220     COMPUTE with a lag function cannot be used after TEMPORARY.
 221
 222   * Cannot be used in DO IF...END IF or LOOP...END LOOP.
 223
 224   * FLIP ignores TEMPORARY.  All transformations become permanent.
 225
 226   * MATCH FILES and UPDATE cannot be used after TEMPORARY if active
 227     file is an input source.
 228
 229   * RENAME VARIABLES is invalid after TEMPORARY.
 230
 231   * WEIGHT, SPLIT FILE, N OF CASES, FILTER, PROCESS IF apply only to
 232     the next procedure when used after TEMPORARY.
 233
 234 WEIGHT
 235
 236   * Always applies to the procedure.
 237
 238   * Before TEMPORARY, weighting is permanent.  After TEMPORARY,
 239     weighting stops after a procedure.
 240
 241
 242 -------------------------------------------------------------------------------
 243 Local Variables:
 244 mode: text
 245 fill-column: 79
 246 End: