glm.q: Removed code to us QR decomposition, which requires the entire data
[pspp] / NEWS
1 PSPP NEWS -- history of user-visible changes.
2 Time-stamp: <2008-10-11 10:04:51 blp>
3 Copyright (C) 1996-9, 2000, 2008 Free Software Foundation, Inc.
4 See the end for copying conditions.
5
6 Please send PSPP bug reports to bug-gnu-pspp@gnu.org.
7
8 Changes from 0.6.1 to 0.7.0:
9
10   * Custom variable and data file attributes are now supported.
11     Commands VARIABLE ATTRIBUTE and DATAFILE ATTRIBUTE have been added
12     for setting and clear attributes.  Support for attributes has also
13     been added to commands that read and write system files, such as
14     SAVE and GET, as well as to the DISPLAY command.
15
16 Changes from 0.6.0 to 0.6.1:
17
18   * Statistical bug fixes:
19
20     - Report correct standardized regression coefficients in linear
21       regression output (bug #23567).
22
23   * Bug fixes that affect PSPP and PSPPIRE:
24
25     - Avoid crash with pie charts (bug #24014).
26
27     - Don't append % to count totals (bug #24003).
28
29     - Don't crash on bad input (bug #24031).
30
31     - Don't crash if "end data." is not left aligned (bug #24115).
32
33     - Change default workspace value to 64 MB, to avoid unnecessary
34       disk accesses on modern machines.
35
36   * PSPPIRE bug fixes:
37
38     - Add ".sav" or ".por" suffix to filename when saving with Save_As
39       (bug #23137).
40
41     - Make it possible to reopen the output window on Windows (bug
42       #24033).
43
44     - A POSIX regular expression library is now included and used
45       automatically if the host does not have one or has one that is
46       inadequate.
47
48   * Build fixes and changes:
49
50     - Work around bug in GSL that prevented build with recent GCC
51       versions without manually adding -fgnu89-inline to CFLAGS.
52
53     - Also warn about missing prerequisites as we encounter them (bug
54       #24445).
55
56     - Distribute necessary files to allow users working from the
57       distributed tarball to configure with --enable-gui-tools.
58
59     - Append $(EXEEXT_FOR_BUILD) to output file name when building
60       q2c, fixing build problems on Windows.
61
62     - GSL 1.8 or later is now required.
63
64     - Build errors with --enable-relocatable were fixed.
65
66   * The German translations were removed, since native German speakers
67     found them too poor to be useful.
68
69 Changes from 0.4.0 to 0.6.0:
70
71   * The PSPP license is now version 3 or later of the GNU General
72     Public License.  Previously, it was version 2 or later.
73
74   * PSPP now has a graphical interface, called PSPPIRE.  This
75     interface allows you to enter data and variable definitions
76     interactively.  Commands may be executed in syntax form, or by
77     using the interactive dialog boxes available from the dropdown
78     menus.
79
80   * A few sample syntax files are now included in the `examples'
81     directory.
82
83   * Numerous major and minor bugs have been fixed.
84
85   Build changes:
86
87     * The INSTALL file now reflects the details of how to install
88       PSPP.  It is a tailored version of the generic installation
89       instructions, instead of a verbatim copy.
90
91     * iconv, which is ordinarily installed as part of a Unix-like
92       system, is now required.  If you don't have it already, you can
93       install GNU libiconv (http://www.gnu.org/software/libiconv/).
94
95     * libxml2 and zlib are new optional dependencies.  They are
96       required to use PSPP's support for reading Gnumeric files.
97
98   Statistical procedure changes:
99
100     * REGRESSION is a new procedure for fitting linear models to data
101       via least-squares estimation.
102
103     * NPAR TESTS is a new procedure for non-parametric tests.  In this
104       release, it supports binomial and chi-square tests.
105
106     * RANK is a new procedure to rank variables.  It supports numerous
107       forms of ranking.
108
109     * FREQUENCIES can now output histograms and pie charts.  These
110       features were present in earlier releases, but not documented.
111
112   User interface changes:
113
114     * In many situations where PSPP once terminated with a fatal
115       error, PSPP now recovers and continues execution.
116
117     * PSPP is now able to start up and run even if it cannot find its
118       configuration files.
119
120     * Journaling of interactive commands to a disk file is now
121       implemented.  By default, journaling is enabled, to a file named
122       `pspp.jnl' in the current directory.  SET JOURNAL may be used to
123       control journaling.
124
125     * The use of `+' between syntax file names on the command line to
126       prevent the dictionary from being cleared between their
127       executions is no longer supported.  All syntax files are now
128       executed as if `+' had been specified.
129
130     * The -d/--define and -u/--undef command line options are no
131       longer supported.  Instead, use /usr/bin/env or shell primitives
132       to define or clear environment variables before invoking PSPP.
133
134     * If a syntax file named named `rc' is found in a configuration
135       directory (such as $HOME/.pspp), it is executed before any
136       syntax file specified on the command line.  The -r or
137       --no-statrc command line option may be used to disable this
138       behavior.
139
140   Output changes:
141
142     * Output configuration options have changed.  Please refer to the
143       manual for a full description of the available options.
144
145       In consequence, you will need to reinstall your "devices" file.
146       "make install" will do this for you.
147
148     * Most error messages are now written to PSPP output files by
149       default.  SET ERROR can be used to disable this behavior.
150
151     * When invoked interactively, PSPP now by default produces output
152       on the terminal, piping it through the "more" program.
153       Previously, by default output was written only to file
154       pspp.list.  On most terminals, the page length used for output
155       automatically adapts to the terminal size, even if the terminal
156       is resized.
157
158     * ASCII driver:
159
160       - This driver now supports charts in output.  Charts are written
161         as separate files that the main output file refers to.  By
162         default, charts are written in PNG format to files named
163         pspp-1.png, pspp-2.png, and so on.
164
165       - Configurations are provided that use VT100 (and xterm)
166         line-drawing characters in tables.  The option "-o list-vt100"
167         requests use of this device for output to pspp.list.
168
169     * PostScript driver:
170
171       - The default paper size is now determined using the PAPERSIZE
172         environment variable, or the LC_PAPER locale category on
173         systems that support it.  If these are not set, the default is
174         now A4, instead of US letter.  To make US letter the default,
175         set PAPERSIZE to "letter" in your environment.
176
177       - Font metrics are now read from AFM files, instead of
178         Groff-format metrics files.  PostScript fonts can now be
179         embedded in output.
180
181         In consequence, you will need to install an AFM file for each
182         font used in PostScript output.  "make install" will install
183         AFM files for the standard PostScript fonts, including the
184         ones that the PostScript driver uses by default.
185
186       - Standard paper sizes no longer need to be specified through a
187         configuration file.  The "papersize" configuration file is no
188         longer needed, or supported.
189
190       - The PostScript prologue is no longer obtained from the
191         "ps-prologue" configuration file.  This configuration file is
192         no longer needed, or supported.
193
194     * HTML driver:
195
196       - The HTML prologue is no longer obtained from the
197         "html-prologue" configuration file.  This configuration file
198         is no longer needed, or supported.
199
200   Command language changes:
201
202     * The following commands are new:
203
204       - GET DATA, which currently supports reading Gnumeric files and
205         text data files.  It will be extended later to read other
206         types of foreign data.
207
208       - CD, to change the current directory.
209
210       - INSERT, to execute a syntax file.
211
212       - DELETE VARIABLES, to remove variables from the active file
213         dictionary.
214
215       - ADD DOCUMENT, to add text to active file documents.
216
217       - CLOSE FILE HANDLE (a PSPP extension; see below).
218
219       - XEXPORT, a PSPP extension that is a transformation equivalent
220         to EXPORT.
221
222     * The following functions for transformation expressions are new:
223
224       - DATEDIFF, for computing the difference of two dates.
225
226       - DATESUM, for advancing a date by a specified duration.
227
228       - VALUELABEL, to obtain the value label for a value.
229
230     * PSPP now supports very long string variables (over 255 bytes
231       long).
232
233     * MATCH FILES now supports the FIRST and LAST subcommands.
234
235     * Previous versions of PSPP prohibited using commands to both read and
236       write a single file at the same time.  Now, PSPP allows this, and
237       the new version of the file atomically replaces the old version.
238
239     * The following commands are no longer available.  They will be
240       re-implemented in a later release:
241
242       - CLEAR TRANSFORMATIONS
243
244       - MATRIX DATA
245
246       - REPEATING DATA
247
248     * The PROCESS IF command, which was deprecated, has been removed.
249       You may replace any usage of it by SELECT IF following
250       TEMPORARY, which has the same effect.
251
252     * The output format for variables created by VECTOR may now be
253       specified as part of the VECTOR syntax.
254
255   "Scratch files", a new PSPP extension:
256
257     A scratch file, like a system file, consists of a dictionary and
258     any number of cases.  Small scratch files are stored in memory;
259     one that grows too large is written to disk.  By default, any file
260     handle whose name begins with # is assumed to refer to a scratch
261     file.
262
263     Scratch files can be used just about anywhere a system or portable
264     file can be used.  Also, portable files are now allowed in most
265     places that system files were allowed in previous PSPP version.
266
267     A new CLOSE FILE HANDLE command allows the storage associated with
268     scratch files to be freed.  It also allows file handles to be
269     reassigned to new files.
270
271     For more information on scratch files, refer to the "File Handles"
272     section in the PSPP manual.  For specifics of what commands now
273     allow what kinds of files to be specified, refer to the
274     documentation on those particular commands.
275
276   Data access changes:
277
278     * Binary formats and IBM/360 formats, including ASCII/EBCDIC
279       translation, are now supported.  Use FILE HANDLE to specify the
280       format of these files.
281
282     * Little-endian, big-endian, and VAX-endian formats are now
283       supported for integer binary formats when reading and writing
284       data files.  The new RIB and WIB subcommands on the SET command
285       control endianness of integer data.  The default is the host's
286       native endianness.
287
288     * IEEE 754, VAX, and IBM hexadecimal formats are now supported for
289       floating point binary formats when reading and writing data
290       files.  The new RRB and WRB subcommands on the SET command
291       control the floating point format.  The default is the host's
292       native floating point format.
293
294     * DATA LIST now supports the SKIP subcommand, to skip records at
295       the beginning of a file.  For compatibility, DATA LIST now
296       treats N format as F format for FREE and LIST format input.
297
298     * The SAVE and XSAVE commands now support the UNSELECTED,
299       PERMISSIONS, NAMES, and MAP subcommands.
300
301     * The EXPORT command has been re-implemented to obtain better
302       results.  Support for the UNSELECTED, DIGITS, and TYPE
303       subcommands has been added.
304
305     * For compatibility, PRINT now inserts a space at the beginning of
306       every output line, even lines that would otherwise be blank,
307       when OUTFILE is specified.  (The behavior of WRITE is
308       unchanged.)
309
310     * For compatibility, PRINT EJECT now inserts the digit `1' at the
311       beginning of each line that should begin a new page.
312
313     * For compatibility, WRITE now outputs the system-missing value as
314       a field filled with spaces.  Binary formats are an exception.
315       (The behavior of PRINT is unchanged.)
316
317   Documentation:
318
319     * Input and output format descriptions have been rewritten.  They
320       now precisely describe what is accepted on input and written on
321       output.
322
323     * The descriptions of the PSPP system and portable file formats
324       have been extensively revised and improved.
325
326   For developers, the build system now requires Autoconf 2.60 and
327   Automake 1.10.
328 \f
329 Changes from 0.3.0 to 0.4.0:
330
331   Changes in build dependencies:
332
333     * The GNU Scientific Library (libgsl), version 1.6 or later, is
334       now required.
335
336     * libplot from GNU plotutils is optional.  Without it, the new
337       graphing features will not work.  If you do not have it
338       installed, you must run `configure' with --without-libplot.
339
340     * libgmp2 is no longer a dependency.
341
342   Newly implemented commands and statistical features:
343
344     * EXAMINE, including its graphing features.
345
346     * FREQUENCIES now supports percentiles.
347
348     * ONEWAY.
349
350     * PERMISSIONS.
351
352     * SHOW.
353
354     * SORT CASES now sorts stably, that is, two cases with equal sort
355       criteria will be in the same relative order before and after the
356       sort.
357
358     * T-TEST (re-written).
359
360     * DATE and USE.  These commands are parsed but otherwise ignored,
361       to enhance compatibility with certain command files that invoke
362       them unnecessarily.
363
364     * VARIABLE WIDTH, VARIABLE ALIGNMENT, and VARIABLE LEVEL.  These
365       currently have no effect on PSPP output, but their values are
366       written to and read from system files and thus may affect
367       third-party software.
368
369     * SET EPOCH implemented.
370
371     * DATA LIST FREE and DATA LIST LIST now support arbitrary field
372       delimiters.
373
374     * FILE HANDLE now supports custom tab widths.
375
376   Long variable names (and other identifiers) are now supported.  Up
377   to the first 64 bytes of each identifier is significant.  PSPP now
378   reads and writes system files compatible with SPSS version 12.
379
380   New --algorithm and --syntax command line options allow
381   SPSS-compatible or enhanced modes to be selected.
382
383   Support for transformation expressions has been rewritten and
384   significantly improved.  Refer to the manual for details.
385
386   Calculation of moments (mean, standard deviation, kurtosis,
387   skewness) has been rewritten and should now be more accurate.  In
388   --algorithm=enhanced mode moments may be more accurate than SPSS in
389   some cases.
390
391   Numerous bugs have been fixed, too many to mention here.  Many new
392   tests have been added, leading to the discovery and fixing of many
393   of these bugs.
394
395   The ASCII output driver can now squeeze multiple blank lines into
396   single blank lines.
397
398   Much of the code has been rewritten and refactored.  It is now much
399   cleaner.
400
401   The FILE TYPE and REPEATING DATA commands have been disabled for
402   this release because their implementations were deemed too buggy to
403   be useful.  They will be fixed and replaced in a future release.
404
405   New pspp-mode for Emacs (in pspp-mode.el).
406
407   Added rudimentary command-line completion for interactive input.
408
409   lib/julcal and lib/dcdflib are no longer used, so they have been
410   removed.
411
412   For developers, the build system now requires Autoconf 2.58 and
413   Automake 1.7.  The included gettext has been updated to version
414   0.12.1.
415
416   Some reports state that Texinfo 4.8, the latest version, may be
417   necessary to successfully format the documentation on some systems.
418
419 Version 0.3.0 changes since 0.2.3:
420
421   Bugs fixed:
422
423     * Using alphanumeric variables in functions under AGGREGATE
424       segfaulted.  Fixed.
425
426     * Under certain circumstances, the final case would be omitted
427       from the results of an AGGREGATE operation.  Fixed.
428
429     * Undefined behavior was invoked by referencing a freed pointer
430       under certain circumstances.  Fixed.
431
432     * A wrong record size was displayed when paging the active file to
433       disk.  Fixed.
434
435     * Not having enough temporary space for sorting caused a core
436       dump.  Fixed.
437
438     * Syntax errors in function descriptions on AGGREGATE caused core
439       dumps.  Fixed.
440
441     * A null pointer was dereferenced, causing a core dump, when
442       PERCENTILES was specified on FREQUENCIES.  This fixes the
443       problem, but PSPP still doesn't calculate percentiles.
444
445     * SORT always sorted in ascending order.  Fixed.
446
447     * Some minor memory leaks in the expression parser were removed.
448
449     * Many assertions fixed for strict ANSI C compliance.
450
451   New features:
452
453     * SET ECHO ON now implemented, but turned off by default.
454
455     * PRINT specifier supported on END REPEAT.
456
457   Other:
458
459     * System libgmp2 library is used if installed instead of
460       unconditionally using the included libgmp2 subset.
461
462     * Extensive code cleanup, which continues.
463
464     * Added CORRELATIONS command parser, but not implemented.
465
466 Version 0.2.3 changes since 0.2.2:
467
468   Bugs fixed:
469
470     * SPLIT FILE with a string variable caused a core dump.  Fixed.
471
472     * Nested INCLUDEs didn't work.  Fixed.
473
474     * The MATCH FILES procedure set the values of variables not present
475       to 0.  It should have been SYSMIS.  This is now fixed.
476
477     * The REMARK command was too aggressive about skipping lines.  It
478       didn't like being the last command in a file.
479
480     * Comment parsing wasn't consistent with the rest of the code in its
481       idea of where one command ends and another starts.  This meant
482       that sometimes commands would be mysteriously ignored.  Thanks to
483       Dr. Dirk Melcher <BZN-mdksh@t-online.de> for reporting this bug.
484
485     * The TABLE subcommand on MATCH FILES worked only erratically at
486       best.  This fixes it.  Thanks to Dr. Dirk Melcher
487       <BZN-mdksh@t-online.de> for reporting this bug.
488
489     * VARIABLE LABELS rejected a slash before the first variable
490       specification, contradicting the documentation.  Thanks to Walter
491       M. Gray <graywm@northernc.on.ca> for reporting this bug.
492
493     * Because of an incorrect optimization in memory allocation,
494       CROSSTABS sometimes segfaulted when asked to output multiple
495       tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
496       reporting this bug.
497
498     * CROSSTABS didn't display value labels for column and row
499       variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
500       reporting this bug.
501
502     * WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
503       <BZN-mdksh@t-online.de> for reporting this bug.
504
505     * The TABLE subcommand on MATCH FILES worked only erratically at
506       best.  This fixes it.  Thanks to Dr. Dirk Melcher
507       <BZN-mdksh@t-online.de> for reporting this bug.
508
509     * VARIABLE LABELS rejected a slash before the first variable
510       specification, contradicting the documentation.  Thanks to Walter
511       M. Gray <graywm@northernc.on.ca> for reporting this bug.
512
513     * Because of an incorrect optimization in memory allocation,
514       CROSSTABS sometimes segfaulted when asked to output multiple
515       tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
516       reporting this bug.
517
518     * CROSSTABS didn't display value labels for column and row
519       variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
520       reporting this bug.
521
522     * WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
523       <BZN-mdksh@t-online.de> for reporting this bug.
524
525     * MATCH FILES corrupted memory and dumped core on some syntax
526       errors.  Fixed.
527
528     * MATCH FILES should set numeric values not available to the
529       system-missing value, not to 0.  Thanks to Dr. Dirk Melcher
530       <BZN-mdksh@t-online.de> for reporting this bug.
531
532     * KEEP didn't work properly on the SAVE procedure.  Fixed.  Thanks
533       to Ralf Geschke <ralf@kuerbis.org> for reporting this bug.
534
535     * Memory leak fix.
536
537     * Some systems didn't like the way open_file was coded.  Thanks to
538       Hankin <hankin@rogue.consultco.com> for pointing this out.
539
540     * The SAVE procedure didn't save long string variables properly.
541       Fixed by this patch.  Thanks to Hankin
542       <hankin@rogue.consultco.com> for this patch.
543
544     * Minor documentation fixes for MATCH FILES.
545
546 Version 0.2.2 changes since 0.2.1:
547
548   Bugs fixed:
549
550     * Fix behavior of PRINT SPACE for negative arguments.
551
552     * Fix reading some unusual system files.
553
554     * Fix LIST problems with very long variables.  Thanks to Hankin
555       <hankin@dunno.com> for this bug report.
556
557     * Fix problems with some string format specifiers.
558
559     * Fix use of $CASENUM in expressions.  Thanks to Dirk Melcher
560       <BZN-mdksh@t-online.de> for reporting this bug.
561
562     * Additional DATA LIST FREE and DATA LIST LIST fixes.  Thanks to
563       Hankin <hankin@dunno.com> again on this one.
564
565     * Sometimes you may encounter a PSPP script that has to be
566       interpreted in interactive mode.  Now you can use the -i flag to
567       do this.
568
569     * Warnings for egcs 1.1.1 cleaned up.  (However you'll get lots of
570       `unused variable' warnings under gcc 2.7.2.3, fixing this will
571       take more effort.)
572
573     * Tests fixed.
574
575     * The files in gmp need the internationalization directory in
576       their include path.  Thanks to OKUJI Yoshinori
577       <okuji@kuicr.kyoto-u.ac.jp> for pointing this out.
578
579 Version 0.2.1 changes since 0.2.0:
580
581   Bugs fixed:
582
583     * Remember to include examples/ directory in distribution :-)
584
585     * Fixed gmp compile problems for some non-i386 architectures.
586       Thanks to Hans Olav Eggestad <olav@jordforsk.nlh.no> and others
587       for reporting this.
588
589     * DATA LIST FREE and DATA LIST LIST parsing of input files is now
590       matches the documented behavior exactly, and error messages are
591       more helpful.  Thanks to Mark H. Wood <mwood@IUPUI.Edu>.
592
593 Version 0.2.0 changes since 0.1.0:
594
595   Procedures now implemented:
596     * CROSSTABS.  Please see documentation for caveats.
597
598   Transformations and utilities now implemented:
599     * AGGREGATE
600     * APPLY DICTIONARY
601     * CLEAR TRANSFORMATIONS
602     * DISPLAY (all subcommands).
603     * ERASE
604     * FLIP
605     * EXPORT
606     * HOST
607     * IMPORT
608     * MATCH FILES
609     * MATRIX DATA
610     * NEW FILE
611     * REPEATING DATA
612
613   Support for input and output through pipes: "|command" and
614   "command|" filenames; support for special filenames "-", "stdin",
615   "stdout", "stderr".
616
617   New command-line features:
618     * New option --testing-mode: Invoke heuristics to assist testing.
619     * New option --safer, -s: Don't allow certain unsafe operations.
620     * New option --command=CMD, -c CMD: Perform literal command CMD.
621     * rc file ~/.pspp/rc is executed before any other files.
622     * Now multiple syntax files can be specified.
623
624   Operator LAG is now implemented.
625
626   Added missing FILE subcommand to REREAD.
627
628   Table output manager completely rewritten.
629
630   Device configuration file syntax changed.  You will need to
631   reinstall your `devices' file.
632
633   New output driver for HTML.
634
635   PostScript driver and prologue simplified.
636
637   Many bugs fixed.  General source-code cleanup.
638
639   Added Texinfo documentation for:
640     * PSPP system file format
641     * PSPP portable file format
642     * How to write input for q2c parser generator
643     * HTML driver
644
645   PSPP language is now fully documented.  Please report any
646   inaccuracies or omissions in the documentation.
647
648 Changes for version 0.1.0:
649
650   First public release.  For changes from unreleased development
651   versions, please see ONEWS.
652 \f
653 ----------------------------------------------------------------------
654 Copyright information:
655
656 Copyright (C) 1996-9, 2000 Free Software Foundation, Inc.
657
658    Permission is granted to anyone to make or distribute verbatim
659    copies of this document as received, in any medium, provided that
660    the copyright notice and this permission notice are preserved, thus
661    giving the recipient permission to redistribute in turn.
662
663    Permission is granted to distribute modified versions of this
664    document, or of portions of it, under the above conditions,
665    provided also that they carry prominent notices stating who last
666    changed them.
667 \f
668 Local variables:
669 version-control: never
670 mode: indented-text
671 end: