Merge master into output branch.
[pspp] / NEWS
1 PSPP NEWS -- history of user-visible changes.
2 Time-stamp: <2009-07-29 20:52:41 blp>
3 Copyright (C) 1996-9, 2000, 2008, 2009 Free Software Foundation, Inc.
4 See the end for copying conditions.
5
6 Please send PSPP bug reports to bug-gnu-pspp@gnu.org.
7
8 Changes from 0.7.2 to 0.7.3:
9
10  * Charts are now produced with Cairo and Pango, instead of libplot.
11    Without them, the new graphing features will not work.  If you do
12    not have Cairo and Pango installed, you must run `configure' with
13    --without-cairo.
14
15 Changes from 0.7.1 to 0.7.2:
16
17  * Updated Perl module interface.
18
19  * Value labels for long string variables are now supported.
20
21  * Missing values for long string variables are now supported.
22
23 Changes from 0.7.0 to 0.7.1:
24
25  *  Added a perl module to facilitate reading and writing of pspp system 
26     files from perl programs.
27
28 Changes from 0.6.1 to 0.7.0:
29
30   * Custom variable and data file attributes are now supported.
31     Commands VARIABLE ATTRIBUTE and DATAFILE ATTRIBUTE have been added
32     for setting and clear attributes.  Support for attributes has also
33     been added to commands that read and write system files, such as
34     SAVE and GET, as well as to the DISPLAY command.
35
36 Changes from 0.6.0 to 0.6.1:
37
38   * Statistical bug fixes:
39
40     - Report correct standardized regression coefficients in linear
41       regression output (bug #23567).
42
43   * Bug fixes that affect PSPP and PSPPIRE:
44
45     - Avoid crash with pie charts (bug #24014).
46
47     - Don't append % to count totals (bug #24003).
48
49     - Don't crash on bad input (bug #24031).
50
51     - Don't crash if "end data." is not left aligned (bug #24115).
52
53     - Change default workspace value to 64 MB, to avoid unnecessary
54       disk accesses on modern machines.
55
56   * PSPPIRE bug fixes:
57
58     - Add ".sav" or ".por" suffix to filename when saving with Save_As
59       (bug #23137).
60
61     - Make it possible to reopen the output window on Windows (bug
62       #24033).
63
64     - A POSIX regular expression library is now included and used
65       automatically if the host does not have one or has one that is
66       inadequate.
67
68   * Build fixes and changes:
69
70     - Work around bug in GSL that prevented build with recent GCC
71       versions without manually adding -fgnu89-inline to CFLAGS.
72
73     - Also warn about missing prerequisites as we encounter them (bug
74       #24445).
75
76     - Distribute necessary files to allow users working from the
77       distributed tarball to configure with --enable-gui-tools.
78
79     - Append $(EXEEXT_FOR_BUILD) to output file name when building
80       q2c, fixing build problems on Windows.
81
82     - GSL 1.8 or later is now required.
83
84     - Build errors with --enable-relocatable were fixed.
85
86   * The German translations were removed, since native German speakers
87     found them too poor to be useful.
88
89 Changes from 0.4.0 to 0.6.0:
90
91   * The PSPP license is now version 3 or later of the GNU General
92     Public License.  Previously, it was version 2 or later.
93
94   * PSPP now has a graphical interface, called PSPPIRE.  This
95     interface allows you to enter data and variable definitions
96     interactively.  Commands may be executed in syntax form, or by
97     using the interactive dialog boxes available from the dropdown
98     menus.
99
100   * A few sample syntax files are now included in the `examples'
101     directory.
102
103   * Numerous major and minor bugs have been fixed.
104
105   Build changes:
106
107     * The INSTALL file now reflects the details of how to install
108       PSPP.  It is a tailored version of the generic installation
109       instructions, instead of a verbatim copy.
110
111     * iconv, which is ordinarily installed as part of a Unix-like
112       system, is now required.  If you don't have it already, you can
113       install GNU libiconv (http://www.gnu.org/software/libiconv/).
114
115     * libxml2 and zlib are new optional dependencies.  They are
116       required to use PSPP's support for reading Gnumeric files.
117
118   Statistical procedure changes:
119
120     * REGRESSION is a new procedure for fitting linear models to data
121       via least-squares estimation.
122
123     * NPAR TESTS is a new procedure for non-parametric tests.  In this
124       release, it supports binomial and chi-square tests.
125
126     * RANK is a new procedure to rank variables.  It supports numerous
127       forms of ranking.
128
129     * FREQUENCIES can now output histograms and pie charts.  These
130       features were present in earlier releases, but not documented.
131
132   User interface changes:
133
134     * In many situations where PSPP once terminated with a fatal
135       error, PSPP now recovers and continues execution.
136
137     * PSPP is now able to start up and run even if it cannot find its
138       configuration files.
139
140     * Journaling of interactive commands to a disk file is now
141       implemented.  By default, journaling is enabled, to a file named
142       `pspp.jnl' in the current directory.  SET JOURNAL may be used to
143       control journaling.
144
145     * The use of `+' between syntax file names on the command line to
146       prevent the dictionary from being cleared between their
147       executions is no longer supported.  All syntax files are now
148       executed as if `+' had been specified.
149
150     * The -d/--define and -u/--undef command line options are no
151       longer supported.  Instead, use /usr/bin/env or shell primitives
152       to define or clear environment variables before invoking PSPP.
153
154     * If a syntax file named named `rc' is found in a configuration
155       directory (such as $HOME/.pspp), it is executed before any
156       syntax file specified on the command line.  The -r or
157       --no-statrc command line option may be used to disable this
158       behavior.
159
160   Output changes:
161
162     * Output configuration options have changed.  Please refer to the
163       manual for a full description of the available options.
164
165       In consequence, you will need to reinstall your "devices" file.
166       "make install" will do this for you.
167
168     * Most error messages are now written to PSPP output files by
169       default.  SET ERROR can be used to disable this behavior.
170
171     * When invoked interactively, PSPP now by default produces output
172       on the terminal, piping it through the "more" program.
173       Previously, by default output was written only to file
174       pspp.list.  On most terminals, the page length used for output
175       automatically adapts to the terminal size, even if the terminal
176       is resized.
177
178     * ASCII driver:
179
180       - This driver now supports charts in output.  Charts are written
181         as separate files that the main output file refers to.  By
182         default, charts are written in PNG format to files named
183         pspp-1.png, pspp-2.png, and so on.
184
185       - Configurations are provided that use VT100 (and xterm)
186         line-drawing characters in tables.  The option "-o list-vt100"
187         requests use of this device for output to pspp.list.
188
189     * PostScript driver:
190
191       - The default paper size is now determined using the PAPERSIZE
192         environment variable, or the LC_PAPER locale category on
193         systems that support it.  If these are not set, the default is
194         now A4, instead of US letter.  To make US letter the default,
195         set PAPERSIZE to "letter" in your environment.
196
197       - Font metrics are now read from AFM files, instead of
198         Groff-format metrics files.  PostScript fonts can now be
199         embedded in output.
200
201         In consequence, you will need to install an AFM file for each
202         font used in PostScript output.  "make install" will install
203         AFM files for the standard PostScript fonts, including the
204         ones that the PostScript driver uses by default.
205
206       - Standard paper sizes no longer need to be specified through a
207         configuration file.  The "papersize" configuration file is no
208         longer needed, or supported.
209
210       - The PostScript prologue is no longer obtained from the
211         "ps-prologue" configuration file.  This configuration file is
212         no longer needed, or supported.
213
214     * HTML driver:
215
216       - The HTML prologue is no longer obtained from the
217         "html-prologue" configuration file.  This configuration file
218         is no longer needed, or supported.
219
220   Command language changes:
221
222     * The following commands are new:
223
224       - GET DATA, which currently supports reading Gnumeric files and
225         text data files.  It will be extended later to read other
226         types of foreign data.
227
228       - CD, to change the current directory.
229
230       - INSERT, to execute a syntax file.
231
232       - DELETE VARIABLES, to remove variables from the active file
233         dictionary.
234
235       - ADD DOCUMENT, to add text to active file documents.
236
237       - CLOSE FILE HANDLE (a PSPP extension; see below).
238
239       - XEXPORT, a PSPP extension that is a transformation equivalent
240         to EXPORT.
241
242     * The following functions for transformation expressions are new:
243
244       - DATEDIFF, for computing the difference of two dates.
245
246       - DATESUM, for advancing a date by a specified duration.
247
248       - VALUELABEL, to obtain the value label for a value.
249
250     * PSPP now supports very long string variables (over 255 bytes
251       long).
252
253     * MATCH FILES now supports the FIRST and LAST subcommands.
254
255     * Previous versions of PSPP prohibited using commands to both read and
256       write a single file at the same time.  Now, PSPP allows this, and
257       the new version of the file atomically replaces the old version.
258
259     * The following commands are no longer available.  They will be
260       re-implemented in a later release:
261
262       - CLEAR TRANSFORMATIONS
263
264       - MATRIX DATA
265
266       - REPEATING DATA
267
268     * The PROCESS IF command, which was deprecated, has been removed.
269       You may replace any usage of it by SELECT IF following
270       TEMPORARY, which has the same effect.
271
272     * The output format for variables created by VECTOR may now be
273       specified as part of the VECTOR syntax.
274
275   "Scratch files", a new PSPP extension:
276
277     A scratch file, like a system file, consists of a dictionary and
278     any number of cases.  Small scratch files are stored in memory;
279     one that grows too large is written to disk.  By default, any file
280     handle whose name begins with # is assumed to refer to a scratch
281     file.
282
283     Scratch files can be used just about anywhere a system or portable
284     file can be used.  Also, portable files are now allowed in most
285     places that system files were allowed in previous PSPP version.
286
287     A new CLOSE FILE HANDLE command allows the storage associated with
288     scratch files to be freed.  It also allows file handles to be
289     reassigned to new files.
290
291     For more information on scratch files, refer to the "File Handles"
292     section in the PSPP manual.  For specifics of what commands now
293     allow what kinds of files to be specified, refer to the
294     documentation on those particular commands.
295
296   Data access changes:
297
298     * Binary formats and IBM/360 formats, including ASCII/EBCDIC
299       translation, are now supported.  Use FILE HANDLE to specify the
300       format of these files.
301
302     * Little-endian, big-endian, and VAX-endian formats are now
303       supported for integer binary formats when reading and writing
304       data files.  The new RIB and WIB subcommands on the SET command
305       control endianness of integer data.  The default is the host's
306       native endianness.
307
308     * IEEE 754, VAX, and IBM hexadecimal formats are now supported for
309       floating point binary formats when reading and writing data
310       files.  The new RRB and WRB subcommands on the SET command
311       control the floating point format.  The default is the host's
312       native floating point format.
313
314     * DATA LIST now supports the SKIP subcommand, to skip records at
315       the beginning of a file.  For compatibility, DATA LIST now
316       treats N format as F format for FREE and LIST format input.
317
318     * The SAVE and XSAVE commands now support the UNSELECTED,
319       PERMISSIONS, NAMES, and MAP subcommands.
320
321     * The EXPORT command has been re-implemented to obtain better
322       results.  Support for the UNSELECTED, DIGITS, and TYPE
323       subcommands has been added.
324
325     * For compatibility, PRINT now inserts a space at the beginning of
326       every output line, even lines that would otherwise be blank,
327       when OUTFILE is specified.  (The behavior of WRITE is
328       unchanged.)
329
330     * For compatibility, PRINT EJECT now inserts the digit `1' at the
331       beginning of each line that should begin a new page.
332
333     * For compatibility, WRITE now outputs the system-missing value as
334       a field filled with spaces.  Binary formats are an exception.
335       (The behavior of PRINT is unchanged.)
336
337   Documentation:
338
339     * Input and output format descriptions have been rewritten.  They
340       now precisely describe what is accepted on input and written on
341       output.
342
343     * The descriptions of the PSPP system and portable file formats
344       have been extensively revised and improved.
345
346   For developers, the build system now requires Autoconf 2.60 and
347   Automake 1.10.
348 \f
349 Changes from 0.3.0 to 0.4.0:
350
351   Changes in build dependencies:
352
353     * The GNU Scientific Library (libgsl), version 1.6 or later, is
354       now required.
355
356     * libplot from GNU plotutils is optional.  Without it, the new
357       graphing features will not work.  If you do not have it
358       installed, you must run `configure' with --without-libplot.
359
360     * libgmp2 is no longer a dependency.
361
362   Newly implemented commands and statistical features:
363
364     * EXAMINE, including its graphing features.
365
366     * FREQUENCIES now supports percentiles.
367
368     * ONEWAY.
369
370     * PERMISSIONS.
371
372     * SHOW.
373
374     * SORT CASES now sorts stably, that is, two cases with equal sort
375       criteria will be in the same relative order before and after the
376       sort.
377
378     * T-TEST (re-written).
379
380     * DATE and USE.  These commands are parsed but otherwise ignored,
381       to enhance compatibility with certain command files that invoke
382       them unnecessarily.
383
384     * VARIABLE WIDTH, VARIABLE ALIGNMENT, and VARIABLE LEVEL.  These
385       currently have no effect on PSPP output, but their values are
386       written to and read from system files and thus may affect
387       third-party software.
388
389     * SET EPOCH implemented.
390
391     * DATA LIST FREE and DATA LIST LIST now support arbitrary field
392       delimiters.
393
394     * FILE HANDLE now supports custom tab widths.
395
396   Long variable names (and other identifiers) are now supported.  Up
397   to the first 64 bytes of each identifier is significant.  PSPP now
398   reads and writes system files compatible with SPSS version 12.
399
400   New --algorithm and --syntax command line options allow
401   SPSS-compatible or enhanced modes to be selected.
402
403   Support for transformation expressions has been rewritten and
404   significantly improved.  Refer to the manual for details.
405
406   Calculation of moments (mean, standard deviation, kurtosis,
407   skewness) has been rewritten and should now be more accurate.  In
408   --algorithm=enhanced mode moments may be more accurate than SPSS in
409   some cases.
410
411   Numerous bugs have been fixed, too many to mention here.  Many new
412   tests have been added, leading to the discovery and fixing of many
413   of these bugs.
414
415   The ASCII output driver can now squeeze multiple blank lines into
416   single blank lines.
417
418   Much of the code has been rewritten and refactored.  It is now much
419   cleaner.
420
421   The FILE TYPE and REPEATING DATA commands have been disabled for
422   this release because their implementations were deemed too buggy to
423   be useful.  They will be fixed and replaced in a future release.
424
425   New pspp-mode for Emacs (in pspp-mode.el).
426
427   Added rudimentary command-line completion for interactive input.
428
429   lib/julcal and lib/dcdflib are no longer used, so they have been
430   removed.
431
432   For developers, the build system now requires Autoconf 2.58 and
433   Automake 1.7.  The included gettext has been updated to version
434   0.12.1.
435
436   Some reports state that Texinfo 4.8, the latest version, may be
437   necessary to successfully format the documentation on some systems.
438
439 Version 0.3.0 changes since 0.2.3:
440
441   Bugs fixed:
442
443     * Using alphanumeric variables in functions under AGGREGATE
444       segfaulted.  Fixed.
445
446     * Under certain circumstances, the final case would be omitted
447       from the results of an AGGREGATE operation.  Fixed.
448
449     * Undefined behavior was invoked by referencing a freed pointer
450       under certain circumstances.  Fixed.
451
452     * A wrong record size was displayed when paging the active file to
453       disk.  Fixed.
454
455     * Not having enough temporary space for sorting caused a core
456       dump.  Fixed.
457
458     * Syntax errors in function descriptions on AGGREGATE caused core
459       dumps.  Fixed.
460
461     * A null pointer was dereferenced, causing a core dump, when
462       PERCENTILES was specified on FREQUENCIES.  This fixes the
463       problem, but PSPP still doesn't calculate percentiles.
464
465     * SORT always sorted in ascending order.  Fixed.
466
467     * Some minor memory leaks in the expression parser were removed.
468
469     * Many assertions fixed for strict ANSI C compliance.
470
471   New features:
472
473     * SET ECHO ON now implemented, but turned off by default.
474
475     * PRINT specifier supported on END REPEAT.
476
477   Other:
478
479     * System libgmp2 library is used if installed instead of
480       unconditionally using the included libgmp2 subset.
481
482     * Extensive code cleanup, which continues.
483
484     * Added CORRELATIONS command parser, but not implemented.
485
486 Version 0.2.3 changes since 0.2.2:
487
488   Bugs fixed:
489
490     * SPLIT FILE with a string variable caused a core dump.  Fixed.
491
492     * Nested INCLUDEs didn't work.  Fixed.
493
494     * The MATCH FILES procedure set the values of variables not present
495       to 0.  It should have been SYSMIS.  This is now fixed.
496
497     * The REMARK command was too aggressive about skipping lines.  It
498       didn't like being the last command in a file.
499
500     * Comment parsing wasn't consistent with the rest of the code in its
501       idea of where one command ends and another starts.  This meant
502       that sometimes commands would be mysteriously ignored.  Thanks to
503       Dr. Dirk Melcher <BZN-mdksh@t-online.de> for reporting this bug.
504
505     * The TABLE subcommand on MATCH FILES worked only erratically at
506       best.  This fixes it.  Thanks to Dr. Dirk Melcher
507       <BZN-mdksh@t-online.de> for reporting this bug.
508
509     * VARIABLE LABELS rejected a slash before the first variable
510       specification, contradicting the documentation.  Thanks to Walter
511       M. Gray <graywm@northernc.on.ca> for reporting this bug.
512
513     * Because of an incorrect optimization in memory allocation,
514       CROSSTABS sometimes segfaulted when asked to output multiple
515       tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
516       reporting this bug.
517
518     * CROSSTABS didn't display value labels for column and row
519       variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
520       reporting this bug.
521
522     * WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
523       <BZN-mdksh@t-online.de> for reporting this bug.
524
525     * The TABLE subcommand on MATCH FILES worked only erratically at
526       best.  This fixes it.  Thanks to Dr. Dirk Melcher
527       <BZN-mdksh@t-online.de> for reporting this bug.
528
529     * VARIABLE LABELS rejected a slash before the first variable
530       specification, contradicting the documentation.  Thanks to Walter
531       M. Gray <graywm@northernc.on.ca> for reporting this bug.
532
533     * Because of an incorrect optimization in memory allocation,
534       CROSSTABS sometimes segfaulted when asked to output multiple
535       tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
536       reporting this bug.
537
538     * CROSSTABS didn't display value labels for column and row
539       variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
540       reporting this bug.
541
542     * WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
543       <BZN-mdksh@t-online.de> for reporting this bug.
544
545     * MATCH FILES corrupted memory and dumped core on some syntax
546       errors.  Fixed.
547
548     * MATCH FILES should set numeric values not available to the
549       system-missing value, not to 0.  Thanks to Dr. Dirk Melcher
550       <BZN-mdksh@t-online.de> for reporting this bug.
551
552     * KEEP didn't work properly on the SAVE procedure.  Fixed.  Thanks
553       to Ralf Geschke <ralf@kuerbis.org> for reporting this bug.
554
555     * Memory leak fix.
556
557     * Some systems didn't like the way open_file was coded.  Thanks to
558       Hankin <hankin@rogue.consultco.com> for pointing this out.
559
560     * The SAVE procedure didn't save long string variables properly.
561       Fixed by this patch.  Thanks to Hankin
562       <hankin@rogue.consultco.com> for this patch.
563
564     * Minor documentation fixes for MATCH FILES.
565
566 Version 0.2.2 changes since 0.2.1:
567
568   Bugs fixed:
569
570     * Fix behavior of PRINT SPACE for negative arguments.
571
572     * Fix reading some unusual system files.
573
574     * Fix LIST problems with very long variables.  Thanks to Hankin
575       <hankin@dunno.com> for this bug report.
576
577     * Fix problems with some string format specifiers.
578
579     * Fix use of $CASENUM in expressions.  Thanks to Dirk Melcher
580       <BZN-mdksh@t-online.de> for reporting this bug.
581
582     * Additional DATA LIST FREE and DATA LIST LIST fixes.  Thanks to
583       Hankin <hankin@dunno.com> again on this one.
584
585     * Sometimes you may encounter a PSPP script that has to be
586       interpreted in interactive mode.  Now you can use the -i flag to
587       do this.
588
589     * Warnings for egcs 1.1.1 cleaned up.  (However you'll get lots of
590       `unused variable' warnings under gcc 2.7.2.3, fixing this will
591       take more effort.)
592
593     * Tests fixed.
594
595     * The files in gmp need the internationalization directory in
596       their include path.  Thanks to OKUJI Yoshinori
597       <okuji@kuicr.kyoto-u.ac.jp> for pointing this out.
598
599 Version 0.2.1 changes since 0.2.0:
600
601   Bugs fixed:
602
603     * Remember to include examples/ directory in distribution :-)
604
605     * Fixed gmp compile problems for some non-i386 architectures.
606       Thanks to Hans Olav Eggestad <olav@jordforsk.nlh.no> and others
607       for reporting this.
608
609     * DATA LIST FREE and DATA LIST LIST parsing of input files is now
610       matches the documented behavior exactly, and error messages are
611       more helpful.  Thanks to Mark H. Wood <mwood@IUPUI.Edu>.
612
613 Version 0.2.0 changes since 0.1.0:
614
615   Procedures now implemented:
616     * CROSSTABS.  Please see documentation for caveats.
617
618   Transformations and utilities now implemented:
619     * AGGREGATE
620     * APPLY DICTIONARY
621     * CLEAR TRANSFORMATIONS
622     * DISPLAY (all subcommands).
623     * ERASE
624     * FLIP
625     * EXPORT
626     * HOST
627     * IMPORT
628     * MATCH FILES
629     * MATRIX DATA
630     * NEW FILE
631     * REPEATING DATA
632
633   Support for input and output through pipes: "|command" and
634   "command|" filenames; support for special filenames "-", "stdin",
635   "stdout", "stderr".
636
637   New command-line features:
638     * New option --testing-mode: Invoke heuristics to assist testing.
639     * New option --safer, -s: Don't allow certain unsafe operations.
640     * New option --command=CMD, -c CMD: Perform literal command CMD.
641     * rc file ~/.pspp/rc is executed before any other files.
642     * Now multiple syntax files can be specified.
643
644   Operator LAG is now implemented.
645
646   Added missing FILE subcommand to REREAD.
647
648   Table output manager completely rewritten.
649
650   Device configuration file syntax changed.  You will need to
651   reinstall your `devices' file.
652
653   New output driver for HTML.
654
655   PostScript driver and prologue simplified.
656
657   Many bugs fixed.  General source-code cleanup.
658
659   Added Texinfo documentation for:
660     * PSPP system file format
661     * PSPP portable file format
662     * How to write input for q2c parser generator
663     * HTML driver
664
665   PSPP language is now fully documented.  Please report any
666   inaccuracies or omissions in the documentation.
667
668 Changes for version 0.1.0:
669
670   First public release.  For changes from unreleased development
671   versions, please see ONEWS.
672 \f
673 ----------------------------------------------------------------------
674 Copyright information:
675
676 Copyright (C) 1996-9, 2000 Free Software Foundation, Inc.
677
678    Permission is granted to anyone to make or distribute verbatim
679    copies of this document as received, in any medium, provided that
680    the copyright notice and this permission notice are preserved, thus
681    giving the recipient permission to redistribute in turn.
682
683    Permission is granted to distribute modified versions of this
684    document, or of portions of it, under the above conditions,
685    provided also that they carry prominent notices stating who last
686    changed them.
687 \f
688 Local variables:
689 version-control: never
690 mode: indented-text
691 end: