Add support for value labels on long string variables.
[pspp-builds.git] / NEWS
1 PSPP NEWS -- history of user-visible changes.
2 Time-stamp: <2009-05-24 16:40:48 blp>
3 Copyright (C) 1996-9, 2000, 2008, 2009 Free Software Foundation, Inc.
4 See the end for copying conditions.
5
6 Please send PSPP bug reports to bug-gnu-pspp@gnu.org.
7
8 Changes from 0.7.1 to 0.7.2:
9
10  * Updated Perl module interface.
11
12  * Value labels for long string variables are now supported.
13
14 Changes from 0.7.0 to 0.7.1:
15
16  *  Added a perl module to facilitate reading and writing of pspp system 
17     files from perl programs.
18
19 Changes from 0.6.1 to 0.7.0:
20
21   * Custom variable and data file attributes are now supported.
22     Commands VARIABLE ATTRIBUTE and DATAFILE ATTRIBUTE have been added
23     for setting and clear attributes.  Support for attributes has also
24     been added to commands that read and write system files, such as
25     SAVE and GET, as well as to the DISPLAY command.
26
27 Changes from 0.6.0 to 0.6.1:
28
29   * Statistical bug fixes:
30
31     - Report correct standardized regression coefficients in linear
32       regression output (bug #23567).
33
34   * Bug fixes that affect PSPP and PSPPIRE:
35
36     - Avoid crash with pie charts (bug #24014).
37
38     - Don't append % to count totals (bug #24003).
39
40     - Don't crash on bad input (bug #24031).
41
42     - Don't crash if "end data." is not left aligned (bug #24115).
43
44     - Change default workspace value to 64 MB, to avoid unnecessary
45       disk accesses on modern machines.
46
47   * PSPPIRE bug fixes:
48
49     - Add ".sav" or ".por" suffix to filename when saving with Save_As
50       (bug #23137).
51
52     - Make it possible to reopen the output window on Windows (bug
53       #24033).
54
55     - A POSIX regular expression library is now included and used
56       automatically if the host does not have one or has one that is
57       inadequate.
58
59   * Build fixes and changes:
60
61     - Work around bug in GSL that prevented build with recent GCC
62       versions without manually adding -fgnu89-inline to CFLAGS.
63
64     - Also warn about missing prerequisites as we encounter them (bug
65       #24445).
66
67     - Distribute necessary files to allow users working from the
68       distributed tarball to configure with --enable-gui-tools.
69
70     - Append $(EXEEXT_FOR_BUILD) to output file name when building
71       q2c, fixing build problems on Windows.
72
73     - GSL 1.8 or later is now required.
74
75     - Build errors with --enable-relocatable were fixed.
76
77   * The German translations were removed, since native German speakers
78     found them too poor to be useful.
79
80 Changes from 0.4.0 to 0.6.0:
81
82   * The PSPP license is now version 3 or later of the GNU General
83     Public License.  Previously, it was version 2 or later.
84
85   * PSPP now has a graphical interface, called PSPPIRE.  This
86     interface allows you to enter data and variable definitions
87     interactively.  Commands may be executed in syntax form, or by
88     using the interactive dialog boxes available from the dropdown
89     menus.
90
91   * A few sample syntax files are now included in the `examples'
92     directory.
93
94   * Numerous major and minor bugs have been fixed.
95
96   Build changes:
97
98     * The INSTALL file now reflects the details of how to install
99       PSPP.  It is a tailored version of the generic installation
100       instructions, instead of a verbatim copy.
101
102     * iconv, which is ordinarily installed as part of a Unix-like
103       system, is now required.  If you don't have it already, you can
104       install GNU libiconv (http://www.gnu.org/software/libiconv/).
105
106     * libxml2 and zlib are new optional dependencies.  They are
107       required to use PSPP's support for reading Gnumeric files.
108
109   Statistical procedure changes:
110
111     * REGRESSION is a new procedure for fitting linear models to data
112       via least-squares estimation.
113
114     * NPAR TESTS is a new procedure for non-parametric tests.  In this
115       release, it supports binomial and chi-square tests.
116
117     * RANK is a new procedure to rank variables.  It supports numerous
118       forms of ranking.
119
120     * FREQUENCIES can now output histograms and pie charts.  These
121       features were present in earlier releases, but not documented.
122
123   User interface changes:
124
125     * In many situations where PSPP once terminated with a fatal
126       error, PSPP now recovers and continues execution.
127
128     * PSPP is now able to start up and run even if it cannot find its
129       configuration files.
130
131     * Journaling of interactive commands to a disk file is now
132       implemented.  By default, journaling is enabled, to a file named
133       `pspp.jnl' in the current directory.  SET JOURNAL may be used to
134       control journaling.
135
136     * The use of `+' between syntax file names on the command line to
137       prevent the dictionary from being cleared between their
138       executions is no longer supported.  All syntax files are now
139       executed as if `+' had been specified.
140
141     * The -d/--define and -u/--undef command line options are no
142       longer supported.  Instead, use /usr/bin/env or shell primitives
143       to define or clear environment variables before invoking PSPP.
144
145     * If a syntax file named named `rc' is found in a configuration
146       directory (such as $HOME/.pspp), it is executed before any
147       syntax file specified on the command line.  The -r or
148       --no-statrc command line option may be used to disable this
149       behavior.
150
151   Output changes:
152
153     * Output configuration options have changed.  Please refer to the
154       manual for a full description of the available options.
155
156       In consequence, you will need to reinstall your "devices" file.
157       "make install" will do this for you.
158
159     * Most error messages are now written to PSPP output files by
160       default.  SET ERROR can be used to disable this behavior.
161
162     * When invoked interactively, PSPP now by default produces output
163       on the terminal, piping it through the "more" program.
164       Previously, by default output was written only to file
165       pspp.list.  On most terminals, the page length used for output
166       automatically adapts to the terminal size, even if the terminal
167       is resized.
168
169     * ASCII driver:
170
171       - This driver now supports charts in output.  Charts are written
172         as separate files that the main output file refers to.  By
173         default, charts are written in PNG format to files named
174         pspp-1.png, pspp-2.png, and so on.
175
176       - Configurations are provided that use VT100 (and xterm)
177         line-drawing characters in tables.  The option "-o list-vt100"
178         requests use of this device for output to pspp.list.
179
180     * PostScript driver:
181
182       - The default paper size is now determined using the PAPERSIZE
183         environment variable, or the LC_PAPER locale category on
184         systems that support it.  If these are not set, the default is
185         now A4, instead of US letter.  To make US letter the default,
186         set PAPERSIZE to "letter" in your environment.
187
188       - Font metrics are now read from AFM files, instead of
189         Groff-format metrics files.  PostScript fonts can now be
190         embedded in output.
191
192         In consequence, you will need to install an AFM file for each
193         font used in PostScript output.  "make install" will install
194         AFM files for the standard PostScript fonts, including the
195         ones that the PostScript driver uses by default.
196
197       - Standard paper sizes no longer need to be specified through a
198         configuration file.  The "papersize" configuration file is no
199         longer needed, or supported.
200
201       - The PostScript prologue is no longer obtained from the
202         "ps-prologue" configuration file.  This configuration file is
203         no longer needed, or supported.
204
205     * HTML driver:
206
207       - The HTML prologue is no longer obtained from the
208         "html-prologue" configuration file.  This configuration file
209         is no longer needed, or supported.
210
211   Command language changes:
212
213     * The following commands are new:
214
215       - GET DATA, which currently supports reading Gnumeric files and
216         text data files.  It will be extended later to read other
217         types of foreign data.
218
219       - CD, to change the current directory.
220
221       - INSERT, to execute a syntax file.
222
223       - DELETE VARIABLES, to remove variables from the active file
224         dictionary.
225
226       - ADD DOCUMENT, to add text to active file documents.
227
228       - CLOSE FILE HANDLE (a PSPP extension; see below).
229
230       - XEXPORT, a PSPP extension that is a transformation equivalent
231         to EXPORT.
232
233     * The following functions for transformation expressions are new:
234
235       - DATEDIFF, for computing the difference of two dates.
236
237       - DATESUM, for advancing a date by a specified duration.
238
239       - VALUELABEL, to obtain the value label for a value.
240
241     * PSPP now supports very long string variables (over 255 bytes
242       long).
243
244     * MATCH FILES now supports the FIRST and LAST subcommands.
245
246     * Previous versions of PSPP prohibited using commands to both read and
247       write a single file at the same time.  Now, PSPP allows this, and
248       the new version of the file atomically replaces the old version.
249
250     * The following commands are no longer available.  They will be
251       re-implemented in a later release:
252
253       - CLEAR TRANSFORMATIONS
254
255       - MATRIX DATA
256
257       - REPEATING DATA
258
259     * The PROCESS IF command, which was deprecated, has been removed.
260       You may replace any usage of it by SELECT IF following
261       TEMPORARY, which has the same effect.
262
263     * The output format for variables created by VECTOR may now be
264       specified as part of the VECTOR syntax.
265
266   "Scratch files", a new PSPP extension:
267
268     A scratch file, like a system file, consists of a dictionary and
269     any number of cases.  Small scratch files are stored in memory;
270     one that grows too large is written to disk.  By default, any file
271     handle whose name begins with # is assumed to refer to a scratch
272     file.
273
274     Scratch files can be used just about anywhere a system or portable
275     file can be used.  Also, portable files are now allowed in most
276     places that system files were allowed in previous PSPP version.
277
278     A new CLOSE FILE HANDLE command allows the storage associated with
279     scratch files to be freed.  It also allows file handles to be
280     reassigned to new files.
281
282     For more information on scratch files, refer to the "File Handles"
283     section in the PSPP manual.  For specifics of what commands now
284     allow what kinds of files to be specified, refer to the
285     documentation on those particular commands.
286
287   Data access changes:
288
289     * Binary formats and IBM/360 formats, including ASCII/EBCDIC
290       translation, are now supported.  Use FILE HANDLE to specify the
291       format of these files.
292
293     * Little-endian, big-endian, and VAX-endian formats are now
294       supported for integer binary formats when reading and writing
295       data files.  The new RIB and WIB subcommands on the SET command
296       control endianness of integer data.  The default is the host's
297       native endianness.
298
299     * IEEE 754, VAX, and IBM hexadecimal formats are now supported for
300       floating point binary formats when reading and writing data
301       files.  The new RRB and WRB subcommands on the SET command
302       control the floating point format.  The default is the host's
303       native floating point format.
304
305     * DATA LIST now supports the SKIP subcommand, to skip records at
306       the beginning of a file.  For compatibility, DATA LIST now
307       treats N format as F format for FREE and LIST format input.
308
309     * The SAVE and XSAVE commands now support the UNSELECTED,
310       PERMISSIONS, NAMES, and MAP subcommands.
311
312     * The EXPORT command has been re-implemented to obtain better
313       results.  Support for the UNSELECTED, DIGITS, and TYPE
314       subcommands has been added.
315
316     * For compatibility, PRINT now inserts a space at the beginning of
317       every output line, even lines that would otherwise be blank,
318       when OUTFILE is specified.  (The behavior of WRITE is
319       unchanged.)
320
321     * For compatibility, PRINT EJECT now inserts the digit `1' at the
322       beginning of each line that should begin a new page.
323
324     * For compatibility, WRITE now outputs the system-missing value as
325       a field filled with spaces.  Binary formats are an exception.
326       (The behavior of PRINT is unchanged.)
327
328   Documentation:
329
330     * Input and output format descriptions have been rewritten.  They
331       now precisely describe what is accepted on input and written on
332       output.
333
334     * The descriptions of the PSPP system and portable file formats
335       have been extensively revised and improved.
336
337   For developers, the build system now requires Autoconf 2.60 and
338   Automake 1.10.
339 \f
340 Changes from 0.3.0 to 0.4.0:
341
342   Changes in build dependencies:
343
344     * The GNU Scientific Library (libgsl), version 1.6 or later, is
345       now required.
346
347     * libplot from GNU plotutils is optional.  Without it, the new
348       graphing features will not work.  If you do not have it
349       installed, you must run `configure' with --without-libplot.
350
351     * libgmp2 is no longer a dependency.
352
353   Newly implemented commands and statistical features:
354
355     * EXAMINE, including its graphing features.
356
357     * FREQUENCIES now supports percentiles.
358
359     * ONEWAY.
360
361     * PERMISSIONS.
362
363     * SHOW.
364
365     * SORT CASES now sorts stably, that is, two cases with equal sort
366       criteria will be in the same relative order before and after the
367       sort.
368
369     * T-TEST (re-written).
370
371     * DATE and USE.  These commands are parsed but otherwise ignored,
372       to enhance compatibility with certain command files that invoke
373       them unnecessarily.
374
375     * VARIABLE WIDTH, VARIABLE ALIGNMENT, and VARIABLE LEVEL.  These
376       currently have no effect on PSPP output, but their values are
377       written to and read from system files and thus may affect
378       third-party software.
379
380     * SET EPOCH implemented.
381
382     * DATA LIST FREE and DATA LIST LIST now support arbitrary field
383       delimiters.
384
385     * FILE HANDLE now supports custom tab widths.
386
387   Long variable names (and other identifiers) are now supported.  Up
388   to the first 64 bytes of each identifier is significant.  PSPP now
389   reads and writes system files compatible with SPSS version 12.
390
391   New --algorithm and --syntax command line options allow
392   SPSS-compatible or enhanced modes to be selected.
393
394   Support for transformation expressions has been rewritten and
395   significantly improved.  Refer to the manual for details.
396
397   Calculation of moments (mean, standard deviation, kurtosis,
398   skewness) has been rewritten and should now be more accurate.  In
399   --algorithm=enhanced mode moments may be more accurate than SPSS in
400   some cases.
401
402   Numerous bugs have been fixed, too many to mention here.  Many new
403   tests have been added, leading to the discovery and fixing of many
404   of these bugs.
405
406   The ASCII output driver can now squeeze multiple blank lines into
407   single blank lines.
408
409   Much of the code has been rewritten and refactored.  It is now much
410   cleaner.
411
412   The FILE TYPE and REPEATING DATA commands have been disabled for
413   this release because their implementations were deemed too buggy to
414   be useful.  They will be fixed and replaced in a future release.
415
416   New pspp-mode for Emacs (in pspp-mode.el).
417
418   Added rudimentary command-line completion for interactive input.
419
420   lib/julcal and lib/dcdflib are no longer used, so they have been
421   removed.
422
423   For developers, the build system now requires Autoconf 2.58 and
424   Automake 1.7.  The included gettext has been updated to version
425   0.12.1.
426
427   Some reports state that Texinfo 4.8, the latest version, may be
428   necessary to successfully format the documentation on some systems.
429
430 Version 0.3.0 changes since 0.2.3:
431
432   Bugs fixed:
433
434     * Using alphanumeric variables in functions under AGGREGATE
435       segfaulted.  Fixed.
436
437     * Under certain circumstances, the final case would be omitted
438       from the results of an AGGREGATE operation.  Fixed.
439
440     * Undefined behavior was invoked by referencing a freed pointer
441       under certain circumstances.  Fixed.
442
443     * A wrong record size was displayed when paging the active file to
444       disk.  Fixed.
445
446     * Not having enough temporary space for sorting caused a core
447       dump.  Fixed.
448
449     * Syntax errors in function descriptions on AGGREGATE caused core
450       dumps.  Fixed.
451
452     * A null pointer was dereferenced, causing a core dump, when
453       PERCENTILES was specified on FREQUENCIES.  This fixes the
454       problem, but PSPP still doesn't calculate percentiles.
455
456     * SORT always sorted in ascending order.  Fixed.
457
458     * Some minor memory leaks in the expression parser were removed.
459
460     * Many assertions fixed for strict ANSI C compliance.
461
462   New features:
463
464     * SET ECHO ON now implemented, but turned off by default.
465
466     * PRINT specifier supported on END REPEAT.
467
468   Other:
469
470     * System libgmp2 library is used if installed instead of
471       unconditionally using the included libgmp2 subset.
472
473     * Extensive code cleanup, which continues.
474
475     * Added CORRELATIONS command parser, but not implemented.
476
477 Version 0.2.3 changes since 0.2.2:
478
479   Bugs fixed:
480
481     * SPLIT FILE with a string variable caused a core dump.  Fixed.
482
483     * Nested INCLUDEs didn't work.  Fixed.
484
485     * The MATCH FILES procedure set the values of variables not present
486       to 0.  It should have been SYSMIS.  This is now fixed.
487
488     * The REMARK command was too aggressive about skipping lines.  It
489       didn't like being the last command in a file.
490
491     * Comment parsing wasn't consistent with the rest of the code in its
492       idea of where one command ends and another starts.  This meant
493       that sometimes commands would be mysteriously ignored.  Thanks to
494       Dr. Dirk Melcher <BZN-mdksh@t-online.de> for reporting this bug.
495
496     * The TABLE subcommand on MATCH FILES worked only erratically at
497       best.  This fixes it.  Thanks to Dr. Dirk Melcher
498       <BZN-mdksh@t-online.de> for reporting this bug.
499
500     * VARIABLE LABELS rejected a slash before the first variable
501       specification, contradicting the documentation.  Thanks to Walter
502       M. Gray <graywm@northernc.on.ca> for reporting this bug.
503
504     * Because of an incorrect optimization in memory allocation,
505       CROSSTABS sometimes segfaulted when asked to output multiple
506       tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
507       reporting this bug.
508
509     * CROSSTABS didn't display value labels for column and row
510       variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
511       reporting this bug.
512
513     * WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
514       <BZN-mdksh@t-online.de> for reporting this bug.
515
516     * The TABLE subcommand on MATCH FILES worked only erratically at
517       best.  This fixes it.  Thanks to Dr. Dirk Melcher
518       <BZN-mdksh@t-online.de> for reporting this bug.
519
520     * VARIABLE LABELS rejected a slash before the first variable
521       specification, contradicting the documentation.  Thanks to Walter
522       M. Gray <graywm@northernc.on.ca> for reporting this bug.
523
524     * Because of an incorrect optimization in memory allocation,
525       CROSSTABS sometimes segfaulted when asked to output multiple
526       tables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
527       reporting this bug.
528
529     * CROSSTABS didn't display value labels for column and row
530       variables.  Thanks to Walter M. Gray <graywm@northernc.on.ca> for
531       reporting this bug.
532
533     * WRITE didn't write line ends.  Fixed.  Thanks to Dr. Dirk Melcher
534       <BZN-mdksh@t-online.de> for reporting this bug.
535
536     * MATCH FILES corrupted memory and dumped core on some syntax
537       errors.  Fixed.
538
539     * MATCH FILES should set numeric values not available to the
540       system-missing value, not to 0.  Thanks to Dr. Dirk Melcher
541       <BZN-mdksh@t-online.de> for reporting this bug.
542
543     * KEEP didn't work properly on the SAVE procedure.  Fixed.  Thanks
544       to Ralf Geschke <ralf@kuerbis.org> for reporting this bug.
545
546     * Memory leak fix.
547
548     * Some systems didn't like the way open_file was coded.  Thanks to
549       Hankin <hankin@rogue.consultco.com> for pointing this out.
550
551     * The SAVE procedure didn't save long string variables properly.
552       Fixed by this patch.  Thanks to Hankin
553       <hankin@rogue.consultco.com> for this patch.
554
555     * Minor documentation fixes for MATCH FILES.
556
557 Version 0.2.2 changes since 0.2.1:
558
559   Bugs fixed:
560
561     * Fix behavior of PRINT SPACE for negative arguments.
562
563     * Fix reading some unusual system files.
564
565     * Fix LIST problems with very long variables.  Thanks to Hankin
566       <hankin@dunno.com> for this bug report.
567
568     * Fix problems with some string format specifiers.
569
570     * Fix use of $CASENUM in expressions.  Thanks to Dirk Melcher
571       <BZN-mdksh@t-online.de> for reporting this bug.
572
573     * Additional DATA LIST FREE and DATA LIST LIST fixes.  Thanks to
574       Hankin <hankin@dunno.com> again on this one.
575
576     * Sometimes you may encounter a PSPP script that has to be
577       interpreted in interactive mode.  Now you can use the -i flag to
578       do this.
579
580     * Warnings for egcs 1.1.1 cleaned up.  (However you'll get lots of
581       `unused variable' warnings under gcc 2.7.2.3, fixing this will
582       take more effort.)
583
584     * Tests fixed.
585
586     * The files in gmp need the internationalization directory in
587       their include path.  Thanks to OKUJI Yoshinori
588       <okuji@kuicr.kyoto-u.ac.jp> for pointing this out.
589
590 Version 0.2.1 changes since 0.2.0:
591
592   Bugs fixed:
593
594     * Remember to include examples/ directory in distribution :-)
595
596     * Fixed gmp compile problems for some non-i386 architectures.
597       Thanks to Hans Olav Eggestad <olav@jordforsk.nlh.no> and others
598       for reporting this.
599
600     * DATA LIST FREE and DATA LIST LIST parsing of input files is now
601       matches the documented behavior exactly, and error messages are
602       more helpful.  Thanks to Mark H. Wood <mwood@IUPUI.Edu>.
603
604 Version 0.2.0 changes since 0.1.0:
605
606   Procedures now implemented:
607     * CROSSTABS.  Please see documentation for caveats.
608
609   Transformations and utilities now implemented:
610     * AGGREGATE
611     * APPLY DICTIONARY
612     * CLEAR TRANSFORMATIONS
613     * DISPLAY (all subcommands).
614     * ERASE
615     * FLIP
616     * EXPORT
617     * HOST
618     * IMPORT
619     * MATCH FILES
620     * MATRIX DATA
621     * NEW FILE
622     * REPEATING DATA
623
624   Support for input and output through pipes: "|command" and
625   "command|" filenames; support for special filenames "-", "stdin",
626   "stdout", "stderr".
627
628   New command-line features:
629     * New option --testing-mode: Invoke heuristics to assist testing.
630     * New option --safer, -s: Don't allow certain unsafe operations.
631     * New option --command=CMD, -c CMD: Perform literal command CMD.
632     * rc file ~/.pspp/rc is executed before any other files.
633     * Now multiple syntax files can be specified.
634
635   Operator LAG is now implemented.
636
637   Added missing FILE subcommand to REREAD.
638
639   Table output manager completely rewritten.
640
641   Device configuration file syntax changed.  You will need to
642   reinstall your `devices' file.
643
644   New output driver for HTML.
645
646   PostScript driver and prologue simplified.
647
648   Many bugs fixed.  General source-code cleanup.
649
650   Added Texinfo documentation for:
651     * PSPP system file format
652     * PSPP portable file format
653     * How to write input for q2c parser generator
654     * HTML driver
655
656   PSPP language is now fully documented.  Please report any
657   inaccuracies or omissions in the documentation.
658
659 Changes for version 0.1.0:
660
661   First public release.  For changes from unreleased development
662   versions, please see ONEWS.
663 \f
664 ----------------------------------------------------------------------
665 Copyright information:
666
667 Copyright (C) 1996-9, 2000 Free Software Foundation, Inc.
668
669    Permission is granted to anyone to make or distribute verbatim
670    copies of this document as received, in any medium, provided that
671    the copyright notice and this permission notice are preserved, thus
672    giving the recipient permission to redistribute in turn.
673
674    Permission is granted to distribute modified versions of this
675    document, or of portions of it, under the above conditions,
676    provided also that they carry prominent notices stating who last
677    changed them.
678 \f
679 Local variables:
680 version-control: never
681 mode: indented-text
682 end: