pivot table procedure conceptually works
[pspp] / NEWS
diff --git a/NEWS b/NEWS
index cb5b6d586ebae7fb9a667dff358990e0c3a088d0..fc676cc4b0e14b068f6114f447c70503511f5cbc 100644 (file)
--- a/NEWS
+++ b/NEWS
 PSPP NEWS -- history of user-visible changes.
-Time-stamp: <2007-11-03 23:01:41 blp>
-Copyright (C) 1996-9, 2000 Free Software Foundation, Inc.
+Copyright (C) 1996-2000, 2008-2014 Free Software Foundation, Inc.
 See the end for copying conditions.
 
 Please send PSPP bug reports to bug-gnu-pspp@gnu.org.
+Changes since 0.8.4:
 
-Changes since 0.4.3:
+ * SPSS/PC+ system files are now supported on GET and other commands
+   that read SPSS system files.  The pspp-convert program can now read
+   SPSS/PC+ system files.  Writing the obsolete SPSS/PC+ system file
+   format is not supported.
+
+ * SYSFILE INFO can now read SPSS/PC+ system files and SPSS portable
+   files.
+
+ * FREQUENCIES: A bug was fixed where an assertion failure occured
+   when an empty dataset was presented.
+
+ * The GRAPH command is now available.  Initially it supports
+   scatterplots and histograms.
+
+Changes from 0.8.3 to 0.8.4:
+
+ * Formatting of SYSFILE INFO output was made easier to read.
+
+ * Bug fixes, including the following notable ones:
+
+   - FREQUENCIES works properly for string variables.  (This bug was
+     introduced in 0.8.2.)
+
+   - CROSSTABS now correctly computes all of the measures that it
+     offers.  Some measures have been removed because they were not
+     computed correctly.
+
+   - The NPAR TESTS calculation of significance for the RUNS
+     subcommand has been corrected.
+
+   - Planned comparisons in ONEWAY ANOVA now correctly handle negative
+     T-values.
+
+   - Conformance fixes to Open Document output format.
+
+Changes from 0.8.2 to 0.8.3:
+
+ * Independent T-Tests displayed the standard error of the difference
+   and the confidence interval for the unequal variances case, where
+   the equal variances case should have been.  This has been fixed.
+
+ * REGRESSION now recognises /STATISTICS=CI(x) which causes confidence
+   intervals for the coefficients to be printed.
+
+ * When DESCRIPTIVES calculates Z scores, it now omits cases filtered
+   by the current FILTER settings.
+
+ * PSPPIRE graphical user interface improvements:
+
+   - Dialog boxes with source  variable lists can now choose the sort
+     order;  right click and select from the popup menu.
+
+   - File|Open now allows an encoding to be selected for opening
+     system files.
+
+   - File|Display Data File Information|External File... now allows an
+     encoding to be selected.
+
+   - A problem with the Means dialog has been resolved (bug #41433).
+
+   - Several problems related to the input of spreadsheets have been
+     fixed (bug #41657, #41620
+
+ * System file related improvements:
+
+   - With ENCODING="DETECT", SYSFILE INFO can now help the user to
+     pick an encoding for reading a system file that does not identify
+     its own encoding
+
+   - SYSFILE INFO now accepts an ENCODING subcommand to specify the
+     character encoding of string data in the system file.
+
+   - Variable labels over 255 bytes long are now accepted without
+     truncation (bug #41863).
+
+   - System files that contain duplicate variable names may now be
+     read successfully (bug #41475).
+
+Changes from 0.8.1 to 0.8.2:
+
+ * Charts are now rendered with colours from the Tango palette instead
+   of fully saturated primaries.
+
+ * Support for new system file variants:
+
+   - PSPP can now read and write ZCOMPRESSED system files, which
+     compress data much more effectively than older "compressed"
+     files.  (The older format is still supported.)
+
+   - PSPP can now decrypt encrypted system files, using the new
+     pspp-convert utility.  The encrypted system file format is
+     unacceptably insecure, so to discourage its use PSPP and PSPPIRE
+     do not directly read or write this format.
+
+ * Missing values for long string variables are now read from and
+   written to system files in an SPSS-compatible fashion.
+
+   (Earlier versions of PSPP that supported missing values for long
+   string variables wrote them to system files in an SPSS-incompatible
+   way.  To fix the problem, read the system file with this version of
+   PSPP and then save a new copy of it.)
+
+ * pspp-convert, a new standalone utility for converting SPSS system
+   and portable files to other formats, is now included.  The initial
+   version supports comma-separated value files as output format.
+   pspp-convert can also decrypt encrypted system files.
+
+ * Build changes:
+
+   - zlib is now a required dependency.  (Previously it was optional.)
+
+Changes from 0.8.0 to 0.8.1:
+
+ * New commands:
+
+   - VARIABLE ROLE.
+
+ * Changes to existing commands:
+
+   - CROSSTABS: The requirement that one expected count must be less than five
+       before Fishers Exact Test will be reported has been removed.
+
+ * PSPPIRE graphical user interface improvements:
+
+   - A new set of icons has been contributed.
+
+   - Syntax windows now parse syntax in "auto" mode, which in practice
+     should mean that both "batch" and "interactive" syntax now works,
+     instead of just "interactive" syntax.
+
+   - The variable pane of data windows now include a Role column.
+
+ * Notable bug fixes:
+
+   - System files written by IBM SPSS 21 are now read without warnings.
+
+   - System files written by "VOXCO INTERVIEWER 4.3" are now read
+     without warnings.
+
+   - PSPPIRE should now more gracefully handle syntax files that contain
+     errors.
+
+Changes from 0.6.2 to 0.8.0:
+
+ * New commands:
+
+   - ADD FILES
+   - CORRELATIONS
+   - DATAFILE ATTRIBUTES
+   - DATASET ACTIVATE
+   - DATASET CLOSE
+   - DATASET COPY
+   - DATASET DECLARE
+   - DATASET DISPLAY
+   - DATASET NAME
+   - LOGISTIC REGRESSION
+   - MATCH FILES
+   - MEANS
+   - MRSETS
+   - PRESERVE and RESTORE
+   - QUICK CLUSTER
+   - RELIABILITY
+   - ROC
+   - SAVE TRANSLATE to CSV and tab-delimited files
+   - UPDATE
+   - VARIABLE ATTRIBUTES
+
+ * Changes to existing commands:
+
+   - AUTORECODE has a new GROUP subcommand.
+
+   - CROSSTABS has been re-implemented to fix numerous bugs.
+
+   - EXAMINE: /MISSING=LISTWISE is now the default.
+
+   - DO REPEAT command has been reimplemented.  Now, when DO REPEAT
+     contains an INCLUDE or INSERT command, substitutions are not
+     applied to the included file.
+  
+   - FILE HANDLE has a new ENDS subcommand to select CR or CRLF new-lines.
+
+   - HOST has been updated to use more modern syntax.
+
+   - Most commands that work with data files now support a new
+     ENCODING subcommand.
+
+   - MISSING VALUES can now assign missing values to long string
+     variables.
+
+   - ONEWAY: the POSTHOC subcommand is now implemented.
+
+   - The following new subcommands to NPAR TESTS have been implemented:
+     COCHRAN, FRIEDMAN, JONCKHEERE-TERPSTRA, KENDALL, KRUSKAL-WALLIS, MANN-WHITNEY, 
+     MCNEMAR, SIGN, WILCOXON, and RUNS
+
+   - SET and SHOW no longer have ENDCMD, NULLINE, PROMPT, CPROMPT, and
+     DPROMPT subcommands.  The defaults are now fixed values.
+
+   - SHOW now has a JOURNAL subcommand, to show the location of the
+     journal file.
+
+   - VALUE LABELS can now assign value labels to long string
+     variables.
+
+ * Other language changes:
+
+   - The new DATASET commands replace the "scratch file" PSPP
+     extension, which is no longer supported.
+
+   - Strings may now include arbitrary Unicode code points specified
+     in hexadecimal, using the syntax U'hhhh'.  For example, Unicode
+     code point U+1D11E, the musical G clef character, may be
+     expressed as U'1D11E'.
+
+     See the "Tokens" section in the PSPP manual for more information.
+
+   - In previous versions of PSPP, in a string expressed in
+     hexadecimal with X'hh' syntax, the hexadecimal digits expressed
+     bytes in the locale encoding.  In this version of PSPP, X'hh'
+     syntax always expresses bytes in UTF-8 encoding.
+
+     See the "Tokens" section in the PSPP manual for more information.
+
+ * PSPPIRE graphical user interface improvements:
+
+   - Added support for non-ASCII characters in strings, labels and
+     variable names.
+
+   - A "Split Window" function is available, which makes it easier to
+     see different parts of a large data file.
+
+   - Data files can now be opened by specifing their name as the first
+     argument.  This means that on a properly configured desktop, double
+     clicking on an icon will open the file.
+
+   - Foreign formats, such as Gnumeric, OpenDocument and CSV can be imported
+     via using an "intelligent" application assistant dialog.
+
+ * Output changes:
+
+   - The new "cairo" output driver supports output in PostScript, PDF,
+     and SVG formats.  Its functionality is a superset of that of the
+     "postscript" driver, which has been removed.  You must have Cairo
+     and Pango installed to build the "cairo" driver.
+
+   - Charts are now produced with Cairo and Pango, instead of libplot.
+     Without them, the new graphing features will not work.  If you do
+     not have Cairo and Pango installed, you must run `configure' with
+     --without-cairo.
+
+   - The plain text output driver now properly supports multibyte UTF-8
+     characters, including double-width characters and combining
+     accents.
+
+   - Output to OpenDocument format is now supported.
+
+   - The HTML output is much improved.
+
+ * The "pspp" program has a new option --batch (or -b) that selects
+   "batch" syntax mode.  In previous versions of PSPP this syntax mode
+   was the default.  Now a new "auto" syntax mode is the default.  In
+   "auto" mode, PSPP interprets most syntax files correctly regardless
+   of their intended syntax mode.
+
+   See the "Syntax Variants" section in the PSPP manual for more
+   information.
+
+ * The "pspp" program has a new option --syntax-encoding that
+   specifies the encoding for syntax files listed on the command line,
+   as well as the default encoding for syntax files included with
+   INCLUDE or INSERT.  The default is to accept the system locale
+   encoding, UTF-8, UTF-16, or UTF-32, automatically detecting which
+   one the system file uses.
+
+   See the documentation for the INSERT command in the PSPP manual for
+   more information.
+
+ * Text data files that PRINT and WRITE creates now use the system
+   native line ends by default (CRLF on Windows, LF only elsewhere).
+   Use the new ENDS subcommand on FILE HANDLE to override the default.
+
+ * A new Perl module allows Perl programs to read and write PSPP
+   system files.
+
+ * A tutorial chapter has been added to the user manual.
+\f
+Changes from 0.6.1 to 0.6.2:
+
+  * New translations:
+
+    - Dutch, thanks to Harry Thijssen.
+
+    - Brazilian Portuguese, thanks to Michel Boaventura.
+
+    Thanks for translations are also due to the coordinators at
+    translationproject.org.
+
+  * Statistical bug fixes:
+
+    - REGRESSION: Report correct standard error of the estimate (bug
+      #25677).
+
+    - T-TEST: Report correct significance of paired sample T-test in
+      the common case (bug #26936) and corner cases.  Thanks to Mike
+      Griffiths and Matej Cepl for reporting these bugs.
+
+  * Build fixes and changes:
+
+    - Fix build with GTK+ 2.17.4 and later.
+
+    - Make running "make" after running "configure" with different
+      settings reliably rebuild version.c.
+
+    - Cygwin and MinGW build fixes.
+
+    - Fixes for building with recent gnulib.
+
+    - The Makefile now honors two new variables, PSPP_LDFLAGS and
+      PSPPIRE_LDFLAGS, that affect linking of the PSPP and PSPPIRE
+      binaries, respectively.  This makes building easier for some
+      packagers.
+
+    - Fixes for "configure --enable-relocatable" (bug #25508).
+
+  * Data file bug fixes and changes:
+
+    - Fix reading text data files that contain a mix of white space
+      and commas.  Now "a ,b" is treated as two fields containing "a"
+      and "b"; previously it was treated as three, with an empty field
+      in the middle.
+
+    - Fix writing corrupted .sav files on Windows.
+
+    - Fix writing variable labels longer than 252 bytes to save files.
+      Thanks to Robert Westlund for reporting this bug.
+
+    - Fix writing corrupted .por files (bug #26034).
+
+    - Fix reading .por files whose initial lines are not padded out
+      with spaces as expected.
+
+    - PSPP will no longer issue warnings about some .sav file records
+      or values that it does not understand.  These warnings were
+      harmless, but needlessly alarmed some users.
+
+    - Fix crash reading empty string fields from PostgreSQL databases.
+
+  * Bug fixes that affect PSPP and PSPPIRE:
+
+    - Users may now control precision of output statistics.  Instead
+      of hard coding the width and decimals of output numbers, respect
+      the default format in most instances.  Counts are now normally
+      displayed with the format of the weight variable, if any.
+
+    - Fix crash when an INSERT command specifies the name of a file
+      that does not exist (bug #24569).
+
+    - Fix crash when CROSSTABS specifies a long-string variable (bugs
+      #24557 and #26131).
+
+    - Fix crash drawing pie charts with many segments.
+
+    - Fix crash when NUMERIC specifies an invalid format.
+
+  * PSPPIRE bug fixes and changes:
+
+    - On Windows, write the output file to the user's home directory
+      instead of the current directory, to better match user
+      expectations.
+
+    - Some data editor fixes.
+
+  * Documentation:
+
+    - Fix typo in BINOMIAL section of user manual (bug #25892).
+
+Changes from 0.6.0 to 0.6.1:
+
+  * Statistical bug fixes:
+
+    - Report correct standardized regression coefficients in linear
+      regression output (bug #23567).
+
+  * Bug fixes that affect PSPP and PSPPIRE:
+
+    - Avoid crash with pie charts (bug #24014).
+
+    - Don't append % to count totals (bug #24003).
+
+    - Don't crash on bad input (bug #24031).
+
+    - Don't crash if "end data." is not left aligned (bug #24115).
+
+    - Change default workspace value to 64 MB, to avoid unnecessary
+      disk accesses on modern machines.
+
+  * PSPPIRE bug fixes:
+
+    - Add ".sav" or ".por" suffix to filename when saving with Save_As
+      (bug #23137).
+
+    - Make it possible to reopen the output window on Windows (bug
+      #24033).
+
+    - A POSIX regular expression library is now included and used
+      automatically if the host does not have one or has one that is
+      inadequate.
+
+  * Build fixes and changes:
+
+    - Work around bug in GSL that prevented build with recent GCC
+      versions without manually adding -fgnu89-inline to CFLAGS.
+
+    - Also warn about missing prerequisites as we encounter them (bug
+      #24445).
+
+    - Distribute necessary files to allow users working from the
+      distributed tarball to configure with --enable-gui-tools.
+
+    - Append $(EXEEXT_FOR_BUILD) to output file name when building
+      q2c, fixing build problems on Windows.
+
+    - GSL 1.8 or later is now required.
+
+    - Build errors with --enable-relocatable were fixed.
+
+  * The German translations were removed, since native German speakers
+    found them too poor to be useful.
+
+Changes from 0.4.0 to 0.6.0:
 
   * The PSPP license is now version 3 or later of the GNU General
     Public License.  Previously, it was version 2 or later.
 
-  * PSPP now has a graphical interface, called PSPPIRE.
+  * PSPP now has a graphical interface, called PSPPIRE.  This
+    interface allows you to enter data and variable definitions
+    interactively.  Commands may be executed in syntax form, or by
+    using the interactive dialog boxes available from the dropdown
+    menus.
 
   * A few sample syntax files are now included in the `examples'
     directory.
@@ -49,6 +483,9 @@ Changes since 0.4.3:
     * In many situations where PSPP once terminated with a fatal
       error, PSPP now recovers and continues execution.
 
+    * PSPP is now able to start up and run even if it cannot find its
+      configuration files.
+
     * Journaling of interactive commands to a disk file is now
       implemented.  By default, journaling is enabled, to a file named
       `pspp.jnl' in the current directory.  SET JOURNAL may be used to
@@ -71,6 +508,12 @@ Changes since 0.4.3:
 
   Output changes:
 
+    * Output configuration options have changed.  Please refer to the
+      manual for a full description of the available options.
+
+      In consequence, you will need to reinstall your "devices" file.
+      "make install" will do this for you.
+
     * Most error messages are now written to PSPP output files by
       default.  SET ERROR can be used to disable this behavior.
 
@@ -81,36 +524,55 @@ Changes since 0.4.3:
       automatically adapts to the terminal size, even if the terminal
       is resized.
 
-    * The ASCII output driver now supports charts in output.  Charts
-      are written as separate files that the main output file refers
-      to.  By default, charts are written in PNG format to files named
-      pspp-1.png, pspp-2.png, and so on.
+    * ASCII driver:
 
-    * An output device is provided that uses VT100 (and xterm)
-      line-drawing characters in tables.  The option "-o list-vt100"
-      requests use of this device for output to pspp.list.
+      - This driver now supports charts in output.  Charts are written
+        as separate files that the main output file refers to.  By
+        default, charts are written in PNG format to files named
+        pspp-1.png, pspp-2.png, and so on.
 
-    * The default paper size for the PostScript driver is now determined
-      using the PAPERSIZE environment variable, or the LC_PAPER locale
-      category on systems that support it.  If these are not set, the
-      default is now A4, instead of US letter.  To make US letter the
-      default, set PAPERSIZE to "letter" in your environment.
+      - Configurations are provided that use VT100 (and xterm)
+        line-drawing characters in tables.  The option "-o list-vt100"
+        requests use of this device for output to pspp.list.
 
-    * Standard paper sizes no longer need to be specified through a
-      configuration file.  The "papersize" configuration file is no
-      longer needed, or supported.
+    * PostScript driver:
 
-    * The HTML and PostScript prologues are no longer obtained from
-      the "html-prologue" and "ps-prologue" configuration files.
-      These configuration files are no longer needed, or supported.
+      - The default paper size is now determined using the PAPERSIZE
+        environment variable, or the LC_PAPER locale category on
+        systems that support it.  If these are not set, the default is
+        now A4, instead of US letter.  To make US letter the default,
+        set PAPERSIZE to "letter" in your environment.
+
+      - Font metrics are now read from AFM files, instead of
+        Groff-format metrics files.  PostScript fonts can now be
+        embedded in output.
+
+        In consequence, you will need to install an AFM file for each
+        font used in PostScript output.  "make install" will install
+        AFM files for the standard PostScript fonts, including the
+        ones that the PostScript driver uses by default.
+
+      - Standard paper sizes no longer need to be specified through a
+        configuration file.  The "papersize" configuration file is no
+        longer needed, or supported.
+
+      - The PostScript prologue is no longer obtained from the
+        "ps-prologue" configuration file.  This configuration file is
+        no longer needed, or supported.
+
+    * HTML driver:
+
+      - The HTML prologue is no longer obtained from the
+        "html-prologue" configuration file.  This configuration file
+        is no longer needed, or supported.
 
   Command language changes:
 
     * The following commands are new:
 
-      - GET DATA, which currently supports reading Gnumeric files.  It
-       will be extended later to read other types of foreign data
-       files.
+      - GET DATA, which currently supports reading Gnumeric files and
+        text data files.  It will be extended later to read other
+        types of foreign data.
 
       - CD, to change the current directory.
 
@@ -121,6 +583,8 @@ Changes since 0.4.3:
 
       - ADD DOCUMENT, to add text to active file documents.
 
+      - CLOSE FILE HANDLE (a PSPP extension; see below).
+
       - XEXPORT, a PSPP extension that is a transformation equivalent
         to EXPORT.
 
@@ -132,6 +596,9 @@ Changes since 0.4.3:
 
       - VALUELABEL, to obtain the value label for a value.
 
+    * PSPP now supports very long string variables (over 255 bytes
+      long).
+
     * MATCH FILES now supports the FIRST and LAST subcommands.
 
     * Previous versions of PSPP prohibited using commands to both read and
@@ -154,6 +621,27 @@ Changes since 0.4.3:
     * The output format for variables created by VECTOR may now be
       specified as part of the VECTOR syntax.
 
+  "Scratch files", a new PSPP extension:
+
+    A scratch file, like a system file, consists of a dictionary and
+    any number of cases.  Small scratch files are stored in memory;
+    one that grows too large is written to disk.  By default, any file
+    handle whose name begins with # is assumed to refer to a scratch
+    file.
+
+    Scratch files can be used just about anywhere a system or portable
+    file can be used.  Also, portable files are now allowed in most
+    places that system files were allowed in previous PSPP version.
+
+    A new CLOSE FILE HANDLE command allows the storage associated with
+    scratch files to be freed.  It also allows file handles to be
+    reassigned to new files.
+
+    For more information on scratch files, refer to the "File Handles"
+    section in the PSPP manual.  For specifics of what commands now
+    allow what kinds of files to be specified, refer to the
+    documentation on those particular commands.
+
   Data access changes:
 
     * Binary formats and IBM/360 formats, including ASCII/EBCDIC
@@ -207,60 +695,6 @@ Changes since 0.4.3:
   For developers, the build system now requires Autoconf 2.60 and
   Automake 1.10.
 \f
-Changes since 0.4.0 to 0.4.1:
-
-  Added support for very long string variables (over 255 bytes long).
-
-  Output changes:
-
-    * Output configuration options have changed.  Please refer to the
-      manual for a full description of the available options.
-
-      In consequence, you will need to reinstall your "devices" file.
-      "make install" will do this for you.
-
-    * The PostScript driver now obtains font metrics from AFM files,
-      instead of Groff-format metrics files.  It can now embed
-      PostScript fonts in its output.
-
-      In consequence, you will need to install an AFM file for each
-      font used in PostScript output.  "make install" will install AFM
-      files for the standard PostScript files, including the ones that
-      the PostScript driver uses by default.
-
-  Newly implemented commands and statistical features:
-
-    * CLOSE FILE HANDLE (a PSPP extension; see below).
-
-    * REGRESSION.
-
-    * XEXPORT (a PSPP extension).
-
-  New PSPP extension:
-
-    A new PSPP extension called "scratch files" has been implemented.
-    A scratch file, like a system file, consists of a dictionary and
-    any number of cases.  Small scratch files are stored in memory;
-    one that grows too large is written to disk.  By default, any file
-    handle whose name begins with # is assumed to refer to a scratch
-    file.
-
-    Scratch files can be used just about anywhere a system or portable
-    file can be used.  Also, portable files are now allowed in most
-    places that system files were allowed in previous PSPP version.
-
-    A new CLOSE FILE HANDLE command allows the storage associated with
-    scratch files to be freed.  It also allows file handles to be
-    reassigned to new files.
-
-    For more information on scratch files, refer to the "File Handles"
-    section in the PSPP manual.  For specifics of what commands now
-    allow what kinds of files to be specified, refer to the
-    documentation on those particular commands.
-
-  PSPP is now able to start up and run even if it cannot find its
-  configuration files.
-
 Changes from 0.3.0 to 0.4.0:
 
   Changes in build dependencies:
@@ -588,8 +1022,6 @@ Changes for version 0.1.0:
 ----------------------------------------------------------------------
 Copyright information:
 
-Copyright (C) 1996-9, 2000 Free Software Foundation, Inc.
-
    Permission is granted to anyone to make or distribute verbatim
    copies of this document as received, in any medium, provided that
    the copyright notice and this permission notice are preserved, thus