QUICK CLUSTER: Implement the /SAVE sub-command.
[pspp] / doc / statistics.texi
index 34a7a3d987601bda8f5bb7f2f30c371aa4aebbf2..51cbb95516b80b59f7458086df54ee980714e92c 100644 (file)
@@ -1,3 +1,12 @@
+@c PSPP - a program for statistical analysis.
+@c Copyright (C) 2017 Free Software Foundation, Inc.
+@c Permission is granted to copy, distribute and/or modify this document
+@c under the terms of the GNU Free Documentation License, Version 1.3
+@c or any later version published by the Free Software Foundation;
+@c with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
+@c A copy of the license is included in the section entitled "GNU
+@c Free Documentation License".
+@c
 @node Statistics
 @chapter Statistics
 
@@ -61,11 +70,8 @@ excluded on a variable by variable basis; if @subcmd{LISTWISE} is set, then
 the entire case is excluded whenever any value in that case has a
 system-missing or, if @subcmd{INCLUDE} is set, user-missing value.
 
-The @subcmd{FORMAT} subcommand affects the output format.  Currently the
-@subcmd{LABELS/NOLABELS} and @subcmd{NOINDEX/INDEX} settings are not used.
-When @subcmd{SERIAL} is
-set, both valid and missing number of cases are listed in the output;
-when @subcmd{NOSERIAL} is set, only valid cases are listed.
+The @subcmd{FORMAT} subcommand has no effect.  It is accepted for
+backward compatibility.
 
 The @subcmd{SAVE} subcommand causes @cmd{DESCRIPTIVES} to calculate Z scores for all
 the specified variables.  The Z scores are saved to new variables.
@@ -325,6 +331,15 @@ Zero, however is a special value.  If @var{t} is 0 or
 is omitted, then data will be transformed by taking its natural logarithm instead of
 raising to the power of @var{t}.
 
+@cindex Shapiro-Wilk
+When one or more plots are requested, @subcmd{EXAMINE} also performs the
+Shapiro-Wilk test for each category.
+There are however a number of provisos:
+@itemize
+@item All weight values must be integer.
+@item The cumulative weight value must be in the range [3, 5000]
+@end itemize
+
 The @subcmd{COMPARE} subcommand is only relevant if producing boxplots, and it is only 
 useful there is more than one dependent variable and at least one factor.
 If 
@@ -637,8 +652,7 @@ When set to @subcmd{TABLE}, the default, missing values are dropped on a table b
 table basis.  When set to @subcmd{INCLUDE}, user-missing values are included in
 tables and statistics.  When set to @subcmd{REPORT}, which is allowed only in
 integer mode, user-missing values are included in tables but marked with
-an @samp{M} (for ``missing'') and excluded from statistical
-calculations.
+a footnote and excluded from statistical calculations.
 
 Currently the @subcmd{WRITE} subcommand is ignored.
 
@@ -785,7 +799,10 @@ Fixes for any of these deficiencies would be welcomed.
 @cindex data reduction
 
 @display
-FACTOR  VARIABLES=@var{var_list}
+FACTOR  @{
+         VARIABLES=@var{var_list},
+         MATRIX IN (@{CORR,COV@}=@{*,@var{file_spec}@})
+        @}
 
         [ /METHOD = @{CORRELATION, COVARIANCE@} ]
 
@@ -795,7 +812,7 @@ FACTOR  VARIABLES=@var{var_list}
 
         [ /ROTATION=@{VARIMAX, EQUAMAX, QUARTIMAX, PROMAX[(@var{k})], NOROTATE@}]
 
-        [ /PRINT=[INITIAL] [EXTRACTION] [ROTATION] [UNIVARIATE] [CORRELATION] [COVARIANCE] [DET] [KMO] [SIG] [ALL] [DEFAULT] ]
+        [ /PRINT=[INITIAL] [EXTRACTION] [ROTATION] [UNIVARIATE] [CORRELATION] [COVARIANCE] [DET] [KMO] [AIC] [SIG] [ALL] [DEFAULT] ]
 
         [ /PLOT=[EIGEN] ]
 
@@ -809,10 +826,21 @@ FACTOR  VARIABLES=@var{var_list}
 The @cmd{FACTOR} command performs Factor Analysis or Principal Axis Factoring on a dataset.  It may be used to find
 common factors in the data or for data reduction purposes.
 
-The @subcmd{VARIABLES} subcommand is required.  It lists the variables
-which are to partake in the analysis.  (The @subcmd{ANALYSIS}
+The @subcmd{VARIABLES} subcommand is required (unless the @subcmd{MATRIX IN}
+subcommand is used).
+It lists the variables which are to partake in the analysis.  (The @subcmd{ANALYSIS}
 subcommand may optionally further limit the variables that
-participate; it is not useful and implemented only for compatibility.)
+participate; it is useful primarily in conjunction with @subcmd{MATRIX IN}.)
+
+If @subcmd{MATRIX IN} instead of @subcmd{VARIABLES} is specified, then the analysis
+is performed on a pre-prepared correlation or covariance matrix file instead of on
+individual data cases.  Typically the matrix file will have been generated by
+@cmd{MATRIX DATA} (@pxref{MATRIX DATA}) or provided by a third party.
+If specified, @subcmd{MATRIX IN} must be followed by @samp{COV} or @samp{CORR},
+then by @samp{=} and @var{file_spec} all in parentheses.
+@var{file_spec} may either be an asterisk, which indicates the currently loaded
+dataset, or it may be a filename to be loaded. @xref{MATRIX DATA}, for the expected
+format of the file.
 
 The @subcmd{/EXTRACTION} subcommand is used to specify the way in which factors (components) are extracted from the data.
 If @subcmd{PC} is specified, then Principal Components Analysis is used.  
@@ -848,6 +876,8 @@ The @subcmd{/PRINT} subcommand may be used to select which features of the analy
       The covariance matrix is printed.
 @item @subcmd{DET}
       The determinant of the correlation or covariance matrix is printed.
+@item @subcmd{AIC}
+      The anti-image covariance and anti-image correlation matrices are printed.
 @item @subcmd{KMO}
       The Kaiser-Meyer-Olkin measure of sampling adequacy and the Bartlett test of sphericity is printed.
 @item @subcmd{SIG}
@@ -951,12 +981,13 @@ implies the model
 
 The @subcmd{MISSING} subcommand determines the handling of missing
 variables.  
-If @subcmd{INCLUDE} is set, then user-missing values are included in the
-calculations, but system-missing values are not.
-If @subcmd{EXCLUDE} is set, which is the default, user-missing
-values are excluded as well as system-missing values. 
-This is the default.
-
+If @subcmd{INCLUDE} is set then, for the purposes of GLM analysis,
+only system-missing values are considered
+to be missing; user-missing values are not regarded as missing.
+If @subcmd{EXCLUDE} is set, which is the default, then user-missing
+values are considered to be missing as well as system-missing values. 
+A case for which any dependent variable or any factor
+variable has a missing value is excluded from the analysis.
 
 @node LOGISTIC REGRESSION
 @section LOGISTIC REGRESSION
@@ -1788,6 +1819,7 @@ QUICK CLUSTER @var{var_list}
       [/CRITERIA=CLUSTERS(@var{k}) [MXITER(@var{max_iter})] CONVERGE(@var{epsilon}) [NOINITIAL]]
       [/MISSING=@{EXCLUDE,INCLUDE@} @{LISTWISE, PAIRWISE@}]
       [/PRINT=@{INITIAL@} @{CLUSTER@}]
+      [/SAVE[=[CLUSTER[(@var{membership_var})]] [DISTANCE[(@var{distance_var})]]]
 @end display
 
 The @cmd{QUICK CLUSTER} command performs k-means clustering on the
@@ -1840,6 +1872,12 @@ be printed.
 If @subcmd{CLUSTER} is set, the cluster memberships of the individual
 cases will be displayed (potentially generating lengthy output).
 
+You can specify the subcommand @subcmd{SAVE} to ask that each case's cluster membership
+and the euclidean distance between the case and its cluster center be saved to
+a new variable in the active dataset.   To save the cluster membership use the
+@subcmd{CLUSTER} keyword and to save the distance use the @subcmd{DISTANCE} keyword.
+Each keyword may optionally be followed by a variable in parenthesis to specify
+the new variable which is to contain the saved parameter.
 
 @node RANK
 @section RANK