work on docs
[pspp] / doc / transformation.texi
index 5635903df270e174713634a9a777f83ff5f618fd..42a9b6b2a6916d396420347024eb8c7ea8d0e06d 100644 (file)
@@ -1,5 +1,5 @@
 @c PSPP - a program for statistical analysis.
-@c Copyright (C) 2017 Free Software Foundation, Inc.
+@c Copyright (C) 2017, 2020 Free Software Foundation, Inc.
 @c Permission is granted to copy, distribute and/or modify this document
 @c under the terms of the GNU Free Documentation License, Version 1.3
 @c or any later version published by the Free Software Foundation;
@@ -58,24 +58,24 @@ specified.
 The mode subcommand has two possible values: @subcmd{ADDVARIABLES} or @subcmd{REPLACE}.
 In @subcmd{REPLACE} mode, the entire active dataset is replaced by a new dataset
 which contains just the break variables and the destination varibles.
-In this mode, the new file will contain as many cases as there are
+In this mode, the new file contains as many cases as there are
 unique combinations of the break variables.
-In @subcmd{ADDVARIABLES} mode, the destination variables will be appended to
+In @subcmd{ADDVARIABLES} mode, the destination variables are appended to
 the existing active dataset.
 Cases which have identical combinations of values in their break
-variables, will receive identical values for the destination variables.
-The number of cases in the active dataset will remain unchanged.
+variables, receive identical values for the destination variables.
+The number of cases in the active dataset remains unchanged.
 Note that if @subcmd{ADDVARIABLES} is specified, then the data @emph{must} be
 sorted on the break variables.
 
-By default, the active dataset will be sorted based on the break variables
+By default, the active dataset is sorted based on the break variables
 before aggregation takes place.  If the active dataset is already sorted
 or otherwise grouped in terms of the break variables, specify
 @subcmd{PRESORTED} to save time.
 @subcmd{PRESORTED} is assumed if @subcmd{MODE=ADDVARIABLES} is used.
 
 Specify @subcmd{DOCUMENT} to copy the documents from the active dataset into the
-aggregate file (@pxref{DOCUMENT}).  Otherwise, the aggregate file will
+aggregate file (@pxref{DOCUMENT}).  Otherwise, the aggregate file does
 not contain any documents, even if the aggregate file replaces the
 active dataset.
 
@@ -132,9 +132,10 @@ format is F5.3.
 @item @subcmd{FIRST(@var{var_name})}
 First non-missing value in break group.  The aggregation variable
 receives the complete dictionary information from the source variable.
-The sort performed by @cmd{AGGREGATE} (and by @cmd{SORT CASES}) is stable, so that
+The sort performed by @cmd{AGGREGATE} (and by @cmd{SORT CASES}) is stable.
+This means that
 the first case with particular values for the break variables before
-sorting will also be the first case in that break group after sorting.
+sorting is also the first case in that break group after sorting.
 
 @item @subcmd{FOUT(@var{var_name}, @var{low}, @var{high})}
 Fraction of values strictly outside the specified range of constants.
@@ -143,9 +144,7 @@ The default format is F5.3.
 @item @subcmd{LAST(@var{var_name})}
 Last non-missing value in break group.  The aggregation variable
 receives the complete dictionary information from the source variable.
-The sort performed by @cmd{AGGREGATE} (and by @cmd{SORT CASES}) is stable, so that
-the last case with particular values for the break variables before
-sorting will also be the last case in that break group after sorting.
+The sort performed by @cmd{AGGREGATE} (and by @cmd{SORT CASES}) is stable.
 
 @item @subcmd{MAX(@var{var_name})}
 Maximum value.  The aggregation variable receives the complete
@@ -218,13 +217,41 @@ On most modern computers, this is  @acronym{ASCII} or a superset thereof.
 
 The aggregation functions listed above exclude all user-missing values
 from calculations.  To include user-missing values, insert a period
-(@samp{.}) at the end of the function name.  (e.g.@: @samp{SUM.}).
+(@samp{.}) at the end of the function name.  (@i{e.g.}@: @samp{SUM.}).
 (Be aware that specifying such a function as the last token on a line
-will cause the period to be interpreted as the end of the command.)
+causes the period to be interpreted as the end of the command.)
 
 @cmd{AGGREGATE} both ignores and cancels the current @cmd{SPLIT FILE}
 settings (@pxref{SPLIT FILE}).
 
+@subsection Aggregate Example
+
+The @file{personnel.sav} dataset provides the occupations and salaries of
+many individuals.  For many purposes however such detailed information is
+not interesting, but often the aggregated statistics of each occupation are
+of interest.  In @ref{aggregate:ex} the @cmd{AGGREGATE} command is used
+to calculate the mean, the median and the standard deviation of each
+occupation.
+
+@float Example, aggregate:ex
+@psppsyntax {aggregate.sps}
+@caption {Calculating aggregated statistics from the @file{personnel.sav} file.}
+@end float
+
+Since we chose the @samp{MODE = REPLACE} option, in @ref{aggregate:res} cases
+for the individual persons are no longer present.  They have each been replaced
+by a single case per aggregated value.
+
+@float Results, aggregate:res
+@psppoutput {aggregate}
+@caption {Aggregated mean, median and standard deviation per @exvar{occupation}.}
+@end float
+
+Note that some values for the standard deviation are blank.
+This is because there is only one case with the respective
+occupation.
+
+
 @node AUTORECODE
 @section AUTORECODE
 @vindex AUTORECODE
@@ -282,8 +309,8 @@ user-missing values are taken from the first source variable that has
 any user-missing values.
 
 If @subcmd{/BLANK=MISSING} is given, then string variables which contain only
-whitespace are recoded as SYSMIS.  If @subcmd{/BLANK=VALID} is given then they
-will be allocated a value like any other.  @subcmd{/BLANK} is not relevant
+whitespace are recoded as SYSMIS.  If @subcmd{/BLANK=VALID} is specified then they
+are allocated a value like any other.  @subcmd{/BLANK} is not relevant
 to numeric values. @subcmd{/BLANK=VALID} is the default.
 
 @cmd{AUTORECODE} is a procedure.  It causes the data to be read.
@@ -295,13 +322,13 @@ variable.   Except for data of a purely commentary nature, string variables
 are generally a bad idea.  One reason is that data entry errors are easily
 overlooked.  This has happened in @file{personnel.sav}; one entry which should
 read ``Scientist'' has been mistyped as ``Scrientist''.  In @ref{autorecode:ex}
-first, this error will be corrected,
+first, this error is corrected by the @cmd{DO IF} clause,
 @footnote{One must use care when correcting such data input errors rather than
 msimply marking them as missing.  For example, if an occupation has been entered
 ``Barister'', did the person mean ``Barrister'' or did she mean ``Barista''?}
-then we will use @cmd{AUTORECODE} to
+then we use @cmd{AUTORECODE} to
 create a new numeric variable which takes recoded values of @exvar{occupation}.
-Finally, we will remove the old variable and rename the new variable to
+Finally, we remove the old variable and rename the new variable to
 the name of the old variable.
 
 @float Example, autorecode:ex
@@ -311,6 +338,11 @@ after correcting a data entry error}
 @end float
 
 
+@float Screenshot, autorecode:scr
+@psppimage {autorecode}
+@caption {Autorecode dialog box set to recode @exvar{occupation} to @exvar{occ}}
+@end float
+
 Notice in @ref{autorecode:res}, how  the new variable has been automatically
 allocated value labels which correspond to the strings of the old variable.
 This means that in future analyses the descriptive strings are reported instead
@@ -370,7 +402,7 @@ The dataset @file{physiology.sav} contains the height and weight of persons.
 For some purposes, neither height nor weight alone is of interest.
 Epidemiologists are often more interested in the @dfn{body mass index} which
 can sometimes be used as a predictor for clinical conditions.
-The body mass index is defined as the weight of the person in kg divided
+The body mass index is defined as the weight of the person in kilograms divided
 by the square of the person's height in metres.
 @footnote{Since BMI is a quantity with a ratio scale and has units, the term ``index''
 is a misnomer, but that is what it is called.}
@@ -387,8 +419,17 @@ It also shows how you can add a label to this new variable (@pxref{VARIABLE LABE
 so that a more descriptive label appears in subsequent analyses, and this can be seen
 in the ouput from the @cmd{DESCRIPTIVES} command in @ref{bmi:res}.
 
+@float Screenshot, bmi:scr
+@psppimage {compute}
+@caption {Using the dialog box to generate a new variable and compute its values}
+@end float
+
 The expression which follows the @samp{=} sign can be as complicated as necessary.
 @xref{Expressions} for a precise description of the language accepted.
+Normally it is easiest to enter the code directly, however there is a dialog box
+available if desired.  This is illustrated in @ref{bmi:scr}.
+One advantage is that it offers a list of mathematical
+functions which can be selected and pasted into the expression.
 
 @float Results, bmi:res
 @psppoutput {compute}
@@ -472,6 +513,28 @@ are 2 or lower.
 In @ref{count:ex} the @cmd{COUNT} transformation creates a new variable, @exvar{low_counts} and
 its values are shown using the @cmd{LIST} command.
 
+If using the graphic user interface, a two step process must be used to set
+up the @cmd{COUNT} transformation.  The first dialog box (@ref{count:scr}) provides for the
+variables to be chosen.
+Then, one must click on the button marked ``Define Values...'' to reveal
+the dialog box for selecting the values to count.
+
+@float Screenshot, count:scr
+@psppimage {count}
+@caption {The variables @exvar{v1}, @exvar{v2} and @exvar{v3} selected, ready
+to define values to count}
+@end float
+
+In this dialog box, you must select the values you wish to count
+--- in this case all values up to and including 2 --- as shown in @ref{count-define:scr}
+and click ``Add''.  As many ranges or may be added as you desire.
+When all desired ranges have been added click ``Continue''.
+
+@float Screenshot, count-define:scr
+@psppimage {count-define}
+@caption {Count ``Define Values'' dialog with @samp{lowest thru 2} selected}
+@end float
+
 In @ref{count:res} we can see the values of @exvar{low_counts} after the @cmd{COUNT}
 transformation has completed.  The first value is 1, because there is only one
 variable amoung @exvar{v1}, @exvar{v2} and @exvar{3} which has a value of 2 or less.
@@ -683,14 +746,14 @@ This is meaningful only if @samp{INTO @var{dest_vars}} is specified.
 
 Mappings are considered from left to right.
 Therefore, if a value is matched by a @var{src_value} from more than
-one mapping, the first (leftmost) mapping which matches will be considered.
-Any subsequent matches will be ignored.
+one mapping, the first (leftmost) mapping which matches is considered.
+Any subsequent matches are ignored.
 
 The clause @samp{INTO @var{dest_vars}} is optional.
 The behaviour of the command is slightly different depending on whether it
 appears or not.
 
-If @samp{INTO @var{dest_vars}} does not appear, then values will be recoded
+If @samp{INTO @var{dest_vars}} does not appear, then values are recoded
 ``in place''.
 This means that the recoded values are written back to the
 source variables from whence the original values came.
@@ -722,23 +785,23 @@ The number of variables in @var{dest_vars} must be the same as the number
 of variables in @var{src_vars}
 and the respective order of the variables in @var{dest_vars} corresponds to
 the order of @var{src_vars}.
-That is to say, recoded values whose
-original value came from the @var{n}th variable in @var{src_vars} will be
+That is to say, the recoded value whose
+original value came from the @var{n}th variable in @var{src_vars} is
 placed into the @var{n}th variable in @var{dest_vars}.
-The source variables will be unchanged.
+The source variables are unchanged.
 If any mapping implies a string as its destination value, then the respective
 destination variable must already exist, or
 have been declared using @cmd{STRING} or another transformation.
-Numeric variables however will be automatically created if they don't already
+Numeric variables however are automatically created if they don't already
 exist.
 The following example deals with two source variables, @var{a} and @var{b}
 which contain string values.  Hence there are two destination variables
 @var{v1} and @var{v2}.
 Any cases where @var{a} or @var{b} contain the values @samp{apple},
-@samp{pear} or @samp{pomegranate} will result in @var{v1} or @var{v2} being
+@samp{pear} or @samp{pomegranate} result in @var{v1} or @var{v2} being
 filled with the string @samp{fruit} whilst cases with
-@samp{tomato}, @samp{lettuce} or @samp{carrot} will result in @samp{vegetable}.
-Any other values will produce the result @samp{unknown}:
+@samp{tomato}, @samp{lettuce} or @samp{carrot} result in @samp{vegetable}.
+Any other values produce the result @samp{unknown}:
 @example
 string @var{v1} (a20).
 string @var{v2} (a20).
@@ -758,8 +821,8 @@ the @samp{INTO @var{dest_vars}} clause must also be given and
 must not refer to a string variable.
 @samp{CONVERT} causes a number specified as a string to
 be converted to a numeric value.
-For example it will convert the string @samp{"3"} into the numeric
-value 3 (note that it will not convert @samp{three} into 3).
+For example it converts the string @samp{"3"} into the numeric
+value 3 (note that it does not convert @samp{three} into 3).
 If the string cannot be parsed as a number, then the system-missing value
 is assigned instead.
 In the following example, cases where the value of @var{x} (a string variable)
@@ -805,19 +868,67 @@ or @subcmd{(UP)}
 for ascending order.  These apply to all the listed variables
 up until the preceding @subcmd{(A)}, @subcmd{(D)}, @subcmd{(UP)} or @subcmd{(DOWN)}.
 
-The sort algorithms used by @cmd{SORT CASES} are stable.  That is,
-records that have equal values of the sort variables will have the
-same relative order before and after sorting.  As a special case,
-re-sorting an already sorted file will not affect the ordering of
+The sort algorithms used by @cmd{SORT CASES} are stable.  This means
+records which have equal values of the sort variables have the
+same relative order before and after sorting.  Thus,
+re-sorting an already sorted file does not affect the ordering of
 cases.
 
 @cmd{SORT CASES} is a procedure.  It causes the data to be read.
 
 @cmd{SORT CASES} attempts to sort the entire active dataset in main memory.
-If workspace is exhausted, it falls back to a merge sort algorithm that
-involves creates numerous temporary files.
+If workspace is exhausted, it falls back to a merge sort algorithm which
+creates numerous temporary files.
 
 @cmd{SORT CASES} may not be specified following @cmd{TEMPORARY}.
 
 @subsection Sorting Example
 
+In @ref{sort-cases:ex} the data from the file @file {physiology.sav} is sorted
+by two variables, @i{viz@:} @exvar{sex} in descending order and @exvar{temperature} in
+ascending order.
+
+@float Example, sort-cases:ex
+@psppsyntax {sort-cases.sps}
+@caption {Sorting cases  by two variables.}
+@end float
+
+In @ref{sort-cases:res} you can see that all the cases with a @exvar{sex} of
+@samp{1} (female) appear before those with a sex of @samp{0} (male).
+This is because they have been sorted in descending order.
+Within each sex, the data is sorted on the @exvar{temperature} variable,
+this time in ascending order.
+
+@float Results, sort-cases:res
+@psppoutput {sort-cases}
+@caption {The @file{physiology.sav} file after sorting.}
+@end float
+
+Note that @cmd{SORT CASES}, like all other transformations, affects only the active file.
+It does not have any effect upon the @file{physiology.sav} file itself. For that, you
+would have to rewrite the file using the @cmd{SAVE} command (@pxref{SAVE}).
+
+When using the graphic user interface, it is often simpler to perform a sort
+directly from the data view.
+To do this, switch to the data view.  Select the column corresponding to the
+variable by which you want to sort and click button 1 and then click button 3.
+A popup menu will appear like that shown in @ref{sort-simple:scr}.  Select
+either ``Sort Ascending'' or ``Sort Descending'' from this menu.
+
+@float Screenshot, sort-simple:scr
+@psppimage {sort-simple}
+@caption {Sorting the data on a single variable @exvar{height}}
+@end float
+
+However, sometimes you will want to sort on two or more variables, and that is
+not possible using this method.  In this case, you must either use some code or
+the ``Sort Cases'' dialog from the Data menu.  @ref{sort:scr} shows the dialog
+box set up to perform a sort on both @exvar{sex} and @exvar{height}.
+Note that the order in which you enter the variables is important.  In this case,
+the data will be first sorted on @exvar{sex}, and then all cases for which @exvar{sex}
+is the same will then be sorted by @exvar{height}.
+
+@float Screenshot, sort:scr
+@psppimage {sort}
+@caption {Sorting the data on two variables @exvar{sex} and  @exvar{height}}
+@end float