Rewrite and improve formatted output routines.
[pspp-builds.git] / doc / language.texi
1 @node Language, Expressions, Invocation, Top
2 @chapter The PSPP language
3 @cindex language, PSPP
4 @cindex PSPP, language
5
6 @quotation
7 @strong{Please note:} PSPP is not even close to completion.
8 Only a few statistical procedures are implemented.  PSPP
9 is a work in progress.
10 @end quotation
11
12 This chapter discusses elements common to many PSPP commands.
13 Later chapters will describe individual commands in detail.
14
15 @menu
16 * Tokens::                      Characters combine to form tokens.
17 * Commands::                    Tokens combine to form commands.
18 * Types of Commands::           Commands come in several flavors.
19 * Order of Commands::           Commands combine to form syntax files.
20 * Missing Observations::        Handling missing observations.
21 * Variables::                   The unit of data storage.
22 * Files::                       Files used by PSPP.
23 * File Handles::                How files are named.
24 * BNF::                         How command syntax is described.
25 @end menu
26
27 @node Tokens, Commands, Language, Language
28 @section Tokens
29 @cindex language, lexical analysis
30 @cindex language, tokens
31 @cindex tokens
32 @cindex lexical analysis
33
34 PSPP divides most syntax file lines into series of short chunks
35 called @dfn{tokens}.
36 Tokens are then grouped to form commands, each of which tells
37 PSPP to take some action---read in data, write out data, perform
38 a statistical procedure, etc.  Each type of token is
39 described below.
40
41 @table @strong
42 @cindex identifiers
43 @item Identifiers
44 Identifiers are names that typically specify variables, commands, or
45 subcommands.  The first character in an identifier must be a letter,
46 @samp{#}, or @samp{@@}.  The remaining characters in the identifier
47 must be letters, digits, or one of the following special characters:
48
49 @example
50 @center @.  _  $  #  @@
51 @end example
52
53 @cindex case-sensitivity
54 Identifiers may be any length, but only the first 64 bytes are
55 significant.  Identifiers are not case-sensitive: @code{foobar},
56 @code{Foobar}, @code{FooBar}, @code{FOOBAR}, and @code{FoObaR} are
57 different representations of the same identifier.
58
59 @cindex identifiers, reserved
60 @cindex reserved identifiers
61 Some identifiers are reserved.  Reserved identifiers may not be used
62 in any context besides those explicitly described in this manual.  The
63 reserved identifiers are:
64
65 @example
66 @center ALL  AND  BY  EQ  GE  GT  LE  LT  NE  NOT  OR  TO  WITH
67 @end example
68
69 @item Keywords
70 Keywords are a subclass of identifiers that form a fixed part of
71 command syntax.  For example, command and subcommand names are
72 keywords.  Keywords may be abbreviated to their first 3 characters if
73 this abbreviation is unambiguous.  (Unique abbreviations of 3 or more
74 characters are also accepted: @samp{FRE}, @samp{FREQ}, and
75 @samp{FREQUENCIES} are equivalent when the last is a keyword.)
76
77 Reserved identifiers are always used as keywords.  Other identifiers
78 may be used both as keywords and as user-defined identifiers, such as
79 variable names.
80
81 @item Numbers
82 @cindex numbers
83 @cindex integers
84 @cindex reals
85 Numbers are expressed in decimal.  A decimal point is optional.
86 Numbers may be expressed in scientific notation by adding @samp{e} and
87 a base-10 exponent, so that @samp{1.234e3} has the value 1234.  Here
88 are some more examples of valid numbers:
89
90 @example
91 -5  3.14159265359  1e100  -.707  8945.
92 @end example
93
94 Negative numbers are expressed with a @samp{-} prefix.  However, in
95 situations where a literal @samp{-} token is expected, what appears to
96 be a negative number is treated as @samp{-} followed by a positive
97 number.
98
99 No white space is allowed within a number token, except for horizontal
100 white space between @samp{-} and the rest of the number.
101
102 The last example above, @samp{8945.} will be interpreted as two
103 tokens, @samp{8945} and @samp{.}, if it is the last token on a line.
104 @xref{Commands, , Forming commands of tokens}.
105
106 @item Strings
107 @cindex strings
108 @cindex @samp{'}
109 @cindex @samp{"}
110 @cindex case-sensitivity
111 Strings are literal sequences of characters enclosed in pairs of
112 single quotes (@samp{'}) or double quotes (@samp{"}).  To include the
113 character used for quoting in the string, double it, e.g.@:
114 @samp{'it''s an apostrophe'}.  White space and case of letters are
115 significant inside strings.
116
117 Strings can be concatenated using @samp{+}, so that @samp{"a" + 'b' +
118 'c'} is equivalent to @samp{'abc'}.  Concatenation is useful for
119 splitting a single string across multiple source lines. The maximum
120 length of a string, after concatenation, is 255 characters.
121
122 Strings may also be expressed as hexadecimal, octal, or binary
123 character values by prefixing the initial quote character by @samp{X},
124 @samp{O}, or @samp{B} or their lowercase equivalents.  Each pair,
125 triplet, or octet of characters, according to the radix, is
126 transformed into a single character with the given value.  If there is
127 an incomplete group of characters, the missing final digits are
128 assumed to be @samp{0}.  These forms of strings are nonportable
129 because numeric values are associated with different characters by
130 different operating systems.  Therefore, their use should be confined
131 to syntax files that will not be widely distributed.
132
133 @cindex characters, reserved
134 @cindex 0
135 @cindex white space
136 The character with value 00 is reserved for
137 internal use by PSPP.  Its use in strings causes an error and
138 replacement by a space character.
139
140 @item Punctuators and Operators
141 @cindex punctuators
142 @cindex operators
143 These tokens are the punctuators and operators:
144
145 @example
146 @center ,  /  =  (  )  +  -  *  /  **  <  <=  <>  >  >=  ~=  &  |  .
147 @end example
148
149 Most of these appear within the syntax of commands, but the period
150 (@samp{.}) punctuator is used only at the end of a command.  It is a
151 punctuator only as the last character on a line (except white space).
152 When it is the last non-space character on a line, a period is not
153 treated as part of another token, even if it would otherwise be part
154 of, e.g.@:, an identifier or a floating-point number.
155
156 Actually, the character that ends a command can be changed with
157 @cmd{SET}'s ENDCMD subcommand (@pxref{SET}), but we do not recommend
158 doing so.  Throughout the remainder of this manual we will assume that
159 the default setting is in effect.
160 @end table
161
162 @node Commands, Types of Commands, Tokens, Language
163 @section Forming commands of tokens
164
165 @cindex PSPP, command structure
166 @cindex language, command structure
167 @cindex commands, structure
168
169 Most PSPP commands share a common structure.  A command begins with a
170 command name, such as @cmd{FREQUENCIES}, @cmd{DATA LIST}, or @cmd{N OF
171 CASES}.  The command name may be abbreviated to its first word, and
172 each word in the command name may be abbreviated to its first three
173 or more characters, where these abbreviations are unambiguous.
174
175 The command name may be followed by one or more @dfn{subcommands}.
176 Each subcommand begins with a subcommand name, which may be
177 abbreviated to its first three letters.  Some subcommands accept a
178 series of one or more specifications, which follow the subcommand
179 name, optionally separated from it by an equals sign
180 (@samp{=}). Specifications may be separated from each other
181 by commas or spaces.  Each subcommand must be separated from the next (if any)
182 by a forward slash (@samp{/}).
183
184 There are multiple ways to mark the end of a command.  The most common
185 way is to end the last line of the command with a period (@samp{.}) as
186 described in the previous section (@pxref{Tokens}).  A blank line, or
187 one that consists only of white space or comments, also ends a command
188 by default, although you can use the NULLINE subcommand of @cmd{SET}
189 to disable this feature (@pxref{SET}).
190
191 In batch mode only, that is, when reading commands from a file instead
192 of an interactive user, any line that contains a non-space character
193 in the leftmost column begins a new command.  Thus, each command
194 consists of a flush-left line followed by any number of lines indented
195 from the left margin.  In this mode, a plus or minus sign
196 (@samp{+}, @samp{@minus{}}) as the first character
197 in a line is ignored and causes that line to begin a new command,
198 which allows for visual indentation of a command without that command
199 being considered part of the previous command.
200
201 @node Types of Commands, Order of Commands, Commands, Language
202 @section Types of Commands
203
204 Commands in PSPP are divided roughly into six categories:
205
206 @table @strong
207 @item Utility commands
208 @cindex utility commands
209 Set or display various global options that affect PSPP operations.
210 May appear anywhere in a syntax file.  @xref{Utilities, , Utility
211 commands}.
212
213 @item File definition commands
214 @cindex file definition commands
215 Give instructions for reading data from text files or from special
216 binary ``system files''.  Most of these commands replace any previous
217 data or variables with new data or
218 variables.  At least one file definition command must appear before the first command in any of
219 the categories below.  @xref{Data Input and Output}.
220
221 @item Input program commands
222 @cindex input program commands
223 Though rarely used, these provide tools for reading data files
224 in arbitrary textual or binary formats.  @xref{INPUT PROGRAM}.
225
226 @item Transformations
227 @cindex transformations
228 Perform operations on data and write data to output files.  Transformations
229 are not carried out until a procedure is executed.  
230
231 @item Restricted transformations
232 @cindex restricted transformations
233 Transformations that cannot appear in certain contexts.  @xref{Order
234 of Commands}, for details.
235
236 @item Procedures
237 @cindex procedures
238 Analyze data, writing results of analyses to the listing file.  Cause
239 transformations specified earlier in the file to be performed.  In a
240 more general sense, a @dfn{procedure} is any command that causes the
241 active file (the data) to be read.
242 @end table
243
244 @node Order of Commands, Missing Observations, Types of Commands, Language
245 @section Order of Commands
246 @cindex commands, ordering
247 @cindex order of commands
248
249 PSPP does not place many restrictions on ordering of commands.  The
250 main restriction is that variables must be defined before they are otherwise
251 referenced.  This section describes the details of command ordering,
252 but most users will have no need to refer to them.
253
254 PSPP possesses five internal states, called initial, INPUT PROGRAM,
255 FILE TYPE, transformation, and procedure states.  (Please note the
256 distinction between the @cmd{INPUT PROGRAM} and @cmd{FILE TYPE}
257 @emph{commands} and the INPUT PROGRAM and FILE TYPE @emph{states}.)
258
259 PSPP starts in the initial state.  Each successful completion
260 of a command may cause a state transition.  Each type of command has its
261 own rules for state transitions:
262
263 @table @strong
264 @item Utility commands
265 @itemize @bullet
266 @item
267 Valid in any state.
268 @item
269 Do not cause state transitions.  Exception: when @cmd{N OF CASES}
270 is executed in the procedure state, it causes a transition to the
271 transformation state.
272 @end itemize
273
274 @item @cmd{DATA LIST}
275 @itemize @bullet
276 @item
277 Valid in any state.
278 @item
279 When executed in the initial or procedure state, causes a transition to
280 the transformation state.  
281 @item
282 Clears the active file if executed in the procedure or transformation
283 state.
284 @end itemize
285
286 @item @cmd{INPUT PROGRAM}
287 @itemize @bullet
288 @item
289 Invalid in INPUT PROGRAM and FILE TYPE states.
290 @item
291 Causes a transition to the INPUT PROGRAM state.  
292 @item
293 Clears the active file.
294 @end itemize
295
296 @item @cmd{FILE TYPE}
297 @itemize @bullet
298 @item
299 Invalid in INPUT PROGRAM and FILE TYPE states.
300 @item
301 Causes a transition to the FILE TYPE state.
302 @item
303 Clears the active file.
304 @end itemize
305
306 @item Other file definition commands
307 @itemize @bullet
308 @item
309 Invalid in INPUT PROGRAM and FILE TYPE states.
310 @item
311 Cause a transition to the transformation state.
312 @item
313 Clear the active file, except for @cmd{ADD FILES}, @cmd{MATCH FILES},
314 and @cmd{UPDATE}.
315 @end itemize
316
317 @item Transformations
318 @itemize @bullet
319 @item
320 Invalid in initial and FILE TYPE states.
321 @item
322 Cause a transition to the transformation state.
323 @end itemize
324
325 @item Restricted transformations
326 @itemize @bullet
327 @item
328 Invalid in initial, INPUT PROGRAM, and FILE TYPE states.
329 @item
330 Cause a transition to the transformation state.
331 @end itemize
332
333 @item Procedures
334 @itemize @bullet
335 @item
336 Invalid in initial, INPUT PROGRAM, and FILE TYPE states.
337 @item
338 Cause a transition to the procedure state.
339 @end itemize
340 @end table
341
342 @node Missing Observations, Variables, Order of Commands, Language
343 @section Handling missing observations
344 @cindex missing values
345 @cindex values, missing
346
347 PSPP includes special support for unknown numeric data values.
348 Missing observations are assigned a special value, called the
349 @dfn{system-missing value}.  This ``value'' actually indicates the
350 absence of a value; it means that the actual value is unknown.  Procedures
351 automatically exclude from analyses those observations or cases that
352 have missing values.  Details of missing value exclusion depend on the
353 procedure and can often be controlled by the user; refer to
354 descriptions of individual procedures for details.
355
356 The system-missing value exists only for numeric variables.  String
357 variables always have a defined value, even if it is only a string of
358 spaces.
359
360 Variables, whether numeric or string, can have designated
361 @dfn{user-missing values}.  Every user-missing value is an actual value
362 for that variable.  However, most of the time user-missing values are
363 treated in the same way as the system-missing value.  String variables
364 that are wider than a certain width, usually 8 characters (depending on
365 computer architecture), cannot have user-missing values.
366
367 For more information on missing values, see the following sections:
368 @ref{Variables}, @ref{MISSING VALUES}, @ref{Expressions}.  See also the
369 documentation on individual procedures for information on how they
370 handle missing values.
371
372 @node Variables, Files, Missing Observations, Language
373 @section Variables
374 @cindex variables
375 @cindex dictionary
376
377 Variables are the basic unit of data storage in PSPP.  All the
378 variables in a file taken together, apart from any associated data, are
379 said to form a @dfn{dictionary}.  
380 Some details of variables are described in the sections below.
381
382 @menu
383 * Attributes::                  Attributes of variables.
384 * System Variables::            Variables automatically defined by PSPP.
385 * Sets of Variables::           Lists of variable names.
386 * Input and Output Formats::    Input and output formats.
387 * Scratch Variables::           Variables deleted by procedures.
388 @end menu
389
390 @node Attributes, System Variables, Variables, Variables
391 @subsection Attributes of Variables
392 @cindex variables, attributes of
393 @cindex attributes of variables
394 Each variable has a number of attributes, including:
395
396 @table @strong
397 @item Name
398 An identifier, up to 64 bytes long.  Each variable must have a different name.
399 @xref{Tokens}.
400
401 Some system variable names begin with @samp{$}, but user-defined
402 variables' names may not begin with @samp{$}.
403
404 @cindex @samp{.}
405 @cindex period
406 @cindex variable names, ending with period
407 The final character in a variable name should not be @samp{.}, because
408 such an identifier will be misinterpreted when it is the final token
409 on a line: @code{FOO.} will be divided into two separate tokens,
410 @samp{FOO} and @samp{.}, indicating end-of-command.  @xref{Tokens}.
411
412 @cindex @samp{_}
413 The final character in a variable name should not be @samp{_}, because
414 some such identifiers are used for special purposes by PSPP
415 procedures.
416
417 As with all PSPP identifiers, variable names are not case-sensitive.
418 PSPP capitalizes variable names on output the same way they were
419 capitalized at their point of definition in the input.
420
421 @cindex variables, type
422 @cindex type of variables
423 @item Type
424 Numeric or string.
425
426 @cindex variables, width
427 @cindex width of variables
428 @item Width
429 (string variables only) String variables with a width of 8 characters or
430 fewer are called @dfn{short string variables}.  Short string variables
431 can be used in many procedures where @dfn{long string variables} (those
432 with widths greater than 8) are not allowed.
433
434 Certain systems may consider strings longer than 8
435 characters to be short strings.  Eight characters represents a minimum
436 figure for the maximum length of a short string.
437
438 @item Position
439 Variables in the dictionary are arranged in a specific order.
440 @cmd{DISPLAY} can be used to show this order: see @ref{DISPLAY}.
441
442 @item Initialization
443 Either reinitialized to 0 or spaces for each case, or left at its
444 existing value.  @xref{LEAVE}.
445
446 @cindex missing values
447 @cindex values, missing
448 @item Missing values
449 Optionally, up to three values, or a range of values, or a specific
450 value plus a range, can be specified as @dfn{user-missing values}.
451 There is also a @dfn{system-missing value} that is assigned to an
452 observation when there is no other obvious value for that observation.
453 Observations with missing values are automatically excluded from
454 analyses.  User-missing values are actual data values, while the
455 system-missing value is not a value at all.  @xref{Missing Observations}.
456
457 @cindex variable labels
458 @cindex labels, variable
459 @item Variable label
460 A string that describes the variable.  @xref{VARIABLE LABELS}.
461
462 @cindex value labels
463 @cindex labels, value
464 @item Value label
465 Optionally, these associate each possible value of the variable with a
466 string.  @xref{VALUE LABELS}.
467
468 @cindex print format
469 @item Print format
470 Display width, format, and (for numeric variables) number of decimal
471 places.  This attribute does not affect how data are stored, just how
472 they are displayed.  Example: a width of 8, with 2 decimal places.
473 @xref{Input and Output Formats}.
474
475 @cindex write format
476 @item Write format
477 Similar to print format, but used by the @cmd{WRITE} command
478 (@pxref{WRITE}).
479 @end table
480
481 @node System Variables, Sets of Variables, Attributes, Variables
482 @subsection Variables Automatically Defined by PSPP
483 @cindex system variables
484 @cindex variables, system
485
486 There are seven system variables.  These are not like ordinary
487 variables because system variables are not always stored.  They can be used only
488 in expressions.  These system variables, whose values and output formats
489 cannot be modified, are described below.
490
491 @table @code
492 @cindex @code{$CASENUM}
493 @item $CASENUM
494 Case number of the case at the moment.  This changes as cases are
495 shuffled around.
496
497 @cindex @code{$DATE}
498 @item $DATE
499 Date the PSPP process was started, in format A9, following the
500 pattern @code{DD MMM YY}.
501
502 @cindex @code{$JDATE}
503 @item $JDATE
504 Number of days between 15 Oct 1582 and the time the PSPP process
505 was started.
506
507 @cindex @code{$LENGTH}
508 @item $LENGTH
509 Page length, in lines, in format F11.
510
511 @cindex @code{$SYSMIS}
512 @item $SYSMIS
513 System missing value, in format F1.
514
515 @cindex @code{$TIME}
516 @item $TIME
517 Number of seconds between midnight 14 Oct 1582 and the time the active file
518 was read, in format F20.
519
520 @cindex @code{$WIDTH}
521 @item $WIDTH
522 Page width, in characters, in format F3.
523 @end table
524
525 @node Sets of Variables, Input and Output Formats, System Variables, Variables
526 @subsection Lists of variable names
527 @cindex TO convention
528 @cindex convention, TO
529
530 To refer to a set of variables, list their names one after another.
531 Optionally, their names may be separated by commas.  To include a
532 range of variables from the dictionary in the list, write the name of
533 the first and last variable in the range, separated by @code{TO}.  For
534 instance, if the dictionary contains six variables with the names
535 @code{ID}, @code{X1}, @code{X2}, @code{GOAL}, @code{MET}, and
536 @code{NEXTGOAL}, in that order, then @code{X2 TO MET} would include
537 variables @code{X2}, @code{GOAL}, and @code{MET}.
538
539 Commands that define variables, such as @cmd{DATA LIST}, give
540 @code{TO} an alternate meaning.  With these commands, @code{TO} define
541 sequences of variables whose names end in consecutive integers.  The
542 syntax is two identifiers that begin with the same root and end with
543 numbers, separated by @code{TO}.  The syntax @code{X1 TO X5} defines 5
544 variables, named @code{X1}, @code{X2}, @code{X3}, @code{X4}, and
545 @code{X5}.  The syntax @code{ITEM0008 TO ITEM0013} defines 6
546 variables, named @code{ITEM0008}, @code{ITEM0009}, @code{ITEM0010},
547 @code{ITEM0011}, @code{ITEM0012}, and @code{ITEM00013}.  The syntaxes
548 @code{QUES001 TO QUES9} and @code{QUES6 TO QUES3} are invalid.
549
550 After a set of variables has been defined with @cmd{DATA LIST} or
551 another command with this method, the same set can be referenced on
552 later commands using the same syntax.
553
554 @node Input and Output Formats, Scratch Variables, Sets of Variables, Variables
555 @subsection Input and Output Formats
556
557 An @dfn{input format} describes how to interpret the contents of an
558 input field as a number or a string.  It might specify that the field
559 contains an ordinary decimal number, a time or date, a number in binary
560 or hexadecimal notation, or one of several other notations.  Input
561 formats are used by commands such as @cmd{DATA LIST} that read data or
562 syntax files into the PSPP active file.
563
564 Every input format corresponds to a default @dfn{output format} that
565 specifies the formatting used when the value is output later.  It is
566 always possible to explicitly specify an output format that resembles
567 the input format.  Usually, this is the default, but in cases where the
568 input format is unfriendly to human readability, such as binary or
569 hexadecimal formats, the default output format is an easier-to-read
570 decimal format.
571
572 Every variable has two output formats, called its @dfn{print format} and
573 @dfn{write format}.  Print formats are used in most output contexts;
574 write formats are used only by @cmd{WRITE} (@pxref{WRITE}).  Newly
575 created variables have identical print and write formats, and
576 @cmd{FORMATS}, the most commonly used command for changing formats
577 (@pxref{FORMATS}), sets both of them to the same value as well.  Thus,
578 most of the time, the distinction between print and write formats is
579 unimportant.
580
581 Input and output formats are specified to PSPP with a @dfn{format
582 specification} of the form @code{TYPEw} or @code{TYPEw.d}, where
583 @code{TYPE} is one of the format types described later, @code{w} is a
584 field width measured in columns, and @code{d} is an optional number of
585 decimal places.  If @code{d} is omitted, a value of 0 is assumed.  Some
586 formats do not allow a nonzero @code{d} to be specified.
587
588 The following sections describe the input and output formats supported
589 by PSPP.
590
591 @menu
592 * Basic Numeric Formats::       
593 * Custom Currency Formats::     
594 * Legacy Numeric Formats::      
595 * Binary and Hexadecimal Numeric Formats::  
596 * Time and Date Formats::       
597 * Date Component Formats::      
598 * String Formats::              
599 @end menu
600
601 @node Basic Numeric Formats
602 @subsubsection Basic Numeric Formats
603
604 The basic numeric formats are used for input and output of real numbers
605 in standard or scientific notation.  The following table shows an
606 example of how each format displays positive and negative numbers with
607 the default decimal point setting:
608
609 @float
610 @multitable {DOLLAR10.2} {@code{@tie{}$3,141.59}} {@code{-$3,141.59}}
611 @headitem Format @tab @code{@tie{}}3141.59   @tab -3141.59
612 @item F8.2       @tab @code{@tie{}3141.59}   @tab @code{-3141.59}
613 @item COMMA9.2   @tab @code{@tie{}3,141.59}  @tab @code{-3,141.59}
614 @item DOT9.2     @tab @code{@tie{}3.141,59}  @tab @code{-3.141,59}
615 @item DOLLAR10.2 @tab @code{@tie{}$3,141.59} @tab @code{-$3,141.59}
616 @item PCT9.2     @tab @code{@tie{}3141.59%}  @tab @code{-3141.59%}
617 @item E8.1       @tab @code{@tie{}3.1E+003}  @tab @code{-3.1E+003}
618 @end multitable
619 @end float
620
621 On output, numbers in F format are expressed in standard decimal
622 notation with the requested number of decimal places.  The other formats
623 output some variation on this style:
624
625 @itemize @bullet
626 @item
627 Numbers in COMMA format are additionally grouped every three digits by
628 inserting a grouping character.  The grouping character is ordinarily a
629 comma, but it can be changed to a period (@pxref{SET DECIMAL}).
630
631 @item
632 DOT format is like COMMA format, but it interchanges the role of the
633 decimal point and grouping characters.  That is, the current grouping
634 character is used as a decimal point and vice versa.
635
636 @item
637 DOLLAR format is like COMMA format, but it prefixes the number with
638 @samp{$}.
639
640 @item
641 PCT format is like F format, but adds @samp{%} after the number.
642
643 @item
644 The E format always produces output in scientific notation.
645 @end itemize
646
647 On input, the basic numeric formats accept positive and numbers in
648 standard decimal notation or scientific notation.  Leading and trailing
649 spaces are allowed.  An empty or all-spaces field, or one that contains
650 only a single period, is treated as the system missing value.
651
652 In scientific notation, the exponent may be introduced by a sign
653 (@samp{+} or @samp{-}), or by one of the letters @samp{e} or @samp{d}
654 (in uppercase or lowercase), or by a letter followed by a sign.  A
655 single space may follow the letter or the sign or both.
656
657 On fixed-format @cmd{DATA LIST} (@pxref{DATA LIST FIXED}) and in a few
658 other contexts, decimals are implied when the field does not contain a
659 decimal point.  In F6.5 format, for example, the field @code{314159} is
660 taken as the value 3.14159 with implied decimals.  Decimals are never
661 implied if an explicit decimal point is present or if scientific
662 notation is used.
663
664 E and F formats accept the basic syntax already described.  The other
665 formats allow some additional variations:
666
667 @itemize @bullet
668 @item
669 COMMA, DOLLAR, and DOT formats ignore grouping characters within the
670 integer part of the input field.  The identity of the grouping
671 character depends on the format.
672
673 @item
674 DOLLAR format allows a dollar sign to precede the number.  In a negative
675 number, the dollar sign may precede or follow the minus sign.
676
677 @item
678 PCT format allows a percent sign to follow the number.
679 @end itemize
680
681 All of the basic number formats have a maximum field width of 40 and
682 accept no more than 16 decimal places, on both input and output.  Some
683 additional restrictions apply:
684
685 @itemize @bullet
686 @item
687 As input formats, the basic numeric formats allow no more decimal places
688 than the field width.  As output formats, the field width must be
689 greater than the number of decimal places; that is, large enough to
690 allow for a decimal point and the number of requested decimal places.
691 DOLLAR and PCT formats must allow an additional column for @samp{$} or
692 @samp{%}.
693
694 @item
695 The default output format for a given input format increases the field
696 width enough to make room for optional input characters.  If an input
697 format calls for decimal places, the width is increased by 1 to make
698 room for an implied decimal point.  COMMA, DOT, and DOLLAR formats also
699 increase the output width to make room for grouping characters.  DOLLAR
700 and PCT further increase the output field width by 1 to make room for
701 @samp{$} or @samp{%}.  The increased output width is capped at 40, the
702 maximum field width.
703
704 @item
705 The E format is exceptional.  For output, E format has a minimum width
706 of 7 plus the number of decimal places.  The default output format for
707 an E input format is an E format with at least 3 decimal places and
708 thus a minimum width of 10.
709 @end itemize
710
711 More details of basic numeric output formatting are given below:
712
713 @itemize @bullet
714 @item
715 Output rounds to nearest, with ties rounded away from zero.  Thus, 2.5
716 is output as @code{3} in F1.0 format, and -1.125 as @code{-1.13} in F5.1
717 format.
718
719 @item
720 The system-missing value is output as a period in a field of spaces,
721 placed in the decimal point's position, or in the rightmost column if no
722 decimal places are requested.  A period is used even if the decimal
723 point character is a comma.
724
725 @item
726 A number that does not fill its field is right-justified within the
727 field.
728
729 @item
730 A number is too large for its field causes decimal places to be dropped
731 to make room.  If dropping decimals does not make enough room,
732 scientific notation is used if the field is wide enough.  If a number
733 does not fit in the field, even in scientific notation, the overflow is
734 indicated by filling the field with asterisks (@samp{*}).
735
736 @item
737 COMMA, DOT, and DOLLAR formats insert grouping characters only if space
738 is available for all of them.  Grouping characters are never inserted
739 when all decimal places must be dropped.  Thus, 1234.56 in COMMA5.2
740 format is output as @samp{@tie{}1235} without a comma, even though there
741 is room for one, because all decimal places were dropped.
742
743 @item
744 DOLLAR or PCT format drop the @samp{$} or @samp{%} only if the number
745 would not fit at all without it.  Scientific notation with @samp{$} or
746 @samp{%} is preferred to ordinary decimal notation without it.
747
748 @item
749 Except in scientific notation, a decimal point is included only when
750 it is followed by a digit.  If the integer part of the number being
751 output is 0, and a decimal point is included, then the zero before the
752 decimal point is dropped.
753
754 In scientific notation, the number always includes a decimal point,
755 even if it is not followed by a digit.
756
757 @item
758 A negative number includes a minus sign only in the presence of a
759 nonzero digit: -0.01 is output as @samp{-.01} in F4.2 format but as
760 @samp{@tie{}@tie{}.0} in F4.1 format.  Thus, a ``negative zero'' never
761 includes a minus sign.
762
763 @item
764 In negative numbers output in DOLLAR format, the dollar sign follows the
765 negative sign.  Thus, -9.99 in DOLLAR6.2 format is output as
766 @code{-$9.99}.
767
768 @item
769 In scientific notation, the exponent is output as @samp{E} followed by
770 @samp{+} or @samp{-} and exactly three digits.  Numbers with magnitude
771 less than 10**-999 or larger than 10**999 are not supported by most
772 computers, but if they are supported then their output is considered
773 to overflow the field and will be output as asterisks.
774
775 @item
776 On most computers, no more than 15 decimal digits are significant in
777 output, even if more are printed.  In any case, output precision cannot
778 be any higher than input precision; few data sets are accurate to 15
779 digits of precision.  Unavoidable loss of precision in intermediate
780 calculations may also reduce precision of output.
781
782 @item
783 Special values such as infinities and ``not a number'' values are
784 usually converted to the system-missing value before printing.  In a few
785 circumstances, these values are output directly.  In fields of width 3
786 or greater, special values are output as however many characters will
787 fit from @code{+Infinity} or @code{-Infinity} for infinities, from
788 @code{NaN} for ``not a number,'' or from @code{Unknown} for other values
789 (if any are supported by the system).  In fields under 3 columns wide,
790 special values are output as asterisks.
791 @end itemize
792
793 @node Custom Currency Formats
794 @subsubsection Custom Currency Formats
795
796 The custom currency formats are closely related to the basic numeric
797 formats, but they allow users to customize the output format.  The
798 SET command configures custom currency formats, using the syntax
799 @display
800 SET CC@var{x}=@t{"}@var{string}@t{"}.
801 @end display
802 @noindent 
803 where @var{x} is A, B, C, D, or E, and @var{string} is no more than 16
804 characters long.
805
806 @var{string} must contain exactly three commas or exactly three periods
807 (but not both), except that a single quote character may be used to
808 ``escape'' a following comma, period, or single quote.  If three commas
809 are used, commas will be used for grouping in output, and a period will
810 be used as the decimal point.  Uses of periods reverses these roles.
811
812 The commas or periods divide @var{string} into four fields, called the
813 @dfn{negative prefix}, @dfn{prefix}, @dfn{suffix}, and @dfn{negative
814 suffix}, respectively.  The prefix and suffix are added to output
815 whenever space is available.  The negative prefix and negative suffix
816 are always added to a negative number when the output includes a nonzero
817 digit.
818
819 The following syntax shows how custom currency formats could be used to
820 reproduce basic numeric formats:
821
822 @example
823 @group
824 SET CCA="-,,,".  /* Same as COMMA.
825 SET CCB="-...".  /* Same as DOT.
826 SET CCC="-,$,,". /* Same as DOLLAR.
827 SET CCD="-,,%,". /* Like PCT, but groups with commas.
828 @end group
829 @end example
830
831 Here are some more examples of custom currency formats.  The final
832 example shows how to use a single quote to escape a delimiter:
833
834 @example
835 @group
836 SET CCA=",EUR,,-".   /* Euro.
837 SET CCB="(,USD ,,)". /* US dollar.
838 SET CCC="-.R$..".    /* Brazilian real.
839 SET CCD="-,, NIS,".  /* Israel shekel.
840 SET CCE="-.Rp'. ..". /* Indonesia Rupiah.
841 @end group
842 @end example
843
844 @noindent These formats would yield the following output:
845
846 @float
847 @multitable {CCD13.2} {@code{@tie{}@tie{}USD 3,145.59}} {@code{(USD 3,145.59)}}
848 @headitem Format @tab @code{@tie{}}3145.59         @tab -3145.59
849 @item CCA12.2 @tab @code{@tie{}EUR3,145.59}        @tab @code{EUR3,145.59-}
850 @item CCB14.2 @tab @code{@tie{}@tie{}USD 3,145.59} @tab @code{(USD 3,145.59)}
851 @item CCC11.2 @tab @code{@tie{}R$3.145,59}         @tab @code{-R$3.145,59}
852 @item CCD13.2 @tab @code{@tie{}3,145.59 NIS}       @tab @code{-3,145.59 NIS}
853 @item CCE10.0 @tab @code{@tie{}Rp. 3.146}          @tab @code{-Rp. 3.146}
854 @end multitable
855 @end float
856
857 The default for all the custom currency formats is @samp{-,,,},
858 equivalent to COMMA format.
859
860 @node Legacy Numeric Formats
861 @subsubsection Legacy Numeric Formats
862
863 The N and Z numeric formats provide compatibility with legacy file
864 formats.  They have much in common:
865
866 @itemize @bullet
867 @item
868 Output is rounded to the nearest representable value, with ties rounded
869 away from zero.
870
871 @item
872 Numbers too large to display are output as a field filled with asterisks
873 (@samp{*}).
874
875 @item
876 The decimal point is always implicitly the specified number of digits
877 from the right edge of the field, except that Z format input allows an
878 explicit decimal point.
879
880 @item
881 Scientific notation may not be used.
882
883 @item
884 The system-missing value is output as a period in a field of spaces.
885 The period is placed just to the right of the implied decimal point in
886 Z format, or at the right end in N format or in Z format if no decimal
887 places are requested.  A period is used even if the decimal point
888 character is a comma.
889
890 @item
891 Field width may range from 1 to 40.  Decimal places may range from 0 up
892 to the field width, to a maximum of 16.
893
894 @item
895 When a legacy numeric format used for input is converted to an output
896 format, it is changed into the equivalent F format.  The field width is
897 increased by 1 if any decimal places are specified, to make room for a
898 decimal point.  For Z format, the field width is increased by 1 more
899 column, to make room for a negative sign.  The output field width is
900 capped at 40 columns.
901 @end itemize
902
903 @subsubheading N Format
904
905 The N format supports input and output of fields that contain only
906 digits.  On input, leading or trailing spaces, a decimal point, or any
907 other non-digit character causes the field to be read as the
908 system-missing value.  As a special exception, an N format used on
909 @cmd{DATA LIST FREE} or @cmd{DATA LIST LIST} is treated as the
910 equivalent F format.
911
912 On output, N pads the field on the left with zeros.  Negative numbers
913 are output like the system-missing value.
914
915 @subsubheading Z Format
916
917 The Z format is a ``zoned decimal'' format used on IBM mainframes.  Z
918 format encodes the sign as part of the final digit, which must be one of
919 the following:
920 @example
921 0123456789
922 @{ABCDEFGHI
923 @}JKLMNOPQR
924 @end example
925 @noindent
926 where the characters in each row represent digits 0 through 9 in order.
927 Characters in the first two rows indicate a positive sign; those in the
928 third indicate a negative sign.
929
930 On output, Z fields are padded on the left with spaces.  On input,
931 leading and trailing spaces are ignored.  Any character in an input
932 field other than spaces, the digit characters above, and @samp{.} causes
933 the field to be read as system-missing.
934
935 The decimal point character for input and output is always @samp{.},
936 even if the decimal point character is a comma (@pxref{SET DECIMAL}).
937
938 Nonzero, negative values output in Z format are marked as negative even
939 when no nonzero digits are output.  For example, -0.2 is output in Z1.0
940 format as @samp{J}.  The ``negative zero'' value supported by most
941 machines is output as positive.
942
943 @node Binary and Hexadecimal Numeric Formats
944 @subsubsection Binary and Hexadecimal Numeric Formats
945
946 The binary and hexadecimal formats are primarily designed for
947 compatibility with existing machine formats, not for human readability.
948 All of them therefore have a F format as default output format.  Some of
949 these formats are only portable between machines with compatible byte
950 ordering (endianness) or floating-point format.
951
952 Binary formats use byte values that in text files are interpreted as
953 special control functions, such as carriage return and line feed.  Thus,
954 data in binary formats should not be included in syntax files or read
955 from data files with variable-length records, such as ordinary text
956 files.  They may be read from or written to data files with fixed-length
957 records.  @xref{FILE HANDLE}, for information on working with
958 fixed-length records.
959
960 @subsubheading P and PK Formats
961
962 These are binary-coded decimal formats, in which every byte (except the
963 last, in P format) represents two decimal digits.  The most-significant
964 4 bits of the first byte is the most-significant decimal digit, the
965 least-significant 4 bits of the first byte is the next decimal digit,
966 and so on.
967
968 In P format, the most-significant 4 bits of the last byte are the
969 least-significant decimal digit.  The least-significant 4 bits represent
970 the sign: decimal 15 indicates a negative value, decimal 13 indicates a
971 positive value.
972
973 Numbers are rounded downward on output.  The system-missing value and
974 numbers outside representable range are output as zero.
975
976 The maximum field width is 16.  Decimal places may range from 0 up to
977 the number of decimal digits represented by the field.
978
979 The default output format is an F format with twice the input field
980 width, plus one column for a decimal point (if decimal places were
981 requested).
982
983 @subsubheading IB and PIB Formats
984
985 These are integer binary formats.  IB reads and writes 2's complement
986 binary integers, and PIB reads and writes unsigned binary integers.  The
987 byte ordering is by default the host machine's, but SET RIB may be used
988 to select a specific byte ordering for reading (@pxref{SET RIB}) and
989 SET WIB, similarly, for writing (@pxref{SET WIB}).
990
991 The maximum field width is 8.  Decimal places may range from 0 up to the
992 number of decimal digits in the largest value representable in the field
993 width.
994
995 The default output format is an F format whose width is the number of
996 decimal digits in the largest value representable in the field width,
997 plus 1 if the format has decimal places.
998
999 @subsubheading RB Format
1000
1001 This is a binary format for real numbers.  By default it reads and
1002 writes the host machine's floating-point format, but SET RRB may be
1003 used to select an alternate floating-point format for reading
1004 (@pxref{SET RRB}) and SET WRB, similarly, for writing (@pxref{SET
1005 WRB}).
1006
1007 The recommended field width depends on the floating-point format.
1008 NATIVE (the default format), IDL, IDB, VD, VG, and ZL formats should use
1009 a field width of 8.  ISL, ISB, VF, and ZS formats should use a field
1010 width of 4.  Other field widths will not produce useful results.  The
1011 maximum field width is 8.  No decimal places may be specified.
1012
1013 The default output format is F8.2.
1014
1015 @subsubheading PIBHEX and RBHEX Formats
1016
1017 These are hexadecimal formats, for reading and writing binary formats
1018 where each byte has been recoded as a pair of hexadecimal digits.
1019
1020 A hexadecimal field consists solely of hexadecimal digits
1021 @samp{0}@dots{}@samp{9} and @samp{A}@dots{}@samp{F}.  Uppercase and
1022 lowercase are accepted on input; output is in uppercase.
1023
1024 Other than the hexadecimal representation, these formats are equivalent
1025 to PIB and RB formats, respectively.  However, bytes in PIBHEX format
1026 are always ordered with the most-significant byte first (big-endian
1027 order), regardless of the host machine's native byte order or PSPP
1028 settings.
1029
1030 Field widths must be even and between 2 and 16.  RBHEX format allows no
1031 decimal places; PIBHEX allows as many decimal places as a PIB format
1032 with half the given width.
1033
1034 @node Time and Date Formats
1035 @subsubsection Time and Date Formats
1036
1037 In PSPP, a @dfn{time} is an interval.  The time formats translate
1038 between human-friendly descriptions of time intervals and PSPP's
1039 internal representation of time intervals, which is simply the number of
1040 seconds in the interval.  PSPP has two time formats:
1041
1042 @float
1043 @multitable {Time Format} {@code{dd-mmm-yyyy HH:MM:SS.ss}} {@code{01-OCT-1978 04:31:17.01}}
1044 @headitem Time Format @tab Template                  @tab Example
1045 @item TIME     @tab @code{hh:MM:SS.ss}          @tab @code{04:31:17.01}
1046 @item DTIME    @tab @code{DD HH:MM:SS.ss}       @tab @code{00 04:31:17.01}
1047 @end multitable
1048 @end float
1049
1050 A @dfn{date} is a moment in the past or the future.  Internally, PSPP
1051 represents a date as the number of seconds since the @dfn{epoch},
1052 midnight, Oct. 14, 1582.  The date formats translate between
1053 human-readable dates and PSPP's numeric representation of dates and
1054 times.  PSPP has several date formats:
1055
1056 @float
1057 @multitable {Date Format} {@code{dd-mmm-yyyy HH:MM:SS.ss}} {@code{01-OCT-1978 04:31:17.01}}
1058 @headitem Date Format @tab Template                  @tab Example
1059 @item DATE     @tab @code{dd-mmm-yyyy}          @tab @code{01-OCT-1978}
1060 @item ADATE    @tab @code{mm/dd/yyyy}           @tab @code{10/01/1978}
1061 @item EDATE    @tab @code{dd.mm.yyyy}           @tab @code{01.10.1978}
1062 @item JDATE    @tab @code{yyyyjjj}              @tab @code{1978274}
1063 @item SDATE    @tab @code{yyyy/mm/dd}           @tab @code{1978/10/01}
1064 @item QYR      @tab @code{q Q yyyy}             @tab @code{3 Q 1978}
1065 @item MOYR     @tab @code{mmm yyyy}             @tab @code{OCT 1978}
1066 @item WKYR     @tab @code{ww WK yyyy}           @tab @code{40 WK 1978}
1067 @item DATETIME @tab @code{dd-mmm-yyyy HH:MM:SS.ss} @tab @code{01-OCT-1978 04:31:17.01}
1068 @end multitable
1069 @end float
1070
1071 The templates in the preceding tables describe how the time and date
1072 formats are input and output:
1073
1074 @table @code
1075 @item dd
1076 Day of month, from 1 to 31.  Always output as two digits.
1077
1078 @item mm
1079 @itemx mmm
1080 Month.  In output, @code{mm} is output as two digits, @code{mmm} as the
1081 first three letters of an English month name (January, February,
1082 @dots{}).  In input, both of these formats, plus Roman numerals, are
1083 accepted.
1084
1085 @item yyyy
1086 Year.  In output, DATETIME always produces a 4-digit year; other
1087 formats can produce a 2- or 4-digit year.  The century assumed for
1088 2-digit years depends on the EPOCH setting (@pxref{SET EPOCH}).  In
1089 output, a year outside the epoch causes the whole field to be filled
1090 with asterisks (@samp{*}).
1091
1092 @item jjj
1093 Day of year (Julian day), from 1 to 366.  This is exactly three digits
1094 giving the count of days from the start of the year.  January 1 is
1095 considered day 1.
1096
1097 @item q
1098 Quarter of year, from 1 to 4.  Quarters start on January 1, April 1,
1099 July 1, and October 1.
1100
1101 @item ww
1102 Week of year, from 1 to 53.  Output as exactly two digits.  January 1 is
1103 the first day of week 1.
1104
1105 @item DD
1106 Count of days, which may be positive or negative.  Output as at least
1107 two digits.
1108
1109 @item hh
1110 Count of hours, which may be positive or negative.  Output as at least
1111 two digits.
1112
1113 @item HH
1114 Hour of day, from 0 to 23.  Output as exactly two digits.
1115
1116 @item MM
1117 Minute of hour, from 0 to 59.  Output as exactly two digits.
1118
1119 @item SS.ss
1120 Seconds within minute, from 0 to 59.  The integer part is output as
1121 exactly two digits.  On output, seconds and fractional seconds may or
1122 may not be included, depending on field width and decimal places.  On
1123 input, seconds and fractional seconds are optional.  The DECIMAL setting
1124 controls the character accepted and displayed as the decimal point
1125 (@pxref{SET DECIMAL}).
1126 @end table
1127
1128 For output, the date and time formats use the delimiters indicated in
1129 the table.  For input, date components may be separated by spaces or by
1130 one of the characters @samp{-}, @samp{/}, @samp{.}, or @samp{,}, and
1131 time components may be separated by spaces, @samp{:}, or @samp{.}.  On
1132 input, the @samp{Q} separating quarter from year and the @samp{WK}
1133 separating week from year may be uppercase or lowercase, and the spaces
1134 around them are optional.
1135
1136 On input, all time and date formats accept any amount of leading and
1137 trailing white space.
1138
1139 The maximum width for time and date formats is 40 columns.  Minimum
1140 input and output width for each of the time and date formats is shown
1141 below:
1142 @float
1143 @multitable {DATETIME} {Min. Input Width} {Min. Output Width} {4-digit year}
1144 @headitem Format @tab Min. Input Width @tab Min. Output Width @tab Option 
1145 @item DATE @tab 8 @tab 9 @tab 4-digit year
1146 @item ADATE @tab 8 @tab 8 @tab 4-digit year
1147 @item EDATE @tab 8 @tab 8 @tab 4-digit year
1148 @item JDATE @tab 5 @tab 5 @tab 4-digit year
1149 @item SDATE @tab 8 @tab 8 @tab 4-digit year
1150 @item QYR @tab 4 @tab 6 @tab 4-digit year
1151 @item MOYR @tab 6 @tab 6 @tab 4-digit year
1152 @item WKYR @tab 6 @tab 8 @tab 4-digit year
1153 @item DATETIME @tab 17 @tab 17 @tab seconds
1154 @item TIME @tab 5 @tab 5 @tab seconds
1155 @item DTIME @tab 8 @tab 8 @tab seconds
1156 @end multitable
1157 @end float
1158 @noindent 
1159 In the table, ``Option'' describes what increased output width enables:
1160
1161 @table @asis
1162 @item 4-digit year
1163 A field 2 columns wider than minimum will include a 4-digit year.
1164 (DATETIME format always includes a 4-digit year.)
1165
1166 @item seconds
1167 A field 3 columns wider than minimum will include seconds as well as
1168 minutes.  A field 5 columns wider than minimum, or more, can also
1169 include a decimal point and fractional seconds (but no more than allowed
1170 by the format's decimal places).
1171 @end table
1172
1173 For the time and date formats, the default output format is the same as
1174 the input format, except that PSPP increases the field width, if
1175 necessary, to the minimum allowed for output.
1176
1177 Time or dates narrower than the field width are right-justified within
1178 the field.
1179
1180 When a time or date exceeds the field width, characters are trimmed from
1181 the end until it fits.  This can occur in an unusual situation, e.g.@:
1182 with a year greater than 9999 (which adds an extra digit), or for a
1183 negative value on TIME or DTIME (which adds a leading minus sign).
1184
1185 @c What about out-of-range values?
1186
1187 The system-missing value is output as a period at the right end of the
1188 field.  
1189
1190 @node Date Component Formats
1191 @subsubsection Date Component Formats
1192
1193 The WKDAY and MONTH formats provide input and output for the names of
1194 weekdays and months, respectively.
1195
1196 On output, these formats convert a number between 1 and 7, for WKDAY, or
1197 between 1 and 12, for MONTH, into the English name of a day or month,
1198 respectively.  If the name is longer than the field, it is trimmed to
1199 fit.  If the name is shorter than the field, it is padded on the right
1200 with spaces.  Values outside the valid range, and the system-missing
1201 value, are output as all spaces.
1202
1203 On input, English weekday or month names (in uppercase or lowercase) are
1204 converted back to their corresponding numbers.  Weekday and month names
1205 may be abbreviated to their first 2 or 3 letters, respectively.
1206
1207 The field width may range from 2 to 40, for WKDAY, or from 3 to 40, for
1208 MONTH.  No decimal places are allowed.
1209
1210 The default output format is the same as the input format.
1211
1212 @node String Formats
1213 @subsubsection String Formats
1214
1215 The A and AHEX formats are the only ones that may be assigned to string
1216 variables.  Neither format allows any decimal places.
1217
1218 In A format, the entire field is treated as a string value.  The field
1219 width may range from 1 to 32,767, the maximum string width.  The default
1220 output format is the same as the input format.
1221
1222 In AHEX format, the field is composed of characters in a string encoded
1223 as hex digit pairs.  On output, hex digits are output in uppercase; on
1224 input, uppercase and lowercase are both accepted.  The default output
1225 format is A format with half the input width.
1226
1227 @node Scratch Variables,  , Input and Output Formats, Variables
1228 @subsection Scratch Variables
1229
1230 Most of the time, variables don't retain their values between cases.
1231 Instead, either they're being read from a data file or the active file,
1232 in which case they assume the value read, or, if created with
1233 @cmd{COMPUTE} or
1234 another transformation, they're initialized to the system-missing value
1235 or to blanks, depending on type.
1236
1237 However, sometimes it's useful to have a variable that keeps its value
1238 between cases.  You can do this with @cmd{LEAVE} (@pxref{LEAVE}), or you can
1239 use a @dfn{scratch variable}.  Scratch variables are variables whose
1240 names begin with an octothorpe (@samp{#}).  
1241
1242 Scratch variables have the same properties as variables left with
1243 @cmd{LEAVE}: they retain their values between cases, and for the first
1244 case they are initialized to 0 or blanks.  They have the additional
1245 property that they are deleted before the execution of any procedure.
1246 For this reason, scratch variables can't be used for analysis.  To use
1247 a scratch variable in an analysis, use @cmd{COMPUTE} (@pxref{COMPUTE})
1248 to copy its value into an ordinary variable, then use that ordinary
1249 variable in the analysis.
1250
1251 @node Files
1252 @section Files Used by PSPP
1253
1254 PSPP makes use of many files each time it runs.  Some of these it
1255 reads, some it writes, some it creates.  Here is a table listing the
1256 most important of these files:
1257
1258 @table @strong
1259 @cindex file, command
1260 @cindex file, syntax file
1261 @cindex command file
1262 @cindex syntax file
1263 @item command file
1264 @itemx syntax file
1265 These names (synonyms) refer to the file that contains instructions
1266 that tell PSPP what to do.  The syntax file's name is specified on
1267 the PSPP command line.  Syntax files can also be read with
1268 @cmd{INCLUDE} (@pxref{INCLUDE}).
1269
1270 @cindex file, data
1271 @cindex data file
1272 @item data file
1273 Data files contain raw data in text or binary format.  Data can also
1274 be embedded in a syntax file with @cmd{BEGIN DATA} and @cmd{END DATA}.
1275
1276 @cindex file, output
1277 @cindex output file
1278 @item listing file
1279 One or more output files are created by PSPP each time it is
1280 run.  The output files receive the tables and charts produced by
1281 statistical procedures.  The output files may be in any number of formats,
1282 depending on how PSPP is configured.
1283
1284 @cindex active file
1285 @cindex file, active
1286 @item active file
1287 The active file is the ``file'' on which all PSPP procedures are
1288 performed.  The active file consists of a dictionary and a set of cases.
1289 The active file is not necessarily a disk file: it is stored in memory
1290 if there is room.
1291
1292 @cindex system file
1293 @cindex file, system
1294 @item system file
1295 System files are binary files that store a dictionary and a set of
1296 cases.  @cmd{GET} and @cmd{SAVE} read and write system files.
1297
1298 @cindex portable file
1299 @cindex file, portable
1300 @item portable file
1301 Portable files are files in a text-based format that store a dictionary
1302 and a set of cases.  @cmd{IMPORT} and @cmd{EXPORT} read and write
1303 portable files.
1304
1305 @cindex scratch file
1306 @cindex file, scratch
1307 @item scratch file
1308 Scratch files consist of a dictionary and cases and may be stored in
1309 memory or on disk.  Most procedures that act on a system file or
1310 portable file can use a scratch file instead.  The contents of scratch
1311 files persist within a single PSPP session only.  @cmd{GET} and
1312 @cmd{SAVE} can be used to read and write scratch files.  Scratch files
1313 are a PSPP extension.
1314 @end table
1315
1316 @node File Handles
1317 @section File Handles
1318 @cindex file handles
1319
1320 A @dfn{file handle} is a reference to a data file, system file, portable
1321 file, or scratch file.  Most often, a file handle is specified as the
1322 name of a file as a string, that is, enclosed within @samp{'} or
1323 @samp{"}.
1324
1325 PSPP also supports declaring named file handles with the @cmd{FILE
1326 HANDLE} command.  This command associates an identifier of your choice
1327 (the file handle's name) with a file.  Later, the file handle name can
1328 be substituted for the name of the file.  When PSPP syntax accesses a
1329 file multiple times, declaring a named file handle simplifies updating
1330 the syntax later to use a different file.  Use of @cmd{FILE HANDLE} is
1331 also required to read data files in binary formats.  @xref{FILE HANDLE},
1332 for more information.
1333
1334 PSPP assumes that a file handle name that begins with @samp{#} refers to
1335 a scratch file, unless the name has already been declared on @cmd{FILE
1336 HANDLE} to refer to another kind of file.  A scratch file is similar to
1337 a system file, except that it persists only for the duration of a given
1338 PSPP session.  Most commands that read or write a system or portable
1339 file, such as @cmd{GET} and @cmd{SAVE}, also accept scratch file
1340 handles.  Scratch file handles may also be declared explicitly with
1341 @cmd{FILE HANDLE}.  Scratch files are a PSPP extension.
1342
1343 In some circumstances, PSPP must distinguish whether a file handle
1344 refers to a system file or a portable file.  When this is necessary to
1345 read a file, e.g.@: as an input file for @cmd{GET} or @cmd{MATCH FILES},
1346 PSPP uses the file's contents to decide.  In the context of writing a
1347 file, e.g.@: as an output file for @cmd{SAVE} or @cmd{AGGREGATE}, PSPP
1348 decides based on the file's name: if it ends in @samp{.por} (with any
1349 capitalization), then PSPP writes a portable file; otherwise, PSPP
1350 writes a system file.
1351
1352 INLINE is reserved as a file handle name.  It refers to the ``data
1353 file'' embedded into the syntax file between @cmd{BEGIN DATA} and
1354 @cmd{END DATA}.  @xref{BEGIN DATA}, for more information.
1355
1356 The file to which a file handle refers may be reassigned on a later
1357 @cmd{FILE HANDLE} command if it is first closed using @cmd{CLOSE FILE
1358 HANDLE}.  The @cmd{CLOSE FILE HANDLE} command is also useful to free the
1359 storage associated with a scratch file.  @xref{CLOSE FILE HANDLE}, for
1360 more information.
1361
1362 @node BNF
1363 @section Backus-Naur Form
1364 @cindex BNF
1365 @cindex Backus-Naur Form
1366 @cindex command syntax, description of
1367 @cindex description of command syntax
1368
1369 The syntax of some parts of the PSPP language is presented in this
1370 manual using the formalism known as @dfn{Backus-Naur Form}, or BNF. The
1371 following table describes BNF:
1372
1373 @itemize @bullet
1374 @cindex keywords
1375 @cindex terminals
1376 @item
1377 Words in all-uppercase are PSPP keyword tokens.  In BNF, these are
1378 often called @dfn{terminals}.  There are some special terminals, which
1379 are written in lowercase for clarity:
1380
1381 @table @asis
1382 @cindex @code{number}
1383 @item @code{number}
1384 A real number.
1385
1386 @cindex @code{integer}
1387 @item @code{integer}
1388 An integer number.
1389
1390 @cindex @code{string}
1391 @item @code{string}
1392 A string.
1393
1394 @cindex @code{var-name}
1395 @item @code{var-name}
1396 A single variable name.
1397
1398 @cindex operators
1399 @cindex punctuators
1400 @item @code{=}, @code{/}, @code{+}, @code{-}, etc.
1401 Operators and punctuators.
1402
1403 @cindex @code{.}
1404 @item @code{.}
1405 The end of the command.  This is not necessarily an actual dot in the
1406 syntax file: @xref{Commands}, for more details.
1407 @end table
1408
1409 @item
1410 @cindex productions
1411 @cindex nonterminals
1412 Other words in all lowercase refer to BNF definitions, called
1413 @dfn{productions}.  These productions are also known as
1414 @dfn{nonterminals}.  Some nonterminals are very common, so they are
1415 defined here in English for clarity:
1416
1417 @table @code
1418 @cindex @code{var-list}
1419 @item var-list
1420 A list of one or more variable names or the keyword @code{ALL}.
1421
1422 @cindex @code{expression}
1423 @item expression
1424 An expression.  @xref{Expressions}, for details.
1425 @end table
1426
1427 @item
1428 @cindex ``is defined as''
1429 @cindex productions
1430 @samp{::=} means ``is defined as''.  The left side of @samp{::=} gives
1431 the name of the nonterminal being defined.  The right side of @samp{::=}
1432 gives the definition of that nonterminal.  If the right side is empty,
1433 then one possible expansion of that nonterminal is nothing.  A BNF
1434 definition is called a @dfn{production}.
1435
1436 @item
1437 @cindex terminals and nonterminals, differences
1438 So, the key difference between a terminal and a nonterminal is that a
1439 terminal cannot be broken into smaller parts---in fact, every terminal
1440 is a single token (@pxref{Tokens}).  On the other hand, nonterminals are
1441 composed of a (possibly empty) sequence of terminals and nonterminals.
1442 Thus, terminals indicate the deepest level of syntax description.  (In
1443 parsing theory, terminals are the leaves of the parse tree; nonterminals
1444 form the branches.)
1445
1446 @item
1447 @cindex start symbol
1448 @cindex symbol, start
1449 The first nonterminal defined in a set of productions is called the
1450 @dfn{start symbol}.  The start symbol defines the entire syntax for
1451 that command.
1452 @end itemize
1453 @setfilename ignored