Whitespace changes only
[pspp-builds.git] / doc / language.texi
1 @node Language
2 @chapter The PSPP language
3 @cindex language, PSPP
4 @cindex PSPP, language
5
6 This chapter discusses elements common to many PSPP commands.
7 Later chapters will describe individual commands in detail.
8
9 @menu
10 * Tokens::                      Characters combine to form tokens.
11 * Commands::                    Tokens combine to form commands.
12 * Syntax Variants::             Batch vs. Interactive mode
13 * Types of Commands::           Commands come in several flavors.
14 * Order of Commands::           Commands combine to form syntax files.
15 * Missing Observations::        Handling missing observations.
16 * Datasets::                    Data organization.
17 * Files::                       Files used by PSPP.
18 * File Handles::                How files are named.
19 * BNF::                         How command syntax is described.
20 @end menu
21
22
23 @node Tokens
24 @section Tokens
25 @cindex language, lexical analysis
26 @cindex language, tokens
27 @cindex tokens
28 @cindex lexical analysis
29
30 PSPP divides most syntax file lines into series of short chunks
31 called @dfn{tokens}.
32 Tokens are then grouped to form commands, each of which tells
33 PSPP to take some action---read in data, write out data, perform
34 a statistical procedure, etc.  Each type of token is
35 described below.
36
37 @table @strong
38 @cindex identifiers
39 @item Identifiers
40 Identifiers are names that typically specify variables, commands, or
41 subcommands.  The first character in an identifier must be a letter,
42 @samp{#}, or @samp{@@}.  The remaining characters in the identifier
43 must be letters, digits, or one of the following special characters:
44
45 @example
46 @center @.  _  $  #  @@
47 @end example
48
49 @cindex case-sensitivity
50 Identifiers may be any length, but only the first 64 bytes are
51 significant.  Identifiers are not case-sensitive: @code{foobar},
52 @code{Foobar}, @code{FooBar}, @code{FOOBAR}, and @code{FoObaR} are
53 different representations of the same identifier.
54
55 @cindex identifiers, reserved
56 @cindex reserved identifiers
57 Some identifiers are reserved.  Reserved identifiers may not be used
58 in any context besides those explicitly described in this manual.  The
59 reserved identifiers are:
60
61 @example
62 @center ALL  AND  BY  EQ  GE  GT  LE  LT  NE  NOT  OR  TO  WITH
63 @end example
64
65 @item Keywords
66 Keywords are a subclass of identifiers that form a fixed part of
67 command syntax.  For example, command and subcommand names are
68 keywords.  Keywords may be abbreviated to their first 3 characters if
69 this abbreviation is unambiguous.  (Unique abbreviations of 3 or more
70 characters are also accepted: @samp{FRE}, @samp{FREQ}, and
71 @samp{FREQUENCIES} are equivalent when the last is a keyword.)
72
73 Reserved identifiers are always used as keywords.  Other identifiers
74 may be used both as keywords and as user-defined identifiers, such as
75 variable names.
76
77 @item Numbers
78 @cindex numbers
79 @cindex integers
80 @cindex reals
81 Numbers are expressed in decimal.  A decimal point is optional.
82 Numbers may be expressed in scientific notation by adding @samp{e} and
83 a base-10 exponent, so that @samp{1.234e3} has the value 1234.  Here
84 are some more examples of valid numbers:
85
86 @example
87 -5  3.14159265359  1e100  -.707  8945.
88 @end example
89
90 Negative numbers are expressed with a @samp{-} prefix.  However, in
91 situations where a literal @samp{-} token is expected, what appears to
92 be a negative number is treated as @samp{-} followed by a positive
93 number.
94
95 No white space is allowed within a number token, except for horizontal
96 white space between @samp{-} and the rest of the number.
97
98 The last example above, @samp{8945.} will be interpreted as two
99 tokens, @samp{8945} and @samp{.}, if it is the last token on a line.
100 @xref{Commands, , Forming commands of tokens}.
101
102 @item Strings
103 @cindex strings
104 @cindex @samp{'}
105 @cindex @samp{"}
106 @cindex case-sensitivity
107 Strings are literal sequences of characters enclosed in pairs of
108 single quotes (@samp{'}) or double quotes (@samp{"}).  To include the
109 character used for quoting in the string, double it, e.g.@:
110 @samp{'it''s an apostrophe'}.  White space and case of letters are
111 significant inside strings.
112
113 Strings can be concatenated using @samp{+}, so that @samp{"a" + 'b' +
114 'c'} is equivalent to @samp{'abc'}.  So that a long string may be
115 broken across lines, a line break may precede or follow, or both
116 precede and follow, the @samp{+}.  (However, an entirely blank line
117 preceding or following the @samp{+} is interpreted as ending the
118 current command.)
119
120 Strings may also be expressed as hexadecimal character values by
121 prefixing the initial quote character by @samp{x} or @samp{X}.
122 Regardless of the syntax file or active dataset's encoding, the
123 hexadecimal digits in the string are interpreted as Unicode characters
124 in UTF-8 encoding.
125
126 Individual Unicode code points may also be expressed by specifying the
127 hexadecimal code point number in single or double quotes preceded by
128 @samp{u} or @samp{U}.  For example, Unicode code point U+1D11E, the
129 musical G clef character, could be expressed as @code{U'1D11E'}.
130 Invalid Unicode code points (above U+10FFFF or in between U+D800 and
131 U+DFFF) are not allowed.
132
133 When strings are concatenated with @samp{+}, each segment's prefix is
134 considered individually.  For example, @code{'The G clef symbol is:' +
135 u"1d11e" + "."} inserts a G clef symbol in the middle of an otherwise
136 plain text string.
137
138 @item Punctuators and Operators
139 @cindex punctuators
140 @cindex operators
141 These tokens are the punctuators and operators:
142
143 @example
144 @center ,  /  =  (  )  +  -  *  /  **  <  <=  <>  >  >=  ~=  &  |  .
145 @end example
146
147 Most of these appear within the syntax of commands, but the period
148 (@samp{.}) punctuator is used only at the end of a command.  It is a
149 punctuator only as the last character on a line (except white space).
150 When it is the last non-space character on a line, a period is not
151 treated as part of another token, even if it would otherwise be part
152 of, e.g.@:, an identifier or a floating-point number.
153 @end table
154
155 @node Commands
156 @section Forming commands of tokens
157
158 @cindex PSPP, command structure
159 @cindex language, command structure
160 @cindex commands, structure
161
162 Most PSPP commands share a common structure.  A command begins with a
163 command name, such as @cmd{FREQUENCIES}, @cmd{DATA LIST}, or @cmd{N OF
164 CASES}.  The command name may be abbreviated to its first word, and
165 each word in the command name may be abbreviated to its first three
166 or more characters, where these abbreviations are unambiguous.
167
168 The command name may be followed by one or more @dfn{subcommands}.
169 Each subcommand begins with a subcommand name, which may be
170 abbreviated to its first three letters.  Some subcommands accept a
171 series of one or more specifications, which follow the subcommand
172 name, optionally separated from it by an equals sign
173 (@samp{=}). Specifications may be separated from each other
174 by commas or spaces.  Each subcommand must be separated from the next (if any)
175 by a forward slash (@samp{/}).
176
177 There are multiple ways to mark the end of a command.  The most common
178 way is to end the last line of the command with a period (@samp{.}) as
179 described in the previous section (@pxref{Tokens}).  A blank line, or
180 one that consists only of white space or comments, also ends a command.
181
182 @node Syntax Variants
183 @section Syntax Variants
184
185 @cindex Batch syntax
186 @cindex Interactive syntax
187
188 There are three variants of command syntax, which vary only in how
189 they detect the end of one command and the start of the next.
190
191 In @dfn{interactive mode}, which is the default for syntax typed at a
192 command prompt, a period as the last non-blank character on a line
193 ends a command.  A blank line also ends a command.
194
195 In @dfn{batch mode}, an end-of-line period or a blank line also ends a
196 command.  Additionally, it treats any line that has a non-blank
197 character in the leftmost column as beginning a new command.  Thus, in
198 batch mode the second and subsequent lines in a command must be
199 indented.
200
201 Regardless of the syntax mode, a plus sign, minus sign, or period in
202 the leftmost column of a line is ignored and causes that line to begin
203 a new command.  This is most useful in batch mode, in which the first
204 line of a new command could not otherwise be indented, but it is
205 accepted regardless of syntax mode.
206
207 The default mode for reading commands from a file is @dfn{auto mode}.
208 It is the same as batch mode, except that a line with a non-blank in
209 the leftmost column only starts a new command if that line begins with
210 the name of a PSPP command.  This correctly interprets most valid PSPP
211 syntax files regardless of the syntax mode for which they are
212 intended.
213
214 The @option{--interactive} (or @option{-i}) or @option{--batch} (or
215 @option{-b}) options set the syntax mode for files listed on the PSPP
216 command line.  @xref{Main Options}, for more details.
217
218 @node Types of Commands
219 @section Types of Commands
220
221 Commands in PSPP are divided roughly into six categories:
222
223 @table @strong
224 @item Utility commands
225 @cindex utility commands
226 Set or display various global options that affect PSPP operations.
227 May appear anywhere in a syntax file.  @xref{Utilities, , Utility
228 commands}.
229
230 @item File definition commands
231 @cindex file definition commands
232 Give instructions for reading data from text files or from special
233 binary ``system files''.  Most of these commands replace any previous
234 data or variables with new data or
235 variables.  At least one file definition command must appear before the first command in any of
236 the categories below.  @xref{Data Input and Output}.
237
238 @item Input program commands
239 @cindex input program commands
240 Though rarely used, these provide tools for reading data files
241 in arbitrary textual or binary formats.  @xref{INPUT PROGRAM}.
242
243 @item Transformations
244 @cindex transformations
245 Perform operations on data and write data to output files.  Transformations
246 are not carried out until a procedure is executed.  
247
248 @item Restricted transformations
249 @cindex restricted transformations
250 Transformations that cannot appear in certain contexts.  @xref{Order
251 of Commands}, for details.
252
253 @item Procedures
254 @cindex procedures
255 Analyze data, writing results of analyses to the listing file.  Cause
256 transformations specified earlier in the file to be performed.  In a
257 more general sense, a @dfn{procedure} is any command that causes the
258 active dataset (the data) to be read.
259 @end table
260
261 @node Order of Commands
262 @section Order of Commands
263 @cindex commands, ordering
264 @cindex order of commands
265
266 PSPP does not place many restrictions on ordering of commands.  The
267 main restriction is that variables must be defined before they are otherwise
268 referenced.  This section describes the details of command ordering,
269 but most users will have no need to refer to them.
270
271 PSPP possesses five internal states, called initial, INPUT PROGRAM,
272 FILE TYPE, transformation, and procedure states.  (Please note the
273 distinction between the @cmd{INPUT PROGRAM} and @cmd{FILE TYPE}
274 @emph{commands} and the INPUT PROGRAM and FILE TYPE @emph{states}.)
275
276 PSPP starts in the initial state.  Each successful completion
277 of a command may cause a state transition.  Each type of command has its
278 own rules for state transitions:
279
280 @table @strong
281 @item Utility commands
282 @itemize @bullet
283 @item
284 Valid in any state.
285 @item
286 Do not cause state transitions.  Exception: when @cmd{N OF CASES}
287 is executed in the procedure state, it causes a transition to the
288 transformation state.
289 @end itemize
290
291 @item @cmd{DATA LIST}
292 @itemize @bullet
293 @item
294 Valid in any state.
295 @item
296 When executed in the initial or procedure state, causes a transition to
297 the transformation state.  
298 @item
299 Clears the active dataset if executed in the procedure or transformation
300 state.
301 @end itemize
302
303 @item @cmd{INPUT PROGRAM}
304 @itemize @bullet
305 @item
306 Invalid in INPUT PROGRAM and FILE TYPE states.
307 @item
308 Causes a transition to the INPUT PROGRAM state.  
309 @item
310 Clears the active dataset.
311 @end itemize
312
313 @item @cmd{FILE TYPE}
314 @itemize @bullet
315 @item
316 Invalid in INPUT PROGRAM and FILE TYPE states.
317 @item
318 Causes a transition to the FILE TYPE state.
319 @item
320 Clears the active dataset.
321 @end itemize
322
323 @item Other file definition commands
324 @itemize @bullet
325 @item
326 Invalid in INPUT PROGRAM and FILE TYPE states.
327 @item
328 Cause a transition to the transformation state.
329 @item
330 Clear the active dataset, except for @cmd{ADD FILES}, @cmd{MATCH FILES},
331 and @cmd{UPDATE}.
332 @end itemize
333
334 @item Transformations
335 @itemize @bullet
336 @item
337 Invalid in initial and FILE TYPE states.
338 @item
339 Cause a transition to the transformation state.
340 @end itemize
341
342 @item Restricted transformations
343 @itemize @bullet
344 @item
345 Invalid in initial, INPUT PROGRAM, and FILE TYPE states.
346 @item
347 Cause a transition to the transformation state.
348 @end itemize
349
350 @item Procedures
351 @itemize @bullet
352 @item
353 Invalid in initial, INPUT PROGRAM, and FILE TYPE states.
354 @item
355 Cause a transition to the procedure state.
356 @end itemize
357 @end table
358
359 @node Missing Observations
360 @section Handling missing observations
361 @cindex missing values
362 @cindex values, missing
363
364 PSPP includes special support for unknown numeric data values.
365 Missing observations are assigned a special value, called the
366 @dfn{system-missing value}.  This ``value'' actually indicates the
367 absence of a value; it means that the actual value is unknown.  Procedures
368 automatically exclude from analyses those observations or cases that
369 have missing values.  Details of missing value exclusion depend on the
370 procedure and can often be controlled by the user; refer to
371 descriptions of individual procedures for details.
372
373 The system-missing value exists only for numeric variables.  String
374 variables always have a defined value, even if it is only a string of
375 spaces.
376
377 Variables, whether numeric or string, can have designated
378 @dfn{user-missing values}.  Every user-missing value is an actual value
379 for that variable.  However, most of the time user-missing values are
380 treated in the same way as the system-missing value.
381
382 For more information on missing values, see the following sections:
383 @ref{Datasets}, @ref{MISSING VALUES}, @ref{Expressions}.  See also the
384 documentation on individual procedures for information on how they
385 handle missing values.
386
387 @node Datasets
388 @section Datasets
389 @cindex dataset
390 @cindex variable
391 @cindex dictionary
392
393 PSPP works with data organized into @dfn{datasets}.  A dataset
394 consists of a set of @dfn{variables}, which taken together are said to
395 form a @dfn{dictionary}, and one or more @dfn{cases}, each of which
396 has one value for each variable.
397
398 At any given time PSPP has exactly one distinguished dataset, called
399 the @dfn{active dataset}.  Most PSPP commands work only with the
400 active dataset.  In addition to the active dataset, PSPP also supports
401 any number of additional open datasets.  The @cmd{DATASET} commands
402 can choose a new active dataset from among those that are open, as
403 well as create and destroy datasets (@pxref{DATASET}).
404
405 The sections below describe variables in more detail.
406
407 @menu
408 * Attributes::                  Attributes of variables.
409 * System Variables::            Variables automatically defined by PSPP.
410 * Sets of Variables::           Lists of variable names.
411 * Input and Output Formats::    Input and output formats.
412 * Scratch Variables::           Variables deleted by procedures.
413 @end menu
414
415 @node Attributes
416 @subsection Attributes of Variables
417 @cindex variables, attributes of
418 @cindex attributes of variables
419 Each variable has a number of attributes, including:
420
421 @table @strong
422 @item Name
423 An identifier, up to 64 bytes long.  Each variable must have a different name.
424 @xref{Tokens}.
425
426 Some system variable names begin with @samp{$}, but user-defined
427 variables' names may not begin with @samp{$}.
428
429 @cindex @samp{.}
430 @cindex period
431 @cindex variable names, ending with period
432 The final character in a variable name should not be @samp{.}, because
433 such an identifier will be misinterpreted when it is the final token
434 on a line: @code{FOO.} will be divided into two separate tokens,
435 @samp{FOO} and @samp{.}, indicating end-of-command.  @xref{Tokens}.
436
437 @cindex @samp{_}
438 The final character in a variable name should not be @samp{_}, because
439 some such identifiers are used for special purposes by PSPP
440 procedures.
441
442 As with all PSPP identifiers, variable names are not case-sensitive.
443 PSPP capitalizes variable names on output the same way they were
444 capitalized at their point of definition in the input.
445
446 @cindex variables, type
447 @cindex type of variables
448 @item Type
449 Numeric or string.
450
451 @cindex variables, width
452 @cindex width of variables
453 @item Width
454 (string variables only) String variables with a width of 8 characters or
455 fewer are called @dfn{short string variables}.  Short string variables
456 may be used in a few contexts where @dfn{long string variables} (those
457 with widths greater than 8) are not allowed.
458
459 @item Position
460 Variables in the dictionary are arranged in a specific order.
461 @cmd{DISPLAY} can be used to show this order: see @ref{DISPLAY}.
462
463 @item Initialization
464 Either reinitialized to 0 or spaces for each case, or left at its
465 existing value.  @xref{LEAVE}.
466
467 @cindex missing values
468 @cindex values, missing
469 @item Missing values
470 Optionally, up to three values, or a range of values, or a specific
471 value plus a range, can be specified as @dfn{user-missing values}.
472 There is also a @dfn{system-missing value} that is assigned to an
473 observation when there is no other obvious value for that observation.
474 Observations with missing values are automatically excluded from
475 analyses.  User-missing values are actual data values, while the
476 system-missing value is not a value at all.  @xref{Missing Observations}.
477
478 @cindex variable labels
479 @cindex labels, variable
480 @item Variable label
481 A string that describes the variable.  @xref{VARIABLE LABELS}.
482
483 @cindex value labels
484 @cindex labels, value
485 @item Value label
486 Optionally, these associate each possible value of the variable with a
487 string.  @xref{VALUE LABELS}.
488
489 @cindex print format
490 @item Print format
491 Display width, format, and (for numeric variables) number of decimal
492 places.  This attribute does not affect how data are stored, just how
493 they are displayed.  Example: a width of 8, with 2 decimal places.
494 @xref{Input and Output Formats}.
495
496 @cindex write format
497 @item Write format
498 Similar to print format, but used by the @cmd{WRITE} command
499 (@pxref{WRITE}).
500
501 @cindex custom attributes
502 @item Custom attributes
503 User-defined associations between names and values.  @xref{VARIABLE
504 ATTRIBUTE}.
505 @end table
506
507 @node System Variables
508 @subsection Variables Automatically Defined by PSPP
509 @cindex system variables
510 @cindex variables, system
511
512 There are seven system variables.  These are not like ordinary
513 variables because system variables are not always stored.  They can be used only
514 in expressions.  These system variables, whose values and output formats
515 cannot be modified, are described below.
516
517 @table @code
518 @cindex @code{$CASENUM}
519 @item $CASENUM
520 Case number of the case at the moment.  This changes as cases are
521 shuffled around.
522
523 @cindex @code{$DATE}
524 @item $DATE
525 Date the PSPP process was started, in format A9, following the
526 pattern @code{DD MMM YY}.
527
528 @cindex @code{$JDATE}
529 @item $JDATE
530 Number of days between 15 Oct 1582 and the time the PSPP process
531 was started.
532
533 @cindex @code{$LENGTH}
534 @item $LENGTH
535 Page length, in lines, in format F11.
536
537 @cindex @code{$SYSMIS}
538 @item $SYSMIS
539 System missing value, in format F1.
540
541 @cindex @code{$TIME}
542 @item $TIME
543 Number of seconds between midnight 14 Oct 1582 and the time the active dataset
544 was read, in format F20.
545
546 @cindex @code{$WIDTH}
547 @item $WIDTH
548 Page width, in characters, in format F3.
549 @end table
550
551 @node Sets of Variables
552 @subsection Lists of variable names
553 @cindex @code{TO} convention
554 @cindex convention, @code{TO}
555
556 To refer to a set of variables, list their names one after another.
557 Optionally, their names may be separated by commas.  To include a
558 range of variables from the dictionary in the list, write the name of
559 the first and last variable in the range, separated by @code{TO}.  For
560 instance, if the dictionary contains six variables with the names
561 @code{ID}, @code{X1}, @code{X2}, @code{GOAL}, @code{MET}, and
562 @code{NEXTGOAL}, in that order, then @code{X2 TO MET} would include
563 variables @code{X2}, @code{GOAL}, and @code{MET}.
564
565 Commands that define variables, such as @cmd{DATA LIST}, give
566 @code{TO} an alternate meaning.  With these commands, @code{TO} define
567 sequences of variables whose names end in consecutive integers.  The
568 syntax is two identifiers that begin with the same root and end with
569 numbers, separated by @code{TO}.  The syntax @code{X1 TO X5} defines 5
570 variables, named @code{X1}, @code{X2}, @code{X3}, @code{X4}, and
571 @code{X5}.  The syntax @code{ITEM0008 TO ITEM0013} defines 6
572 variables, named @code{ITEM0008}, @code{ITEM0009}, @code{ITEM0010},
573 @code{ITEM0011}, @code{ITEM0012}, and @code{ITEM00013}.  The syntaxes
574 @code{QUES001 TO QUES9} and @code{QUES6 TO QUES3} are invalid.
575
576 After a set of variables has been defined with @cmd{DATA LIST} or
577 another command with this method, the same set can be referenced on
578 later commands using the same syntax.
579
580 @node Input and Output Formats
581 @subsection Input and Output Formats
582
583 @cindex formats
584 An @dfn{input format} describes how to interpret the contents of an
585 input field as a number or a string.  It might specify that the field
586 contains an ordinary decimal number, a time or date, a number in binary
587 or hexadecimal notation, or one of several other notations.  Input
588 formats are used by commands such as @cmd{DATA LIST} that read data or
589 syntax files into the PSPP active dataset.
590
591 Every input format corresponds to a default @dfn{output format} that
592 specifies the formatting used when the value is output later.  It is
593 always possible to explicitly specify an output format that resembles
594 the input format.  Usually, this is the default, but in cases where the
595 input format is unfriendly to human readability, such as binary or
596 hexadecimal formats, the default output format is an easier-to-read
597 decimal format.
598
599 Every variable has two output formats, called its @dfn{print format} and
600 @dfn{write format}.  Print formats are used in most output contexts;
601 write formats are used only by @cmd{WRITE} (@pxref{WRITE}).  Newly
602 created variables have identical print and write formats, and
603 @cmd{FORMATS}, the most commonly used command for changing formats
604 (@pxref{FORMATS}), sets both of them to the same value as well.  Thus,
605 most of the time, the distinction between print and write formats is
606 unimportant.
607
608 Input and output formats are specified to PSPP with a @dfn{format
609 specification} of the form @code{TYPEw} or @code{TYPEw.d}, where
610 @code{TYPE} is one of the format types described later, @code{w} is a
611 field width measured in columns, and @code{d} is an optional number of
612 decimal places.  If @code{d} is omitted, a value of 0 is assumed.  Some
613 formats do not allow a nonzero @code{d} to be specified.
614
615 The following sections describe the input and output formats supported
616 by PSPP.
617
618 @menu
619 * Basic Numeric Formats::       
620 * Custom Currency Formats::     
621 * Legacy Numeric Formats::      
622 * Binary and Hexadecimal Numeric Formats::  
623 * Time and Date Formats::       
624 * Date Component Formats::      
625 * String Formats::              
626 @end menu
627
628 @node Basic Numeric Formats
629 @subsubsection Basic Numeric Formats
630
631 @cindex numeric formats
632 The basic numeric formats are used for input and output of real numbers
633 in standard or scientific notation.  The following table shows an
634 example of how each format displays positive and negative numbers with
635 the default decimal point setting:
636
637 @float
638 @multitable {DOLLAR10.2} {@code{@tie{}$3,141.59}} {@code{-$3,141.59}}
639 @headitem Format @tab @code{@tie{}3141.59}   @tab @code{-3141.59}
640 @item F8.2       @tab @code{@tie{}3141.59}   @tab @code{-3141.59}
641 @item COMMA9.2   @tab @code{@tie{}3,141.59}  @tab @code{-3,141.59}
642 @item DOT9.2     @tab @code{@tie{}3.141,59}  @tab @code{-3.141,59}
643 @item DOLLAR10.2 @tab @code{@tie{}$3,141.59} @tab @code{-$3,141.59}
644 @item PCT9.2     @tab @code{@tie{}3141.59%}  @tab @code{-3141.59%}
645 @item E8.1       @tab @code{@tie{}3.1E+003}  @tab @code{-3.1E+003}
646 @end multitable
647 @end float
648
649 On output, numbers in F format are expressed in standard decimal
650 notation with the requested number of decimal places.  The other formats
651 output some variation on this style:
652
653 @itemize @bullet
654 @item
655 Numbers in COMMA format are additionally grouped every three digits by
656 inserting a grouping character.  The grouping character is ordinarily a
657 comma, but it can be changed to a period (@pxref{SET DECIMAL}).
658
659 @item
660 DOT format is like COMMA format, but it interchanges the role of the
661 decimal point and grouping characters.  That is, the current grouping
662 character is used as a decimal point and vice versa.
663
664 @item
665 DOLLAR format is like COMMA format, but it prefixes the number with
666 @samp{$}.
667
668 @item
669 PCT format is like F format, but adds @samp{%} after the number.
670
671 @item
672 The E format always produces output in scientific notation.
673 @end itemize
674
675 On input, the basic numeric formats accept positive and numbers in
676 standard decimal notation or scientific notation.  Leading and trailing
677 spaces are allowed.  An empty or all-spaces field, or one that contains
678 only a single period, is treated as the system missing value.
679
680 In scientific notation, the exponent may be introduced by a sign
681 (@samp{+} or @samp{-}), or by one of the letters @samp{e} or @samp{d}
682 (in uppercase or lowercase), or by a letter followed by a sign.  A
683 single space may follow the letter or the sign or both.
684
685 On fixed-format @cmd{DATA LIST} (@pxref{DATA LIST FIXED}) and in a few
686 other contexts, decimals are implied when the field does not contain a
687 decimal point.  In F6.5 format, for example, the field @code{314159} is
688 taken as the value 3.14159 with implied decimals.  Decimals are never
689 implied if an explicit decimal point is present or if scientific
690 notation is used.
691
692 E and F formats accept the basic syntax already described.  The other
693 formats allow some additional variations:
694
695 @itemize @bullet
696 @item
697 COMMA, DOLLAR, and DOT formats ignore grouping characters within the
698 integer part of the input field.  The identity of the grouping
699 character depends on the format.
700
701 @item
702 DOLLAR format allows a dollar sign to precede the number.  In a negative
703 number, the dollar sign may precede or follow the minus sign.
704
705 @item
706 PCT format allows a percent sign to follow the number.
707 @end itemize
708
709 All of the basic number formats have a maximum field width of 40 and
710 accept no more than 16 decimal places, on both input and output.  Some
711 additional restrictions apply:
712
713 @itemize @bullet
714 @item
715 As input formats, the basic numeric formats allow no more decimal places
716 than the field width.  As output formats, the field width must be
717 greater than the number of decimal places; that is, large enough to
718 allow for a decimal point and the number of requested decimal places.
719 DOLLAR and PCT formats must allow an additional column for @samp{$} or
720 @samp{%}.
721
722 @item
723 The default output format for a given input format increases the field
724 width enough to make room for optional input characters.  If an input
725 format calls for decimal places, the width is increased by 1 to make
726 room for an implied decimal point.  COMMA, DOT, and DOLLAR formats also
727 increase the output width to make room for grouping characters.  DOLLAR
728 and PCT further increase the output field width by 1 to make room for
729 @samp{$} or @samp{%}.  The increased output width is capped at 40, the
730 maximum field width.
731
732 @item
733 The E format is exceptional.  For output, E format has a minimum width
734 of 7 plus the number of decimal places.  The default output format for
735 an E input format is an E format with at least 3 decimal places and
736 thus a minimum width of 10.
737 @end itemize
738
739 More details of basic numeric output formatting are given below:
740
741 @itemize @bullet
742 @item
743 Output rounds to nearest, with ties rounded away from zero.  Thus, 2.5
744 is output as @code{3} in F1.0 format, and -1.125 as @code{-1.13} in F5.1
745 format.
746
747 @item
748 The system-missing value is output as a period in a field of spaces,
749 placed in the decimal point's position, or in the rightmost column if no
750 decimal places are requested.  A period is used even if the decimal
751 point character is a comma.
752
753 @item
754 A number that does not fill its field is right-justified within the
755 field.
756
757 @item
758 A number is too large for its field causes decimal places to be dropped
759 to make room.  If dropping decimals does not make enough room,
760 scientific notation is used if the field is wide enough.  If a number
761 does not fit in the field, even in scientific notation, the overflow is
762 indicated by filling the field with asterisks (@samp{*}).
763
764 @item
765 COMMA, DOT, and DOLLAR formats insert grouping characters only if space
766 is available for all of them.  Grouping characters are never inserted
767 when all decimal places must be dropped.  Thus, 1234.56 in COMMA5.2
768 format is output as @samp{@tie{}1235} without a comma, even though there
769 is room for one, because all decimal places were dropped.
770
771 @item
772 DOLLAR or PCT format drop the @samp{$} or @samp{%} only if the number
773 would not fit at all without it.  Scientific notation with @samp{$} or
774 @samp{%} is preferred to ordinary decimal notation without it.
775
776 @item
777 Except in scientific notation, a decimal point is included only when
778 it is followed by a digit.  If the integer part of the number being
779 output is 0, and a decimal point is included, then the zero before the
780 decimal point is dropped.
781
782 In scientific notation, the number always includes a decimal point,
783 even if it is not followed by a digit.
784
785 @item
786 A negative number includes a minus sign only in the presence of a
787 nonzero digit: -0.01 is output as @samp{-.01} in F4.2 format but as
788 @samp{@tie{}@tie{}.0} in F4.1 format.  Thus, a ``negative zero'' never
789 includes a minus sign.
790
791 @item
792 In negative numbers output in DOLLAR format, the dollar sign follows the
793 negative sign.  Thus, -9.99 in DOLLAR6.2 format is output as
794 @code{-$9.99}.
795
796 @item
797 In scientific notation, the exponent is output as @samp{E} followed by
798 @samp{+} or @samp{-} and exactly three digits.  Numbers with magnitude
799 less than 10**-999 or larger than 10**999 are not supported by most
800 computers, but if they are supported then their output is considered
801 to overflow the field and will be output as asterisks.
802
803 @item
804 On most computers, no more than 15 decimal digits are significant in
805 output, even if more are printed.  In any case, output precision cannot
806 be any higher than input precision; few data sets are accurate to 15
807 digits of precision.  Unavoidable loss of precision in intermediate
808 calculations may also reduce precision of output.
809
810 @item
811 Special values such as infinities and ``not a number'' values are
812 usually converted to the system-missing value before printing.  In a few
813 circumstances, these values are output directly.  In fields of width 3
814 or greater, special values are output as however many characters will
815 fit from @code{+Infinity} or @code{-Infinity} for infinities, from
816 @code{NaN} for ``not a number,'' or from @code{Unknown} for other values
817 (if any are supported by the system).  In fields under 3 columns wide,
818 special values are output as asterisks.
819 @end itemize
820
821 @node Custom Currency Formats
822 @subsubsection Custom Currency Formats
823
824 @cindex currency formats
825 The custom currency formats are closely related to the basic numeric
826 formats, but they allow users to customize the output format.  The
827 SET command configures custom currency formats, using the syntax
828 @display
829 SET CC@var{x}=@t{"}@var{string}@t{"}.
830 @end display
831 @noindent 
832 where @var{x} is A, B, C, D, or E, and @var{string} is no more than 16
833 characters long.
834
835 @var{string} must contain exactly three commas or exactly three periods
836 (but not both), except that a single quote character may be used to
837 ``escape'' a following comma, period, or single quote.  If three commas
838 are used, commas will be used for grouping in output, and a period will
839 be used as the decimal point.  Uses of periods reverses these roles.
840
841 The commas or periods divide @var{string} into four fields, called the
842 @dfn{negative prefix}, @dfn{prefix}, @dfn{suffix}, and @dfn{negative
843 suffix}, respectively.  The prefix and suffix are added to output
844 whenever space is available.  The negative prefix and negative suffix
845 are always added to a negative number when the output includes a nonzero
846 digit.
847
848 The following syntax shows how custom currency formats could be used to
849 reproduce basic numeric formats:
850
851 @example
852 @group
853 SET CCA="-,,,".  /* Same as COMMA.
854 SET CCB="-...".  /* Same as DOT.
855 SET CCC="-,$,,". /* Same as DOLLAR.
856 SET CCD="-,,%,". /* Like PCT, but groups with commas.
857 @end group
858 @end example
859
860 Here are some more examples of custom currency formats.  The final
861 example shows how to use a single quote to escape a delimiter:
862
863 @example
864 @group
865 SET CCA=",EUR,,-".   /* Euro.
866 SET CCB="(,USD ,,)". /* US dollar.
867 SET CCC="-.R$..".    /* Brazilian real.
868 SET CCD="-,, NIS,".  /* Israel shekel.
869 SET CCE="-.Rp'. ..". /* Indonesia Rupiah.
870 @end group
871 @end example
872
873 @noindent These formats would yield the following output:
874
875 @float
876 @multitable {CCD13.2} {@code{@tie{}@tie{}USD 3,145.59}} {@code{(USD 3,145.59)}}
877 @headitem Format @tab @code{@tie{}3145.59}         @tab @code{-3145.59}
878 @item CCA12.2 @tab @code{@tie{}EUR3,145.59}        @tab @code{EUR3,145.59-}
879 @item CCB14.2 @tab @code{@tie{}@tie{}USD 3,145.59} @tab @code{(USD 3,145.59)}
880 @item CCC11.2 @tab @code{@tie{}R$3.145,59}         @tab @code{-R$3.145,59}
881 @item CCD13.2 @tab @code{@tie{}3,145.59 NIS}       @tab @code{-3,145.59 NIS}
882 @item CCE10.0 @tab @code{@tie{}Rp. 3.146}          @tab @code{-Rp. 3.146}
883 @end multitable
884 @end float
885
886 The default for all the custom currency formats is @samp{-,,,},
887 equivalent to COMMA format.
888
889 @node Legacy Numeric Formats
890 @subsubsection Legacy Numeric Formats
891
892 The N and Z numeric formats provide compatibility with legacy file
893 formats.  They have much in common:
894
895 @itemize @bullet
896 @item
897 Output is rounded to the nearest representable value, with ties rounded
898 away from zero.
899
900 @item
901 Numbers too large to display are output as a field filled with asterisks
902 (@samp{*}).
903
904 @item
905 The decimal point is always implicitly the specified number of digits
906 from the right edge of the field, except that Z format input allows an
907 explicit decimal point.
908
909 @item
910 Scientific notation may not be used.
911
912 @item
913 The system-missing value is output as a period in a field of spaces.
914 The period is placed just to the right of the implied decimal point in
915 Z format, or at the right end in N format or in Z format if no decimal
916 places are requested.  A period is used even if the decimal point
917 character is a comma.
918
919 @item
920 Field width may range from 1 to 40.  Decimal places may range from 0 up
921 to the field width, to a maximum of 16.
922
923 @item
924 When a legacy numeric format used for input is converted to an output
925 format, it is changed into the equivalent F format.  The field width is
926 increased by 1 if any decimal places are specified, to make room for a
927 decimal point.  For Z format, the field width is increased by 1 more
928 column, to make room for a negative sign.  The output field width is
929 capped at 40 columns.
930 @end itemize
931
932 @subsubheading N Format
933
934 The N format supports input and output of fields that contain only
935 digits.  On input, leading or trailing spaces, a decimal point, or any
936 other non-digit character causes the field to be read as the
937 system-missing value.  As a special exception, an N format used on
938 @cmd{DATA LIST FREE} or @cmd{DATA LIST LIST} is treated as the
939 equivalent F format.
940
941 On output, N pads the field on the left with zeros.  Negative numbers
942 are output like the system-missing value.
943
944 @subsubheading Z Format
945
946 The Z format is a ``zoned decimal'' format used on IBM mainframes.  Z
947 format encodes the sign as part of the final digit, which must be one of
948 the following:
949 @example
950 0123456789
951 @{ABCDEFGHI
952 @}JKLMNOPQR
953 @end example
954 @noindent
955 where the characters in each row represent digits 0 through 9 in order.
956 Characters in the first two rows indicate a positive sign; those in the
957 third indicate a negative sign.
958
959 On output, Z fields are padded on the left with spaces.  On input,
960 leading and trailing spaces are ignored.  Any character in an input
961 field other than spaces, the digit characters above, and @samp{.} causes
962 the field to be read as system-missing.
963
964 The decimal point character for input and output is always @samp{.},
965 even if the decimal point character is a comma (@pxref{SET DECIMAL}).
966
967 Nonzero, negative values output in Z format are marked as negative even
968 when no nonzero digits are output.  For example, -0.2 is output in Z1.0
969 format as @samp{J}.  The ``negative zero'' value supported by most
970 machines is output as positive.
971
972 @node Binary and Hexadecimal Numeric Formats
973 @subsubsection Binary and Hexadecimal Numeric Formats
974
975 @cindex binary formats
976 @cindex hexadecimal formats
977 The binary and hexadecimal formats are primarily designed for
978 compatibility with existing machine formats, not for human readability.
979 All of them therefore have a F format as default output format.  Some of
980 these formats are only portable between machines with compatible byte
981 ordering (endianness) or floating-point format.
982
983 Binary formats use byte values that in text files are interpreted as
984 special control functions, such as carriage return and line feed.  Thus,
985 data in binary formats should not be included in syntax files or read
986 from data files with variable-length records, such as ordinary text
987 files.  They may be read from or written to data files with fixed-length
988 records.  @xref{FILE HANDLE}, for information on working with
989 fixed-length records.
990
991 @subsubheading P and PK Formats
992
993 These are binary-coded decimal formats, in which every byte (except the
994 last, in P format) represents two decimal digits.  The most-significant
995 4 bits of the first byte is the most-significant decimal digit, the
996 least-significant 4 bits of the first byte is the next decimal digit,
997 and so on.
998
999 In P format, the most-significant 4 bits of the last byte are the
1000 least-significant decimal digit.  The least-significant 4 bits represent
1001 the sign: decimal 15 indicates a negative value, decimal 13 indicates a
1002 positive value.
1003
1004 Numbers are rounded downward on output.  The system-missing value and
1005 numbers outside representable range are output as zero.
1006
1007 The maximum field width is 16.  Decimal places may range from 0 up to
1008 the number of decimal digits represented by the field.
1009
1010 The default output format is an F format with twice the input field
1011 width, plus one column for a decimal point (if decimal places were
1012 requested).
1013
1014 @subsubheading IB and PIB Formats
1015
1016 These are integer binary formats.  IB reads and writes 2's complement
1017 binary integers, and PIB reads and writes unsigned binary integers.  The
1018 byte ordering is by default the host machine's, but SET RIB may be used
1019 to select a specific byte ordering for reading (@pxref{SET RIB}) and
1020 SET WIB, similarly, for writing (@pxref{SET WIB}).
1021
1022 The maximum field width is 8.  Decimal places may range from 0 up to the
1023 number of decimal digits in the largest value representable in the field
1024 width.
1025
1026 The default output format is an F format whose width is the number of
1027 decimal digits in the largest value representable in the field width,
1028 plus 1 if the format has decimal places.
1029
1030 @subsubheading RB Format
1031
1032 This is a binary format for real numbers.  By default it reads and
1033 writes the host machine's floating-point format, but SET RRB may be
1034 used to select an alternate floating-point format for reading
1035 (@pxref{SET RRB}) and SET WRB, similarly, for writing (@pxref{SET
1036 WRB}).
1037
1038 The recommended field width depends on the floating-point format.
1039 NATIVE (the default format), IDL, IDB, VD, VG, and ZL formats should use
1040 a field width of 8.  ISL, ISB, VF, and ZS formats should use a field
1041 width of 4.  Other field widths will not produce useful results.  The
1042 maximum field width is 8.  No decimal places may be specified.
1043
1044 The default output format is F8.2.
1045
1046 @subsubheading PIBHEX and RBHEX Formats
1047
1048 These are hexadecimal formats, for reading and writing binary formats
1049 where each byte has been recoded as a pair of hexadecimal digits.
1050
1051 A hexadecimal field consists solely of hexadecimal digits
1052 @samp{0}@dots{}@samp{9} and @samp{A}@dots{}@samp{F}.  Uppercase and
1053 lowercase are accepted on input; output is in uppercase.
1054
1055 Other than the hexadecimal representation, these formats are equivalent
1056 to PIB and RB formats, respectively.  However, bytes in PIBHEX format
1057 are always ordered with the most-significant byte first (big-endian
1058 order), regardless of the host machine's native byte order or PSPP
1059 settings.
1060
1061 Field widths must be even and between 2 and 16.  RBHEX format allows no
1062 decimal places; PIBHEX allows as many decimal places as a PIB format
1063 with half the given width.
1064
1065 @node Time and Date Formats
1066 @subsubsection Time and Date Formats
1067
1068 @cindex time formats
1069 @cindex date formats
1070 In PSPP, a @dfn{time} is an interval.  The time formats translate
1071 between human-friendly descriptions of time intervals and PSPP's
1072 internal representation of time intervals, which is simply the number of
1073 seconds in the interval.  PSPP has two time formats:
1074
1075 @float
1076 @multitable {Time Format} {@code{dd-mmm-yyyy HH:MM:SS.ss}} {@code{01-OCT-1978 04:31:17.01}}
1077 @headitem Time Format @tab Template                  @tab Example
1078 @item TIME     @tab @code{hh:MM:SS.ss}          @tab @code{04:31:17.01}
1079 @item DTIME    @tab @code{DD HH:MM:SS.ss}       @tab @code{00 04:31:17.01}
1080 @end multitable
1081 @end float
1082
1083 A @dfn{date} is a moment in the past or the future.  Internally, PSPP
1084 represents a date as the number of seconds since the @dfn{epoch},
1085 midnight, Oct. 14, 1582.  The date formats translate between
1086 human-readable dates and PSPP's numeric representation of dates and
1087 times.  PSPP has several date formats:
1088
1089 @float
1090 @multitable {Date Format} {@code{dd-mmm-yyyy HH:MM:SS.ss}} {@code{01-OCT-1978 04:31:17.01}}
1091 @headitem Date Format @tab Template                  @tab Example
1092 @item DATE     @tab @code{dd-mmm-yyyy}          @tab @code{01-OCT-1978}
1093 @item ADATE    @tab @code{mm/dd/yyyy}           @tab @code{10/01/1978}
1094 @item EDATE    @tab @code{dd.mm.yyyy}           @tab @code{01.10.1978}
1095 @item JDATE    @tab @code{yyyyjjj}              @tab @code{1978274}
1096 @item SDATE    @tab @code{yyyy/mm/dd}           @tab @code{1978/10/01}
1097 @item QYR      @tab @code{q Q yyyy}             @tab @code{3 Q 1978}
1098 @item MOYR     @tab @code{mmm yyyy}             @tab @code{OCT 1978}
1099 @item WKYR     @tab @code{ww WK yyyy}           @tab @code{40 WK 1978}
1100 @item DATETIME @tab @code{dd-mmm-yyyy HH:MM:SS.ss} @tab @code{01-OCT-1978 04:31:17.01}
1101 @end multitable
1102 @end float
1103
1104 The templates in the preceding tables describe how the time and date
1105 formats are input and output:
1106
1107 @table @code
1108 @item dd
1109 Day of month, from 1 to 31.  Always output as two digits.
1110
1111 @item mm
1112 @itemx mmm
1113 Month.  In output, @code{mm} is output as two digits, @code{mmm} as the
1114 first three letters of an English month name (January, February,
1115 @dots{}).  In input, both of these formats, plus Roman numerals, are
1116 accepted.
1117
1118 @item yyyy
1119 Year.  In output, DATETIME always produces a 4-digit year; other
1120 formats can produce a 2- or 4-digit year.  The century assumed for
1121 2-digit years depends on the EPOCH setting (@pxref{SET EPOCH}).  In
1122 output, a year outside the epoch causes the whole field to be filled
1123 with asterisks (@samp{*}).
1124
1125 @item jjj
1126 Day of year (Julian day), from 1 to 366.  This is exactly three digits
1127 giving the count of days from the start of the year.  January 1 is
1128 considered day 1.
1129
1130 @item q
1131 Quarter of year, from 1 to 4.  Quarters start on January 1, April 1,
1132 July 1, and October 1.
1133
1134 @item ww
1135 Week of year, from 1 to 53.  Output as exactly two digits.  January 1 is
1136 the first day of week 1.
1137
1138 @item DD
1139 Count of days, which may be positive or negative.  Output as at least
1140 two digits.
1141
1142 @item hh
1143 Count of hours, which may be positive or negative.  Output as at least
1144 two digits.
1145
1146 @item HH
1147 Hour of day, from 0 to 23.  Output as exactly two digits.
1148
1149 @item MM
1150 Minute of hour, from 0 to 59.  Output as exactly two digits.
1151
1152 @item SS.ss
1153 Seconds within minute, from 0 to 59.  The integer part is output as
1154 exactly two digits.  On output, seconds and fractional seconds may or
1155 may not be included, depending on field width and decimal places.  On
1156 input, seconds and fractional seconds are optional.  The DECIMAL setting
1157 controls the character accepted and displayed as the decimal point
1158 (@pxref{SET DECIMAL}).
1159 @end table
1160
1161 For output, the date and time formats use the delimiters indicated in
1162 the table.  For input, date components may be separated by spaces or by
1163 one of the characters @samp{-}, @samp{/}, @samp{.}, or @samp{,}, and
1164 time components may be separated by spaces, @samp{:}, or @samp{.}.  On
1165 input, the @samp{Q} separating quarter from year and the @samp{WK}
1166 separating week from year may be uppercase or lowercase, and the spaces
1167 around them are optional.
1168
1169 On input, all time and date formats accept any amount of leading and
1170 trailing white space.
1171
1172 The maximum width for time and date formats is 40 columns.  Minimum
1173 input and output width for each of the time and date formats is shown
1174 below:
1175
1176 @float
1177 @multitable {DATETIME} {Min. Input Width} {Min. Output Width} {4-digit year}
1178 @headitem Format @tab Min. Input Width @tab Min. Output Width @tab Option 
1179 @item DATE @tab 8 @tab 9 @tab 4-digit year
1180 @item ADATE @tab 8 @tab 8 @tab 4-digit year
1181 @item EDATE @tab 8 @tab 8 @tab 4-digit year
1182 @item JDATE @tab 5 @tab 5 @tab 4-digit year
1183 @item SDATE @tab 8 @tab 8 @tab 4-digit year
1184 @item QYR @tab 4 @tab 6 @tab 4-digit year
1185 @item MOYR @tab 6 @tab 6 @tab 4-digit year
1186 @item WKYR @tab 6 @tab 8 @tab 4-digit year
1187 @item DATETIME @tab 17 @tab 17 @tab seconds
1188 @item TIME @tab 5 @tab 5 @tab seconds
1189 @item DTIME @tab 8 @tab 8 @tab seconds
1190 @end multitable
1191 @end float
1192 @noindent 
1193 In the table, ``Option'' describes what increased output width enables:
1194
1195 @table @asis
1196 @item 4-digit year
1197 A field 2 columns wider than minimum will include a 4-digit year.
1198 (DATETIME format always includes a 4-digit year.)
1199
1200 @item seconds
1201 A field 3 columns wider than minimum will include seconds as well as
1202 minutes.  A field 5 columns wider than minimum, or more, can also
1203 include a decimal point and fractional seconds (but no more than allowed
1204 by the format's decimal places).
1205 @end table
1206
1207 For the time and date formats, the default output format is the same as
1208 the input format, except that PSPP increases the field width, if
1209 necessary, to the minimum allowed for output.
1210
1211 Time or dates narrower than the field width are right-justified within
1212 the field.
1213
1214 When a time or date exceeds the field width, characters are trimmed from
1215 the end until it fits.  This can occur in an unusual situation, e.g.@:
1216 with a year greater than 9999 (which adds an extra digit), or for a
1217 negative value on TIME or DTIME (which adds a leading minus sign).
1218
1219 @c What about out-of-range values?
1220
1221 The system-missing value is output as a period at the right end of the
1222 field.  
1223
1224 @node Date Component Formats
1225 @subsubsection Date Component Formats
1226
1227 The WKDAY and MONTH formats provide input and output for the names of
1228 weekdays and months, respectively.
1229
1230 On output, these formats convert a number between 1 and 7, for WKDAY, or
1231 between 1 and 12, for MONTH, into the English name of a day or month,
1232 respectively.  If the name is longer than the field, it is trimmed to
1233 fit.  If the name is shorter than the field, it is padded on the right
1234 with spaces.  Values outside the valid range, and the system-missing
1235 value, are output as all spaces.
1236
1237 On input, English weekday or month names (in uppercase or lowercase) are
1238 converted back to their corresponding numbers.  Weekday and month names
1239 may be abbreviated to their first 2 or 3 letters, respectively.
1240
1241 The field width may range from 2 to 40, for WKDAY, or from 3 to 40, for
1242 MONTH.  No decimal places are allowed.
1243
1244 The default output format is the same as the input format.
1245
1246 @node String Formats
1247 @subsubsection String Formats
1248
1249 @cindex string formats
1250 The A and AHEX formats are the only ones that may be assigned to string
1251 variables.  Neither format allows any decimal places.
1252
1253 In A format, the entire field is treated as a string value.  The field
1254 width may range from 1 to 32,767, the maximum string width.  The default
1255 output format is the same as the input format.
1256
1257 In AHEX format, the field is composed of characters in a string encoded
1258 as hex digit pairs.  On output, hex digits are output in uppercase; on
1259 input, uppercase and lowercase are both accepted.  The default output
1260 format is A format with half the input width.
1261
1262 @node Scratch Variables
1263 @subsection Scratch Variables
1264
1265 @cindex scratch variables
1266 Most of the time, variables don't retain their values between cases.
1267 Instead, either they're being read from a data file or the active dataset,
1268 in which case they assume the value read, or, if created with
1269 @cmd{COMPUTE} or
1270 another transformation, they're initialized to the system-missing value
1271 or to blanks, depending on type.
1272
1273 However, sometimes it's useful to have a variable that keeps its value
1274 between cases.  You can do this with @cmd{LEAVE} (@pxref{LEAVE}), or you can
1275 use a @dfn{scratch variable}.  Scratch variables are variables whose
1276 names begin with an octothorpe (@samp{#}).  
1277
1278 Scratch variables have the same properties as variables left with
1279 @cmd{LEAVE}: they retain their values between cases, and for the first
1280 case they are initialized to 0 or blanks.  They have the additional
1281 property that they are deleted before the execution of any procedure.
1282 For this reason, scratch variables can't be used for analysis.  To use
1283 a scratch variable in an analysis, use @cmd{COMPUTE} (@pxref{COMPUTE})
1284 to copy its value into an ordinary variable, then use that ordinary
1285 variable in the analysis.
1286
1287 @node Files
1288 @section Files Used by PSPP
1289
1290 PSPP makes use of many files each time it runs.  Some of these it
1291 reads, some it writes, some it creates.  Here is a table listing the
1292 most important of these files:
1293
1294 @table @strong
1295 @cindex file, command
1296 @cindex file, syntax file
1297 @cindex command file
1298 @cindex syntax file
1299 @item command file
1300 @itemx syntax file
1301 These names (synonyms) refer to the file that contains instructions
1302 that tell PSPP what to do.  The syntax file's name is specified on
1303 the PSPP command line.  Syntax files can also be read with
1304 @cmd{INCLUDE} (@pxref{INCLUDE}).
1305
1306 @cindex file, data
1307 @cindex data file
1308 @item data file
1309 Data files contain raw data in text or binary format.  Data can also
1310 be embedded in a syntax file with @cmd{BEGIN DATA} and @cmd{END DATA}.
1311
1312 @cindex file, output
1313 @cindex output file
1314 @item listing file
1315 One or more output files are created by PSPP each time it is
1316 run.  The output files receive the tables and charts produced by
1317 statistical procedures.  The output files may be in any number of formats,
1318 depending on how PSPP is configured.
1319
1320 @cindex system file
1321 @cindex file, system
1322 @item system file
1323 System files are binary files that store a dictionary and a set of
1324 cases.  @cmd{GET} and @cmd{SAVE} read and write system files.
1325
1326 @cindex portable file
1327 @cindex file, portable
1328 @item portable file
1329 Portable files are files in a text-based format that store a dictionary
1330 and a set of cases.  @cmd{IMPORT} and @cmd{EXPORT} read and write
1331 portable files.
1332 @end table
1333
1334 @node File Handles
1335 @section File Handles
1336 @cindex file handles
1337
1338 A @dfn{file handle} is a reference to a data file, system file, or 
1339 portable file.  Most often, a file handle is specified as the
1340 name of a file as a string, that is, enclosed within @samp{'} or
1341 @samp{"}.
1342
1343 A file name string that begins or ends with @samp{|} is treated as the
1344 name of a command to pipe data to or from.  You can use this feature
1345 to read data over the network using a program such as @samp{curl}
1346 (e.g.@: @code{GET '|curl -s -S http://example.com/mydata.sav'}), to
1347 read compressed data from a file using a program such as @samp{zcat}
1348 (e.g.@: @code{GET '|zcat mydata.sav.gz'}), and for many other
1349 purposes.
1350
1351 PSPP also supports declaring named file handles with the @cmd{FILE
1352 HANDLE} command.  This command associates an identifier of your choice
1353 (the file handle's name) with a file.  Later, the file handle name can
1354 be substituted for the name of the file.  When PSPP syntax accesses a
1355 file multiple times, declaring a named file handle simplifies updating
1356 the syntax later to use a different file.  Use of @cmd{FILE HANDLE} is
1357 also required to read data files in binary formats.  @xref{FILE HANDLE},
1358 for more information.
1359
1360 In some circumstances, PSPP must distinguish whether a file handle
1361 refers to a system file or a portable file.  When this is necessary to
1362 read a file, e.g.@: as an input file for @cmd{GET} or @cmd{MATCH FILES},
1363 PSPP uses the file's contents to decide.  In the context of writing a
1364 file, e.g.@: as an output file for @cmd{SAVE} or @cmd{AGGREGATE}, PSPP
1365 decides based on the file's name: if it ends in @samp{.por} (with any
1366 capitalization), then PSPP writes a portable file; otherwise, PSPP
1367 writes a system file.
1368
1369 INLINE is reserved as a file handle name.  It refers to the ``data
1370 file'' embedded into the syntax file between @cmd{BEGIN DATA} and
1371 @cmd{END DATA}.  @xref{BEGIN DATA}, for more information.
1372
1373 The file to which a file handle refers may be reassigned on a later
1374 @cmd{FILE HANDLE} command if it is first closed using @cmd{CLOSE FILE
1375 HANDLE}.  @xref{CLOSE FILE HANDLE}, for
1376 more information.
1377
1378 @node BNF
1379 @section Backus-Naur Form
1380 @cindex BNF
1381 @cindex Backus-Naur Form
1382 @cindex command syntax, description of
1383 @cindex description of command syntax
1384
1385 The syntax of some parts of the PSPP language is presented in this
1386 manual using the formalism known as @dfn{Backus-Naur Form}, or BNF. The
1387 following table describes BNF:
1388
1389 @itemize @bullet
1390 @cindex keywords
1391 @cindex terminals
1392 @item
1393 Words in all-uppercase are PSPP keyword tokens.  In BNF, these are
1394 often called @dfn{terminals}.  There are some special terminals, which
1395 are written in lowercase for clarity:
1396
1397 @table @asis
1398 @cindex @code{number}
1399 @item @code{number}
1400 A real number.
1401
1402 @cindex @code{integer}
1403 @item @code{integer}
1404 An integer number.
1405
1406 @cindex @code{string}
1407 @item @code{string}
1408 A string.
1409
1410 @cindex @code{var-name}
1411 @item @code{var-name}
1412 A single variable name.
1413
1414 @cindex operators
1415 @cindex punctuators
1416 @item @code{=}, @code{/}, @code{+}, @code{-}, etc.
1417 Operators and punctuators.
1418
1419 @cindex @code{.}
1420 @item @code{.}
1421 The end of the command.  This is not necessarily an actual dot in the
1422 syntax file: @xref{Commands}, for more details.
1423 @end table
1424
1425 @item
1426 @cindex productions
1427 @cindex nonterminals
1428 Other words in all lowercase refer to BNF definitions, called
1429 @dfn{productions}.  These productions are also known as
1430 @dfn{nonterminals}.  Some nonterminals are very common, so they are
1431 defined here in English for clarity:
1432
1433 @table @code
1434 @cindex @code{var-list}
1435 @item var-list
1436 A list of one or more variable names or the keyword @code{ALL}.
1437
1438 @cindex @code{expression}
1439 @item expression
1440 An expression.  @xref{Expressions}, for details.
1441 @end table
1442
1443 @item
1444 @cindex ``is defined as''
1445 @cindex productions
1446 @samp{::=} means ``is defined as''.  The left side of @samp{::=} gives
1447 the name of the nonterminal being defined.  The right side of @samp{::=}
1448 gives the definition of that nonterminal.  If the right side is empty,
1449 then one possible expansion of that nonterminal is nothing.  A BNF
1450 definition is called a @dfn{production}.
1451
1452 @item
1453 @cindex terminals and nonterminals, differences
1454 So, the key difference between a terminal and a nonterminal is that a
1455 terminal cannot be broken into smaller parts---in fact, every terminal
1456 is a single token (@pxref{Tokens}).  On the other hand, nonterminals are
1457 composed of a (possibly empty) sequence of terminals and nonterminals.
1458 Thus, terminals indicate the deepest level of syntax description.  (In
1459 parsing theory, terminals are the leaves of the parse tree; nonterminals
1460 form the branches.)
1461
1462 @item
1463 @cindex start symbol
1464 @cindex symbol, start
1465 The first nonterminal defined in a set of productions is called the
1466 @dfn{start symbol}.  The start symbol defines the entire syntax for
1467 that command.
1468 @end itemize