Update to newest gnulib.
[pspp] / doc / language.texi
1 @c PSPP - a program for statistical analysis.
2 @c Copyright (C) 2017, 2020 Free Software Foundation, Inc.
3 @c Permission is granted to copy, distribute and/or modify this document
4 @c under the terms of the GNU Free Documentation License, Version 1.3
5 @c or any later version published by the Free Software Foundation;
6 @c with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
7 @c A copy of the license is included in the section entitled "GNU
8 @c Free Documentation License".
9 @c
10 @node Language
11 @chapter The @pspp{} language
12 @cindex language, @pspp{}
13 @cindex @pspp{}, language
14
15 This chapter discusses elements common to many @pspp{} commands.
16 Later chapters describe individual commands in detail.
17
18 @menu
19 * Tokens::                      Characters combine to form tokens.
20 * Commands::                    Tokens combine to form commands.
21 * Syntax Variants::             Batch vs. Interactive mode
22 * Types of Commands::           Commands come in several flavors.
23 * Order of Commands::           Commands combine to form syntax files.
24 * Missing Observations::        Handling missing observations.
25 * Datasets::                    Data organization.
26 * Files::                       Files used by @pspp{}.
27 * File Handles::                How files are named.
28 * BNF::                         How command syntax is described.
29 @end menu
30
31
32 @node Tokens
33 @section Tokens
34 @cindex language, lexical analysis
35 @cindex language, tokens
36 @cindex tokens
37 @cindex lexical analysis
38
39 @pspp{} divides most syntax file lines into series of short chunks
40 called @dfn{tokens}.
41 Tokens are then grouped to form commands, each of which tells
42 @pspp{} to take some action---read in data, write out data, perform
43 a statistical procedure, etc.  Each type of token is
44 described below.
45
46 @table @strong
47 @cindex identifiers
48 @item Identifiers
49 Identifiers are names that typically specify variables, commands, or
50 subcommands.  The first character in an identifier must be a letter,
51 @samp{#}, or @samp{@@}.  The remaining characters in the identifier
52 must be letters, digits, or one of the following special characters:
53
54 @example
55 @center @.  _  $  #  @@
56 @end example
57
58 @cindex case-sensitivity
59 Identifiers may be any length, but only the first 64 bytes are
60 significant.  Identifiers are not case-sensitive: @code{foobar},
61 @code{Foobar}, @code{FooBar}, @code{FOOBAR}, and @code{FoObaR} are
62 different representations of the same identifier.
63
64 @cindex identifiers, reserved
65 @cindex reserved identifiers
66 Some identifiers are reserved.  Reserved identifiers may not be used
67 in any context besides those explicitly described in this manual.  The
68 reserved identifiers are:
69
70 @example
71 @center ALL  AND  BY  EQ  GE  GT  LE  LT  NE  NOT  OR  TO  WITH
72 @end example
73
74 @item Keywords
75 Keywords are a subclass of identifiers that form a fixed part of
76 command syntax.  For example, command and subcommand names are
77 keywords.  Keywords may be abbreviated to their first 3 characters if
78 this abbreviation is unambiguous.  (Unique abbreviations of 3 or more
79 characters are also accepted: @samp{FRE}, @samp{FREQ}, and
80 @samp{FREQUENCIES} are equivalent when the last is a keyword.)
81
82 Reserved identifiers are always used as keywords.  Other identifiers
83 may be used both as keywords and as user-defined identifiers, such as
84 variable names.
85
86 @item Numbers
87 @cindex numbers
88 @cindex integers
89 @cindex reals
90 Numbers are expressed in decimal.  A decimal point is optional.
91 Numbers may be expressed in scientific notation by adding @samp{e} and
92 a base-10 exponent, so that @samp{1.234e3} has the value 1234.  Here
93 are some more examples of valid numbers:
94
95 @example
96 -5  3.14159265359  1e100  -.707  8945.
97 @end example
98
99 Negative numbers are expressed with a @samp{-} prefix.  However, in
100 situations where a literal @samp{-} token is expected, what appears to
101 be a negative number is treated as @samp{-} followed by a positive
102 number.
103
104 No white space is allowed within a number token, except for horizontal
105 white space between @samp{-} and the rest of the number.
106
107 The last example above, @samp{8945.} is interpreted as two
108 tokens, @samp{8945} and @samp{.}, if it is the last token on a line.
109 @xref{Commands, , Forming commands of tokens}.
110
111 @item Strings
112 @cindex strings
113 @cindex @samp{'}
114 @cindex @samp{"}
115 @cindex case-sensitivity
116 Strings are literal sequences of characters enclosed in pairs of
117 single quotes (@samp{'}) or double quotes (@samp{"}).  To include the
118 character used for quoting in the string, double it, @i{e.g.}@:
119 @samp{'it''s an apostrophe'}.  White space and case of letters are
120 significant inside strings.
121
122 Strings can be concatenated using @samp{+}, so that @samp{"a" + 'b' +
123 'c'} is equivalent to @samp{'abc'}.  So that a long string may be
124 broken across lines, a line break may precede or follow, or both
125 precede and follow, the @samp{+}.  (However, an entirely blank line
126 preceding or following the @samp{+} is interpreted as ending the
127 current command.)
128
129 Strings may also be expressed as hexadecimal character values by
130 prefixing the initial quote character by @samp{x} or @samp{X}.
131 Regardless of the syntax file or active dataset's encoding, the
132 hexadecimal digits in the string are interpreted as Unicode characters
133 in UTF-8 encoding.
134
135 Individual Unicode code points may also be expressed by specifying the
136 hexadecimal code point number in single or double quotes preceded by
137 @samp{u} or @samp{U}.  For example, Unicode code point U+1D11E, the
138 musical G clef character, could be expressed as @code{U'1D11E'}.
139 Invalid Unicode code points (above U+10FFFF or in between U+D800 and
140 U+DFFF) are not allowed.
141
142 When strings are concatenated with @samp{+}, each segment's prefix is
143 considered individually.  For example, @code{'The G clef symbol is:' +
144 u"1d11e" + "."} inserts a G clef symbol in the middle of an otherwise
145 plain text string.
146
147 @item Punctuators and Operators
148 @cindex punctuators
149 @cindex operators
150 These tokens are the punctuators and operators:
151
152 @example
153 @center ,  /  =  (  )  +  -  *  /  **  <  <=  <>  >  >=  ~=  &  |  .
154 @end example
155
156 Most of these appear within the syntax of commands, but the period
157 (@samp{.}) punctuator is used only at the end of a command.  It is a
158 punctuator only as the last character on a line (except white space).
159 When it is the last non-space character on a line, a period is not
160 treated as part of another token, even if it would otherwise be part
161 of, @i{e.g.}@:, an identifier or a floating-point number.
162 @end table
163
164 @node Commands
165 @section Forming commands of tokens
166
167 @cindex @pspp{}, command structure
168 @cindex language, command structure
169 @cindex commands, structure
170
171 Most @pspp{} commands share a common structure.  A command begins with a
172 command name, such as @cmd{FREQUENCIES}, @cmd{DATA LIST}, or @cmd{N OF
173 CASES}.  The command name may be abbreviated to its first word, and
174 each word in the command name may be abbreviated to its first three
175 or more characters, where these abbreviations are unambiguous.
176
177 The command name may be followed by one or more @dfn{subcommands}.
178 Each subcommand begins with a subcommand name, which may be
179 abbreviated to its first three letters.  Some subcommands accept a
180 series of one or more specifications, which follow the subcommand
181 name, optionally separated from it by an equals sign
182 (@samp{=}). Specifications may be separated from each other
183 by commas or spaces.  Each subcommand must be separated from the next (if any)
184 by a forward slash (@samp{/}).
185
186 There are multiple ways to mark the end of a command.  The most common
187 way is to end the last line of the command with a period (@samp{.}) as
188 described in the previous section (@pxref{Tokens}).  A blank line, or
189 one that consists only of white space or comments, also ends a command.
190
191 @node Syntax Variants
192 @section Syntax Variants
193
194 @cindex Batch syntax
195 @cindex Interactive syntax
196
197 There are three variants of command syntax, which vary only in how
198 they detect the end of one command and the start of the next.
199
200 In @dfn{interactive mode}, which is the default for syntax typed at a
201 command prompt, a period as the last non-blank character on a line
202 ends a command.  A blank line also ends a command.
203
204 In @dfn{batch mode}, an end-of-line period or a blank line also ends a
205 command.  Additionally, it treats any line that has a non-blank
206 character in the leftmost column as beginning a new command.  Thus, in
207 batch mode the second and subsequent lines in a command must be
208 indented.
209
210 Regardless of the syntax mode, a plus sign, minus sign, or period in
211 the leftmost column of a line is ignored and causes that line to begin
212 a new command.  This is most useful in batch mode, in which the first
213 line of a new command could not otherwise be indented, but it is
214 accepted regardless of syntax mode.
215
216 The default mode for reading commands from a file is @dfn{auto mode}.
217 It is the same as batch mode, except that a line with a non-blank in
218 the leftmost column only starts a new command if that line begins with
219 the name of a @pspp{} command.  This correctly interprets most valid @pspp{}
220 syntax files regardless of the syntax mode for which they are
221 intended.
222
223 The @option{--interactive} (or @option{-i}) or @option{--batch} (or
224 @option{-b}) options set the syntax mode for files listed on the @pspp{}
225 command line.  @xref{Main Options}, for more details.
226
227 @node Types of Commands
228 @section Types of Commands
229
230 Commands in @pspp{} are divided roughly into six categories:
231
232 @table @strong
233 @item Utility commands
234 @cindex utility commands
235 Set or display various global options that affect @pspp{} operations.
236 May appear anywhere in a syntax file.  @xref{Utilities, , Utility
237 commands}.
238
239 @item File definition commands
240 @cindex file definition commands
241 Give instructions for reading data from text files or from special
242 binary ``system files''.  Most of these commands replace any previous
243 data or variables with new data or
244 variables.  At least one file definition command must appear before the first command in any of
245 the categories below.  @xref{Data Input and Output}.
246
247 @item Input program commands
248 @cindex input program commands
249 Though rarely used, these provide tools for reading data files
250 in arbitrary textual or binary formats.  @xref{INPUT PROGRAM}.
251
252 @item Transformations
253 @cindex transformations
254 Perform operations on data and write data to output files.  Transformations
255 are not carried out until a procedure is executed.
256
257 @item Restricted transformations
258 @cindex restricted transformations
259 Transformations that cannot appear in certain contexts.  @xref{Order
260 of Commands}, for details.
261
262 @item Procedures
263 @cindex procedures
264 Analyze data, writing results of analyses to the listing file.  Cause
265 transformations specified earlier in the file to be performed.  In a
266 more general sense, a @dfn{procedure} is any command that causes the
267 active dataset (the data) to be read.
268 @end table
269
270 @node Order of Commands
271 @section Order of Commands
272 @cindex commands, ordering
273 @cindex order of commands
274
275 @pspp{} does not place many restrictions on ordering of commands.  The
276 main restriction is that variables must be defined before they are otherwise
277 referenced.  This section describes the details of command ordering,
278 but most users will have no need to refer to them.
279
280 @pspp{} possesses five internal states, called @dfn{initial}, @dfn{input-program}
281 @dfn{file-type}, @dfn{transformation}, and @dfn{procedure} states.  (Please note the
282 distinction between the @cmd{INPUT PROGRAM} and @cmd{FILE TYPE}
283 @emph{commands} and the @dfn{input-program} and @dfn{file-type} @emph{states}.)
284
285 @pspp{} starts in the initial state.  Each successful completion
286 of a command may cause a state transition.  Each type of command has its
287 own rules for state transitions:
288
289 @table @strong
290 @item Utility commands
291 @itemize @bullet
292 @item
293 Valid in any state.
294 @item
295 Do not cause state transitions.  Exception: when @cmd{N OF CASES}
296 is executed in the procedure state, it causes a transition to the
297 transformation state.
298 @end itemize
299
300 @item @cmd{DATA LIST}
301 @itemize @bullet
302 @item
303 Valid in any state.
304 @item
305 When executed in the initial or procedure state, causes a transition to
306 the transformation state.
307 @item
308 Clears the active dataset if executed in the procedure or transformation
309 state.
310 @end itemize
311
312 @item @cmd{INPUT PROGRAM}
313 @itemize @bullet
314 @item
315 Invalid in input-program and file-type states.
316 @item
317 Causes a transition to the intput-program state.
318 @item
319 Clears the active dataset.
320 @end itemize
321
322 @item @cmd{FILE TYPE}
323 @itemize @bullet
324 @item
325 Invalid in intput-program and file-type states.
326 @item
327 Causes a transition to the file-type state.
328 @item
329 Clears the active dataset.
330 @end itemize
331
332 @item Other file definition commands
333 @itemize @bullet
334 @item
335 Invalid in input-program and file-type states.
336 @item
337 Cause a transition to the transformation state.
338 @item
339 Clear the active dataset, except for @cmd{ADD FILES}, @cmd{MATCH FILES},
340 and @cmd{UPDATE}.
341 @end itemize
342
343 @item Transformations
344 @itemize @bullet
345 @item
346 Invalid in initial and file-type states.
347 @item
348 Cause a transition to the transformation state.
349 @end itemize
350
351 @item Restricted transformations
352 @itemize @bullet
353 @item
354 Invalid in initial, input-program, and file-type states.
355 @item
356 Cause a transition to the transformation state.
357 @end itemize
358
359 @item Procedures
360 @itemize @bullet
361 @item
362 Invalid in initial, input-program, and file-type states.
363 @item
364 Cause a transition to the procedure state.
365 @end itemize
366 @end table
367
368 @node Missing Observations
369 @section Handling missing observations
370 @cindex missing values
371 @cindex values, missing
372
373 @pspp{} includes special support for unknown numeric data values.
374 Missing observations are assigned a special value, called the
375 @dfn{system-missing value}.  This ``value'' actually indicates the
376 absence of a value; it means that the actual value is unknown.  Procedures
377 automatically exclude from analyses those observations or cases that
378 have missing values.  Details of missing value exclusion depend on the
379 procedure and can often be controlled by the user; refer to
380 descriptions of individual procedures for details.
381
382 The system-missing value exists only for numeric variables.  String
383 variables always have a defined value, even if it is only a string of
384 spaces.
385
386 Variables, whether numeric or string, can have designated
387 @dfn{user-missing values}.  Every user-missing value is an actual value
388 for that variable.  However, most of the time user-missing values are
389 treated in the same way as the system-missing value.
390
391 For more information on missing values, see the following sections:
392 @ref{Datasets}, @ref{MISSING VALUES}, @ref{Expressions}.  See also the
393 documentation on individual procedures for information on how they
394 handle missing values.
395
396 @node Datasets
397 @section Datasets
398 @cindex dataset
399 @cindex variable
400 @cindex dictionary
401
402 @pspp{} works with data organized into @dfn{datasets}.  A dataset
403 consists of a set of @dfn{variables}, which taken together are said to
404 form a @dfn{dictionary}, and one or more @dfn{cases}, each of which
405 has one value for each variable.
406
407 At any given time @pspp{} has exactly one distinguished dataset, called
408 the @dfn{active dataset}.  Most @pspp{} commands work only with the
409 active dataset.  In addition to the active dataset, @pspp{} also supports
410 any number of additional open datasets.  The @cmd{DATASET} commands
411 can choose a new active dataset from among those that are open, as
412 well as create and destroy datasets (@pxref{DATASET}).
413
414 The sections below describe variables in more detail.
415
416 @menu
417 * Attributes::                  Attributes of variables.
418 * System Variables::            Variables automatically defined by @pspp{}.
419 * Sets of Variables::           Lists of variable names.
420 * Input and Output Formats::    Input and output formats.
421 * Scratch Variables::           Variables deleted by procedures.
422 @end menu
423
424 @node Attributes
425 @subsection Attributes of Variables
426 @cindex variables, attributes of
427 @cindex attributes of variables
428 Each variable has a number of attributes, including:
429
430 @table @strong
431 @item Name
432 An identifier, up to 64 bytes long.  Each variable must have a different name.
433 @xref{Tokens}.
434
435 Some system variable names begin with @samp{$}, but user-defined
436 variables' names may not begin with @samp{$}.
437
438 @cindex @samp{.}
439 @cindex period
440 @cindex variable names, ending with period
441 The final character in a variable name should not be @samp{.}, because
442 such an identifier will be misinterpreted when it is the final token
443 on a line: @code{FOO.} is divided into two separate tokens,
444 @samp{FOO} and @samp{.}, indicating end-of-command.  @xref{Tokens}.
445
446 @cindex @samp{_}
447 The final character in a variable name should not be @samp{_}, because
448 some such identifiers are used for special purposes by @pspp{}
449 procedures.
450
451 As with all @pspp{} identifiers, variable names are not case-sensitive.
452 @pspp{} capitalizes variable names on output the same way they were
453 capitalized at their point of definition in the input.
454
455 @cindex variables, type
456 @cindex type of variables
457 @item Type
458 Numeric or string.
459
460 @cindex variables, width
461 @cindex width of variables
462 @item Width
463 (string variables only) String variables with a width of 8 characters or
464 fewer are called @dfn{short string variables}.  Short string variables
465 may be used in a few contexts where @dfn{long string variables} (those
466 with widths greater than 8) are not allowed.
467
468 @item Position
469 Variables in the dictionary are arranged in a specific order.
470 @cmd{DISPLAY} can be used to show this order: see @ref{DISPLAY}.
471
472 @item Initialization
473 Either reinitialized to 0 or spaces for each case, or left at its
474 existing value.  @xref{LEAVE}.
475
476 @cindex missing values
477 @cindex values, missing
478 @item Missing values
479 Optionally, up to three values, or a range of values, or a specific
480 value plus a range, can be specified as @dfn{user-missing values}.
481 There is also a @dfn{system-missing value} that is assigned to an
482 observation when there is no other obvious value for that observation.
483 Observations with missing values are automatically excluded from
484 analyses.  User-missing values are actual data values, while the
485 system-missing value is not a value at all.  @xref{Missing Observations}.
486
487 @cindex variable labels
488 @cindex labels, variable
489 @item Variable label
490 A string that describes the variable.  @xref{VARIABLE LABELS}.
491
492 @cindex value labels
493 @cindex labels, value
494 @item Value label
495 Optionally, these associate each possible value of the variable with a
496 string.  @xref{VALUE LABELS}.
497
498 @cindex print format
499 @item Print format
500 Display width, format, and (for numeric variables) number of decimal
501 places.  This attribute does not affect how data are stored, just how
502 they are displayed.  Example: a width of 8, with 2 decimal places.
503 @xref{Input and Output Formats}.
504
505 @cindex write format
506 @item Write format
507 Similar to print format, but used by the @cmd{WRITE} command
508 (@pxref{WRITE}).
509
510 @cindex custom attributes
511 @item Custom attributes
512 User-defined associations between names and values.  @xref{VARIABLE
513 ATTRIBUTE}.
514
515 @cindex variable role
516 @item Role
517 The intended role of a variable for use in dialog boxes in graphical
518 user interfaces.  @xref{VARIABLE ROLE}.
519 @end table
520
521 @node System Variables
522 @subsection Variables Automatically Defined by @pspp{}
523 @cindex system variables
524 @cindex variables, system
525
526 There are seven system variables.  These are not like ordinary
527 variables because system variables are not always stored.  They can be used only
528 in expressions.  These system variables, whose values and output formats
529 cannot be modified, are described below.
530
531 @table @code
532 @cindex @code{$CASENUM}
533 @item $CASENUM
534 Case number of the case at the moment.  This changes as cases are
535 shuffled around.
536
537 @cindex @code{$DATE}
538 @item $DATE
539 Date the @pspp{} process was started, in format A9, following the
540 pattern @code{DD-MMM-YY}.
541
542 @cindex @code{$DATE11}
543 @item $DATE11
544 Date the @pspp{} process was started, in format A11, following the
545 pattern @code{DD-MMM-YYYY}.
546
547 @cindex @code{$JDATE}
548 @item $JDATE
549 Number of days between 15 Oct 1582 and the time the @pspp{} process
550 was started.
551
552 @cindex @code{$LENGTH}
553 @item $LENGTH
554 Page length, in lines, in format F11.
555
556 @cindex @code{$SYSMIS}
557 @item $SYSMIS
558 System missing value, in format F1.
559
560 @cindex @code{$TIME}
561 @item $TIME
562 Number of seconds between midnight 14 Oct 1582 and the time the active dataset
563 was read, in format F20.
564
565 @cindex @code{$WIDTH}
566 @item $WIDTH
567 Page width, in characters, in format F3.
568 @end table
569
570 @node Sets of Variables
571 @subsection Lists of variable names
572 @cindex @code{TO} convention
573 @cindex convention, @code{TO}
574
575 To refer to a set of variables, list their names one after another.
576 Optionally, their names may be separated by commas.  To include a
577 range of variables from the dictionary in the list, write the name of
578 the first and last variable in the range, separated by @code{TO}.  For
579 instance, if the dictionary contains six variables with the names
580 @code{ID}, @code{X1}, @code{X2}, @code{GOAL}, @code{MET}, and
581 @code{NEXTGOAL}, in that order, then @code{X2 TO MET} would include
582 variables @code{X2}, @code{GOAL}, and @code{MET}.
583
584 Commands that define variables, such as @cmd{DATA LIST}, give
585 @code{TO} an alternate meaning.  With these commands, @code{TO} define
586 sequences of variables whose names end in consecutive integers.  The
587 syntax is two identifiers that begin with the same root and end with
588 numbers, separated by @code{TO}.  The syntax @code{X1 TO X5} defines 5
589 variables, named @code{X1}, @code{X2}, @code{X3}, @code{X4}, and
590 @code{X5}.  The syntax @code{ITEM0008 TO ITEM0013} defines 6
591 variables, named @code{ITEM0008}, @code{ITEM0009}, @code{ITEM0010},
592 @code{ITEM0011}, @code{ITEM0012}, and @code{ITEM00013}.  The syntaxes
593 @code{QUES001 TO QUES9} and @code{QUES6 TO QUES3} are invalid.
594
595 After a set of variables has been defined with @cmd{DATA LIST} or
596 another command with this method, the same set can be referenced on
597 later commands using the same syntax.
598
599 @node Input and Output Formats
600 @subsection Input and Output Formats
601
602 @cindex formats
603 An @dfn{input format} describes how to interpret the contents of an
604 input field as a number or a string.  It might specify that the field
605 contains an ordinary decimal number, a time or date, a number in binary
606 or hexadecimal notation, or one of several other notations.  Input
607 formats are used by commands such as @cmd{DATA LIST} that read data or
608 syntax files into the @pspp{} active dataset.
609
610 Every input format corresponds to a default @dfn{output format} that
611 specifies the formatting used when the value is output later.  It is
612 always possible to explicitly specify an output format that resembles
613 the input format.  Usually, this is the default, but in cases where the
614 input format is unfriendly to human readability, such as binary or
615 hexadecimal formats, the default output format is an easier-to-read
616 decimal format.
617
618 Every variable has two output formats, called its @dfn{print format} and
619 @dfn{write format}.  Print formats are used in most output contexts;
620 write formats are used only by @cmd{WRITE} (@pxref{WRITE}).  Newly
621 created variables have identical print and write formats, and
622 @cmd{FORMATS}, the most commonly used command for changing formats
623 (@pxref{FORMATS}), sets both of them to the same value as well.  Thus,
624 most of the time, the distinction between print and write formats is
625 unimportant.
626
627 Input and output formats are specified to @pspp{} with
628 a @dfn{format specification} of the
629 form @subcmd{@var{TYPE}@var{w}} or @code{TYPE@var{w}.@var{d}}, where
630 @var{TYPE} is one of the format types described later, @var{w} is a
631 field width measured in columns, and @var{d} is an optional number of
632 decimal places.  If @var{d} is omitted, a value of 0 is assumed.  Some
633 formats do not allow a nonzero @var{d} to be specified.
634
635 The following sections describe the input and output formats supported
636 by @pspp{}.
637
638 @menu
639 * Basic Numeric Formats::
640 * Custom Currency Formats::
641 * Legacy Numeric Formats::
642 * Binary and Hexadecimal Numeric Formats::
643 * Time and Date Formats::
644 * Date Component Formats::
645 * String Formats::
646 @end menu
647
648 @node Basic Numeric Formats
649 @subsubsection Basic Numeric Formats
650
651 @cindex numeric formats
652 The basic numeric formats are used for input and output of real numbers
653 in standard or scientific notation.  The following table shows an
654 example of how each format displays positive and negative numbers with
655 the default decimal point setting:
656
657 @float
658 @multitable {DOLLAR10.2} {@code{@tie{}$3,141.59}} {@code{-$3,141.59}}
659 @headitem Format @tab @code{@tie{}3141.59}   @tab @code{-3141.59}
660 @item F8.2       @tab @code{@tie{}3141.59}   @tab @code{-3141.59}
661 @item COMMA9.2   @tab @code{@tie{}3,141.59}  @tab @code{-3,141.59}
662 @item DOT9.2     @tab @code{@tie{}3.141,59}  @tab @code{-3.141,59}
663 @item DOLLAR10.2 @tab @code{@tie{}$3,141.59} @tab @code{-$3,141.59}
664 @item PCT9.2     @tab @code{@tie{}3141.59%}  @tab @code{-3141.59%}
665 @item E8.1       @tab @code{@tie{}3.1E+003}  @tab @code{-3.1E+003}
666 @end multitable
667 @end float
668
669 On output, numbers in F format are expressed in standard decimal
670 notation with the requested number of decimal places.  The other formats
671 output some variation on this style:
672
673 @itemize @bullet
674 @item
675 Numbers in COMMA format are additionally grouped every three digits by
676 inserting a grouping character.  The grouping character is ordinarily a
677 comma, but it can be changed to a period (@pxref{SET DECIMAL}).
678
679 @item
680 DOT format is like COMMA format, but it interchanges the role of the
681 decimal point and grouping characters.  That is, the current grouping
682 character is used as a decimal point and vice versa.
683
684 @item
685 DOLLAR format is like COMMA format, but it prefixes the number with
686 @samp{$}.
687
688 @item
689 PCT format is like F format, but adds @samp{%} after the number.
690
691 @item
692 The E format always produces output in scientific notation.
693 @end itemize
694
695 On input, the basic numeric formats accept positive and numbers in
696 standard decimal notation or scientific notation.  Leading and trailing
697 spaces are allowed.  An empty or all-spaces field, or one that contains
698 only a single period, is treated as the system missing value.
699
700 In scientific notation, the exponent may be introduced by a sign
701 (@samp{+} or @samp{-}), or by one of the letters @samp{e} or @samp{d}
702 (in uppercase or lowercase), or by a letter followed by a sign.  A
703 single space may follow the letter or the sign or both.
704
705 On fixed-format @cmd{DATA LIST} (@pxref{DATA LIST FIXED}) and in a few
706 other contexts, decimals are implied when the field does not contain a
707 decimal point.  In F6.5 format, for example, the field @code{314159} is
708 taken as the value 3.14159 with implied decimals.  Decimals are never
709 implied if an explicit decimal point is present or if scientific
710 notation is used.
711
712 E and F formats accept the basic syntax already described.  The other
713 formats allow some additional variations:
714
715 @itemize @bullet
716 @item
717 COMMA, DOLLAR, and DOT formats ignore grouping characters within the
718 integer part of the input field.  The identity of the grouping
719 character depends on the format.
720
721 @item
722 DOLLAR format allows a dollar sign to precede the number.  In a negative
723 number, the dollar sign may precede or follow the minus sign.
724
725 @item
726 PCT format allows a percent sign to follow the number.
727 @end itemize
728
729 All of the basic number formats have a maximum field width of 40 and
730 accept no more than 16 decimal places, on both input and output.  Some
731 additional restrictions apply:
732
733 @itemize @bullet
734 @item
735 As input formats, the basic numeric formats allow no more decimal places
736 than the field width.  As output formats, the field width must be
737 greater than the number of decimal places; that is, large enough to
738 allow for a decimal point and the number of requested decimal places.
739 DOLLAR and PCT formats must allow an additional column for @samp{$} or
740 @samp{%}.
741
742 @item
743 The default output format for a given input format increases the field
744 width enough to make room for optional input characters.  If an input
745 format calls for decimal places, the width is increased by 1 to make
746 room for an implied decimal point.  COMMA, DOT, and DOLLAR formats also
747 increase the output width to make room for grouping characters.  DOLLAR
748 and PCT further increase the output field width by 1 to make room for
749 @samp{$} or @samp{%}.  The increased output width is capped at 40, the
750 maximum field width.
751
752 @item
753 The E format is exceptional.  For output, E format has a minimum width
754 of 7 plus the number of decimal places.  The default output format for
755 an E input format is an E format with at least 3 decimal places and
756 thus a minimum width of 10.
757 @end itemize
758
759 More details of basic numeric output formatting are given below:
760
761 @itemize @bullet
762 @item
763 Output rounds to nearest, with ties rounded away from zero.  Thus, 2.5
764 is output as @code{3} in F1.0 format, and -1.125 as @code{-1.13} in F5.1
765 format.
766
767 @item
768 The system-missing value is output as a period in a field of spaces,
769 placed in the decimal point's position, or in the rightmost column if no
770 decimal places are requested.  A period is used even if the decimal
771 point character is a comma.
772
773 @item
774 A number that does not fill its field is right-justified within the
775 field.
776
777 @item
778 A number is too large for its field causes decimal places to be dropped
779 to make room.  If dropping decimals does not make enough room,
780 scientific notation is used if the field is wide enough.  If a number
781 does not fit in the field, even in scientific notation, the overflow is
782 indicated by filling the field with asterisks (@samp{*}).
783
784 @item
785 COMMA, DOT, and DOLLAR formats insert grouping characters only if space
786 is available for all of them.  Grouping characters are never inserted
787 when all decimal places must be dropped.  Thus, 1234.56 in COMMA5.2
788 format is output as @samp{@tie{}1235} without a comma, even though there
789 is room for one, because all decimal places were dropped.
790
791 @item
792 DOLLAR or PCT format drop the @samp{$} or @samp{%} only if the number
793 would not fit at all without it.  Scientific notation with @samp{$} or
794 @samp{%} is preferred to ordinary decimal notation without it.
795
796 @item
797 Except in scientific notation, a decimal point is included only when
798 it is followed by a digit.  If the integer part of the number being
799 output is 0, and a decimal point is included, then the zero before the
800 decimal point is dropped.
801
802 In scientific notation, the number always includes a decimal point,
803 even if it is not followed by a digit.
804
805 @item
806 A negative number includes a minus sign only in the presence of a
807 nonzero digit: -0.01 is output as @samp{-.01} in F4.2 format but as
808 @samp{@tie{}@tie{}.0} in F4.1 format.  Thus, a ``negative zero'' never
809 includes a minus sign.
810
811 @item
812 In negative numbers output in DOLLAR format, the dollar sign follows the
813 negative sign.  Thus, -9.99 in DOLLAR6.2 format is output as
814 @code{-$9.99}.
815
816 @item
817 In scientific notation, the exponent is output as @samp{E} followed by
818 @samp{+} or @samp{-} and exactly three digits.  Numbers with magnitude
819 less than 10**-999 or larger than 10**999 are not supported by most
820 computers, but if they are supported then their output is considered
821 to overflow the field and they are output as asterisks.
822
823 @item
824 On most computers, no more than 15 decimal digits are significant in
825 output, even if more are printed.  In any case, output precision cannot
826 be any higher than input precision; few data sets are accurate to 15
827 digits of precision.  Unavoidable loss of precision in intermediate
828 calculations may also reduce precision of output.
829
830 @item
831 Special values such as infinities and ``not a number'' values are
832 usually converted to the system-missing value before printing.  In a few
833 circumstances, these values are output directly.  In fields of width 3
834 or greater, special values are output as however many characters
835 fit from @code{+Infinity} or @code{-Infinity} for infinities, from
836 @code{NaN} for ``not a number,'' or from @code{Unknown} for other values
837 (if any are supported by the system).  In fields under 3 columns wide,
838 special values are output as asterisks.
839 @end itemize
840
841 @node Custom Currency Formats
842 @subsubsection Custom Currency Formats
843
844 @cindex currency formats
845 The custom currency formats are closely related to the basic numeric
846 formats, but they allow users to customize the output format.  The
847 SET command configures custom currency formats, using the syntax
848 @display
849 SET CC@var{x}=@t{"}@var{string}@t{"}.
850 @end display
851 @noindent
852 where @var{x} is A, B, C, D, or E, and @var{string} is no more than 16
853 characters long.
854
855 @var{string} must contain exactly three commas or exactly three periods
856 (but not both), except that a single quote character may be used to
857 ``escape'' a following comma, period, or single quote.  If three commas
858 are used, commas are used for grouping in output, and a period
859 is used as the decimal point.  Uses of periods reverses these roles.
860
861 The commas or periods divide @var{string} into four fields, called the
862 @dfn{negative prefix}, @dfn{prefix}, @dfn{suffix}, and @dfn{negative
863 suffix}, respectively.  The prefix and suffix are added to output
864 whenever space is available.  The negative prefix and negative suffix
865 are always added to a negative number when the output includes a nonzero
866 digit.
867
868 The following syntax shows how custom currency formats could be used to
869 reproduce basic numeric formats:
870
871 @example
872 @group
873 SET CCA="-,,,".  /* Same as COMMA.
874 SET CCB="-...".  /* Same as DOT.
875 SET CCC="-,$,,". /* Same as DOLLAR.
876 SET CCD="-,,%,". /* Like PCT, but groups with commas.
877 @end group
878 @end example
879
880 Here are some more examples of custom currency formats.  The final
881 example shows how to use a single quote to escape a delimiter:
882
883 @example
884 @group
885 SET CCA=",EUR,,-".   /* Euro.
886 SET CCB="(,USD ,,)". /* US dollar.
887 SET CCC="-.R$..".    /* Brazilian real.
888 SET CCD="-,, NIS,".  /* Israel shekel.
889 SET CCE="-.Rp'. ..". /* Indonesia Rupiah.
890 @end group
891 @end example
892
893 @noindent These formats would yield the following output:
894
895 @float
896 @multitable {CCD13.2} {@code{@tie{}@tie{}USD 3,145.59}} {@code{(USD 3,145.59)}}
897 @headitem Format @tab @code{@tie{}3145.59}         @tab @code{-3145.59}
898 @item CCA12.2 @tab @code{@tie{}EUR3,145.59}        @tab @code{EUR3,145.59-}
899 @item CCB14.2 @tab @code{@tie{}@tie{}USD 3,145.59} @tab @code{(USD 3,145.59)}
900 @item CCC11.2 @tab @code{@tie{}R$3.145,59}         @tab @code{-R$3.145,59}
901 @item CCD13.2 @tab @code{@tie{}3,145.59 NIS}       @tab @code{-3,145.59 NIS}
902 @item CCE10.0 @tab @code{@tie{}Rp. 3.146}          @tab @code{-Rp. 3.146}
903 @end multitable
904 @end float
905
906 The default for all the custom currency formats is @samp{-,,,},
907 equivalent to COMMA format.
908
909 @node Legacy Numeric Formats
910 @subsubsection Legacy Numeric Formats
911
912 The N and Z numeric formats provide compatibility with legacy file
913 formats.  They have much in common:
914
915 @itemize @bullet
916 @item
917 Output is rounded to the nearest representable value, with ties rounded
918 away from zero.
919
920 @item
921 Numbers too large to display are output as a field filled with asterisks
922 (@samp{*}).
923
924 @item
925 The decimal point is always implicitly the specified number of digits
926 from the right edge of the field, except that Z format input allows an
927 explicit decimal point.
928
929 @item
930 Scientific notation may not be used.
931
932 @item
933 The system-missing value is output as a period in a field of spaces.
934 The period is placed just to the right of the implied decimal point in
935 Z format, or at the right end in N format or in Z format if no decimal
936 places are requested.  A period is used even if the decimal point
937 character is a comma.
938
939 @item
940 Field width may range from 1 to 40.  Decimal places may range from 0 up
941 to the field width, to a maximum of 16.
942
943 @item
944 When a legacy numeric format used for input is converted to an output
945 format, it is changed into the equivalent F format.  The field width is
946 increased by 1 if any decimal places are specified, to make room for a
947 decimal point.  For Z format, the field width is increased by 1 more
948 column, to make room for a negative sign.  The output field width is
949 capped at 40 columns.
950 @end itemize
951
952 @subsubheading N Format
953
954 The N format supports input and output of fields that contain only
955 digits.  On input, leading or trailing spaces, a decimal point, or any
956 other non-digit character causes the field to be read as the
957 system-missing value.  As a special exception, an N format used on
958 @cmd{DATA LIST FREE} or @cmd{DATA LIST LIST} is treated as the
959 equivalent F format.
960
961 On output, N pads the field on the left with zeros.  Negative numbers
962 are output like the system-missing value.
963
964 @subsubheading Z Format
965
966 The Z format is a ``zoned decimal'' format used on IBM mainframes.  Z
967 format encodes the sign as part of the final digit, which must be one of
968 the following:
969 @example
970 0123456789
971 @{ABCDEFGHI
972 @}JKLMNOPQR
973 @end example
974 @noindent
975 where the characters in each row represent digits 0 through 9 in order.
976 Characters in the first two rows indicate a positive sign; those in the
977 third indicate a negative sign.
978
979 On output, Z fields are padded on the left with spaces.  On input,
980 leading and trailing spaces are ignored.  Any character in an input
981 field other than spaces, the digit characters above, and @samp{.} causes
982 the field to be read as system-missing.
983
984 The decimal point character for input and output is always @samp{.},
985 even if the decimal point character is a comma (@pxref{SET DECIMAL}).
986
987 Nonzero, negative values output in Z format are marked as negative even
988 when no nonzero digits are output.  For example, -0.2 is output in Z1.0
989 format as @samp{J}.  The ``negative zero'' value supported by most
990 machines is output as positive.
991
992 @node Binary and Hexadecimal Numeric Formats
993 @subsubsection Binary and Hexadecimal Numeric Formats
994
995 @cindex binary formats
996 @cindex hexadecimal formats
997 The binary and hexadecimal formats are primarily designed for
998 compatibility with existing machine formats, not for human readability.
999 All of them therefore have a F format as default output format.  Some of
1000 these formats are only portable between machines with compatible byte
1001 ordering (endianness) or floating-point format.
1002
1003 Binary formats use byte values that in text files are interpreted as
1004 special control functions, such as carriage return and line feed.  Thus,
1005 data in binary formats should not be included in syntax files or read
1006 from data files with variable-length records, such as ordinary text
1007 files.  They may be read from or written to data files with fixed-length
1008 records.  @xref{FILE HANDLE}, for information on working with
1009 fixed-length records.
1010
1011 @subsubheading P and PK Formats
1012
1013 These are binary-coded decimal formats, in which every byte (except the
1014 last, in P format) represents two decimal digits.  The most-significant
1015 4 bits of the first byte is the most-significant decimal digit, the
1016 least-significant 4 bits of the first byte is the next decimal digit,
1017 and so on.
1018
1019 In P format, the most-significant 4 bits of the last byte are the
1020 least-significant decimal digit.  The least-significant 4 bits represent
1021 the sign: decimal 15 indicates a negative value, decimal 13 indicates a
1022 positive value.
1023
1024 Numbers are rounded downward on output.  The system-missing value and
1025 numbers outside representable range are output as zero.
1026
1027 The maximum field width is 16.  Decimal places may range from 0 up to
1028 the number of decimal digits represented by the field.
1029
1030 The default output format is an F format with twice the input field
1031 width, plus one column for a decimal point (if decimal places were
1032 requested).
1033
1034 @subsubheading IB and PIB Formats
1035
1036 These are integer binary formats.  IB reads and writes 2's complement
1037 binary integers, and PIB reads and writes unsigned binary integers.  The
1038 byte ordering is by default the host machine's, but SET RIB may be used
1039 to select a specific byte ordering for reading (@pxref{SET RIB}) and
1040 SET WIB, similarly, for writing (@pxref{SET WIB}).
1041
1042 The maximum field width is 8.  Decimal places may range from 0 up to the
1043 number of decimal digits in the largest value representable in the field
1044 width.
1045
1046 The default output format is an F format whose width is the number of
1047 decimal digits in the largest value representable in the field width,
1048 plus 1 if the format has decimal places.
1049
1050 @subsubheading RB Format
1051
1052 This is a binary format for real numbers.  By default it reads and
1053 writes the host machine's floating-point format, but SET RRB may be
1054 used to select an alternate floating-point format for reading
1055 (@pxref{SET RRB}) and SET WRB, similarly, for writing (@pxref{SET
1056 WRB}).
1057
1058 The recommended field width depends on the floating-point format.
1059 NATIVE (the default format), IDL, IDB, VD, VG, and ZL formats should use
1060 a field width of 8.  ISL, ISB, VF, and ZS formats should use a field
1061 width of 4.  Other field widths do not produce useful results.  The
1062 maximum field width is 8.  No decimal places may be specified.
1063
1064 The default output format is F8.2.
1065
1066 @subsubheading PIBHEX and RBHEX Formats
1067
1068 These are hexadecimal formats, for reading and writing binary formats
1069 where each byte has been recoded as a pair of hexadecimal digits.
1070
1071 A hexadecimal field consists solely of hexadecimal digits
1072 @samp{0}@dots{}@samp{9} and @samp{A}@dots{}@samp{F}.  Uppercase and
1073 lowercase are accepted on input; output is in uppercase.
1074
1075 Other than the hexadecimal representation, these formats are equivalent
1076 to PIB and RB formats, respectively.  However, bytes in PIBHEX format
1077 are always ordered with the most-significant byte first (big-endian
1078 order), regardless of the host machine's native byte order or @pspp{}
1079 settings.
1080
1081 Field widths must be even and between 2 and 16.  RBHEX format allows no
1082 decimal places; PIBHEX allows as many decimal places as a PIB format
1083 with half the given width.
1084
1085 @node Time and Date Formats
1086 @subsubsection Time and Date Formats
1087
1088 @cindex time formats
1089 @cindex date formats
1090 In @pspp{}, a @dfn{time} is an interval.  The time formats translate
1091 between human-friendly descriptions of time intervals and @pspp{}'s
1092 internal representation of time intervals, which is simply the number of
1093 seconds in the interval.  @pspp{} has three time formats:
1094
1095 @float
1096 @multitable {Time Format} {@code{dd-mmm-yyyy HH:MM:SS.ss}} {@code{01-OCT-1978 01:31:17.01}}
1097 @headitem Time Format @tab Template                  @tab Example
1098 @item MTIME    @tab @code{MM:SS.ss}             @tab @code{91:17.01}
1099 @item TIME     @tab @code{hh:MM:SS.ss}          @tab @code{01:31:17.01}
1100 @item DTIME    @tab @code{DD HH:MM:SS.ss}       @tab @code{00 04:31:17.01}
1101 @end multitable
1102 @end float
1103
1104 A @dfn{date} is a moment in the past or the future.  Internally, @pspp{}
1105 represents a date as the number of seconds since the @dfn{epoch},
1106 midnight, Oct. 14, 1582.  The date formats translate between
1107 human-readable dates and @pspp{}'s numeric representation of dates and
1108 times.  @pspp{} has several date formats:
1109
1110 @float
1111 @multitable {Date Format} {@code{dd-mmm-yyyy HH:MM:SS.ss}} {@code{01-OCT-1978 04:31:17.01}}
1112 @headitem Date Format @tab Template                  @tab Example
1113 @item DATE     @tab @code{dd-mmm-yyyy}          @tab @code{01-OCT-1978}
1114 @item ADATE    @tab @code{mm/dd/yyyy}           @tab @code{10/01/1978}
1115 @item EDATE    @tab @code{dd.mm.yyyy}           @tab @code{01.10.1978}
1116 @item JDATE    @tab @code{yyyyjjj}              @tab @code{1978274}
1117 @item SDATE    @tab @code{yyyy/mm/dd}           @tab @code{1978/10/01}
1118 @item QYR      @tab @code{q Q yyyy}             @tab @code{3 Q 1978}
1119 @item MOYR     @tab @code{mmm yyyy}             @tab @code{OCT 1978}
1120 @item WKYR     @tab @code{ww WK yyyy}           @tab @code{40 WK 1978}
1121 @item DATETIME @tab @code{dd-mmm-yyyy HH:MM:SS.ss} @tab @code{01-OCT-1978 04:31:17.01}
1122 @item YMDHMS   @tab @code{yyyy-mm-dd HH:MM:SS.ss} @tab @code{1978-01-OCT 04:31:17.01}
1123 @end multitable
1124 @end float
1125
1126 The templates in the preceding tables describe how the time and date
1127 formats are input and output:
1128
1129 @table @code
1130 @item dd
1131 Day of month, from 1 to 31.  Always output as two digits.
1132
1133 @item mm
1134 @itemx mmm
1135 Month.  In output, @code{mm} is output as two digits, @code{mmm} as the
1136 first three letters of an English month name (January, February,
1137 @dots{}).  In input, both of these formats, plus Roman numerals, are
1138 accepted.
1139
1140 @item yyyy
1141 Year.  In output, DATETIME and YMDHMS always produce 4-digit years;
1142 other formats can produce a 2- or 4-digit year.  The century assumed
1143 for 2-digit years depends on the EPOCH setting (@pxref{SET EPOCH}).
1144 In output, a year outside the epoch causes the whole field to be
1145 filled with asterisks (@samp{*}).
1146
1147 @item jjj
1148 Day of year (Julian day), from 1 to 366.  This is exactly three digits
1149 giving the count of days from the start of the year.  January 1 is
1150 considered day 1.
1151
1152 @item q
1153 Quarter of year, from 1 to 4.  Quarters start on January 1, April 1,
1154 July 1, and October 1.
1155
1156 @item ww
1157 Week of year, from 1 to 53.  Output as exactly two digits.  January 1 is
1158 the first day of week 1.
1159
1160 @item DD
1161 Count of days, which may be positive or negative.  Output as at least
1162 two digits.
1163
1164 @item hh
1165 Count of hours, which may be positive or negative.  Output as at least
1166 two digits.
1167
1168 @item HH
1169 Hour of day, from 0 to 23.  Output as exactly two digits.
1170
1171 @item MM
1172 In MTIME, count of minutes, which may be positive or negative.  Output
1173 as at least two digits.
1174
1175 In other formats, minute of hour, from 0 to 59.  Output as exactly two
1176 digits.
1177
1178 @item SS.ss
1179 Seconds within minute, from 0 to 59.  The integer part is output as
1180 exactly two digits.  On output, seconds and fractional seconds may or
1181 may not be included, depending on field width and decimal places.  On
1182 input, seconds and fractional seconds are optional.  The DECIMAL setting
1183 controls the character accepted and displayed as the decimal point
1184 (@pxref{SET DECIMAL}).
1185 @end table
1186
1187 For output, the date and time formats use the delimiters indicated in
1188 the table.  For input, date components may be separated by spaces or by
1189 one of the characters @samp{-}, @samp{/}, @samp{.}, or @samp{,}, and
1190 time components may be separated by spaces or @samp{:}.  On
1191 input, the @samp{Q} separating quarter from year and the @samp{WK}
1192 separating week from year may be uppercase or lowercase, and the spaces
1193 around them are optional.
1194
1195 On input, all time and date formats accept any amount of leading and
1196 trailing white space.
1197
1198 The maximum width for time and date formats is 40 columns.  Minimum
1199 input and output width for each of the time and date formats is shown
1200 below:
1201
1202 @float
1203 @multitable {DATETIME} {Min. Input Width} {Min. Output Width} {4-digit year}
1204 @headitem Format @tab Min. Input Width @tab Min. Output Width @tab Option
1205 @item DATE @tab 8 @tab 9 @tab 4-digit year
1206 @item ADATE @tab 8 @tab 8 @tab 4-digit year
1207 @item EDATE @tab 8 @tab 8 @tab 4-digit year
1208 @item JDATE @tab 5 @tab 5 @tab 4-digit year
1209 @item SDATE @tab 8 @tab 8 @tab 4-digit year
1210 @item QYR @tab 4 @tab 6 @tab 4-digit year
1211 @item MOYR @tab 6 @tab 6 @tab 4-digit year
1212 @item WKYR @tab 6 @tab 8 @tab 4-digit year
1213 @item DATETIME @tab 17 @tab 17 @tab seconds
1214 @item YMDHMS @tab 12 @tab 16 @tab seconds
1215 @item MTIME @tab 4 @tab 5
1216 @item TIME @tab 5 @tab 5 @tab seconds
1217 @item DTIME @tab 8 @tab 8 @tab seconds
1218 @end multitable
1219 @end float
1220 @noindent
1221 In the table, ``Option'' describes what increased output width enables:
1222
1223 @table @asis
1224 @item 4-digit year
1225 A field 2 columns wider than the minimum includes a 4-digit year.
1226 (DATETIME and YMDHMS formats always include a 4-digit year.)
1227
1228 @item seconds
1229 A field 3 columns wider than the minimum includes seconds as well as
1230 minutes.  A field 5 columns wider than minimum, or more, can also
1231 include a decimal point and fractional seconds (but no more than allowed
1232 by the format's decimal places).
1233 @end table
1234
1235 For the time and date formats, the default output format is the same as
1236 the input format, except that @pspp{} increases the field width, if
1237 necessary, to the minimum allowed for output.
1238
1239 Time or dates narrower than the field width are right-justified within
1240 the field.
1241
1242 When a time or date exceeds the field width, characters are trimmed from
1243 the end until it fits.  This can occur in an unusual situation, @i{e.g.}@:
1244 with a year greater than 9999 (which adds an extra digit), or for a
1245 negative value on MTIME, TIME, or DTIME (which adds a leading minus sign).
1246
1247 @c What about out-of-range values?
1248
1249 The system-missing value is output as a period at the right end of the
1250 field.
1251
1252 @node Date Component Formats
1253 @subsubsection Date Component Formats
1254
1255 The WKDAY and MONTH formats provide input and output for the names of
1256 weekdays and months, respectively.
1257
1258 On output, these formats convert a number between 1 and 7, for WKDAY, or
1259 between 1 and 12, for MONTH, into the English name of a day or month,
1260 respectively.  If the name is longer than the field, it is trimmed to
1261 fit.  If the name is shorter than the field, it is padded on the right
1262 with spaces.  Values outside the valid range, and the system-missing
1263 value, are output as all spaces.
1264
1265 On input, English weekday or month names (in uppercase or lowercase) are
1266 converted back to their corresponding numbers.  Weekday and month names
1267 may be abbreviated to their first 2 or 3 letters, respectively.
1268
1269 The field width may range from 2 to 40, for WKDAY, or from 3 to 40, for
1270 MONTH.  No decimal places are allowed.
1271
1272 The default output format is the same as the input format.
1273
1274 @node String Formats
1275 @subsubsection String Formats
1276
1277 @cindex string formats
1278 The A and AHEX formats are the only ones that may be assigned to string
1279 variables.  Neither format allows any decimal places.
1280
1281 In A format, the entire field is treated as a string value.  The field
1282 width may range from 1 to 32,767, the maximum string width.  The default
1283 output format is the same as the input format.
1284
1285 In AHEX format, the field is composed of characters in a string encoded
1286 as hex digit pairs.  On output, hex digits are output in uppercase; on
1287 input, uppercase and lowercase are both accepted.  The default output
1288 format is A format with half the input width.
1289
1290 @node Scratch Variables
1291 @subsection Scratch Variables
1292
1293 @cindex scratch variables
1294 Most of the time, variables don't retain their values between cases.
1295 Instead, either they're being read from a data file or the active dataset,
1296 in which case they assume the value read, or, if created with
1297 @cmd{COMPUTE} or
1298 another transformation, they're initialized to the system-missing value
1299 or to blanks, depending on type.
1300
1301 However, sometimes it's useful to have a variable that keeps its value
1302 between cases.  You can do this with @cmd{LEAVE} (@pxref{LEAVE}), or you can
1303 use a @dfn{scratch variable}.  Scratch variables are variables whose
1304 names begin with an octothorpe (@samp{#}).
1305
1306 Scratch variables have the same properties as variables left with
1307 @cmd{LEAVE}: they retain their values between cases, and for the first
1308 case they are initialized to 0 or blanks.  They have the additional
1309 property that they are deleted before the execution of any procedure.
1310 For this reason, scratch variables can't be used for analysis.  To use
1311 a scratch variable in an analysis, use @cmd{COMPUTE} (@pxref{COMPUTE})
1312 to copy its value into an ordinary variable, then use that ordinary
1313 variable in the analysis.
1314
1315 @node Files
1316 @section Files Used by @pspp{}
1317
1318 @pspp{} makes use of many files each time it runs.  Some of these it
1319 reads, some it writes, some it creates.  Here is a table listing the
1320 most important of these files:
1321
1322 @table @strong
1323 @cindex file, command
1324 @cindex file, syntax file
1325 @cindex command file
1326 @cindex syntax file
1327 @item command file
1328 @itemx syntax file
1329 These names (synonyms) refer to the file that contains instructions
1330 that tell @pspp{} what to do.  The syntax file's name is specified on
1331 the @pspp{} command line.  Syntax files can also be read with
1332 @cmd{INCLUDE} (@pxref{INCLUDE}).
1333
1334 @cindex file, data
1335 @cindex data file
1336 @item data file
1337 Data files contain raw data in text or binary format.  Data can also
1338 be embedded in a syntax file with @cmd{BEGIN DATA} and @cmd{END DATA}.
1339
1340 @cindex file, output
1341 @cindex output file
1342 @item listing file
1343 One or more output files are created by @pspp{} each time it is
1344 run.  The output files receive the tables and charts produced by
1345 statistical procedures.  The output files may be in any number of formats,
1346 depending on how @pspp{} is configured.
1347
1348 @cindex system file
1349 @cindex file, system
1350 @item system file
1351 System files are binary files that store a dictionary and a set of
1352 cases.  @cmd{GET} and @cmd{SAVE} read and write system files.
1353
1354 @cindex portable file
1355 @cindex file, portable
1356 @item portable file
1357 Portable files are files in a text-based format that store a dictionary
1358 and a set of cases.  @cmd{IMPORT} and @cmd{EXPORT} read and write
1359 portable files.
1360 @end table
1361
1362 @node File Handles
1363 @section File Handles
1364 @cindex file handles
1365
1366 A @dfn{file handle} is a reference to a data file, system file, or
1367 portable file.  Most often, a file handle is specified as the
1368 name of a file as a string, that is, enclosed within @samp{'} or
1369 @samp{"}.
1370
1371 A file name string that begins or ends with @samp{|} is treated as the
1372 name of a command to pipe data to or from.  You can use this feature
1373 to read data over the network using a program such as @samp{curl}
1374 (@i{e.g.}@: @code{GET '|curl -s -S http://example.com/mydata.sav'}), to
1375 read compressed data from a file using a program such as @samp{zcat}
1376 (@i{e.g.}@: @code{GET '|zcat mydata.sav.gz'}), and for many other
1377 purposes.
1378
1379 @pspp{} also supports declaring named file handles with the @cmd{FILE
1380 HANDLE} command.  This command associates an identifier of your choice
1381 (the file handle's name) with a file.  Later, the file handle name can
1382 be substituted for the name of the file.  When @pspp{} syntax accesses a
1383 file multiple times, declaring a named file handle simplifies updating
1384 the syntax later to use a different file.  Use of @cmd{FILE HANDLE} is
1385 also required to read data files in binary formats.  @xref{FILE HANDLE},
1386 for more information.
1387
1388 In some circumstances, @pspp{} must distinguish whether a file handle
1389 refers to a system file or a portable file.  When this is necessary to
1390 read a file, @i{e.g.}@: as an input file for @cmd{GET} or @cmd{MATCH FILES},
1391 @pspp{} uses the file's contents to decide.  In the context of writing a
1392 file, @i{e.g.}@: as an output file for @cmd{SAVE} or @cmd{AGGREGATE}, @pspp{}
1393 decides based on the file's name: if it ends in @samp{.por} (with any
1394 capitalization), then @pspp{} writes a portable file; otherwise, @pspp{}
1395 writes a system file.
1396
1397 INLINE is reserved as a file handle name.  It refers to the ``data
1398 file'' embedded into the syntax file between @cmd{BEGIN DATA} and
1399 @cmd{END DATA}.  @xref{BEGIN DATA}, for more information.
1400
1401 The file to which a file handle refers may be reassigned on a later
1402 @cmd{FILE HANDLE} command if it is first closed using @cmd{CLOSE FILE
1403 HANDLE}.  @xref{CLOSE FILE HANDLE}, for
1404 more information.
1405
1406 @node BNF
1407 @section Backus-Naur Form
1408 @cindex BNF
1409 @cindex Backus-Naur Form
1410 @cindex command syntax, description of
1411 @cindex description of command syntax
1412
1413 The syntax of some parts of the @pspp{} language is presented in this
1414 manual using the formalism known as @dfn{Backus-Naur Form}, or BNF. The
1415 following table describes BNF:
1416
1417 @itemize @bullet
1418 @cindex keywords
1419 @cindex terminals
1420 @item
1421 Words in all-uppercase are @pspp{} keyword tokens.  In BNF, these are
1422 often called @dfn{terminals}.  There are some special terminals, which
1423 are written in lowercase for clarity:
1424
1425 @table @asis
1426 @cindex @code{number}
1427 @item @code{number}
1428 A real number.
1429
1430 @cindex @code{integer}
1431 @item @code{integer}
1432 An integer number.
1433
1434 @cindex @code{string}
1435 @item @code{string}
1436 A string.
1437
1438 @cindex @code{var-name}
1439 @item @code{var-name}
1440 A single variable name.
1441
1442 @cindex operators
1443 @cindex punctuators
1444 @item @code{=}, @code{/}, @code{+}, @code{-}, etc.
1445 Operators and punctuators.
1446
1447 @cindex @code{.}
1448 @item @code{.}
1449 The end of the command.  This is not necessarily an actual dot in the
1450 syntax file (@pxref{Commands}).
1451 @end table
1452
1453 @item
1454 @cindex productions
1455 @cindex nonterminals
1456 Other words in all lowercase refer to BNF definitions, called
1457 @dfn{productions}.  These productions are also known as
1458 @dfn{nonterminals}.  Some nonterminals are very common, so they are
1459 defined here in English for clarity:
1460
1461 @table @code
1462 @cindex @code{var-list}
1463 @item var-list
1464 A list of one or more variable names or the keyword @code{ALL}.
1465
1466 @cindex @code{expression}
1467 @item expression
1468 An expression.  @xref{Expressions}, for details.
1469 @end table
1470
1471 @item
1472 @cindex ``is defined as''
1473 @cindex productions
1474 @samp{::=} means ``is defined as''.  The left side of @samp{::=} gives
1475 the name of the nonterminal being defined.  The right side of @samp{::=}
1476 gives the definition of that nonterminal.  If the right side is empty,
1477 then one possible expansion of that nonterminal is nothing.  A BNF
1478 definition is called a @dfn{production}.
1479
1480 @item
1481 @cindex terminals and nonterminals, differences
1482 So, the key difference between a terminal and a nonterminal is that a
1483 terminal cannot be broken into smaller parts---in fact, every terminal
1484 is a single token (@pxref{Tokens}).  On the other hand, nonterminals are
1485 composed of a (possibly empty) sequence of terminals and nonterminals.
1486 Thus, terminals indicate the deepest level of syntax description.  (In
1487 parsing theory, terminals are the leaves of the parse tree; nonterminals
1488 form the branches.)
1489
1490 @item
1491 @cindex start symbol
1492 @cindex symbol, start
1493 The first nonterminal defined in a set of productions is called the
1494 @dfn{start symbol}.  The start symbol defines the entire syntax for
1495 that command.
1496 @end itemize