configure: Update autoconf and libtool macro use to fix warnings.
[pspp] / doc / language.texi
1 @c PSPP - a program for statistical analysis.
2 @c Copyright (C) 2017, 2020 Free Software Foundation, Inc.
3 @c Permission is granted to copy, distribute and/or modify this document
4 @c under the terms of the GNU Free Documentation License, Version 1.3
5 @c or any later version published by the Free Software Foundation;
6 @c with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
7 @c A copy of the license is included in the section entitled "GNU
8 @c Free Documentation License".
9 @c
10 @node Language
11 @chapter The @pspp{} language
12 @cindex language, @pspp{}
13 @cindex @pspp{}, language
14
15 This chapter discusses elements common to many @pspp{} commands.
16 Later chapters describe individual commands in detail.
17
18 @menu
19 * Tokens::                      Characters combine to form tokens.
20 * Commands::                    Tokens combine to form commands.
21 * Syntax Variants::             Batch vs. Interactive mode
22 * Types of Commands::           Commands come in several flavors.
23 * Order of Commands::           Commands combine to form syntax files.
24 * Missing Observations::        Handling missing observations.
25 * Datasets::                    Data organization.
26 * Files::                       Files used by @pspp{}.
27 * File Handles::                How files are named.
28 * BNF::                         How command syntax is described.
29 @end menu
30
31
32 @node Tokens
33 @section Tokens
34 @cindex language, lexical analysis
35 @cindex language, tokens
36 @cindex tokens
37 @cindex lexical analysis
38
39 @pspp{} divides most syntax file lines into series of short chunks
40 called @dfn{tokens}.
41 Tokens are then grouped to form commands, each of which tells
42 @pspp{} to take some action---read in data, write out data, perform
43 a statistical procedure, etc.  Each type of token is
44 described below.
45
46 @table @strong
47 @cindex identifiers
48 @item Identifiers
49 Identifiers are names that typically specify variables, commands, or
50 subcommands.  The first character in an identifier must be a letter,
51 @samp{#}, or @samp{@@}.  The remaining characters in the identifier
52 must be letters, digits, or one of the following special characters:
53
54 @example
55 @center @.  _  $  #  @@
56 @end example
57
58 @cindex case-sensitivity
59 Identifiers may be any length, but only the first 64 bytes are
60 significant.  Identifiers are not case-sensitive: @code{foobar},
61 @code{Foobar}, @code{FooBar}, @code{FOOBAR}, and @code{FoObaR} are
62 different representations of the same identifier.
63
64 @cindex identifiers, reserved
65 @cindex reserved identifiers
66 Some identifiers are reserved.  Reserved identifiers may not be used
67 in any context besides those explicitly described in this manual.  The
68 reserved identifiers are:
69
70 @example
71 @center ALL  AND  BY  EQ  GE  GT  LE  LT  NE  NOT  OR  TO  WITH
72 @end example
73
74 @item Keywords
75 Keywords are a subclass of identifiers that form a fixed part of
76 command syntax.  For example, command and subcommand names are
77 keywords.  Keywords may be abbreviated to their first 3 characters if
78 this abbreviation is unambiguous.  (Unique abbreviations of 3 or more
79 characters are also accepted: @samp{FRE}, @samp{FREQ}, and
80 @samp{FREQUENCIES} are equivalent when the last is a keyword.)
81
82 Reserved identifiers are always used as keywords.  Other identifiers
83 may be used both as keywords and as user-defined identifiers, such as
84 variable names.
85
86 @item Numbers
87 @cindex numbers
88 @cindex integers
89 @cindex reals
90 Numbers are expressed in decimal.  A decimal point is optional.
91 Numbers may be expressed in scientific notation by adding @samp{e} and
92 a base-10 exponent, so that @samp{1.234e3} has the value 1234.  Here
93 are some more examples of valid numbers:
94
95 @example
96 -5  3.14159265359  1e100  -.707  8945.
97 @end example
98
99 Negative numbers are expressed with a @samp{-} prefix.  However, in
100 situations where a literal @samp{-} token is expected, what appears to
101 be a negative number is treated as @samp{-} followed by a positive
102 number.
103
104 No white space is allowed within a number token, except for horizontal
105 white space between @samp{-} and the rest of the number.
106
107 The last example above, @samp{8945.} is interpreted as two
108 tokens, @samp{8945} and @samp{.}, if it is the last token on a line.
109 @xref{Commands, , Forming commands of tokens}.
110
111 @item Strings
112 @cindex strings
113 @cindex @samp{'}
114 @cindex @samp{"}
115 @cindex case-sensitivity
116 Strings are literal sequences of characters enclosed in pairs of
117 single quotes (@samp{'}) or double quotes (@samp{"}).  To include the
118 character used for quoting in the string, double it, @i{e.g.}@:
119 @samp{'it''s an apostrophe'}.  White space and case of letters are
120 significant inside strings.
121
122 Strings can be concatenated using @samp{+}, so that @samp{"a" + 'b' +
123 'c'} is equivalent to @samp{'abc'}.  So that a long string may be
124 broken across lines, a line break may precede or follow, or both
125 precede and follow, the @samp{+}.  (However, an entirely blank line
126 preceding or following the @samp{+} is interpreted as ending the
127 current command.)
128
129 Strings may also be expressed as hexadecimal character values by
130 prefixing the initial quote character by @samp{x} or @samp{X}.
131 Regardless of the syntax file or active dataset's encoding, the
132 hexadecimal digits in the string are interpreted as Unicode characters
133 in UTF-8 encoding.
134
135 Individual Unicode code points may also be expressed by specifying the
136 hexadecimal code point number in single or double quotes preceded by
137 @samp{u} or @samp{U}.  For example, Unicode code point U+1D11E, the
138 musical G clef character, could be expressed as @code{U'1D11E'}.
139 Invalid Unicode code points (above U+10FFFF or in between U+D800 and
140 U+DFFF) are not allowed.
141
142 When strings are concatenated with @samp{+}, each segment's prefix is
143 considered individually.  For example, @code{'The G clef symbol is:' +
144 u"1d11e" + "."} inserts a G clef symbol in the middle of an otherwise
145 plain text string.
146
147 @item Punctuators and Operators
148 @cindex punctuators
149 @cindex operators
150 These tokens are the punctuators and operators:
151
152 @example
153 @center ,  /  =  (  )  +  -  *  /  **  <  <=  <>  >  >=  ~=  &  |  .
154 @end example
155
156 Most of these appear within the syntax of commands, but the period
157 (@samp{.}) punctuator is used only at the end of a command.  It is a
158 punctuator only as the last character on a line (except white space).
159 When it is the last non-space character on a line, a period is not
160 treated as part of another token, even if it would otherwise be part
161 of, @i{e.g.}@:, an identifier or a floating-point number.
162 @end table
163
164 @node Commands
165 @section Forming commands of tokens
166
167 @cindex @pspp{}, command structure
168 @cindex language, command structure
169 @cindex commands, structure
170
171 Most @pspp{} commands share a common structure.  A command begins with a
172 command name, such as @cmd{FREQUENCIES}, @cmd{DATA LIST}, or @cmd{N OF
173 CASES}.  The command name may be abbreviated to its first word, and
174 each word in the command name may be abbreviated to its first three
175 or more characters, where these abbreviations are unambiguous.
176
177 The command name may be followed by one or more @dfn{subcommands}.
178 Each subcommand begins with a subcommand name, which may be
179 abbreviated to its first three letters.  Some subcommands accept a
180 series of one or more specifications, which follow the subcommand
181 name, optionally separated from it by an equals sign
182 (@samp{=}). Specifications may be separated from each other
183 by commas or spaces.  Each subcommand must be separated from the next (if any)
184 by a forward slash (@samp{/}).
185
186 There are multiple ways to mark the end of a command.  The most common
187 way is to end the last line of the command with a period (@samp{.}) as
188 described in the previous section (@pxref{Tokens}).  A blank line, or
189 one that consists only of white space or comments, also ends a command.
190
191 @node Syntax Variants
192 @section Syntax Variants
193
194 @cindex Batch syntax
195 @cindex Interactive syntax
196
197 There are three variants of command syntax, which vary only in how
198 they detect the end of one command and the start of the next.
199
200 In @dfn{interactive mode}, which is the default for syntax typed at a
201 command prompt, a period as the last non-blank character on a line
202 ends a command.  A blank line also ends a command.
203
204 In @dfn{batch mode}, an end-of-line period or a blank line also ends a
205 command.  Additionally, it treats any line that has a non-blank
206 character in the leftmost column as beginning a new command.  Thus, in
207 batch mode the second and subsequent lines in a command must be
208 indented.
209
210 Regardless of the syntax mode, a plus sign, minus sign, or period in
211 the leftmost column of a line is ignored and causes that line to begin
212 a new command.  This is most useful in batch mode, in which the first
213 line of a new command could not otherwise be indented, but it is
214 accepted regardless of syntax mode.
215
216 The default mode for reading commands from a file is @dfn{auto mode}.
217 It is the same as batch mode, except that a line with a non-blank in
218 the leftmost column only starts a new command if that line begins with
219 the name of a @pspp{} command.  This correctly interprets most valid @pspp{}
220 syntax files regardless of the syntax mode for which they are
221 intended.
222
223 The @option{--interactive} (or @option{-i}) or @option{--batch} (or
224 @option{-b}) options set the syntax mode for files listed on the @pspp{}
225 command line.  @xref{Main Options}, for more details.
226
227 @node Types of Commands
228 @section Types of Commands
229
230 Commands in @pspp{} are divided roughly into six categories:
231
232 @table @strong
233 @item Utility commands
234 @cindex utility commands
235 Set or display various global options that affect @pspp{} operations.
236 May appear anywhere in a syntax file.  @xref{Utilities, , Utility
237 commands}.
238
239 @item File definition commands
240 @cindex file definition commands
241 Give instructions for reading data from text files or from special
242 binary ``system files''.  Most of these commands replace any previous
243 data or variables with new data or
244 variables.  At least one file definition command must appear before the first command in any of
245 the categories below.  @xref{Data Input and Output}.
246
247 @item Input program commands
248 @cindex input program commands
249 Though rarely used, these provide tools for reading data files
250 in arbitrary textual or binary formats.  @xref{INPUT PROGRAM}.
251
252 @item Transformations
253 @cindex transformations
254 Perform operations on data and write data to output files.  Transformations
255 are not carried out until a procedure is executed.
256
257 @item Restricted transformations
258 @cindex restricted transformations
259 Transformations that cannot appear in certain contexts.  @xref{Order
260 of Commands}, for details.
261
262 @item Procedures
263 @cindex procedures
264 Analyze data, writing results of analyses to the listing file.  Cause
265 transformations specified earlier in the file to be performed.  In a
266 more general sense, a @dfn{procedure} is any command that causes the
267 active dataset (the data) to be read.
268 @end table
269
270 @node Order of Commands
271 @section Order of Commands
272 @cindex commands, ordering
273 @cindex order of commands
274
275 @pspp{} does not place many restrictions on ordering of commands.  The
276 main restriction is that variables must be defined before they are otherwise
277 referenced.  This section describes the details of command ordering,
278 but most users will have no need to refer to them.
279
280 @pspp{} possesses five internal states, called @dfn{initial}, @dfn{input-program}
281 @dfn{file-type}, @dfn{transformation}, and @dfn{procedure} states.  (Please note the
282 distinction between the @cmd{INPUT PROGRAM} and @cmd{FILE TYPE}
283 @emph{commands} and the @dfn{input-program} and @dfn{file-type} @emph{states}.)
284
285 @pspp{} starts in the initial state.  Each successful completion
286 of a command may cause a state transition.  Each type of command has its
287 own rules for state transitions:
288
289 @table @strong
290 @item Utility commands
291 @itemize @bullet
292 @item
293 Valid in any state.
294 @item
295 Do not cause state transitions.  Exception: when @cmd{N OF CASES}
296 is executed in the procedure state, it causes a transition to the
297 transformation state.
298 @end itemize
299
300 @item @cmd{DATA LIST}
301 @itemize @bullet
302 @item
303 Valid in any state.
304 @item
305 When executed in the initial or procedure state, causes a transition to
306 the transformation state.
307 @item
308 Clears the active dataset if executed in the procedure or transformation
309 state.
310 @end itemize
311
312 @item @cmd{INPUT PROGRAM}
313 @itemize @bullet
314 @item
315 Invalid in input-program and file-type states.
316 @item
317 Causes a transition to the intput-program state.
318 @item
319 Clears the active dataset.
320 @end itemize
321
322 @item @cmd{FILE TYPE}
323 @itemize @bullet
324 @item
325 Invalid in intput-program and file-type states.
326 @item
327 Causes a transition to the file-type state.
328 @item
329 Clears the active dataset.
330 @end itemize
331
332 @item Other file definition commands
333 @itemize @bullet
334 @item
335 Invalid in input-program and file-type states.
336 @item
337 Cause a transition to the transformation state.
338 @item
339 Clear the active dataset, except for @cmd{ADD FILES}, @cmd{MATCH FILES},
340 and @cmd{UPDATE}.
341 @end itemize
342
343 @item Transformations
344 @itemize @bullet
345 @item
346 Invalid in initial and file-type states.
347 @item
348 Cause a transition to the transformation state.
349 @end itemize
350
351 @item Restricted transformations
352 @itemize @bullet
353 @item
354 Invalid in initial, input-program, and file-type states.
355 @item
356 Cause a transition to the transformation state.
357 @end itemize
358
359 @item Procedures
360 @itemize @bullet
361 @item
362 Invalid in initial, input-program, and file-type states.
363 @item
364 Cause a transition to the procedure state.
365 @end itemize
366 @end table
367
368 @node Missing Observations
369 @section Handling missing observations
370 @cindex missing values
371 @cindex values, missing
372
373 @pspp{} includes special support for unknown numeric data values.
374 Missing observations are assigned a special value, called the
375 @dfn{system-missing value}.  This ``value'' actually indicates the
376 absence of a value; it means that the actual value is unknown.  Procedures
377 automatically exclude from analyses those observations or cases that
378 have missing values.  Details of missing value exclusion depend on the
379 procedure and can often be controlled by the user; refer to
380 descriptions of individual procedures for details.
381
382 The system-missing value exists only for numeric variables.  String
383 variables always have a defined value, even if it is only a string of
384 spaces.
385
386 Variables, whether numeric or string, can have designated
387 @dfn{user-missing values}.  Every user-missing value is an actual value
388 for that variable.  However, most of the time user-missing values are
389 treated in the same way as the system-missing value.
390
391 For more information on missing values, see the following sections:
392 @ref{Datasets}, @ref{MISSING VALUES}, @ref{Expressions}.  See also the
393 documentation on individual procedures for information on how they
394 handle missing values.
395
396 @node Datasets
397 @section Datasets
398 @cindex dataset
399 @cindex variable
400 @cindex dictionary
401
402 @pspp{} works with data organized into @dfn{datasets}.  A dataset
403 consists of a set of @dfn{variables}, which taken together are said to
404 form a @dfn{dictionary}, and one or more @dfn{cases}, each of which
405 has one value for each variable.
406
407 At any given time @pspp{} has exactly one distinguished dataset, called
408 the @dfn{active dataset}.  Most @pspp{} commands work only with the
409 active dataset.  In addition to the active dataset, @pspp{} also supports
410 any number of additional open datasets.  The @cmd{DATASET} commands
411 can choose a new active dataset from among those that are open, as
412 well as create and destroy datasets (@pxref{DATASET}).
413
414 The sections below describe variables in more detail.
415
416 @menu
417 * Attributes::                  Attributes of variables.
418 * System Variables::            Variables automatically defined by @pspp{}.
419 * Sets of Variables::           Lists of variable names.
420 * Input and Output Formats::    Input and output formats.
421 * Scratch Variables::           Variables deleted by procedures.
422 @end menu
423
424 @node Attributes
425 @subsection Attributes of Variables
426 @cindex variables, attributes of
427 @cindex attributes of variables
428 Each variable has a number of attributes, including:
429
430 @table @strong
431 @item Name
432 An identifier, up to 64 bytes long.  Each variable must have a different name.
433 @xref{Tokens}.
434
435 Some system variable names begin with @samp{$}, but user-defined
436 variables' names may not begin with @samp{$}.
437
438 @cindex @samp{.}
439 @cindex period
440 @cindex variable names, ending with period
441 The final character in a variable name should not be @samp{.}, because
442 such an identifier will be misinterpreted when it is the final token
443 on a line: @code{FOO.} is divided into two separate tokens,
444 @samp{FOO} and @samp{.}, indicating end-of-command.  @xref{Tokens}.
445
446 @cindex @samp{_}
447 The final character in a variable name should not be @samp{_}, because
448 some such identifiers are used for special purposes by @pspp{}
449 procedures.
450
451 As with all @pspp{} identifiers, variable names are not case-sensitive.
452 @pspp{} capitalizes variable names on output the same way they were
453 capitalized at their point of definition in the input.
454
455 @cindex variables, type
456 @cindex type of variables
457 @item Type
458 Numeric or string.
459
460 @cindex variables, width
461 @cindex width of variables
462 @item Width
463 (string variables only) String variables with a width of 8 characters or
464 fewer are called @dfn{short string variables}.  Short string variables
465 may be used in a few contexts where @dfn{long string variables} (those
466 with widths greater than 8) are not allowed.
467
468 @item Position
469 Variables in the dictionary are arranged in a specific order.
470 @cmd{DISPLAY} can be used to show this order: see @ref{DISPLAY}.
471
472 @item Initialization
473 Either reinitialized to 0 or spaces for each case, or left at its
474 existing value.  @xref{LEAVE}.
475
476 @cindex missing values
477 @cindex values, missing
478 @item Missing values
479 Optionally, up to three values, or a range of values, or a specific
480 value plus a range, can be specified as @dfn{user-missing values}.
481 There is also a @dfn{system-missing value} that is assigned to an
482 observation when there is no other obvious value for that observation.
483 Observations with missing values are automatically excluded from
484 analyses.  User-missing values are actual data values, while the
485 system-missing value is not a value at all.  @xref{Missing Observations}.
486
487 @cindex variable labels
488 @cindex labels, variable
489 @item Variable label
490 A string that describes the variable.  @xref{VARIABLE LABELS}.
491
492 @cindex value labels
493 @cindex labels, value
494 @item Value label
495 Optionally, these associate each possible value of the variable with a
496 string.  @xref{VALUE LABELS}.
497
498 @cindex print format
499 @item Print format
500 Display width, format, and (for numeric variables) number of decimal
501 places.  This attribute does not affect how data are stored, just how
502 they are displayed.  Example: a width of 8, with 2 decimal places.
503 @xref{Input and Output Formats}.
504
505 @cindex write format
506 @item Write format
507 Similar to print format, but used by the @cmd{WRITE} command
508 (@pxref{WRITE}).
509
510 @cindex custom attributes
511 @item Custom attributes
512 User-defined associations between names and values.  @xref{VARIABLE
513 ATTRIBUTE}.
514
515 @cindex variable role
516 @item Role
517 The intended role of a variable for use in dialog boxes in graphical
518 user interfaces.  @xref{VARIABLE ROLE}.
519 @end table
520
521 @node System Variables
522 @subsection Variables Automatically Defined by @pspp{}
523 @cindex system variables
524 @cindex variables, system
525
526 There are seven system variables.  These are not like ordinary
527 variables because system variables are not always stored.  They can be used only
528 in expressions.  These system variables, whose values and output formats
529 cannot be modified, are described below.
530
531 @table @code
532 @cindex @code{$CASENUM}
533 @item $CASENUM
534 Case number of the case at the moment.  This changes as cases are
535 shuffled around.
536
537 @cindex @code{$DATE}
538 @item $DATE
539 Date the @pspp{} process was started, in format A9, following the
540 pattern @code{DD-MMM-YY}.
541
542 @cindex @code{$DATE11}
543 @item $DATE11
544 Date the @pspp{} process was started, in format A11, following the
545 pattern @code{DD-MMM-YYYY}.
546
547 @cindex @code{$JDATE}
548 @item $JDATE
549 Number of days between 15 Oct 1582 and the time the @pspp{} process
550 was started.
551
552 @cindex @code{$LENGTH}
553 @item $LENGTH
554 Page length, in lines, in format F11.
555
556 @cindex @code{$SYSMIS}
557 @item $SYSMIS
558 System missing value, in format F1.
559
560 @cindex @code{$TIME}
561 @item $TIME
562 Number of seconds between midnight 14 Oct 1582 and the time the active dataset
563 was read, in format F20.
564
565 @cindex @code{$WIDTH}
566 @item $WIDTH
567 Page width, in characters, in format F3.
568 @end table
569
570 @node Sets of Variables
571 @subsection Lists of variable names
572 @cindex @code{TO} convention
573 @cindex convention, @code{TO}
574
575 To refer to a set of variables, list their names one after another.
576 Optionally, their names may be separated by commas.  To include a
577 range of variables from the dictionary in the list, write the name of
578 the first and last variable in the range, separated by @code{TO}.  For
579 instance, if the dictionary contains six variables with the names
580 @code{ID}, @code{X1}, @code{X2}, @code{GOAL}, @code{MET}, and
581 @code{NEXTGOAL}, in that order, then @code{X2 TO MET} would include
582 variables @code{X2}, @code{GOAL}, and @code{MET}.
583
584 Commands that define variables, such as @cmd{DATA LIST}, give
585 @code{TO} an alternate meaning.  With these commands, @code{TO} define
586 sequences of variables whose names end in consecutive integers.  The
587 syntax is two identifiers that begin with the same root and end with
588 numbers, separated by @code{TO}.  The syntax @code{X1 TO X5} defines 5
589 variables, named @code{X1}, @code{X2}, @code{X3}, @code{X4}, and
590 @code{X5}.  The syntax @code{ITEM0008 TO ITEM0013} defines 6
591 variables, named @code{ITEM0008}, @code{ITEM0009}, @code{ITEM0010},
592 @code{ITEM0011}, @code{ITEM0012}, and @code{ITEM00013}.  The syntaxes
593 @code{QUES001 TO QUES9} and @code{QUES6 TO QUES3} are invalid.
594
595 After a set of variables has been defined with @cmd{DATA LIST} or
596 another command with this method, the same set can be referenced on
597 later commands using the same syntax.
598
599 @node Input and Output Formats
600 @subsection Input and Output Formats
601
602 @cindex formats
603 An @dfn{input format} describes how to interpret the contents of an
604 input field as a number or a string.  It might specify that the field
605 contains an ordinary decimal number, a time or date, a number in binary
606 or hexadecimal notation, or one of several other notations.  Input
607 formats are used by commands such as @cmd{DATA LIST} that read data or
608 syntax files into the @pspp{} active dataset.
609
610 Every input format corresponds to a default @dfn{output format} that
611 specifies the formatting used when the value is output later.  It is
612 always possible to explicitly specify an output format that resembles
613 the input format.  Usually, this is the default, but in cases where the
614 input format is unfriendly to human readability, such as binary or
615 hexadecimal formats, the default output format is an easier-to-read
616 decimal format.
617
618 Every variable has two output formats, called its @dfn{print format} and
619 @dfn{write format}.  Print formats are used in most output contexts;
620 write formats are used only by @cmd{WRITE} (@pxref{WRITE}).  Newly
621 created variables have identical print and write formats, and
622 @cmd{FORMATS}, the most commonly used command for changing formats
623 (@pxref{FORMATS}), sets both of them to the same value as well.  Thus,
624 most of the time, the distinction between print and write formats is
625 unimportant.
626
627 Input and output formats are specified to @pspp{} with
628 a @dfn{format specification} of the
629 form @subcmd{@var{TYPE}@var{w}} or @code{TYPE@var{w}.@var{d}}, where
630 @var{TYPE} is one of the format types described later, @var{w} is a
631 field width measured in columns, and @var{d} is an optional number of
632 decimal places.  If @var{d} is omitted, a value of 0 is assumed.  Some
633 formats do not allow a nonzero @var{d} to be specified.
634
635 The following sections describe the input and output formats supported
636 by @pspp{}.
637
638 @menu
639 * Basic Numeric Formats::
640 * Custom Currency Formats::
641 * Legacy Numeric Formats::
642 * Binary and Hexadecimal Numeric Formats::
643 * Time and Date Formats::
644 * Date Component Formats::
645 * String Formats::
646 @end menu
647
648 @node Basic Numeric Formats
649 @subsubsection Basic Numeric Formats
650
651 @cindex numeric formats
652 The basic numeric formats are used for input and output of real numbers
653 in standard or scientific notation.  The following table shows an
654 example of how each format displays positive and negative numbers with
655 the default decimal point setting:
656
657 @float
658 @multitable {DOLLAR10.2} {@code{@tie{}$3,141.59}} {@code{-$3,141.59}}
659 @headitem Format @tab @code{@tie{}3141.59}   @tab @code{-3141.59}
660 @item F8.2       @tab @code{@tie{}3141.59}   @tab @code{-3141.59}
661 @item COMMA9.2   @tab @code{@tie{}3,141.59}  @tab @code{-3,141.59}
662 @item DOT9.2     @tab @code{@tie{}3.141,59}  @tab @code{-3.141,59}
663 @item DOLLAR10.2 @tab @code{@tie{}$3,141.59} @tab @code{-$3,141.59}
664 @item PCT9.2     @tab @code{@tie{}3141.59%}  @tab @code{-3141.59%}
665 @item E8.1       @tab @code{@tie{}3.1E+003}  @tab @code{-3.1E+003}
666 @end multitable
667 @end float
668
669 On output, numbers in F format are expressed in standard decimal
670 notation with the requested number of decimal places.  The other formats
671 output some variation on this style:
672
673 @itemize @bullet
674 @item
675 Numbers in COMMA format are additionally grouped every three digits by
676 inserting a grouping character.  The grouping character is ordinarily a
677 comma, but it can be changed to a period (@pxref{SET DECIMAL}).
678
679 @item
680 DOT format is like COMMA format, but it interchanges the role of the
681 decimal point and grouping characters.  That is, the current grouping
682 character is used as a decimal point and vice versa.
683
684 @item
685 DOLLAR format is like COMMA format, but it prefixes the number with
686 @samp{$}.
687
688 @item
689 PCT format is like F format, but adds @samp{%} after the number.
690
691 @item
692 The E format always produces output in scientific notation.
693 @end itemize
694
695 On input, the basic numeric formats accept positive and numbers in
696 standard decimal notation or scientific notation.  Leading and trailing
697 spaces are allowed.  An empty or all-spaces field, or one that contains
698 only a single period, is treated as the system missing value.
699
700 In scientific notation, the exponent may be introduced by a sign
701 (@samp{+} or @samp{-}), or by one of the letters @samp{e} or @samp{d}
702 (in uppercase or lowercase), or by a letter followed by a sign.  A
703 single space may follow the letter or the sign or both.
704
705 On fixed-format @cmd{DATA LIST} (@pxref{DATA LIST FIXED}) and in a few
706 other contexts, decimals are implied when the field does not contain a
707 decimal point.  In F6.5 format, for example, the field @code{314159} is
708 taken as the value 3.14159 with implied decimals.  Decimals are never
709 implied if an explicit decimal point is present or if scientific
710 notation is used.
711
712 E and F formats accept the basic syntax already described.  The other
713 formats allow some additional variations:
714
715 @itemize @bullet
716 @item
717 COMMA, DOLLAR, and DOT formats ignore grouping characters within the
718 integer part of the input field.  The identity of the grouping
719 character depends on the format.
720
721 @item
722 DOLLAR format allows a dollar sign to precede the number.  In a negative
723 number, the dollar sign may precede or follow the minus sign.
724
725 @item
726 PCT format allows a percent sign to follow the number.
727 @end itemize
728
729 All of the basic number formats have a maximum field width of 40 and
730 accept no more than 16 decimal places, on both input and output.  Some
731 additional restrictions apply:
732
733 @itemize @bullet
734 @item
735 As input formats, the basic numeric formats allow no more decimal places
736 than the field width.  As output formats, the field width must be
737 greater than the number of decimal places; that is, large enough to
738 allow for a decimal point and the number of requested decimal places.
739 DOLLAR and PCT formats must allow an additional column for @samp{$} or
740 @samp{%}.
741
742 @item
743 The default output format for a given input format increases the field
744 width enough to make room for optional input characters.  If an input
745 format calls for decimal places, the width is increased by 1 to make
746 room for an implied decimal point.  COMMA, DOT, and DOLLAR formats also
747 increase the output width to make room for grouping characters.  DOLLAR
748 and PCT further increase the output field width by 1 to make room for
749 @samp{$} or @samp{%}.  The increased output width is capped at 40, the
750 maximum field width.
751
752 @item
753 The E format is exceptional.  For output, E format has a minimum width
754 of 7 plus the number of decimal places.  The default output format for
755 an E input format is an E format with at least 3 decimal places and
756 thus a minimum width of 10.
757 @end itemize
758
759 More details of basic numeric output formatting are given below:
760
761 @itemize @bullet
762 @item
763 Output rounds to nearest, with ties rounded away from zero.  Thus, 2.5
764 is output as @code{3} in F1.0 format, and -1.125 as @code{-1.13} in F5.1
765 format.
766
767 @item
768 The system-missing value is output as a period in a field of spaces,
769 placed in the decimal point's position, or in the rightmost column if no
770 decimal places are requested.  A period is used even if the decimal
771 point character is a comma.
772
773 @item
774 A number that does not fill its field is right-justified within the
775 field.
776
777 @item
778 A number is too large for its field causes decimal places to be dropped
779 to make room.  If dropping decimals does not make enough room,
780 scientific notation is used if the field is wide enough.  If a number
781 does not fit in the field, even in scientific notation, the overflow is
782 indicated by filling the field with asterisks (@samp{*}).
783
784 @item
785 COMMA, DOT, and DOLLAR formats insert grouping characters only if space
786 is available for all of them.  Grouping characters are never inserted
787 when all decimal places must be dropped.  Thus, 1234.56 in COMMA5.2
788 format is output as @samp{@tie{}1235} without a comma, even though there
789 is room for one, because all decimal places were dropped.
790
791 @item
792 DOLLAR or PCT format drop the @samp{$} or @samp{%} only if the number
793 would not fit at all without it.  Scientific notation with @samp{$} or
794 @samp{%} is preferred to ordinary decimal notation without it.
795
796 @item
797 Except in scientific notation, a decimal point is included only when
798 it is followed by a digit.  If the integer part of the number being
799 output is 0, and a decimal point is included, then @pspp{} ordinarily
800 drops the zero before the decimal point.  However, in @code{F},
801 @code{COMMA}, or @code{DOT} formats, @pspp{} keeps the zero if
802 @code{SET LEADZERO} is set to @code{ON} (@pxref{SET LEADZERO}).
803
804 In scientific notation, the number always includes a decimal point,
805 even if it is not followed by a digit.
806
807 @item
808 A negative number includes a minus sign only in the presence of a
809 nonzero digit: -0.01 is output as @samp{-.01} in F4.2 format but as
810 @samp{@tie{}@tie{}.0} in F4.1 format.  Thus, a ``negative zero'' never
811 includes a minus sign.
812
813 @item
814 In negative numbers output in DOLLAR format, the dollar sign follows the
815 negative sign.  Thus, -9.99 in DOLLAR6.2 format is output as
816 @code{-$9.99}.
817
818 @item
819 In scientific notation, the exponent is output as @samp{E} followed by
820 @samp{+} or @samp{-} and exactly three digits.  Numbers with magnitude
821 less than 10**-999 or larger than 10**999 are not supported by most
822 computers, but if they are supported then their output is considered
823 to overflow the field and they are output as asterisks.
824
825 @item
826 On most computers, no more than 15 decimal digits are significant in
827 output, even if more are printed.  In any case, output precision cannot
828 be any higher than input precision; few data sets are accurate to 15
829 digits of precision.  Unavoidable loss of precision in intermediate
830 calculations may also reduce precision of output.
831
832 @item
833 Special values such as infinities and ``not a number'' values are
834 usually converted to the system-missing value before printing.  In a few
835 circumstances, these values are output directly.  In fields of width 3
836 or greater, special values are output as however many characters
837 fit from @code{+Infinity} or @code{-Infinity} for infinities, from
838 @code{NaN} for ``not a number,'' or from @code{Unknown} for other values
839 (if any are supported by the system).  In fields under 3 columns wide,
840 special values are output as asterisks.
841 @end itemize
842
843 @node Custom Currency Formats
844 @subsubsection Custom Currency Formats
845
846 @cindex currency formats
847 The custom currency formats are closely related to the basic numeric
848 formats, but they allow users to customize the output format.  The
849 SET command configures custom currency formats, using the syntax
850 @display
851 SET CC@var{x}=@t{"}@var{string}@t{"}.
852 @end display
853 @noindent
854 where @var{x} is A, B, C, D, or E, and @var{string} is no more than 16
855 characters long.
856
857 @var{string} must contain exactly three commas or exactly three periods
858 (but not both), except that a single quote character may be used to
859 ``escape'' a following comma, period, or single quote.  If three commas
860 are used, commas are used for grouping in output, and a period
861 is used as the decimal point.  Uses of periods reverses these roles.
862
863 The commas or periods divide @var{string} into four fields, called the
864 @dfn{negative prefix}, @dfn{prefix}, @dfn{suffix}, and @dfn{negative
865 suffix}, respectively.  The prefix and suffix are added to output
866 whenever space is available.  The negative prefix and negative suffix
867 are always added to a negative number when the output includes a nonzero
868 digit.
869
870 The following syntax shows how custom currency formats could be used to
871 reproduce basic numeric formats:
872
873 @example
874 @group
875 SET CCA="-,,,".  /* Same as COMMA.
876 SET CCB="-...".  /* Same as DOT.
877 SET CCC="-,$,,". /* Same as DOLLAR.
878 SET CCD="-,,%,". /* Like PCT, but groups with commas.
879 @end group
880 @end example
881
882 Here are some more examples of custom currency formats.  The final
883 example shows how to use a single quote to escape a delimiter:
884
885 @example
886 @group
887 SET CCA=",EUR,,-".   /* Euro.
888 SET CCB="(,USD ,,)". /* US dollar.
889 SET CCC="-.R$..".    /* Brazilian real.
890 SET CCD="-,, NIS,".  /* Israel shekel.
891 SET CCE="-.Rp'. ..". /* Indonesia Rupiah.
892 @end group
893 @end example
894
895 @noindent These formats would yield the following output:
896
897 @float
898 @multitable {CCD13.2} {@code{@tie{}@tie{}USD 3,145.59}} {@code{(USD 3,145.59)}}
899 @headitem Format @tab @code{@tie{}3145.59}         @tab @code{-3145.59}
900 @item CCA12.2 @tab @code{@tie{}EUR3,145.59}        @tab @code{EUR3,145.59-}
901 @item CCB14.2 @tab @code{@tie{}@tie{}USD 3,145.59} @tab @code{(USD 3,145.59)}
902 @item CCC11.2 @tab @code{@tie{}R$3.145,59}         @tab @code{-R$3.145,59}
903 @item CCD13.2 @tab @code{@tie{}3,145.59 NIS}       @tab @code{-3,145.59 NIS}
904 @item CCE10.0 @tab @code{@tie{}Rp. 3.146}          @tab @code{-Rp. 3.146}
905 @end multitable
906 @end float
907
908 The default for all the custom currency formats is @samp{-,,,},
909 equivalent to COMMA format.
910
911 @node Legacy Numeric Formats
912 @subsubsection Legacy Numeric Formats
913
914 The N and Z numeric formats provide compatibility with legacy file
915 formats.  They have much in common:
916
917 @itemize @bullet
918 @item
919 Output is rounded to the nearest representable value, with ties rounded
920 away from zero.
921
922 @item
923 Numbers too large to display are output as a field filled with asterisks
924 (@samp{*}).
925
926 @item
927 The decimal point is always implicitly the specified number of digits
928 from the right edge of the field, except that Z format input allows an
929 explicit decimal point.
930
931 @item
932 Scientific notation may not be used.
933
934 @item
935 The system-missing value is output as a period in a field of spaces.
936 The period is placed just to the right of the implied decimal point in
937 Z format, or at the right end in N format or in Z format if no decimal
938 places are requested.  A period is used even if the decimal point
939 character is a comma.
940
941 @item
942 Field width may range from 1 to 40.  Decimal places may range from 0 up
943 to the field width, to a maximum of 16.
944
945 @item
946 When a legacy numeric format used for input is converted to an output
947 format, it is changed into the equivalent F format.  The field width is
948 increased by 1 if any decimal places are specified, to make room for a
949 decimal point.  For Z format, the field width is increased by 1 more
950 column, to make room for a negative sign.  The output field width is
951 capped at 40 columns.
952 @end itemize
953
954 @subsubheading N Format
955
956 The N format supports input and output of fields that contain only
957 digits.  On input, leading or trailing spaces, a decimal point, or any
958 other non-digit character causes the field to be read as the
959 system-missing value.  As a special exception, an N format used on
960 @cmd{DATA LIST FREE} or @cmd{DATA LIST LIST} is treated as the
961 equivalent F format.
962
963 On output, N pads the field on the left with zeros.  Negative numbers
964 are output like the system-missing value.
965
966 @subsubheading Z Format
967
968 The Z format is a ``zoned decimal'' format used on IBM mainframes.  Z
969 format encodes the sign as part of the final digit, which must be one of
970 the following:
971 @example
972 0123456789
973 @{ABCDEFGHI
974 @}JKLMNOPQR
975 @end example
976 @noindent
977 where the characters in each row represent digits 0 through 9 in order.
978 Characters in the first two rows indicate a positive sign; those in the
979 third indicate a negative sign.
980
981 On output, Z fields are padded on the left with spaces.  On input,
982 leading and trailing spaces are ignored.  Any character in an input
983 field other than spaces, the digit characters above, and @samp{.} causes
984 the field to be read as system-missing.
985
986 The decimal point character for input and output is always @samp{.},
987 even if the decimal point character is a comma (@pxref{SET DECIMAL}).
988
989 Nonzero, negative values output in Z format are marked as negative even
990 when no nonzero digits are output.  For example, -0.2 is output in Z1.0
991 format as @samp{J}.  The ``negative zero'' value supported by most
992 machines is output as positive.
993
994 @node Binary and Hexadecimal Numeric Formats
995 @subsubsection Binary and Hexadecimal Numeric Formats
996
997 @cindex binary formats
998 @cindex hexadecimal formats
999 The binary and hexadecimal formats are primarily designed for
1000 compatibility with existing machine formats, not for human readability.
1001 All of them therefore have a F format as default output format.  Some of
1002 these formats are only portable between machines with compatible byte
1003 ordering (endianness) or floating-point format.
1004
1005 Binary formats use byte values that in text files are interpreted as
1006 special control functions, such as carriage return and line feed.  Thus,
1007 data in binary formats should not be included in syntax files or read
1008 from data files with variable-length records, such as ordinary text
1009 files.  They may be read from or written to data files with fixed-length
1010 records.  @xref{FILE HANDLE}, for information on working with
1011 fixed-length records.
1012
1013 @subsubheading P and PK Formats
1014
1015 These are binary-coded decimal formats, in which every byte (except the
1016 last, in P format) represents two decimal digits.  The most-significant
1017 4 bits of the first byte is the most-significant decimal digit, the
1018 least-significant 4 bits of the first byte is the next decimal digit,
1019 and so on.
1020
1021 In P format, the most-significant 4 bits of the last byte are the
1022 least-significant decimal digit.  The least-significant 4 bits represent
1023 the sign: decimal 15 indicates a negative value, decimal 13 indicates a
1024 positive value.
1025
1026 Numbers are rounded downward on output.  The system-missing value and
1027 numbers outside representable range are output as zero.
1028
1029 The maximum field width is 16.  Decimal places may range from 0 up to
1030 the number of decimal digits represented by the field.
1031
1032 The default output format is an F format with twice the input field
1033 width, plus one column for a decimal point (if decimal places were
1034 requested).
1035
1036 @subsubheading IB and PIB Formats
1037
1038 These are integer binary formats.  IB reads and writes 2's complement
1039 binary integers, and PIB reads and writes unsigned binary integers.  The
1040 byte ordering is by default the host machine's, but SET RIB may be used
1041 to select a specific byte ordering for reading (@pxref{SET RIB}) and
1042 SET WIB, similarly, for writing (@pxref{SET WIB}).
1043
1044 The maximum field width is 8.  Decimal places may range from 0 up to the
1045 number of decimal digits in the largest value representable in the field
1046 width.
1047
1048 The default output format is an F format whose width is the number of
1049 decimal digits in the largest value representable in the field width,
1050 plus 1 if the format has decimal places.
1051
1052 @subsubheading RB Format
1053
1054 This is a binary format for real numbers.  By default it reads and
1055 writes the host machine's floating-point format, but SET RRB may be
1056 used to select an alternate floating-point format for reading
1057 (@pxref{SET RRB}) and SET WRB, similarly, for writing (@pxref{SET
1058 WRB}).
1059
1060 The recommended field width depends on the floating-point format.
1061 NATIVE (the default format), IDL, IDB, VD, VG, and ZL formats should use
1062 a field width of 8.  ISL, ISB, VF, and ZS formats should use a field
1063 width of 4.  Other field widths do not produce useful results.  The
1064 maximum field width is 8.  No decimal places may be specified.
1065
1066 The default output format is F8.2.
1067
1068 @subsubheading PIBHEX and RBHEX Formats
1069
1070 These are hexadecimal formats, for reading and writing binary formats
1071 where each byte has been recoded as a pair of hexadecimal digits.
1072
1073 A hexadecimal field consists solely of hexadecimal digits
1074 @samp{0}@dots{}@samp{9} and @samp{A}@dots{}@samp{F}.  Uppercase and
1075 lowercase are accepted on input; output is in uppercase.
1076
1077 Other than the hexadecimal representation, these formats are equivalent
1078 to PIB and RB formats, respectively.  However, bytes in PIBHEX format
1079 are always ordered with the most-significant byte first (big-endian
1080 order), regardless of the host machine's native byte order or @pspp{}
1081 settings.
1082
1083 Field widths must be even and between 2 and 16.  RBHEX format allows no
1084 decimal places; PIBHEX allows as many decimal places as a PIB format
1085 with half the given width.
1086
1087 @node Time and Date Formats
1088 @subsubsection Time and Date Formats
1089
1090 @cindex time formats
1091 @cindex date formats
1092 In @pspp{}, a @dfn{time} is an interval.  The time formats translate
1093 between human-friendly descriptions of time intervals and @pspp{}'s
1094 internal representation of time intervals, which is simply the number of
1095 seconds in the interval.  @pspp{} has three time formats:
1096
1097 @float
1098 @multitable {Time Format} {@code{dd-mmm-yyyy HH:MM:SS.ss}} {@code{01-OCT-1978 01:31:17.01}}
1099 @headitem Time Format @tab Template                  @tab Example
1100 @item MTIME    @tab @code{MM:SS.ss}             @tab @code{91:17.01}
1101 @item TIME     @tab @code{hh:MM:SS.ss}          @tab @code{01:31:17.01}
1102 @item DTIME    @tab @code{DD HH:MM:SS.ss}       @tab @code{00 04:31:17.01}
1103 @end multitable
1104 @end float
1105
1106 A @dfn{date} is a moment in the past or the future.  Internally, @pspp{}
1107 represents a date as the number of seconds since the @dfn{epoch},
1108 midnight, Oct. 14, 1582.  The date formats translate between
1109 human-readable dates and @pspp{}'s numeric representation of dates and
1110 times.  @pspp{} has several date formats:
1111
1112 @float
1113 @multitable {Date Format} {@code{dd-mmm-yyyy HH:MM:SS.ss}} {@code{01-OCT-1978 04:31:17.01}}
1114 @headitem Date Format @tab Template                  @tab Example
1115 @item DATE     @tab @code{dd-mmm-yyyy}          @tab @code{01-OCT-1978}
1116 @item ADATE    @tab @code{mm/dd/yyyy}           @tab @code{10/01/1978}
1117 @item EDATE    @tab @code{dd.mm.yyyy}           @tab @code{01.10.1978}
1118 @item JDATE    @tab @code{yyyyjjj}              @tab @code{1978274}
1119 @item SDATE    @tab @code{yyyy/mm/dd}           @tab @code{1978/10/01}
1120 @item QYR      @tab @code{q Q yyyy}             @tab @code{3 Q 1978}
1121 @item MOYR     @tab @code{mmm yyyy}             @tab @code{OCT 1978}
1122 @item WKYR     @tab @code{ww WK yyyy}           @tab @code{40 WK 1978}
1123 @item DATETIME @tab @code{dd-mmm-yyyy HH:MM:SS.ss} @tab @code{01-OCT-1978 04:31:17.01}
1124 @item YMDHMS   @tab @code{yyyy-mm-dd HH:MM:SS.ss} @tab @code{1978-01-OCT 04:31:17.01}
1125 @end multitable
1126 @end float
1127
1128 The templates in the preceding tables describe how the time and date
1129 formats are input and output:
1130
1131 @table @code
1132 @item dd
1133 Day of month, from 1 to 31.  Always output as two digits.
1134
1135 @item mm
1136 @itemx mmm
1137 Month.  In output, @code{mm} is output as two digits, @code{mmm} as the
1138 first three letters of an English month name (January, February,
1139 @dots{}).  In input, both of these formats, plus Roman numerals, are
1140 accepted.
1141
1142 @item yyyy
1143 Year.  In output, DATETIME and YMDHMS always produce 4-digit years;
1144 other formats can produce a 2- or 4-digit year.  The century assumed
1145 for 2-digit years depends on the EPOCH setting (@pxref{SET EPOCH}).
1146 In output, a year outside the epoch causes the whole field to be
1147 filled with asterisks (@samp{*}).
1148
1149 @item jjj
1150 Day of year (Julian day), from 1 to 366.  This is exactly three digits
1151 giving the count of days from the start of the year.  January 1 is
1152 considered day 1.
1153
1154 @item q
1155 Quarter of year, from 1 to 4.  Quarters start on January 1, April 1,
1156 July 1, and October 1.
1157
1158 @item ww
1159 Week of year, from 1 to 53.  Output as exactly two digits.  January 1 is
1160 the first day of week 1.
1161
1162 @item DD
1163 Count of days, which may be positive or negative.  Output as at least
1164 two digits.
1165
1166 @item hh
1167 Count of hours, which may be positive or negative.  Output as at least
1168 two digits.
1169
1170 @item HH
1171 Hour of day, from 0 to 23.  Output as exactly two digits.
1172
1173 @item MM
1174 In MTIME, count of minutes, which may be positive or negative.  Output
1175 as at least two digits.
1176
1177 In other formats, minute of hour, from 0 to 59.  Output as exactly two
1178 digits.
1179
1180 @item SS.ss
1181 Seconds within minute, from 0 to 59.  The integer part is output as
1182 exactly two digits.  On output, seconds and fractional seconds may or
1183 may not be included, depending on field width and decimal places.  On
1184 input, seconds and fractional seconds are optional.  The DECIMAL setting
1185 controls the character accepted and displayed as the decimal point
1186 (@pxref{SET DECIMAL}).
1187 @end table
1188
1189 For output, the date and time formats use the delimiters indicated in
1190 the table.  For input, date components may be separated by spaces or by
1191 one of the characters @samp{-}, @samp{/}, @samp{.}, or @samp{,}, and
1192 time components may be separated by spaces or @samp{:}.  On
1193 input, the @samp{Q} separating quarter from year and the @samp{WK}
1194 separating week from year may be uppercase or lowercase, and the spaces
1195 around them are optional.
1196
1197 On input, all time and date formats accept any amount of leading and
1198 trailing white space.
1199
1200 The maximum width for time and date formats is 40 columns.  Minimum
1201 input and output width for each of the time and date formats is shown
1202 below:
1203
1204 @float
1205 @multitable {DATETIME} {Min. Input Width} {Min. Output Width} {4-digit year}
1206 @headitem Format @tab Min. Input Width @tab Min. Output Width @tab Option
1207 @item DATE @tab 8 @tab 9 @tab 4-digit year
1208 @item ADATE @tab 8 @tab 8 @tab 4-digit year
1209 @item EDATE @tab 8 @tab 8 @tab 4-digit year
1210 @item JDATE @tab 5 @tab 5 @tab 4-digit year
1211 @item SDATE @tab 8 @tab 8 @tab 4-digit year
1212 @item QYR @tab 4 @tab 6 @tab 4-digit year
1213 @item MOYR @tab 6 @tab 6 @tab 4-digit year
1214 @item WKYR @tab 6 @tab 8 @tab 4-digit year
1215 @item DATETIME @tab 17 @tab 17 @tab seconds
1216 @item YMDHMS @tab 12 @tab 16 @tab seconds
1217 @item MTIME @tab 4 @tab 5
1218 @item TIME @tab 5 @tab 5 @tab seconds
1219 @item DTIME @tab 8 @tab 8 @tab seconds
1220 @end multitable
1221 @end float
1222 @noindent
1223 In the table, ``Option'' describes what increased output width enables:
1224
1225 @table @asis
1226 @item 4-digit year
1227 A field 2 columns wider than the minimum includes a 4-digit year.
1228 (DATETIME and YMDHMS formats always include a 4-digit year.)
1229
1230 @item seconds
1231 A field 3 columns wider than the minimum includes seconds as well as
1232 minutes.  A field 5 columns wider than minimum, or more, can also
1233 include a decimal point and fractional seconds (but no more than allowed
1234 by the format's decimal places).
1235 @end table
1236
1237 For the time and date formats, the default output format is the same as
1238 the input format, except that @pspp{} increases the field width, if
1239 necessary, to the minimum allowed for output.
1240
1241 Time or dates narrower than the field width are right-justified within
1242 the field.
1243
1244 When a time or date exceeds the field width, characters are trimmed from
1245 the end until it fits.  This can occur in an unusual situation, @i{e.g.}@:
1246 with a year greater than 9999 (which adds an extra digit), or for a
1247 negative value on MTIME, TIME, or DTIME (which adds a leading minus sign).
1248
1249 @c What about out-of-range values?
1250
1251 The system-missing value is output as a period at the right end of the
1252 field.
1253
1254 @node Date Component Formats
1255 @subsubsection Date Component Formats
1256
1257 The WKDAY and MONTH formats provide input and output for the names of
1258 weekdays and months, respectively.
1259
1260 On output, these formats convert a number between 1 and 7, for WKDAY, or
1261 between 1 and 12, for MONTH, into the English name of a day or month,
1262 respectively.  If the name is longer than the field, it is trimmed to
1263 fit.  If the name is shorter than the field, it is padded on the right
1264 with spaces.  Values outside the valid range, and the system-missing
1265 value, are output as all spaces.
1266
1267 On input, English weekday or month names (in uppercase or lowercase) are
1268 converted back to their corresponding numbers.  Weekday and month names
1269 may be abbreviated to their first 2 or 3 letters, respectively.
1270
1271 The field width may range from 2 to 40, for WKDAY, or from 3 to 40, for
1272 MONTH.  No decimal places are allowed.
1273
1274 The default output format is the same as the input format.
1275
1276 @node String Formats
1277 @subsubsection String Formats
1278
1279 @cindex string formats
1280 The A and AHEX formats are the only ones that may be assigned to string
1281 variables.  Neither format allows any decimal places.
1282
1283 In A format, the entire field is treated as a string value.  The field
1284 width may range from 1 to 32,767, the maximum string width.  The default
1285 output format is the same as the input format.
1286
1287 In AHEX format, the field is composed of characters in a string encoded
1288 as hex digit pairs.  On output, hex digits are output in uppercase; on
1289 input, uppercase and lowercase are both accepted.  The default output
1290 format is A format with half the input width.
1291
1292 @node Scratch Variables
1293 @subsection Scratch Variables
1294
1295 @cindex scratch variables
1296 Most of the time, variables don't retain their values between cases.
1297 Instead, either they're being read from a data file or the active dataset,
1298 in which case they assume the value read, or, if created with
1299 @cmd{COMPUTE} or
1300 another transformation, they're initialized to the system-missing value
1301 or to blanks, depending on type.
1302
1303 However, sometimes it's useful to have a variable that keeps its value
1304 between cases.  You can do this with @cmd{LEAVE} (@pxref{LEAVE}), or you can
1305 use a @dfn{scratch variable}.  Scratch variables are variables whose
1306 names begin with an octothorpe (@samp{#}).
1307
1308 Scratch variables have the same properties as variables left with
1309 @cmd{LEAVE}: they retain their values between cases, and for the first
1310 case they are initialized to 0 or blanks.  They have the additional
1311 property that they are deleted before the execution of any procedure.
1312 For this reason, scratch variables can't be used for analysis.  To use
1313 a scratch variable in an analysis, use @cmd{COMPUTE} (@pxref{COMPUTE})
1314 to copy its value into an ordinary variable, then use that ordinary
1315 variable in the analysis.
1316
1317 @node Files
1318 @section Files Used by @pspp{}
1319
1320 @pspp{} makes use of many files each time it runs.  Some of these it
1321 reads, some it writes, some it creates.  Here is a table listing the
1322 most important of these files:
1323
1324 @table @strong
1325 @cindex file, command
1326 @cindex file, syntax file
1327 @cindex command file
1328 @cindex syntax file
1329 @item command file
1330 @itemx syntax file
1331 These names (synonyms) refer to the file that contains instructions
1332 that tell @pspp{} what to do.  The syntax file's name is specified on
1333 the @pspp{} command line.  Syntax files can also be read with
1334 @cmd{INCLUDE} (@pxref{INCLUDE}).
1335
1336 @cindex file, data
1337 @cindex data file
1338 @item data file
1339 Data files contain raw data in text or binary format.  Data can also
1340 be embedded in a syntax file with @cmd{BEGIN DATA} and @cmd{END DATA}.
1341
1342 @cindex file, output
1343 @cindex output file
1344 @item listing file
1345 One or more output files are created by @pspp{} each time it is
1346 run.  The output files receive the tables and charts produced by
1347 statistical procedures.  The output files may be in any number of formats,
1348 depending on how @pspp{} is configured.
1349
1350 @cindex system file
1351 @cindex file, system
1352 @item system file
1353 System files are binary files that store a dictionary and a set of
1354 cases.  @cmd{GET} and @cmd{SAVE} read and write system files.
1355
1356 @cindex portable file
1357 @cindex file, portable
1358 @item portable file
1359 Portable files are files in a text-based format that store a dictionary
1360 and a set of cases.  @cmd{IMPORT} and @cmd{EXPORT} read and write
1361 portable files.
1362 @end table
1363
1364 @node File Handles
1365 @section File Handles
1366 @cindex file handles
1367
1368 A @dfn{file handle} is a reference to a data file, system file, or
1369 portable file.  Most often, a file handle is specified as the
1370 name of a file as a string, that is, enclosed within @samp{'} or
1371 @samp{"}.
1372
1373 A file name string that begins or ends with @samp{|} is treated as the
1374 name of a command to pipe data to or from.  You can use this feature
1375 to read data over the network using a program such as @samp{curl}
1376 (@i{e.g.}@: @code{GET '|curl -s -S http://example.com/mydata.sav'}), to
1377 read compressed data from a file using a program such as @samp{zcat}
1378 (@i{e.g.}@: @code{GET '|zcat mydata.sav.gz'}), and for many other
1379 purposes.
1380
1381 @pspp{} also supports declaring named file handles with the @cmd{FILE
1382 HANDLE} command.  This command associates an identifier of your choice
1383 (the file handle's name) with a file.  Later, the file handle name can
1384 be substituted for the name of the file.  When @pspp{} syntax accesses a
1385 file multiple times, declaring a named file handle simplifies updating
1386 the syntax later to use a different file.  Use of @cmd{FILE HANDLE} is
1387 also required to read data files in binary formats.  @xref{FILE HANDLE},
1388 for more information.
1389
1390 In some circumstances, @pspp{} must distinguish whether a file handle
1391 refers to a system file or a portable file.  When this is necessary to
1392 read a file, @i{e.g.}@: as an input file for @cmd{GET} or @cmd{MATCH FILES},
1393 @pspp{} uses the file's contents to decide.  In the context of writing a
1394 file, @i{e.g.}@: as an output file for @cmd{SAVE} or @cmd{AGGREGATE}, @pspp{}
1395 decides based on the file's name: if it ends in @samp{.por} (with any
1396 capitalization), then @pspp{} writes a portable file; otherwise, @pspp{}
1397 writes a system file.
1398
1399 INLINE is reserved as a file handle name.  It refers to the ``data
1400 file'' embedded into the syntax file between @cmd{BEGIN DATA} and
1401 @cmd{END DATA}.  @xref{BEGIN DATA}, for more information.
1402
1403 The file to which a file handle refers may be reassigned on a later
1404 @cmd{FILE HANDLE} command if it is first closed using @cmd{CLOSE FILE
1405 HANDLE}.  @xref{CLOSE FILE HANDLE}, for
1406 more information.
1407
1408 @node BNF
1409 @section Backus-Naur Form
1410 @cindex BNF
1411 @cindex Backus-Naur Form
1412 @cindex command syntax, description of
1413 @cindex description of command syntax
1414
1415 The syntax of some parts of the @pspp{} language is presented in this
1416 manual using the formalism known as @dfn{Backus-Naur Form}, or BNF. The
1417 following table describes BNF:
1418
1419 @itemize @bullet
1420 @cindex keywords
1421 @cindex terminals
1422 @item
1423 Words in all-uppercase are @pspp{} keyword tokens.  In BNF, these are
1424 often called @dfn{terminals}.  There are some special terminals, which
1425 are written in lowercase for clarity:
1426
1427 @table @asis
1428 @cindex @code{number}
1429 @item @code{number}
1430 A real number.
1431
1432 @cindex @code{integer}
1433 @item @code{integer}
1434 An integer number.
1435
1436 @cindex @code{string}
1437 @item @code{string}
1438 A string.
1439
1440 @cindex @code{var-name}
1441 @item @code{var-name}
1442 A single variable name.
1443
1444 @cindex operators
1445 @cindex punctuators
1446 @item @code{=}, @code{/}, @code{+}, @code{-}, etc.
1447 Operators and punctuators.
1448
1449 @cindex @code{.}
1450 @item @code{.}
1451 The end of the command.  This is not necessarily an actual dot in the
1452 syntax file (@pxref{Commands}).
1453 @end table
1454
1455 @item
1456 @cindex productions
1457 @cindex nonterminals
1458 Other words in all lowercase refer to BNF definitions, called
1459 @dfn{productions}.  These productions are also known as
1460 @dfn{nonterminals}.  Some nonterminals are very common, so they are
1461 defined here in English for clarity:
1462
1463 @table @code
1464 @cindex @code{var-list}
1465 @item var-list
1466 A list of one or more variable names or the keyword @code{ALL}.
1467
1468 @cindex @code{expression}
1469 @item expression
1470 An expression.  @xref{Expressions}, for details.
1471 @end table
1472
1473 @item
1474 @cindex ``is defined as''
1475 @cindex productions
1476 @samp{::=} means ``is defined as''.  The left side of @samp{::=} gives
1477 the name of the nonterminal being defined.  The right side of @samp{::=}
1478 gives the definition of that nonterminal.  If the right side is empty,
1479 then one possible expansion of that nonterminal is nothing.  A BNF
1480 definition is called a @dfn{production}.
1481
1482 @item
1483 @cindex terminals and nonterminals, differences
1484 So, the key difference between a terminal and a nonterminal is that a
1485 terminal cannot be broken into smaller parts---in fact, every terminal
1486 is a single token (@pxref{Tokens}).  On the other hand, nonterminals are
1487 composed of a (possibly empty) sequence of terminals and nonterminals.
1488 Thus, terminals indicate the deepest level of syntax description.  (In
1489 parsing theory, terminals are the leaves of the parse tree; nonterminals
1490 form the branches.)
1491
1492 @item
1493 @cindex start symbol
1494 @cindex symbol, start
1495 The first nonterminal defined in a set of productions is called the
1496 @dfn{start symbol}.  The start symbol defines the entire syntax for
1497 that command.
1498 @end itemize