doc/data-file-format.texi

   1 @node Data File Format, q2c Input Format, Portable File Format, Top
   2 @appendix Data File Format
   3
   4 PSPP necessarily uses the same format for system files as do the
   5 products with which it is compatible.  This chapter is a description of
   6 that format.
   7
   8 There are three data types used in system files: 32-bit integers, 64-bit
   9 floating points, and 1-byte characters.  In this document these will
  10 simply be referred to as @code{int32}, @code{flt64}, and @code{char},
  11 the names that are used in the PSPP source code.  Every field of type
  12 @code{int32} or @code{flt64} is aligned on a 32-bit boundary relative to
  13 the start of the record.
  14
  15 The endianness of data in PSPP system files is not specified.  System
  16 files output on a computer of a particular endianness will have the
  17 endianness of that computer.  However, PSPP can read files of either
  18 endianness, regardless of its host computer's endianness.  PSPP
  19 translates endianness for both integer and floating point numbers.
  20
  21 Floating point formats are also not specified.  PSPP does not
  22 translate between floating point formats.  This is unlikely to be a
  23 problem as all modern computer architectures use IEEE 754 format for
  24 floating point representation.
  25
  26 The PSPP system-missing value is represented by the largest possible
  27 negative number in the floating point format; in C, this is most likely
  28 @code{-DBL_MAX}.  There are two other important values used in missing
  29 values: @code{HIGHEST} and @code{LOWEST}.  These are represented by the
  30 largest possible positive number (probably @code{DBL_MAX}) and the
  31 second-largest negative number.  The latter must be determined in a
  32 system-dependent manner; in IEEE 754 format it is represented by value
  33 @code{0xffeffffffffffffe}.
  34
  35 System files are divided into records.  Each record begins with an
  36 @code{int32} giving a numeric record type.  Individual record types are
  37 described below:
  38
  39 @menu
  40 * File Header Record::
  41 * Variable Record::
  42 * Value Label Record::
  43 * Value Label Variable Record::
  44 * Document Record::
  45 * Machine int32 Info Record::
  46 * Machine flt64 Info Record::
  47 * Auxiliary Variable Parameter Record::
  48 * Long Variable Names Record::
  49 * Very Long String Length Record::
  50 * Miscellaneous Informational Records::
  51 * Dictionary Termination Record::
  52 * Data Record::
  53 @end menu
  54
  55 @node File Header Record, Variable Record, Data File Format, Data File Format
  56 @section File Header Record
  57
  58 The file header is always the first record in the file.
  59
  60 @example
  61 struct sysfile_header
  62   @{
  63     char                rec_type[4];
  64     char                prod_name[60];
  65     int32               layout_code;
  66     int32               nominal_case_size;
  67     int32               compressed;
  68     int32               weight_index;
  69     int32               ncases;
  70     flt64               bias;
  71     char                creation_date[9];
  72     char                creation_time[8];
  73     char                file_label[64];
  74     char                padding[3];
  75   @};
  76 @end example
  77
  78 @table @code
  79 @item char rec_type[4];
  80 Record type code.  Always set to @samp{$FL2}.  This is the only record
  81 for which the record type is not of type @code{int32}.
  82
  83 @item char prod_name[60];
  84 Product identification string.  This always begins with the characters
  85 @samp{@@(#) SPSS DATA FILE}.  PSPP uses the remaining characters to
  86 give its version and the operating system name; for example, @samp{GNU
  87 pspp 0.1.4 - sparc-sun-solaris2.5.2}.  The string is truncated if it
  88 would be longer than 60 characters; otherwise it is padded on the right
  89 with spaces.
  90
  91 @item int32 layout_code;
  92 Always set to 2.  PSPP reads this value to determine the
  93 file's endianness.
  94
  95 @item int32 nominal_case_size;
  96 Number of data elements per case.  This is the number of variables,
  97 except that long string variables add extra data elements (one for every
  98 8 characters after the first 8).  However, string variables do not
  99 contribute to this value beyond the first 255 bytes.   Further, system
 100 files written by some systems set this value to -1.  In general, it is
 101 unsafe for systems reading system files to rely upon this value.
 102
 103 @item int32 compressed;
 104 Set to 1 if the data in the file is compressed, 0 otherwise.
 105
 106 @item int32 weight_index;
 107 If one of the variables in the data set is used as a weighting variable,
 108 set to the index of that variable.  Otherwise, set to 0.
 109
 110 @item int32 ncases;
 111 Set to the number of cases in the file if it is known, or -1 otherwise.
 112
 113 In the general case it is not possible to determine the number of cases
 114 that will be output to a system file at the time that the header is
 115 written.  The way that this is dealt with is by writing the entire
 116 system file, including the header, then seeking back to the beginning of
 117 the file and writing just the @code{ncases} field.  For `files' in which
 118 this is not valid, the seek operation fails.  In this case,
 119 @code{ncases} remains -1.
 120
 121 @item flt64 bias;
 122 Compression bias.  Always set to 100.  The significance of this value is
 123 that only numbers between @code{(1 - bias)} and @code{(251 - bias)} can
 124 be compressed.
 125
 126 @item char creation_date[9];
 127 Set to the date of creation of the system file, in @samp{dd mmm yy}
 128 format, with the month as standard English abbreviations, using an
 129 initial capital letter and following with lowercase.  If the date is not
 130 available then this field is arbitrarily set to @samp{01 Jan 70}.
 131
 132 @item char creation_time[8];
 133 Set to the time of creation of the system file, in @samp{hh:mm:ss}
 134 format and using 24-hour time.  If the time is not available then this
 135 field is arbitrarily set to @samp{00:00:00}.
 136
 137 @item char file_label[64];
 138 Set the the file label declared by the user, if any (@pxref{FILE LABEL}).
 139 Padded on the right with spaces.
 140
 141 @item char padding[3];
 142 Ignored padding bytes to make the structure a multiple of 32 bits in
 143 length.  Set to zeros.
 144 @end table
 145
 146 @node Variable Record, Value Label Record, File Header Record, Data File Format
 147 @section Variable Record
 148
 149 Immediately following the header must come the variable records.  There
 150 must be one variable record for every variable and every 8 characters in
 151 a long string beyond the first 8.
 152
 153 @example
 154 struct sysfile_variable
 155   @{
 156     int32               rec_type;
 157     int32               type;
 158     int32               has_var_label;
 159     int32               n_missing_values;
 160     int32               print;
 161     int32               write;
 162     char                name[8];
 163
 164     /* The following two fields are present
 165        only if has_var_label is 1. */
 166     int32               label_len;
 167     char                label[/* variable length */];
 168
 169     /* The following field is present only
 170        if n_missing_values is not 0. */
 171     flt64               missing_values[/* variable length */];
 172   @};
 173 @end example
 174
 175 @table @code
 176 @item int32 rec_type;
 177 Record type code.  Always set to 2.
 178
 179 @item int32 type;
 180 Variable type code.  Set to 0 for a numeric variable.  For a short
 181 string variable or the first part of a long string variable, this is set
 182 to the width of the string.  For the second and subsequent parts of a
 183 long string variable, set to -1, and the remaining fields in the
 184 structure are ignored.
 185
 186 @item int32 has_var_label;
 187 If this variable has a variable label, set to 1; otherwise, set to 0.
 188
 189 @item int32 n_missing_values;
 190 If the variable has no missing values, set to 0.  If the variable has
 191 one, two, or three discrete missing values, set to 1, 2, or 3,
 192 respectively.  If the variable has a range for missing variables, set to
 193 -2; if the variable has a range for missing variables plus a single
 194 discrete value, set to -3.
 195
 196 @item int32 print;
 197 Print format for this variable.  See below.
 198
 199 @item int32 write;
 200 Write format for this variable.  See below.
 201
 202 @item char name[8];
 203 Variable name.  The variable name must begin with a capital letter or
 204 the at-sign (@samp{@@}).  Subsequent characters may also be digits, octothorpes
 205 (@samp{#}), dollar signs (@samp{$}), underscores (@samp{_}), or full
 206 stops (@samp{.}).  The variable name is padded on the right with spaces.
 207
 208 @item int32 label_len;
 209 This field is present only if @code{has_var_label} is set to 1.  It is
 210 set to the length, in characters, of the variable label, which must be a
 211 number between 0 and 120.
 212
 213 @item char label[/* variable length */];
 214 This field is present only if @code{has_var_label} is set to 1.  It has
 215 length @code{label_len}, rounded up to the nearest multiple of 32 bits.
 216 The first @code{label_len} characters are the variable's variable label.
 217
 218 @item flt64 missing_values[/* variable length */];
 219 This field is present only if @code{n_missing_values} is not 0.  It has
 220 the same number of elements as the absolute value of
 221 @code{n_missing_values}.  For discrete missing values, each element
 222 represents one missing value.  When a range is present, the first
 223 element denotes the minimum value in the range, and the second element
 224 denotes the maximum value in the range.  When a range plus a value are
 225 present, the third element denotes the additional discrete missing
 226 value.  HIGHEST and LOWEST are indicated as described in the chapter
 227 introduction.
 228 @end table
 229
 230 The @code{print} and @code{write} members of sysfile_variable are output
 231 formats coded into @code{int32} types.  The LSB (least-significant byte)
 232 of the @code{int32} represents the number of decimal places, and the
 233 next two bytes in order of increasing significance represent field width
 234 and format type, respectively.  The MSB (most-significant byte) is not
 235 used and should be set to zero.
 236
 237 Format types are defined as follows:
 238 @table @asis
 239 @item 0
 240 Not used.
 241 @item 1
 242 @code{A}
 243 @item 2
 244 @code{AHEX}
 245 @item 3
 246 @code{COMMA}
 247 @item 4
 248 @code{DOLLAR}
 249 @item 5
 250 @code{F}
 251 @item 6
 252 @code{IB}
 253 @item 7
 254 @code{PIBHEX}
 255 @item 8
 256 @code{P}
 257 @item 9
 258 @code{PIB}
 259 @item 10
 260 @code{PK}
 261 @item 11
 262 @code{RB}
 263 @item 12
 264 @code{RBHEX}
 265 @item 13
 266 Not used.
 267 @item 14
 268 Not used.
 269 @item 15
 270 @code{Z}
 271 @item 16
 272 @code{N}
 273 @item 17
 274 @code{E}
 275 @item 18
 276 Not used.
 277 @item 19
 278 Not used.
 279 @item 20
 280 @code{DATE}
 281 @item 21
 282 @code{TIME}
 283 @item 22
 284 @code{DATETIME}
 285 @item 23
 286 @code{ADATE}
 287 @item 24
 288 @code{JDATE}
 289 @item 25
 290 @code{DTIME}
 291 @item 26
 292 @code{WKDAY}
 293 @item 27
 294 @code{MONTH}
 295 @item 28
 296 @code{MOYR}
 297 @item 29
 298 @code{QYR}
 299 @item 30
 300 @code{WKYR}
 301 @item 31
 302 @code{PCT}
 303 @item 32
 304 @code{DOT}
 305 @item 33
 306 @code{CCA}
 307 @item 34
 308 @code{CCB}
 309 @item 35
 310 @code{CCC}
 311 @item 36
 312 @code{CCD}
 313 @item 37
 314 @code{CCE}
 315 @item 38
 316 @code{EDATE}
 317 @item 39
 318 @code{SDATE}
 319 @end table
 320
 321 @node Value Label Record, Value Label Variable Record, Variable Record, Data File Format
 322 @section Value Label Record
 323
 324 Value label records must follow the variable records and must precede
 325 the header termination record.  Other than this, they may appear
 326 anywhere in the system file.  Every value label record must be
 327 immediately followed by a label variable record, described below.
 328
 329 Value label records begin with @code{rec_type}, an @code{int32} value
 330 set to the record type of 3.  This is followed by @code{count}, an
 331 @code{int32} value set to the number of value labels present in this
 332 record.
 333
 334 These two fields are followed by a series of @code{count} tuples.  Each
 335 tuple is divided into two fields, the value and the label.  The first of
 336 these, the value, is composed of a 64-bit value, which is either a
 337 @code{flt64} value or up to 8 characters (padded on the right to 8
 338 bytes) denoting a short string value.  Whether the value is a
 339 @code{flt64} or a character string is not defined inside the value label
 340 record.
 341
 342 The second field in the tuple, the label, has variable length.  The
 343 first @code{char} is a count of the number of characters in the value
 344 label.  The remainder of the field is the label itself.  The field is
 345 padded on the right to a multiple of 64 bits in length.
 346
 347 @node Value Label Variable Record, Document Record, Value Label Record, Data File Format
 348 @section Value Label Variable Record
 349
 350 Every value label variable record must be immediately preceded by a
 351 value label record, described above.
 352
 353 @example
 354 struct sysfile_value_label_variable
 355   @{
 356      int32              rec_type;
 357      int32              count;
 358      int32              vars[/* variable length */];
 359   @};
 360 @end example
 361
 362 @table @code
 363 @item int32 rec_type;
 364 Record type.  Always set to 4.
 365
 366 @item int32 count;
 367 Number of variables that the associated value labels from the value
 368 label record are to be applied.
 369
 370 @item int32 vars[/* variable length */];
 371 A list of variables to which to apply the value labels.  There are
 372 @code{count} elements.  Each element identifies a variable record, where
 373 the first element is numbered 1 and long string variables are considered
 374 to occupy multiple indexes.
 375 @end table
 376
 377 @node Document Record, Machine int32 Info Record, Value Label Variable Record, Data File Format
 378 @section Document Record
 379
 380 There must be no more than one document record per system file.
 381 Document records must follow the variable records and precede the
 382 dictionary termination record.
 383
 384 @example
 385 struct sysfile_document
 386   @{
 387     int32               rec_type;
 388     int32               n_lines;
 389     char                lines[/* variable length */][80];
 390   @};
 391 @end example
 392
 393 @table @code
 394 @item int32 rec_type;
 395 Record type.  Always set to 6.
 396
 397 @item int32 n_lines;
 398 Number of lines of documents present.
 399
 400 @item char lines[/* variable length */][80];
 401 Document lines.  The number of elements is defined by @code{n_lines}.
 402 Lines shorter than 80 characters are padded on the right with spaces.
 403 @end table
 404
 405 @node Machine int32 Info Record, Machine flt64 Info Record, Document Record, Data File Format
 406 @section Machine @code{int32} Info Record
 407
 408 There must be no more than one machine @code{int32} info record per
 409 system file.  Machine @code{int32} info records must follow the variable
 410 records and precede the dictionary termination record.
 411
 412 @example
 413 struct sysfile_machine_int32_info
 414   @{
 415     /* Header. */
 416     int32               rec_type;
 417     int32               subtype;
 418     int32               size;
 419     int32               count;
 420
 421     /* Data. */
 422     int32               version_major;
 423     int32               version_minor;
 424     int32               version_revision;
 425     int32               machine_code;
 426     int32               floating_point_rep;
 427     int32               compression_code;
 428     int32               endianness;
 429     int32               character_code;
 430   @};
 431 @end example
 432
 433 @table @code
 434 @item int32 rec_type;
 435 Record type.  Always set to 7.
 436
 437 @item int32 subtype;
 438 Record subtype.  Always set to 3.
 439
 440 @item int32 size;
 441 Size of each piece of data in the data part, in bytes.  Always set to 4.
 442
 443 @item int32 count;
 444 Number of pieces of data in the data part.  Always set to 8.
 445
 446 @item int32 version_major;
 447 PSPP major version number.  In version @var{x}.@var{y}.@var{z}, this
 448 is @var{x}.
 449
 450 @item int32 version_minor;
 451 PSPP minor version number.  In version @var{x}.@var{y}.@var{z}, this
 452 is @var{y}.
 453
 454 @item int32 version_revision;
 455 PSPP version revision number.  In version @var{x}.@var{y}.@var{z},
 456 this is @var{z}.
 457
 458 @item int32 machine_code;
 459 Machine code.  PSPP always set this field to value to -1, but other
 460 values may appear.
 461
 462 @item int32 floating_point_rep;
 463 Floating point representation code.  For IEEE 754 systems this is 1.
 464 IBM 370 sets this to 2, and DEC VAX E to 3.
 465
 466 @item int32 compression_code;
 467 Compression code.  Always set to 1.
 468
 469 @item int32 endianness;
 470 Machine endianness.  1 indicates big-endian, 2 indicates little-endian.
 471
 472 @item int32 character_code;
 473 Character code.  1 indicates EBCDIC, 2 indicates 7-bit ASCII, 3
 474 indicates 8-bit ASCII, 4 indicates DEC Kanji.
 475 @end table
 476
 477 @node Machine flt64 Info Record, Auxiliary Variable Parameter Record, Machine int32 Info Record, Data File Format
 478 @section Machine @code{flt64} Info Record
 479
 480 There must be no more than one machine @code{flt64} info record per
 481 system file.  Machine @code{flt64} info records must follow the variable
 482 records and precede the dictionary termination record.
 483
 484 @example
 485 struct sysfile_machine_flt64_info
 486   @{
 487     /* Header. */
 488     int32               rec_type;
 489     int32               subtype;
 490     int32               size;
 491     int32               count;
 492
 493     /* Data. */
 494     flt64               sysmis;
 495     flt64               highest;
 496     flt64               lowest;
 497   @};
 498 @end example
 499
 500 @table @code
 501 @item int32 rec_type;
 502 Record type.  Always set to 7.
 503
 504 @item int32 subtype;
 505 Record subtype.  Always set to 4.
 506
 507 @item int32 size;
 508 Size of each piece of data in the data part, in bytes.  Always set to 4.
 509
 510 @item int32 count;
 511 Number of pieces of data in the data part.  Always set to 3.
 512
 513 @item flt64 sysmis;
 514 The system missing value.
 515
 516 @item flt64 highest;
 517 The value used for HIGHEST in missing values.
 518
 519 @item flt64 lowest;
 520 The value used for LOWEST in missing values.
 521 @end table
 522
 523 @node Auxiliary Variable Parameter Record, Long Variable Names Record, Machine flt64 Info Record, Data File Format
 524 @section Auxiliary Variable Parameter Record
 525
 526 There must be no more than one auxiliary variable parameter record per
 527 system file.  This  record must follow the variable
 528 records and precede the dictionary termination record.
 529
 530 @example
 531 struct sysfile_aux_var_parameter
 532   @{
 533     /* Header. */
 534     int32               rec_type;
 535     int32               subtype;
 536     int32               size;
 537     int32               count;
 538
 539     /* Data. */
 540     struct aux_params   aux_params[/* variable length */];
 541   @};
 542 @end example
 543
 544 @table @code
 545 @item int32 rec_type;
 546 Record type.  Always set to 7.
 547
 548 @item int32 subtype;
 549 Record subtype.  Always set to 11.
 550
 551 @item int32 size;
 552 The size  @code{int32}. Always set to 4.
 553
 554 @item int32 count;
 555 The total number of records in @code{aux_params}, multiplied by 3.
 556
 557 @item struct aux_params aux_params[];
 558 An array of @code{struct aux_params}.   The order of the elements corresponds
 559 to the order of the variables in the Variable Records.  No element
 560 corresponds to variable records that continue long string variables.
 561 The @code{struct aux_params} type is defined as follows:
 562
 563 @example
 564 struct aux_params
 565   @{
 566     int32 measure;
 567     int32 width;
 568     int32 alignment;
 569   @};
 570 @end example
 571
 572 @table @code
 573 @item int32 measure
 574 The measurement type of the variable:
 575 @table @asis
 576 @item 1
 577 Nominal Scale
 578 @item 2
 579 Ordinal Scale
 580 @item 3
 581 Continuous Scale
 582 @end table
 583
 584 @item int32 width
 585 The width of the display column for the variable in characters.
 586
 587 @item int32 alignment
 588 The alignment of the variable for display purposes:
 589
 590 @table @asis
 591 @item 0
 592 Left aligned
 593 @item 1
 594 Right aligned
 595 @item 2
 596 Centre aligned
 597 @end table
 598
 599 @end table
 600
 601
 602
 603 @end table
 604
 605
 606
 607 @node Long Variable Names Record, Very Long String Length Record, Auxiliary Variable Parameter Record,  Data File Format
 608 @section Long Variable Names Record
 609
 610 There must be no more than one long variable names record per
 611 system file.  This  record must follow the variable
 612 records and precede the dictionary termination record.
 613
 614 @example
 615 struct sysfile_long_variable_names
 616   @{
 617     /* Header. */
 618     int32               rec_type;
 619     int32               subtype;
 620     int32               size;
 621     int32               count;
 622
 623     /* Data. */
 624     char                var_name_pairs[/* variable length */];
 625   @};
 626 @end example
 627
 628 @table @code
 629 @item int32 rec_type;
 630 Record type.  Always set to 7.
 631
 632 @item int32 subtype;
 633 Record subtype.  Always set to 13.
 634
 635 @item int32 size;
 636 The size of each element in the @code{var_name_pairs} member. Always set to 1.
 637
 638 @item int32 count;
 639 The total number of bytes in @code{var_name_pairs}.
 640
 641 @item char var_name_pairs[/* variable length */];
 642 A list of @var{key}--@var{value} tuples, where @var{key} is the name
 643 of a variable, and @var{value} is its long variable name.
 644 The @var{key} field is at most 8 bytes long and must match the
 645 name of a variable which appears in the variable record (@pxref{Variable
 646 Record}).
 647 The @var{value} field is at most 64 bytes long.
 648 The @var{key} and @var{value} fields are separated by a @samp{=} byte.
 649 Each tuple is separated by a byte whose value is 09.  There is no
 650 trailing separator following the last tuple.
 651 The total length is @code{count} bytes.
 652 @end table
 653
 654 @node Very Long String Length Record, Miscellaneous Informational Records, Long Variable Names Record, Data File Format
 655 @comment  node-name,  next,  previous,  up
 656 @section Very Long String Length Record
 657
 658
 659 There must be no more than one very long string length record per
 660 system file.  This  record must follow the variable records and precede the
 661 dictionary termination record.
 662
 663 @example
 664 struct sysfile_very_long_string_lengths
 665   @{
 666     /* Header. */
 667     int32               rec_type;
 668     int32               subtype;
 669     int32               size;
 670     int32               count;
 671
 672     /* Data. */
 673     char                string_lengths[/* variable length */];
 674   @};
 675 @end example
 676
 677 @table @code
 678 @item int32 rec_type;
 679 Record type.  Always set to 7.
 680
 681 @item int32 subtype;
 682 Record subtype.  Always set to 14.
 683
 684 @item int32 size;
 685 The size of each element in the @code{string_lengths} member. Always set to 1.
 686
 687 @item int32 count;
 688 The total number of bytes in @code{string_lengths}.
 689
 690 @item char string_lengths[/* variable length */];
 691 A list of @var{key}--@var{value} tuples, where @var{key} is the name
 692 of a variable, and @var{value} is its length.
 693 The @var{key} field is at most 8 bytes long and must match the
 694 name of a variable which appears in the variable record (@pxref{Variable
 695 Record}).
 696 The @var{value} field is exactly 5 bytes long. It is a zero-padded,
 697 ASCII-encoded string that is the length of the variable.
 698 The @var{key} and @var{value} fields are separated by a @samp{=} byte.
 699 Tuples are delimited by a two-byte sequence @{00, 09@}.
 700 After the last tuple, there may be a single byte 00, or @{00, 09@}.
 701 The total length is @code{count} bytes.
 702 @end table
 703
 704
 705
 706 @node Miscellaneous Informational Records, Dictionary Termination Record, Very Long String Length Record, Data File Format
 707 @section Miscellaneous Informational Records
 708
 709 Miscellaneous informational records must follow the variable records and
 710 precede the dictionary termination record.
 711
 712 Some specific types of miscellaneous informational records are
 713 documented here, but others are known to exist.  PSPP ignores unknown
 714 miscellaneous informational records when reading system files.
 715
 716 @example
 717 struct sysfile_misc_info
 718   @{
 719     /* Header. */
 720     int32               rec_type;
 721     int32               subtype;
 722     int32               size;
 723     int32               count;
 724
 725     /* Data. */
 726     char                data[/* variable length */];
 727   @};
 728 @end example
 729
 730 @table @code
 731 @item int32 rec_type;
 732 Record type.  Always set to 7.
 733
 734 @item int32 subtype;
 735 Record subtype.  May take any value.  According to Aapi
 736 H@"am@"al@"ainen, value 5 indicates a set of grouped variables and 6
 737 indicates date info (probably related to USE).
 738
 739 @item int32 size;
 740 Size of each piece of data in the data part.  Should have the value 4 or
 741 8, for @code{int32} and @code{flt64}, respectively.
 742
 743 @item int32 count;
 744 Number of pieces of data in the data part.
 745
 746 @item char data[/* variable length */];
 747 Arbitrary data.  There must be @code{size} times @code{count} bytes of
 748 data.
 749 @end table
 750
 751 @node Dictionary Termination Record, Data Record, Miscellaneous Informational Records, Data File Format
 752 @section Dictionary Termination Record
 753
 754 The dictionary termination record must follow all other records, except
 755 for the actual cases, which it must precede.  There must be exactly one
 756 dictionary termination record in every system file.
 757
 758 @example
 759 struct sysfile_dict_term
 760   @{
 761     int32               rec_type;
 762     int32               filler;
 763   @};
 764 @end example
 765
 766 @table @code
 767 @item int32 rec_type;
 768 Record type.  Always set to 999.
 769
 770 @item int32 filler;
 771 Ignored padding.  Should be set to 0.
 772 @end table
 773
 774 @node Data Record,  , Dictionary Termination Record, Data File Format
 775 @section Data Record
 776
 777 Data records must follow all other records in the data file.  There must
 778 be at least one data record in every system file.
 779
 780 The format of data records varies depending on whether the data is
 781 compressed.  Regardless, the data is arranged in a series of 8-byte
 782 elements.
 783
 784 When data is not compressed,
 785 each element corresponds to
 786 the variable declared in the respective variable record (@pxref{Variable
 787 Record}).  Numeric values are given in @code{flt64} format; string
 788 values are literal characters string, padded on the right when
 789 necessary.
 790
 791 Compressed data is arranged in the following manner: the first 8-byte
 792 element in the data section is divided into a series of 1-byte command
 793 codes.  These codes have meanings as described below:
 794
 795 @table @asis
 796 @item 0
 797 Ignored.  If the program writing the system file accumulates compressed
 798 data in blocks of fixed length, 0 bytes can be used to pad out extra
 799 bytes remaining at the end of a fixed-size block.
 800
 801 @item 1 through 251
 802 These values indicate that the corresponding numeric variable has the
 803 value @code{(@var{code} - @var{bias})} for the case being read, where
 804 @var{code} is the value of the compression code and @var{bias} is the
 805 variable @code{compression_bias} from the file header.  For example,
 806 code 105 with bias 100.0 (the normal value) indicates a numeric variable
 807 of value 5.
 808
 809 @item 252
 810 End of file.  This code may or may not appear at the end of the data
 811 stream.  PSPP always outputs this code but its use is not required.
 812
 813 @item 253
 814 This value indicates that the numeric or string value is not
 815 compressible.  The value is stored in the 8-byte element following the
 816 current block of command bytes.  If this value appears twice in a block
 817 of command bytes, then it indicates the second element following the
 818 command bytes, and so on.
 819
 820 @item 254
 821 Used to indicate a string value that is all spaces.
 822
 823 @item 255
 824 Used to indicate the system-missing value.
 825 @end table
 826
 827 When the end of the first 8-byte element of command bytes is reached,
 828 any blocks of non-compressible values are skipped, and the next element
 829 of command bytes is read and interpreted, until the end of the file is
 830 reached.
 831 @setfilename ignored