pintos-os.org Git - pspp/blob - tests/data/sys-file-reader.at

   1 dnl PSPP - a program for statistical analysis.
   2 dnl Copyright (C) 2017 Free Software Foundation, Inc.
   3 dnl
   4 dnl This program is free software: you can redistribute it and/or modify
   5 dnl it under the terms of the GNU General Public License as published by
   6 dnl the Free Software Foundation, either version 3 of the License, or
   7 dnl (at your option) any later version.
   8 dnl
   9 dnl This program is distributed in the hope that it will be useful,
  10 dnl but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 dnl MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 dnl GNU General Public License for more details.
  13 dnl
  14 dnl You should have received a copy of the GNU General Public License
  15 dnl along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16 dnl
  17 AT_BANNER([system file reader - positive])
  18
  19 AT_SETUP([variable labels and missing values])
  20 AT_KEYWORDS([sack synthetic system file positive])
  21 AT_DATA([sys-file.sack], [dnl
  22 dnl File header.
  23 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
  24 2; dnl Layout code
  25 28; dnl Nominal case size
  26 0; dnl Not compressed
  27 0; dnl Not weighted
  28 1; dnl 1 case.
  29 100.0; dnl Bias.
  30 "01 Jan 11"; "20:53:52";
  31 "PSPP synthetic test file: "; i8 244; i8 245; i8 246; i8 248; s34 "";
  32 i8 0 *3;
  33
  34 dnl Numeric variable, no label or missing values.
  35 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
  36
  37 dnl Numeric variable, variable label.
  38 2; 0; 1; 0; 0x050800 *2; s8 "NUM2";
  39 32; "Numeric variable 2's label ("; i8 249; i8 250; i8 251; ")";
  40
  41 dnl Numeric variable, one missing value.
  42 2; 0; 0; 1; 0x050800 *2; s8 "NUM3";
  43 1.0;
  44
  45 dnl Numeric variable, variable label and missing value.
  46 2; 0; 1; 1; 0x050800 *2; s8 "NUM4";
  47 30; "Another numeric variable label"; i8 0 * 2;
  48 1.0;
  49
  50 dnl Numeric variable, two missing values.
  51 2; 0; 0; 2; 0x050800 *2; s8 "NUM5"; 1.0; 2.0;
  52
  53 dnl Numeric variable, three missing values.
  54 2; 0; 0; 3; 0x050800 *2; s8 "NUM6"; 1.0; 2.0; 3.0;
  55
  56 dnl Numeric variable, range of missing values.
  57 2; 0; 0; -2; 0x050800 *2; s8 "NUM7"; 1.0; 3.0;
  58
  59 dnl Numeric variables, range of missing values plus discrete value.
  60 2; 0; 0; -3; 0x050800 *2; s8 "NUM8"; 1.0; 3.0; 5.0;
  61 2; 0; 0; -3; 0x050800 *2; s8 "NUM9"; 1.0; HIGHEST; -5.0;
  62 2; 0; 0; -3; 0x050800 *2; "NUM"; i8 192; i8 200; i8 204; i8 209; i8 210;
  63 LOWEST; 1.0; 5.0;
  64
  65 dnl String variable, no label or missing values.
  66 2; 4; 0; 0; 0x010400 *2; s8 "STR1";
  67
  68 dnl String variable, variable label.
  69 2; 4; 1; 0; 0x010400 *2; s8 "STR2";
  70 25; "String variable 2's label"; i8 0 * 3;
  71
  72 dnl String variable, one missing value.
  73 2; 4; 0; 1; 0x010400 *2; s8 "STR3"; s8 "MISS";
  74
  75 dnl String variable, variable label and missing value.
  76 2; 4; 1; 1; 0x010400 *2; s8 "STR4";
  77 29; "Another string variable label"; i8 0 * 3;
  78 s8 "OTHR";
  79
  80 dnl String variable, two missing values.
  81 2; 4; 0; 2; 0x010400 *2; s8 "STR5"; s8 "MISS"; s8 "OTHR";
  82
  83 dnl String variable, three missing values.
  84 2; 4; 0; 3; 0x010400 *2; s8 "STR6"; s8 "MISS"; s8 "OTHR"; s8 "MORE";
  85
  86 dnl Long string variable, one missing value.
  87 dnl (This is not how SPSS represents missing values for long strings--it
  88 dnl uses a separate record as shown later below--but old versions of PSPP
  89 dnl did use this representation so we continue supporting it for backward
  90 dnl compatibility.
  91 2; 11; 0; 1; 0x010b00 *2; s8 "STR7"; "first8by";
  92 2; -1; 0; 0; 0; 0; s8 "";
  93
  94 dnl Long string variables that will have missing values added with a
  95 dnl later record.
  96 2; 9; 0; 0; 0x010900 *2; s8 "STR8";
  97 2; -1; 0; 0; 0; 0; s8 "";
  98 2; 10; 0; 0; 0x010a00 *2; s8 "STR9";
  99 2; -1; 0; 0; 0; 0; s8 "";
 100 2; 11; 0; 0; 0x010b00 *2; s8 "STR10";
 101 2; -1; 0; 0; 0; 0; s8 "";
 102
 103 dnl Long string variable, value label.
 104 2; 25; 1; 0; 0x011900 *2; s8 "STR11"; 14; "25-byte string"; i8 0 * 2;
 105 ( 2; -1; 0; 0; 0; 0; s8 ""; ) * 2;
 106 dnl Variable label fields on continuation records have been spotted in system
 107 dnl files created by "SPSS Power Macintosh Release 6.1".
 108 2; -1; 1; 0; 0; 0; s8 ""; 20; "dummy variable label";
 109
 110 dnl Machine integer info record.
 111 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1252;
 112
 113 dnl Machine floating-point info record.
 114 7; 4; 8; 3; SYSMIS; HIGHEST; LOWEST;
 115
 116 dnl Long string variable missing values record.
 117 7; 22; 1; COUNT (
 118 dnl One missing value for STR8.
 119 COUNT("STR8"); i8 1; 8; "abcdefgh";
 120
 121 dnl Two missing values for STR9.
 122 COUNT("STR9"); i8 2; 8; "abcdefgh"; 8; "01234567";
 123
 124 dnl Three missing values for STR9.
 125 COUNT("STR10"); i8 3; 8; "abcdefgh"; 8; "01234567"; 8; "0       ";
 126 );
 127
 128 dnl Character encoding record.
 129 7; 20; 1; 12; "windows-1252";
 130
 131 dnl Dictionary termination record.
 132 999; 0;
 133
 134 dnl Data.
 135 1.0; 2.0; 3.0; 4.0; 5.0; 6.0; 7.0; 8.0; 9.0; 10.0;
 136 s8 "abcd"; s8 "efgh"; s8 "ijkl"; s8 "mnop"; s8 "qrst"; s8 "uvwx";
 137 s16 "yzABCDEFGHI"; s16 "JKLMNOPQR"; s16 "STUVWXYZ01";
 138 s16 "23456789abc"; s32 "defghijklmnopqstuvwxyzABC";
 139 ])
 140 for variant in be le; do
 141   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 142   AT_DATA([sys-file.sps], [dnl
 143 GET FILE='sys-file.sav'.
 144 DISPLAY FILE LABEL.
 145 DISPLAY DICTIONARY.
 146 LIST.
 147 ])
 148   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 149   AT_CHECK([cat pspp.csv], [0], [dnl
 150 Table: File Label
 151 Label,PSPP synthetic test file: ôõöø
 152
 153 Table: Variables
 154 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
 155 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
 156 num2,2,Numeric variable 2's label (ùúû),Scale,Input,8,Right,F8.0,F8.0,
 157 num3,3,,Scale,Input,8,Right,F8.0,F8.0,1
 158 num4,4,Another numeric variable label,Scale,Input,8,Right,F8.0,F8.0,1
 159 num5,5,,Scale,Input,8,Right,F8.0,F8.0,1; 2
 160 num6,6,,Scale,Input,8,Right,F8.0,F8.0,1; 2; 3
 161 num7,7,,Scale,Input,8,Right,F8.0,F8.0,1 THRU 3
 162 num8,8,,Scale,Input,8,Right,F8.0,F8.0,1 THRU 3; 5
 163 num9,9,,Scale,Input,8,Right,F8.0,F8.0,1 THRU HIGHEST; -5
 164 numàèìñò,10,,Scale,Input,8,Right,F8.0,F8.0,LOWEST THRU 1; 5
 165 str1,11,,Nominal,Input,4,Left,A4,A4,
 166 str2,12,String variable 2's label,Nominal,Input,4,Left,A4,A4,
 167 str3,13,,Nominal,Input,4,Left,A4,A4,"""MISS"""
 168 str4,14,Another string variable label,Nominal,Input,4,Left,A4,A4,"""OTHR"""
 169 str5,15,,Nominal,Input,4,Left,A4,A4,"""MISS""; ""OTHR"""
 170 str6,16,,Nominal,Input,4,Left,A4,A4,"""MISS""; ""OTHR""; ""MORE"""
 171 str7,17,,Nominal,Input,11,Left,A11,A11,"""first8by"""
 172 str8,18,,Nominal,Input,9,Left,A9,A9,"""abcdefgh"""
 173 str9,19,,Nominal,Input,10,Left,A10,A10,"""abcdefgh""; ""01234567"""
 174 str10,20,,Nominal,Input,11,Left,A11,A11,"""abcdefgh""; ""01234567""; ""0       """
 175 str11,21,25-byte string,Nominal,Input,25,Left,A25,A25,
 176
 177 Table: Data List
 178 num1,num2,num3,num4,num5,num6,num7,num8,num9,numàèìñò,str1,str2,str3,str4,str5,str6,str7,str8,str9,str10,str11
 179 1,2,3,4,5,6,7,8,9,10,abcd,efgh,ijkl,mnop,qrst,uvwx,yzABCDEFGHI,JKLMNOPQR,STUVWXYZ01,23456789abc,defghijklmnopqstuvwxyzABC
 180 ])
 181 done
 182 AT_CLEANUP
 183
 184 AT_SETUP([unspecified number of variable positions])
 185 AT_KEYWORDS([sack synthetic system file positive])
 186 AT_DATA([sys-file.sack], [dnl
 187 dnl File header.
 188 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 189 2; dnl Layout code
 190 -1; dnl Nominal case size (unspecified)
 191 0; dnl Not compressed
 192 0; dnl Not weighted
 193 1; dnl 1 case.
 194 100.0; dnl Bias.
 195 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 196 i8 0 *3;
 197
 198 dnl Numeric variable, no label or missing values.
 199 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
 200
 201 dnl Numeric variable, variable label.
 202 2; 0; 1; 0; 0x050800 *2; s8 "NUM2";
 203 26; "Numeric variable 2's label"; i8 0 *2;
 204
 205 dnl Character encoding record.
 206 7; 20; 1; 12; "windows-1252";
 207
 208 dnl Dictionary termination record.
 209 999; 0;
 210
 211 dnl Data.
 212 1.0; 2.0;
 213 ])
 214 for variant in be le; do
 215   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 216   AT_DATA([sys-file.sps], [dnl
 217 GET FILE='sys-file.sav'.
 218 DISPLAY DICTIONARY.
 219 LIST.
 220 ])
 221   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 222   AT_CHECK([cat pspp.csv], [0], [dnl
 223 Table: Variables
 224 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
 225 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
 226 num2,2,Numeric variable 2's label,Scale,Input,8,Right,F8.0,F8.0,
 227
 228 Table: Data List
 229 num1,num2
 230 1,2
 231 ])
 232 done
 233 AT_CLEANUP
 234
 235 AT_SETUP([wrong number of variable positions but version 13])
 236 AT_KEYWORDS([sack synthetic system file positive])
 237 AT_DATA([sys-file.sack], [dnl
 238 dnl File header.
 239 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 240 2; dnl Layout code
 241 -1; dnl Nominal case size (unspecified)
 242 0; dnl Not compressed
 243 0; dnl Not weighted
 244 1; dnl 1 case.
 245 100.0; dnl Bias.
 246 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 247 i8 0 *3;
 248
 249 dnl Numeric variable, no label or missing values.
 250 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
 251
 252 dnl Numeric variable, variable label.
 253 2; 0; 1; 0; 0x050800 *2; s8 "NUM2";
 254 26; "Numeric variable 2's label"; i8 0 *2;
 255
 256 dnl Machine integer info record (SPSS 13).
 257 7; 3; 4; 8; 13; 2; 3; -1; 1; 1; ENDIAN; 1252;
 258
 259 dnl Character encoding record.
 260 7; 20; 1; 12; "windows-1252";
 261
 262 dnl Dictionary termination record.
 263 999; 0;
 264
 265 dnl Data.
 266 1.0; 2.0;
 267 ])
 268 for variant in be le; do
 269   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 270   AT_DATA([sys-file.sps], [dnl
 271 GET FILE='sys-file.sav'.
 272 DISPLAY DICTIONARY.
 273 LIST.
 274 ])
 275   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 276   AT_CHECK([cat pspp.csv], [0], [dnl
 277 Table: Variables
 278 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
 279 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
 280 num2,2,Numeric variable 2's label,Scale,Input,8,Right,F8.0,F8.0,
 281
 282 Table: Data List
 283 num1,num2
 284 1,2
 285 ])
 286 done
 287 AT_CLEANUP
 288
 289 AT_SETUP([value labels])
 290 AT_KEYWORDS([sack synthetic system file positive])
 291 AT_DATA([sys-file.sack], [dnl
 292 dnl File header.
 293 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 294 2; dnl Layout code
 295 22; dnl Nominal case size
 296 0; dnl Not compressed
 297 0; dnl Not weighted
 298 1; dnl 1 case.
 299 100.0; dnl Bias.
 300 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 301 i8 0 *3;
 302
 303 dnl Numeric variables.
 304 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
 305 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
 306 2; 0; 0; 0; 0x050800 *2; s8 "NUM3";
 307 2; 0; 0; 0; 0x050800 *2; s8 "NUM4";
 308 2; 0; 0; 0; 0x050800 *2; s8 "NUM5";
 309
 310 dnl String variables.
 311 2; 1; 0; 0; 0x010100 *2; s8 "STR1"; dnl index 6
 312 2; 2; 0; 0; 0x010200 *2; s8 "STR2"; dnl index 7
 313 2; 3; 0; 0; 0x010300 *2; s8 "STR3"; dnl index 8
 314 2; 4; 0; 0; 0x010400 *2; s8 "STR4"; dnl index 9
 315 2; 4; 0; 0; 0x010400 *2; s8 "STR5"; dnl index 10
 316 2; 6; 0; 0; 0x010600 *2; s8 "STR6"; dnl index 11
 317 2; 7; 0; 0; 0x010700 *2; s8 "STR7"; dnl index 12
 318 2; 8; 0; 0; 0x010800 *2; s8 "STR8"; dnl index 13
 319 2; 9; 0; 0; 0x010900 *2; "STR9"; i8 230; s3 ""; dnl index 14
 320 2; -1; 0; 0; 0; 0; s8 "";
 321 2; 12; 0; 0; 0x010c00 *2; s8 "STR12"; dnl index 16
 322 2; -1; 0; 0; 0; 0; s8 "";
 323 2; 16; 0; 0; 0x011000 *2; s8 "STR16"; dnl index 18
 324 2; -1; 0; 0; 0; 0; s8 "";
 325 2; 17; 0; 0; 0x011100 *2; s8 "STR17"; dnl index 20
 326 ( 2; -1; 0; 0; 0; 0; s8 ""; ) * 2;
 327
 328 dnl One value label for NUM1.
 329 3; 1; 1.0; i8 17; i8 238; i8 228; i8 232; i8 237; s19 " (in Russian)"; 4; 1; 1;
 330
 331 dnl Two value labels for NUM2, as a single pair of type 3 and type 4 records.
 332 3; 2; 1.0; i8 3; s7 "one"; 2.0; i8 3; s7 "two"; 4; 1; 2;
 333
 334 dnl Two value labels for NUM3, as two pairs of type 3 and type 4 records.
 335 3; 1; 3.0; i8 5; s7 "three"; 4; 1; 3;
 336 3; 1; 4.0; i8 4; s7 "four"; 4; 1; 3;
 337
 338 dnl Two common value labels for NUM4 and NUM5, plus two different ones for each.
 339 3; 1; 5.0; i8 4; s7 "five"; 4; 1; 4;
 340 3; 1; 6.0; i8 3; s7 "six"; 4; 1; 5;
 341 3; 2; 7.0; i8 5; s7 "seven"; 8.0; i8 5; s7 "eight"; 4; 2; 4; 5;
 342 3; 1; 9.0; i8 4; s7 "nine"; 4; 1; 4;
 343 3; 1; 10.0; i8 3; s7 "ten"; 4; 1; 5;
 344
 345 dnl One value label for STR1.
 346 3; 1; s8 "a"; i8 19; s23 "value label for `a'"; 4; 1; 6;
 347
 348 dnl Two value labels for STR2, as a single pair of type 3 and type 4 records.
 349 3; 2;
 350 s8 "bc"; i8 20; s23 "value label for `bc'";
 351 s8 "de"; i8 20; s23 "value label for `de'";
 352 4; 1; 7;
 353
 354 dnl Two value labels for STR3, as two pairs of type 3 and type 4 records.
 355 3; 1; s8 "fgh"; i8 21; s23 "value label for `fgh'"; 4; 1; 8;
 356 3; 1; s8 "ijk"; i8 21; s23 "value label for `ijk'"; 4; 1; 8;
 357
 358 dnl Two common value labels for STR4 and STR5, plus two different ones for each.
 359 3; 1; s8 "lmno"; i8 22; s23 "value label for `lmno'"; 4; 1; 9;
 360 3; 1; s8 "pqrs"; i8 22; s23 "value label for `pqrs'"; 4; 1; 10;
 361 3; 2;
 362 s8 "tuvw"; i8 22; s23 "value label for `tuvw'";
 363 s8 "xyzA"; i8 22; s23 "value label for `xyzA'";
 364 4; 2; 9; 10;
 365 3; 1; s8 "BCDE"; i8 22; s23 "value label for `BCDE'"; 4; 1; 9;
 366 3; 1; s8 "FGHI"; i8 22; s23 "value label for `FGHI'"; 4; 1; 10;
 367
 368 dnl One value label for STR6, STR7, STR8.
 369 3; 1; s8 "JKLMNO"; i8 24; s31 "value label for `JKLMNO'"; 4; 1; 11;
 370 3; 1; s8 "JKLMNOP"; i8 25; s31 "value label for `JKLMNOP'"; 4; 1; 12;
 371 3; 1; s8 "JKLMNOPQ"; i8 26; s31 "value label for `JKLMNOPQ'"; 4; 1; 13;
 372
 373 dnl Machine integer info record.
 374 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1251;
 375
 376 dnl Character encoding record.
 377 7; 20; 1; 12; "windows-1251";
 378
 379 7; 21; 1; COUNT (
 380 dnl One value label for STR9ж,
 381 COUNT("STR9"; i8 230); 9; 1; COUNT("RSTUVWXYZ"); COUNT("value label for `RSTUVWXYZ'");
 382
 383 dnl Two value labels for STR12.
 384 COUNT("STR12"); 12; 2;
 385 COUNT("0123456789ab"); COUNT("value label for `0123456789ab'");
 386 COUNT("cdefghijklmn"); COUNT("value label for `cdefghijklmn'");
 387
 388 dnl Three value labels for STR16.
 389 COUNT("STR16"); 16; 3;
 390 COUNT("opqrstuvwxyzABCD"); COUNT("value label for `opqrstuvwxyzABCD'");
 391 COUNT("EFGHIJKLMNOPQRST"); COUNT("value label for `EFGHIJKLMNOPQRST'");
 392 COUNT("UVWXYZ0123456789"); COUNT("value label for `UVWXYZ0123456789' with Cyrillic letters: `"; i8 244; i8 245; i8 246; "'");
 393
 394 dnl One value label for STR17.
 395 COUNT("STR17"); 17; 1;
 396 COUNT("abcdefghijklmnopq"); COUNT("value label for `abcdefghijklmnopq'");
 397 );
 398
 399 dnl Dictionary termination record.
 400 999; 0;
 401 ])
 402 for variant in be le; do
 403   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 404   AT_DATA([sys-file.sps], [dnl
 405 GET FILE='sys-file.sav'.
 406 DISPLAY DICTIONARY.
 407 ])
 408   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 409   AT_CHECK([cat pspp.csv], [0], [dnl
 410 Table: Variables
 411 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
 412 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
 413 num2,2,,Scale,Input,8,Right,F8.0,F8.0,
 414 num3,3,,Scale,Input,8,Right,F8.0,F8.0,
 415 num4,4,,Scale,Input,8,Right,F8.0,F8.0,
 416 num5,5,,Scale,Input,8,Right,F8.0,F8.0,
 417 str1,6,,Nominal,Input,1,Left,A1,A1,
 418 str2,7,,Nominal,Input,2,Left,A2,A2,
 419 str3,8,,Nominal,Input,3,Left,A3,A3,
 420 str4,9,,Nominal,Input,4,Left,A4,A4,
 421 str5,10,,Nominal,Input,4,Left,A4,A4,
 422 str6,11,,Nominal,Input,6,Left,A6,A6,
 423 str7,12,,Nominal,Input,7,Left,A7,A7,
 424 str8,13,,Nominal,Input,8,Left,A8,A8,
 425 str9ж,14,,Nominal,Input,9,Left,A9,A9,
 426 str12,15,,Nominal,Input,12,Left,A12,A12,
 427 str16,16,,Nominal,Input,16,Left,A16,A16,
 428 str17,17,,Nominal,Input,17,Left,A17,A17,
 429
 430 Table: Value Labels
 431 Variable Value,,Label
 432 num1,1,один (in Russian)
 433 num2,1,one
 434 ,2,two
 435 num3,3,three
 436 ,4,four
 437 num4,5,five
 438 ,7,seven
 439 ,8,eight
 440 ,9,nine
 441 num5,6,six
 442 ,7,seven
 443 ,8,eight
 444 ,10,ten
 445 str1,a,value label for `a'
 446 str2,bc,value label for `bc'
 447 ,de,value label for `de'
 448 str3,fgh,value label for `fgh'
 449 ,ijk,value label for `ijk'
 450 str4,BCDE,value label for `BCDE'
 451 ,lmno,value label for `lmno'
 452 ,tuvw,value label for `tuvw'
 453 ,xyzA,value label for `xyzA'
 454 str5,FGHI,value label for `FGHI'
 455 ,pqrs,value label for `pqrs'
 456 ,tuvw,value label for `tuvw'
 457 ,xyzA,value label for `xyzA'
 458 str6,JKLMNO,value label for `JKLMNO'
 459 str7,JKLMNOP,value label for `JKLMNOP'
 460 str8,JKLMNOPQ,value label for `JKLMNOPQ'
 461 str9ж,RSTUVWXYZ,value label for `RSTUVWXYZ'
 462 str12,0123456789ab,value label for `0123456789ab'
 463 ,cdefghijklmn,value label for `cdefghijklmn'
 464 str16,EFGHIJKLMNOPQRST,value label for `EFGHIJKLMNOPQRST'
 465 ,UVWXYZ0123456789,value label for `UVWXYZ0123456789' with Cyrillic letters: `фхц'
 466 ,opqrstuvwxyzABCD,value label for `opqrstuvwxyzABCD'
 467 str17,abcdefghijklmnopq,value label for `abcdefghijklmnopq'
 468 ])
 469 done
 470 AT_CLEANUP
 471
 472 AT_SETUP([documents])
 473 AT_KEYWORDS([sack synthetic system file positive])
 474 AT_DATA([sys-file.sack], [dnl
 475 dnl File header.
 476 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 477 2; dnl Layout code
 478 1; dnl Nominal case size
 479 0; dnl Not compressed
 480 0; dnl Not weighted
 481 1; dnl 1 case.
 482 100.0; dnl Bias.
 483 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 484 i8 0 *3;
 485
 486 dnl Numeric variable, no label or missing values.
 487 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
 488
 489 dnl Machine integer info record.
 490 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1252;
 491
 492 dnl Document record.
 493 6; 5;
 494 s80 "First line of documents";
 495 s80 "Second line of documents";
 496 "abb"; i8 233; " appliqu"; i8 233; " attach"; i8 233; " blas"; i8 233; " caf"; i8 233; " canap"; i8 233; " clich"; i8 233; " consomm"; i8 233;
 497 s25 "";
 498 s80 "";
 499 s80 "Last line of documents";
 500
 501 dnl Character encoding record.
 502 7; 20; 1; 12; "windows-1252";
 503
 504 dnl Dictionary termination record.
 505 999; 0;
 506
 507 dnl Data.
 508 1.0;
 509 ])
 510 for variant in be le; do
 511   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 512   AT_DATA([sys-file.sps], [dnl
 513 GET FILE='sys-file.sav'.
 514 DISPLAY DOCUMENTS.
 515 LIST.
 516 ])
 517   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 518   AT_CHECK([cat pspp.csv], [0], [dnl
 519 Table: Documents
 520 "First line of documents
 521 Second line of documents
 522 abbé appliqué attaché blasé café canapé cliché consommé
 523
 524 Last line of documents"
 525
 526 Table: Data List
 527 num1
 528 1
 529 ])
 530 done
 531 AT_CLEANUP
 532
 533 AT_SETUP([empty document record])
 534 AT_KEYWORDS([sack synthetic system file positive])
 535 AT_DATA([sys-file.sack], [dnl
 536 dnl File header.
 537 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 538 2; dnl Layout code
 539 1; dnl Nominal case size
 540 0; dnl Not compressed
 541 0; dnl Not weighted
 542 1; dnl 1 case.
 543 100.0; dnl Bias.
 544 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 545 i8 0 *3;
 546
 547 dnl Numeric variable, no label or missing values.
 548 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
 549
 550 dnl Machine integer info record.
 551 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1252;
 552
 553 dnl Document record.
 554 6; 0;
 555
 556 dnl Character encoding record.
 557 7; 20; 1; 12; "windows-1252";
 558
 559 dnl Dictionary termination record.
 560 999; 0;
 561
 562 dnl Data.
 563 1.0;
 564 ])
 565 for variant in be le; do
 566   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 567   AT_DATA([sys-file.sps], [dnl
 568 GET FILE='sys-file.sav'.
 569 LIST.
 570 ])
 571   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 572   AT_CHECK([cat pspp.csv], [0], [dnl
 573 Table: Data List
 574 num1
 575 1
 576 ])
 577 done
 578 AT_CLEANUP
 579
 580 AT_SETUP([multiple response sets])
 581 AT_KEYWORDS([sack synthetic system file positive])
 582 AT_DATA([sys-file.sack], [dnl
 583 dnl File header.
 584 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 585 2; dnl Layout code
 586 16; dnl Nominal case size
 587 0; dnl Not compressed
 588 0; dnl Not weighted
 589 0; dnl No cases.
 590 100.0; dnl Bias.
 591 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 592 i8 0 *3;
 593
 594 dnl $a
 595 2; 0; 0; 0; 0x050800 *2; i8 0x82; i8 0xa0; s6 "";
 596 2; 0; 0; 0; 0x050800 *2; s8 "B";
 597 2; 0; 0; 0; 0x050800 *2; s8 "C";
 598
 599 dnl $b
 600 2; 0; 0; 0; 0x050800 *2; s8 "D";
 601 2; 0; 0; 0; 0x050800 *2; s8 "E";
 602 2; 0; 0; 0; 0x050800 *2; s8 "F";
 603 2; 0; 0; 0; 0x050800 *2; s8 "G";
 604
 605 dnl $c
 606 2; 4; 0; 0; 0x010400 *2; s8 "H";
 607 2; 4; 0; 0; 0x010400 *2; s8 "I";
 608 2; 4; 0; 0; 0x010400 *2; s8 "J";
 609
 610 dnl $d
 611 2; 0; 0; 0; 0x050800 *2; s8 "K";
 612 2; 0; 0; 0; 0x050800 *2; s8 "L";
 613 2; 0; 0; 0; 0x050800 *2; s8 "M";
 614
 615 dnl $e
 616 2; 6; 0; 0; 0x010600 *2; s8 "N";
 617 2; 6; 0; 0; 0x010600 *2; s8 "O";
 618 2; 6; 0; 0; 0x010600 *2; s8 "P";
 619
 620 dnl Machine integer info record.
 621 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 932;
 622
 623 7; 7; 1;
 624 COUNT(
 625   "$a=C 10 my mcgroup "; i8 0x82; i8 0xa0; " b c"; i8 10;
 626   "$b=D2 55 0  g e f d"; i8 10; i8 10;
 627   "$c=D4 "; i8 0x82; i8 0xcd; i8 0x82; i8 0xa2; " 10 mdgroup #2 h i j"; i8 10);
 628
 629 7; 19; 1;
 630 COUNT(
 631   i8 10;
 632   "$d=E 1 2 34 13 third mdgroup k l m"; i8 10;
 633   "$e=E 11 6 choice 0  n o p"; i8 10; i8 10; i8 10; i8 10);
 634
 635 dnl Character encoding record.
 636 7; 20; 1; 9; "shift_jis";
 637
 638 dnl Dictionary termination record.
 639 999; 0;
 640 ])
 641 for variant in be le; do
 642   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 643   AT_DATA([sys-file.sps], [dnl
 644 GET FILE='sys-file.sav'.
 645 MRSETS /DISPLAY NAME=ALL.
 646 ])
 647   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 648   AT_CHECK([cat pspp.csv], [0], [dnl
 649 Table: Multiple Response Sets
 650 Name,Label,Encoding,Counted Value,Member Variables
 651 $a,my mcgroup,Categories,,"あ
 652 b
 653 c"
 654 $b,,Dichotomies,55,"g
 655 e
 656 f
 657 d"
 658 $c,mdgroup #2,Dichotomies,はい,"h
 659 i
 660 j"
 661 $d,third mdgroup,Dichotomies,34,"k
 662 l
 663 m"
 664 $e,,Dichotomies,choice,"n
 665 o
 666 p"
 667 ])
 668 done
 669 AT_CLEANUP
 670
 671 dnl Also checks for handling of CR-only line ends in file label and
 672 dnl extra product info.
 673 AT_SETUP([extra product info])
 674 AT_KEYWORDS([sack synthetic system file positive])
 675 AT_DATA([sys-file.sack], [dnl
 676 dnl File header.
 677 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 678 2; dnl Layout code
 679 4; dnl Nominal case size
 680 0; dnl Not compressed
 681 0; dnl Not weighted
 682 0; dnl No cases.
 683 100.0; dnl Bias.
 684 "01 Jan 11"; "20:53:52"; "PSPP synthetic"; i8 13; s49 "test file";
 685 i8 0 *3;
 686
 687 dnl Numeric variables.
 688 2; 0; 0; 0; 0x050800 *2; s8 "A";
 689 2; 0; 0; 0; 0x050800 *2; s8 "B";
 690 2; 0; 0; 0; 0x050800 *2; s8 "C";
 691 2; 0; 0; 0; 0x050800 *2; s8 "D";
 692
 693 dnl Extra product info.
 694 7; 10; 1; COUNT ("Extra product info"; i8 13; "another line"; i8 13; "blah");
 695
 696 dnl Character encoding record.
 697 7; 20; 1; 12; "windows-1252";
 698
 699 dnl Dictionary termination record.
 700 999; 0;
 701 ])
 702 for variant in be le; do
 703   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 704   AT_DATA([sys-file.sps], [dnl
 705 SYSFILE INFO FILE='sys-file.sav'.
 706 ])
 707   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 708   AT_CHECK([sed 8q pspp.csv], [0], [dnl
 709 Table: File Information
 710 File,sys-file.sav
 711 Label,"PSPP synthetic
 712 test file"
 713 Created,01 Jan 11 20:53:52 by $(@%:@) SPSS DATA FILE PSPP synthetic test file
 714 Product,"Extra product info
 715 another line
 716 blah"
 717 ])
 718 done
 719 AT_CLEANUP
 720
 721 AT_SETUP([variable display parameters, without width])
 722 AT_KEYWORDS([sack synthetic system file positive])
 723 AT_DATA([sys-file.sack], [dnl
 724 dnl File header.
 725 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 726 2; dnl Layout code
 727 19; dnl Nominal case size
 728 0; dnl Not compressed
 729 0; dnl Not weighted
 730 0; dnl No cases.
 731 100.0; dnl Bias.
 732 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 733 i8 0 *3;
 734
 735 dnl Numeric variables.
 736 2; 0; 0; 0; 0x050800 *2; s8 "A";
 737 2; 0; 0; 0; 0x050800 *2; s8 "B";
 738 2; 0; 0; 0; 0x050800 *2; s8 "C";
 739 2; 0; 0; 0; 0x050800 *2; s8 "D";
 740
 741 dnl Short string variables.
 742 2; 3; 0; 0; 0x010300 *2; s8 "H";
 743 2; 3; 0; 0; 0x010300 *2; s8 "I";
 744 2; 3; 0; 0; 0x010300 *2; s8 "J";
 745 2; 3; 0; 0; 0x010300 *2; s8 "K";
 746
 747 dnl Long string variables.
 748 2; 9; 0; 0; 0x010900 *2; s8 "L";
 749 2; -1; 0; 0; 0; 0; s8 "";
 750 2; 10; 0; 0; 0x010a00 *2; s8 "M";
 751 2; -1; 0; 0; 0; 0; s8 "";
 752 2; 17; 0; 0; 0x011100 *2; s8 "N";
 753 ( 2; -1; 0; 0; 0; 0; s8 "" ) * 2;
 754 2; 25; 0; 0; 0x011900 *2; s8 "O";
 755 ( 2; -1; 0; 0; 0; 0; s8 "" ) * 3;
 756
 757 dnl Variable display parameters
 758 7; 11; 4; 24;
 759 1; 0;
 760 2; 0;
 761 3; 0;
 762 1; 1;
 763 2; 1;
 764 3; 1;
 765 1; 2;
 766 2; 2;
 767 3; 2;
 768 0; 0;
 769 0; 1;
 770 0; 2;
 771
 772 dnl Character encoding record.
 773 7; 20; 1; 12; "windows-1252";
 774
 775 dnl Dictionary termination record.
 776 999; 0;
 777 ])
 778 for variant in be le; do
 779   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 780   AT_DATA([sys-file.sps], [dnl
 781 GET FILE='sys-file.sav'.
 782 DISPLAY DICTIONARY.
 783 ])
 784   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 785   AT_CHECK([cat pspp.csv], [0], [dnl
 786 Table: Variables
 787 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
 788 a,1,,Nominal,Input,8,Left,F8.0,F8.0,
 789 b,2,,Ordinal,Input,8,Left,F8.0,F8.0,
 790 c,3,,Scale,Input,8,Left,F8.0,F8.0,
 791 d,4,,Nominal,Input,8,Right,F8.0,F8.0,
 792 h,5,,Ordinal,Input,3,Right,A3,A3,
 793 i,6,,Scale,Input,3,Right,A3,A3,
 794 j,7,,Nominal,Input,3,Center,A3,A3,
 795 k,8,,Ordinal,Input,3,Center,A3,A3,
 796 l,9,,Scale,Input,9,Center,A9,A9,
 797 m,10,,Nominal,Input,10,Left,A10,A10,
 798 n,11,,Nominal,Input,17,Right,A17,A17,
 799 o,12,,Nominal,Input,25,Center,A25,A25,
 800 ])
 801 done
 802 AT_CLEANUP
 803
 804 AT_SETUP([variable display parameters, with width])
 805 AT_KEYWORDS([sack synthetic system file positive])
 806 AT_DATA([sys-file.sack], [dnl
 807 dnl File header.
 808 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 809 2; dnl Layout code
 810 19; dnl Nominal case size
 811 0; dnl Not compressed
 812 0; dnl Not weighted
 813 0; dnl No cases.
 814 100.0; dnl Bias.
 815 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 816 i8 0 *3;
 817
 818 dnl Numeric variables.
 819 2; 0; 0; 0; 0x050800 *2; s8 "A";
 820 2; 0; 0; 0; 0x050800 *2; s8 "B";
 821 2; 0; 0; 0; 0x050800 *2; s8 "C";
 822 2; 0; 0; 0; 0x050800 *2; s8 "D";
 823
 824 dnl Short string variables.
 825 2; 3; 0; 0; 0x010300 *2; s8 "H";
 826 2; 3; 0; 0; 0x010300 *2; s8 "I";
 827 2; 3; 0; 0; 0x010300 *2; s8 "J";
 828 2; 3; 0; 0; 0x010300 *2; s8 "K";
 829
 830 dnl Long string variables.
 831 2; 9; 0; 0; 0x010900 *2; s8 "L";
 832 2; -1; 0; 0; 0; 0; s8 "";
 833 2; 10; 0; 0; 0x010a00 *2; s8 "M";
 834 2; -1; 0; 0; 0; 0; s8 "";
 835 2; 17; 0; 0; 0x011100 *2; s8 "N";
 836 ( 2; -1; 0; 0; 0; 0; s8 "" ) * 2;
 837 2; 25; 0; 0; 0x011900 *2; s8 "O";
 838 ( 2; -1; 0; 0; 0; 0; s8 "" ) * 3;
 839
 840 dnl Variable display parameters
 841 7; 11; 4; 36;
 842 1; 1; 0;
 843 2; 2; 0;
 844 3; 3; 0;
 845 1; 4; 1;
 846 2; 5; 1;
 847 3; 6; 1;
 848 1; 7; 2;
 849 2; 8; 2;
 850 3; 9; 2;
 851 0; 10; 0;
 852 0; 11; 1;
 853 0; 12; 2;
 854
 855 dnl Character encoding record.
 856 7; 20; 1; 12; "windows-1252";
 857
 858 dnl Dictionary termination record.
 859 999; 0;
 860 ])
 861 for variant in be le; do
 862   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 863   AT_DATA([sys-file.sps], [dnl
 864 GET FILE='sys-file.sav'.
 865 DISPLAY DICTIONARY.
 866 ])
 867   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 868   AT_CHECK([cat pspp.csv], [0], [dnl
 869 Table: Variables
 870 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
 871 a,1,,Nominal,Input,1,Left,F8.0,F8.0,
 872 b,2,,Ordinal,Input,2,Left,F8.0,F8.0,
 873 c,3,,Scale,Input,3,Left,F8.0,F8.0,
 874 d,4,,Nominal,Input,4,Right,F8.0,F8.0,
 875 h,5,,Ordinal,Input,5,Right,A3,A3,
 876 i,6,,Scale,Input,6,Right,A3,A3,
 877 j,7,,Nominal,Input,7,Center,A3,A3,
 878 k,8,,Ordinal,Input,8,Center,A3,A3,
 879 l,9,,Scale,Input,9,Center,A9,A9,
 880 m,10,,Nominal,Input,10,Left,A10,A10,
 881 n,11,,Nominal,Input,11,Right,A17,A17,
 882 o,12,,Nominal,Input,12,Center,A25,A25,
 883 ])
 884 done
 885 AT_CLEANUP
 886
 887 AT_SETUP([long variable names])
 888 AT_KEYWORDS([sack synthetic system file positive])
 889 AT_DATA([sys-file.sack], [dnl
 890 dnl File header.
 891 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 892 2; dnl Layout code
 893 7; dnl Nominal case size
 894 0; dnl Not compressed
 895 0; dnl Not weighted
 896 0; dnl No cases.
 897 100.0; dnl Bias.
 898 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 899 i8 0 *3;
 900
 901 dnl Numeric variables.
 902 2; 0; 0; 0; 0x050800 *2; s8 "LONGVARI";
 903 2; 0; 0; 0; 0x050800 *2; s8 "LONGVA_A";
 904 2; 0; 0; 0; 0x050800 *2; s8 "LONGVA_B";
 905 2; 0; 0; 0; 0x050800 *2; s8 "LONGVA_C";
 906 2; 0; 0; 0; 0x050800 *2; "CO"; i8 214; "RDINA";
 907 2; 0; 0; 0; 0x050800 *2; "CO"; i8 214; "RDI_A";
 908 2; 0; 0; 0; 0x050800 *2; "CO"; i8 214; "RDI_B";
 909
 910 dnl Machine integer info record.
 911 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1252;
 912
 913 dnl Machine floating-point info record.
 914 7; 4; 8; 3; SYSMIS; HIGHEST; LOWEST;
 915
 916 dnl Long variable names.
 917 7; 13; 1; COUNT (
 918 "LONGVARI=LongVariableName1"; i8 9;
 919 "LONGVA_A=LongVariableName2"; i8 9;
 920 "LONGVA_B=LongVariableName3"; i8 9;
 921 "LONGVA_C=LongVariableName4"; i8 9;
 922 "CO"; i8 214; "RDINA=Co"; i8 246; "rdinate_X"; i8 9;
 923 "CO"; i8 214; "RDI_A=Co"; i8 246; "rdinate_Y"; i8 9;
 924 "CO"; i8 214; "RDI_B=Co"; i8 246; "rdinate_Z";
 925 );
 926
 927 dnl Character encoding record.
 928 7; 20; 1; 12; "windows-1252";
 929
 930 dnl Dictionary termination record.
 931 999; 0;
 932 ])
 933 for variant in be le; do
 934   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
 935   AT_DATA([sys-file.sps], [dnl
 936 GET FILE='sys-file.sav'.
 937 DISPLAY DICTIONARY.
 938 ])
 939   AT_CHECK([pspp -o pspp.csv sys-file.sps])
 940   AT_CHECK([cat pspp.csv], [0], [dnl
 941 Table: Variables
 942 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
 943 LongVariableName1,1,,Scale,Input,8,Right,F8.0,F8.0,
 944 LongVariableName2,2,,Scale,Input,8,Right,F8.0,F8.0,
 945 LongVariableName3,3,,Scale,Input,8,Right,F8.0,F8.0,
 946 LongVariableName4,4,,Scale,Input,8,Right,F8.0,F8.0,
 947 Coördinate_X,5,,Scale,Input,8,Right,F8.0,F8.0,
 948 Coördinate_Y,6,,Scale,Input,8,Right,F8.0,F8.0,
 949 Coördinate_Z,7,,Scale,Input,8,Right,F8.0,F8.0,
 950 ])
 951 done
 952 AT_CLEANUP
 953
 954 AT_SETUP([very long strings])
 955 AT_KEYWORDS([sack synthetic system file positive])
 956 AT_DATA([sys-file.sack], [dnl
 957 dnl File header.
 958 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
 959 2; dnl Layout code
 960 109; dnl Nominal case size
 961 0; dnl Not compressed
 962 0; dnl Not weighted
 963 1; dnl No cases.
 964 100.0; dnl Bias.
 965 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
 966 i8 0 *3;
 967
 968 dnl 256-byte string.
 969 2; 255; 0; 0; 0x01FF00 *2; "S"; i8 201; s6 "Q256";
 970 (2; -1; 0; 0; 0; 0; s8 "") * 31;
 971 2; 4; 0; 0; 0x010400 *2; "S"; i8 201; "Q256_1";
 972
 973 dnl 600-byte string.
 974 2; 255; 0; 0; 0x01FF00 *2; s8 "STR600";
 975 (2; -1; 0; 0; 0; 0; s8 "") * 31;
 976 2; 255; 0; 0; 0x01FF00 *2; s8 "STR600_1";
 977 (2; -1; 0; 0; 0; 0; s8 "") * 31;
 978 2; 96; 0; 0; 0x016000 *2; s8 "STR600_2";
 979 (2; -1; 0; 0; 0; 0; s8 "") * 11;
 980
 981 dnl Machine integer info record.
 982 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1252;
 983
 984 dnl Very long string record.
 985 7; 14; 1; COUNT (
 986 "S"; i8 201; "Q256=00256"; i8 0; i8 9;
 987 "STR600=00600"; i8 0; i8 9;
 988 );
 989
 990 dnl Character encoding record.
 991 7; 20; 1; 12; "windows-1252";
 992
 993 dnl Dictionary termination record.
 994 999; 0;
 995
 996 dnl Data.
 997 "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#" * 4;
 998 "abcdefgh";
 999 "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#" * 9;
1000 "abcdefghijklmnopqrstuvwxyzABCDEF";
1001 ])
1002 for variant in be le; do
1003   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1004   AT_DATA([sys-file.sps], [dnl
1005 GET FILE='sys-file.sav'.
1006 DISPLAY DICTIONARY.
1007 LIST.
1008 ])
1009   AT_CHECK([pspp -o pspp.csv sys-file.sps])
1010   AT_CHECK([cat pspp.csv], [0], [dnl
1011 Table: Variables
1012 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1013 séq256,1,,Nominal,Input,32,Left,A256,A256,
1014 str600,2,,Nominal,Input,32,Left,A600,A600,
1015
1016 Table: Data List
1017 séq256,str600
1018 abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@a,abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789@#abcdefghijklmnopqrstuvwxyz
1019 ])
1020 done
1021 AT_CLEANUP
1022
1023 AT_SETUP([data file and variable attributes])
1024 AT_KEYWORDS([sack synthetic system file positive])
1025 AT_DATA([sys-file.sack], [dnl
1026 dnl File header.
1027 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1028 2; dnl Layout code
1029 3; dnl Nominal case size
1030 0; dnl Not compressed
1031 0; dnl Not weighted
1032 0; dnl 1 case.
1033 100.0; dnl Bias.
1034 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
1035 i8 0 *3;
1036
1037 dnl Variables.
1038 2; 0; 0; 0; 0x050800 *2; s8 "FIRSTVAR";
1039 2; 0; 0; 0; 0x050800 *2; s8 "SECONDVA";
1040 2; 0; 0; 0; 0x050800 *2; s8 "THIRDVAR";
1041
1042 dnl Machine integer info record.
1043 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1252;
1044
1045 dnl Long variable names.
1046 7; 13; 1; COUNT (
1047 "FIRSTVAR=FirstVariable"; i8 9;
1048 "SECONDVA=S"; i8 233; "condVariable"; i8 9;
1049 "THIRDVAR=ThirdVariable"; i8 9
1050 );
1051
1052 dnl Data file attributes record.
1053 7; 17; 1; COUNT (
1054 "Attr1('Value1'"; i8 10; "''d"; i8 233; "claration''"; i8 10; ")";
1055 "S"; i8 233; "condAttr('123'"; i8 10; "'456'"; i8 10; ")";
1056 );
1057
1058 dnl Variable attributes record.
1059 7; 18; 1; COUNT (
1060 "FirstVariable:";
1061   "ad"; i8 232; "le('23'"; i8 10; "'34'"; i8 10; ")";
1062   "bert('123'"; i8 10; ")";
1063   "$@Role('1'"; i8 10; ")";
1064 "/S"; i8 233; "condVariable:";
1065   "xyzzy('quux'"; i8 10; ")";
1066 );
1067
1068 dnl Another variable attributes record.
1069 dnl Only system files written by "Stata 14.1/-savespss- 1.77 by S.Radyakin"
1070 dnl include multiple variable attributes records.
1071 7; 18; 1; COUNT ("ThirdVariable:fizz('buzz'"; i8 10; ")";);
1072
1073 dnl Character encoding record.
1074 7; 20; 1; 12; "windows-1252";
1075
1076 dnl Dictionary termination record.
1077 999; 0;
1078 ])
1079 for variant in be le; do
1080   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1081   AT_DATA([sys-file.sps], [dnl
1082 GET FILE='sys-file.sav'.
1083 DISPLAY @ATTRIBUTES.
1084 ])
1085   AT_CHECK([pspp -o pspp.csv sys-file.sps])
1086   AT_CHECK([cat pspp.csv], [0],
1087 [[Table: Variable and Dataset Attributes
1088 Variable and Name,,Value
1089 (dataset),Attr1[1],Value1
1090 ,Attr1[2],'déclaration'
1091 ,SécondAttr[1],123
1092 ,SécondAttr[2],456
1093 FirstVariable,$@Role,1
1094 ,adèle[1],23
1095 ,adèle[2],34
1096 ,bert,123
1097 SécondVariable,xyzzy,quux
1098 ThirdVariable,fizz,buzz
1099 ]])
1100   AT_DATA([sys-file.sps], [dnl
1101 GET FILE='sys-file.sav'.
1102 DISPLAY DICTIONARY.
1103 ])
1104   AT_CHECK([pspp -o pspp.csv sys-file.sps])
1105   AT_CHECK([cat pspp.csv], [0],
1106 [[Table: Variables
1107 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1108 FirstVariable,1,,Scale,Output,8,Right,F8.0,F8.0,
1109 SécondVariable,2,,Scale,Input,8,Right,F8.0,F8.0,
1110 ThirdVariable,3,,Scale,Input,8,Right,F8.0,F8.0,
1111 ]])
1112 done
1113 AT_CLEANUP
1114
1115 AT_SETUP([variable roles])
1116 AT_KEYWORDS([sack synthetic system file positive])
1117 AT_DATA([sys-file.sack], [dnl
1118 dnl File header.
1119 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1120 2; dnl Layout code
1121 7; dnl Nominal case size
1122 0; dnl Not compressed
1123 0; dnl Not weighted
1124 0; dnl 1 case.
1125 100.0; dnl Bias.
1126 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
1127 i8 0 *3;
1128
1129 dnl Variables.
1130 2; 0; 0; 0; 0x050800 *2; s8 "I";
1131 2; 0; 0; 0; 0x050800 *2; s8 "O";
1132 2; 0; 0; 0; 0x050800 *2; s8 "B";
1133 2; 0; 0; 0; 0x050800 *2; s8 "N";
1134 2; 0; 0; 0; 0x050800 *2; s8 "P";
1135 2; 0; 0; 0; 0x050800 *2; s8 "S";
1136 2; 0; 0; 0; 0x050800 *2; s8 "X";
1137
1138 dnl Machine integer info record.
1139 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1252;
1140
1141 dnl Variable attributes record.
1142 7; 18; 1; COUNT (
1143 "I:$@Role('0'"; i8 10; ")";
1144 "/O:$@Role('1'"; i8 10; ")";
1145 "/B:$@Role('2'"; i8 10; ")";
1146 "/N:$@Role('3'"; i8 10; ")";
1147 "/P:$@Role('4'"; i8 10; ")";
1148 "/S:$@Role('5'"; i8 10; ")";
1149 "/X:$@Role('6'"; i8 10; ")";
1150 );
1151
1152 dnl Character encoding record.
1153 7; 20; 1; 12; "windows-1252";
1154
1155 dnl Dictionary termination record.
1156 999; 0;
1157 ])
1158 for variant in be le; do
1159   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1160   AT_DATA([sys-file.sps], [dnl
1161 GET FILE='sys-file.sav'.
1162 DISPLAY DICTIONARY.
1163 ])
1164   AT_CHECK([pspp -o pspp.csv sys-file.sps], [0], [dnl
1165 warning: `sys-file.sav': Invalid role for variable x.
1166 ])
1167   AT_CHECK([cat pspp.csv], [0], [dnl
1168 warning: `sys-file.sav': Invalid role for variable x.
1169
1170 Table: Variables
1171 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1172 i,1,,Scale,Input,8,Right,F8.0,F8.0,
1173 o,2,,Scale,Output,8,Right,F8.0,F8.0,
1174 b,3,,Scale,Both,8,Right,F8.0,F8.0,
1175 n,4,,Scale,None,8,Right,F8.0,F8.0,
1176 p,5,,Scale,Partition,8,Right,F8.0,F8.0,
1177 s,6,,Scale,Split,8,Right,F8.0,F8.0,
1178 x,7,,Scale,Input,8,Right,F8.0,F8.0,
1179 ])
1180 done
1181 AT_CLEANUP
1182
1183 AT_SETUP([compressed data])
1184 AT_KEYWORDS([sack synthetic system file positive])
1185 AT_DATA([sys-file.sack], [dnl
1186 dnl File header.
1187 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1188 2; dnl Layout code
1189 6; dnl Nominal case size
1190 1; dnl Simple compression
1191 0; dnl Not weighted
1192 -1; dnl Unspecified number of cases.
1193 100.0; dnl Bias.
1194 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
1195 i8 0 *3;
1196
1197 dnl Numeric variables.
1198 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1199 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
1200
1201 dnl String variable.
1202 2; 4; 0; 0; 0x010400 *2; s8 "STR4";
1203 2; 8; 0; 0; 0x010800 *2; s8 "STR8";
1204 2; 15; 0; 0; 0x010f00 *2; s8 "STR15";
1205 2; -1; 0; 0; 0; 0; s8 "";
1206
1207 dnl Character encoding record.
1208 7; 20; 1; 12; "windows-1252";
1209
1210 dnl Dictionary termination record.
1211 999; 0;
1212
1213 dnl Compressed data.
1214 i8 1 100 254 253 254 253; i8 255 251; "abcdefgh"; s8 "0123";
1215 i8 253 253 253 254; i8 101 102 253 253; s8 "jklm"; s8 "nopqrstu";
1216 s8 "vwxyzABC"; s8 "DEFG"; s8 "HIJKLMNO";
1217 i8 254 253 252 0 0 0 0 0; s8 "PQRSTUVW";
1218
1219 ])
1220 for variant in be le; do
1221   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1222   AT_DATA([sys-file.sps], [dnl
1223 GET FILE='sys-file.sav'.
1224 DISPLAY DICTIONARY.
1225 LIST.
1226 ])
1227   AT_CHECK([pspp -o pspp.csv sys-file.sps])
1228   AT_CHECK([cat pspp.csv], [0], [dnl
1229 Table: Variables
1230 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1231 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
1232 num2,2,,Scale,Input,8,Right,F8.0,F8.0,
1233 str4,3,,Nominal,Input,4,Left,A4,A4,
1234 str8,4,,Nominal,Input,8,Left,A8,A8,
1235 str15,5,,Nominal,Input,15,Left,A15,A15,
1236
1237 Table: Data List
1238 num1,num2,str4,str8,str15
1239 -99,0,,abcdefgh,0123
1240 .,151,jklm,nopqrstu,vwxyzABC
1241 1,2,DEFG,HIJKLMNO,PQRSTUV
1242 ])
1243 done
1244 AT_CLEANUP
1245
1246 AT_SETUP([compressed data, zero bias])
1247 AT_KEYWORDS([sack synthetic system file positive])
1248 AT_DATA([sys-file.sack], [dnl
1249 dnl File header.
1250 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1251 2; dnl Layout code
1252 6; dnl Nominal case size
1253 1; dnl Simple compression.
1254 0; dnl Not weighted
1255 -1; dnl Unspecified number of cases.
1256 0.0; dnl Bias.
1257 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
1258 i8 0 *3;
1259
1260 dnl Numeric variables.
1261 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1262 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
1263
1264 dnl String variable.
1265 2; 4; 0; 0; 0x010400 *2; s8 "STR4";
1266 2; 8; 0; 0; 0x010800 *2; s8 "STR8";
1267 2; 15; 0; 0; 0x010f00 *2; s8 "STR15";
1268 2; -1; 0; 0; 0; 0; s8 "";
1269
1270 dnl Character encoding record.
1271 7; 20; 1; 12; "windows-1252";
1272
1273 dnl Dictionary termination record.
1274 999; 0;
1275
1276 dnl Compressed data.
1277 i8 1 100 254 253 254 253; i8 255 251; "abcdefgh"; s8 "0123";
1278 i8 253 253 253 254; i8 101 102 253 253; s8 "jklm"; s8 "nopqrstu";
1279 s8 "vwxyzABC"; s8 "DEFG"; s8 "HIJKLMNO";
1280 i8 254 253 252 0 0 0 0 0; s8 "PQRSTUVW";
1281
1282 ])
1283 for variant in be le; do
1284   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1285   AT_DATA([sys-file.sps], [dnl
1286 GET FILE='sys-file.sav'.
1287 DISPLAY DICTIONARY.
1288 LIST.
1289 ])
1290   AT_CHECK([pspp -o pspp.csv sys-file.sps], [0])
1291   AT_CHECK([cat pspp.csv], [0], [dnl
1292 Table: Variables
1293 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1294 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
1295 num2,2,,Scale,Input,8,Right,F8.0,F8.0,
1296 str4,3,,Nominal,Input,4,Left,A4,A4,
1297 str8,4,,Nominal,Input,8,Left,A8,A8,
1298 str15,5,,Nominal,Input,15,Left,A15,A15,
1299
1300 Table: Data List
1301 num1,num2,str4,str8,str15
1302 1,100,,abcdefgh,0123
1303 .,251,jklm,nopqrstu,vwxyzABC
1304 101,102,DEFG,HIJKLMNO,PQRSTUV
1305 ])
1306 done
1307 AT_CLEANUP
1308
1309 AT_SETUP([compressed data, other bias])
1310 AT_KEYWORDS([sack synthetic system file positive])
1311 AT_DATA([sys-file.sack], [dnl
1312 dnl File header.
1313 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1314 2; dnl Layout code
1315 6; dnl Nominal case size
1316 1; dnl Simple compression.
1317 0; dnl Not weighted
1318 -1; dnl Unspecified number of cases.
1319 50.0; dnl Bias.
1320 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
1321 i8 0 *3;
1322
1323 dnl Numeric variables.
1324 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1325 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
1326
1327 dnl String variable.
1328 2; 4; 0; 0; 0x010400 *2; s8 "STR4";
1329 2; 8; 0; 0; 0x010800 *2; s8 "STR8";
1330 2; 15; 0; 0; 0x010f00 *2; s8 "STR15";
1331 2; -1; 0; 0; 0; 0; s8 "";
1332
1333 dnl Character encoding record.
1334 7; 20; 1; 12; "windows-1252";
1335
1336 dnl Dictionary termination record.
1337 999; 0;
1338
1339 dnl Compressed data.
1340 i8 1 100 254 253 254 253; i8 255 251; "abcdefgh"; s8 "0123";
1341 i8 253 253 253 254; i8 101 102 253 253; s8 "jklm"; s8 "nopqrstu";
1342 s8 "vwxyzABC"; s8 "DEFG"; s8 "HIJKLMNO";
1343 i8 254 253 252 0 0 0 0 0; s8 "PQRSTUVW";
1344
1345 ])
1346 for variant in be le; do
1347   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1348   AT_DATA([sys-file.sps], [dnl
1349 GET FILE='sys-file.sav'.
1350 DISPLAY DICTIONARY.
1351 LIST.
1352 ])
1353   AT_CHECK([pspp -o pspp.csv sys-file.sps], [0],
1354     [warning: `sys-file.sav' near offset 0x54: Compression bias is not the usual value of 100, or system file uses unrecognized floating-point format.
1355 ])
1356   AT_CHECK([cat pspp.csv], [0], [dnl
1357 "warning: `sys-file.sav' near offset 0x54: Compression bias is not the usual value of 100, or system file uses unrecognized floating-point format."
1358
1359 Table: Variables
1360 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1361 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
1362 num2,2,,Scale,Input,8,Right,F8.0,F8.0,
1363 str4,3,,Nominal,Input,4,Left,A4,A4,
1364 str8,4,,Nominal,Input,8,Left,A8,A8,
1365 str15,5,,Nominal,Input,15,Left,A15,A15,
1366
1367 Table: Data List
1368 num1,num2,str4,str8,str15
1369 -49,50,,abcdefgh,0123
1370 .,201,jklm,nopqrstu,vwxyzABC
1371 51,52,DEFG,HIJKLMNO,PQRSTUV
1372 ])
1373 done
1374 AT_CLEANUP
1375
1376 m4_divert_push([PREPARE_TESTS])
1377 zcompressed_sack () {
1378     cat <<'EOF'
1379 dnl File header.
1380 "$FL3"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1381 2; dnl Layout code
1382 6; dnl Nominal case size
1383 2; dnl zlib compressed
1384 0; dnl Not weighted
1385 -1; dnl Unspecified number of cases.
1386 100.0; dnl Bias.
1387 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
1388 i8 0 *3;
1389
1390 dnl Numeric variables.
1391 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1392 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
1393
1394 dnl String variable.
1395 2; 4; 0; 0; 0x010400 *2; s8 "STR4";
1396 2; 8; 0; 0; 0x010800 *2; s8 "STR8";
1397 2; 15; 0; 0; 0x010f00 *2; s8 "STR15";
1398 2; -1; 0; 0; 0; 0; s8 "";
1399
1400 dnl Character encoding record.
1401 7; 20; 1; 12; "windows-1252";
1402
1403 dnl Dictionary termination record.
1404 999; 0;
1405
1406 dnl ZLIB data header.
1407 i64 0x194;    # zheader_ofs
1408 i64 0x205;    # ztrailer_ofs
1409 i64 48;       # ztrailer_len
1410
1411 dnl ZLIB data block.
1412 dnl
1413 dnl This is the compressed form of:
1414 dnl
1415 dnl 01 64 fe fd fe fd ff fb  61 62 63 64 65 66 67 68  |.d......abcdefgh|
1416 dnl 30 31 32 33 20 20 20 20  fd fd fd fe 65 66 fd fd  |0123    ....ef..|
1417 dnl 6a 6b 6c 6d 20 20 20 20  6e 6f 70 71 72 73 74 75  |jklm    nopqrstu|
1418 dnl 76 77 78 79 7a 41 42 43  44 45 46 47 20 20 20 20  |vwxyzABCDEFG    |
1419 dnl 48 49 4a 4b 4c 4d 4e 4f  fe fd fc 00 00 00 00 00  |HIJKLMNO........|
1420 dnl 50 51 52 53 54 55 56 57                           |PQRSTUVW|
1421 dnl
1422 dnl which is the data from the "compressed data" test.
1423 hex "78 01 63 4c f9 f7 f7 df  df ff bf 13 93 92 53 52";
1424 hex "d3 d2 33 0c 0c 8d 8c 15  80 e0 ef df bf ff 52 d3";
1425 hex "fe fe cd ca ce c9 05 f1  f3 f2 0b 0a 8b 8a 4b 4a";
1426 hex "cb ca 2b 2a ab 1c 9d 9c  5d 5c dd dc 41 e2 1e 9e";
1427 hex "5e de 3e be 7e fe ff fe  fe 61 00 81 80 c0 a0 e0";
1428 hex "90 d0 b0 70 00 0f 3f 23  d7";
1429
1430 dnl ZLIB data trailer fixed header:
1431 i64 -100;     # ztrailer_bias
1432 i64 0;        # ztrailer_zero
1433 0x3ff000;     # block_size
1434 1;            # n_blocks
1435
1436 dnl ZLIB block descriptor:
1437 i64 0x194;    # uncompressed_ofs
1438 i64 0x1ac;    # compressed_ofs
1439 88;           # uncompressed_size
1440 89;           # compressed_size
1441 EOF
1442 }
1443 m4_divert_pop([PREPARE_TESTS])
1444
1445 AT_SETUP([zcompressed data])
1446 AT_KEYWORDS([sack synthetic system file positive zlib])
1447 zcompressed_sack > sys-file.sack
1448 for variant in be le; do
1449   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1450   AT_DATA([sys-file.sps], [dnl
1451 GET FILE='sys-file.sav'.
1452 DISPLAY DICTIONARY.
1453 LIST.
1454 ])
1455   AT_CHECK([pspp -o pspp.csv sys-file.sps])
1456   AT_CHECK([cat pspp.csv], [0], [dnl
1457 Table: Variables
1458 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1459 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
1460 num2,2,,Scale,Input,8,Right,F8.0,F8.0,
1461 str4,3,,Nominal,Input,4,Left,A4,A4,
1462 str8,4,,Nominal,Input,8,Left,A8,A8,
1463 str15,5,,Nominal,Input,15,Left,A15,A15,
1464
1465 Table: Data List
1466 num1,num2,str4,str8,str15
1467 -99,0,,abcdefgh,0123
1468 .,151,jklm,nopqrstu,vwxyzABC
1469 1,2,DEFG,HIJKLMNO,PQRSTUV
1470 ])
1471 done
1472 AT_CLEANUP
1473 \f
1474 AT_BANNER([system file reader - negative])
1475
1476 AT_SETUP([no variables])
1477 AT_KEYWORDS([sack synthetic system file negative])
1478 AT_DATA([sys-file.sack], [dnl
1479 dnl File header.
1480 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1481 2; dnl Layout code
1482 0; dnl Nominal case size (empty)
1483 0; dnl Not compressed
1484 0; dnl Not weighted
1485 0; dnl 0 cases.
1486 100.0; dnl Bias.
1487 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
1488 i8 0 *3;
1489
1490 dnl Character encoding record.
1491 7; 20; 1; 12; "windows-1252";
1492
1493 dnl Dictionary termination record.
1494 999; 0;
1495 ])
1496 for variant in be le; do
1497   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1498   AT_DATA([sys-file.sps], [dnl
1499 GET FILE='sys-file.sav'.
1500 ])
1501   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
1502 sys-file.sps:1: error: GET: `sys-file.sav': Data file dictionary has no variables.
1503 ])
1504
1505   dnl At one point pspp-convert would hang forever if there were no variables,
1506   dnl so check against regression.
1507   AT_CHECK([pspp-convert sys-file.sav sys-file.txt])
1508   AT_CHECK([cat sys-file.txt], [0], [
1509 ])
1510 done
1511 AT_CLEANUP
1512
1513 AT_SETUP([unspecified character encoding])
1514 AT_KEYWORDS([sack synthetic system file positive])
1515 AT_DATA([sys-file.sack], [dnl
1516 dnl File header.
1517 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1518 2; dnl Layout code
1519 4; dnl Nominal case size
1520 0; dnl Not compressed
1521 0; dnl Not weighted
1522 0; dnl No cases.
1523 100.0; dnl Bias.
1524 "01 Jan 11"; "20:53:52";
1525 "PSPP synthetic test file: "; i8 244; i8 245; i8 246; i8 248; s34 "";
1526 i8 0 *3;
1527
1528 dnl Numeric variables.
1529 2; 0; 0; 0; 0x050800 *2; s8 "A";
1530 2; 0; 0; 0; 0x050800 *2; s8 "B";
1531 2; 0; 0; 0; 0x050800 *2; s8 "C";
1532 2; 0; 0; 0; 0x050800 *2; s8 "D";
1533
1534 dnl Dictionary termination record.
1535 999; 0;
1536 ])
1537 for variant in be le; do
1538   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1539   AT_DATA([sys-file.sps], [dnl
1540 GET 'sys-file.sav'.
1541 ])
1542   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [stdout])
1543   AT_CHECK([sed 's/default encoding.*For/default encoding.  For/' stdout], [0], [dnl
1544 "warning: `sys-file.sav': This system file does not indicate its own character encoding.  Using default encoding.  For best results, specify an encoding explicitly.  Use SYSFILE INFO with ENCODING=""DETECT"" to analyze the possible encodings."
1545 ])
1546 done
1547 AT_CLEANUP
1548
1549 AT_SETUP([misplaced type 4 record])
1550 AT_KEYWORDS([sack synthetic system file negative])
1551 AT_DATA([sys-file.sack], [dnl
1552 dnl File header.
1553 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1554 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1555
1556 dnl Numeric variable.
1557 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1558
1559 dnl Type 4 record.
1560 >>4<<;
1561 ])
1562 for variant in be le; do
1563   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1564   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1565 ])
1566   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1567    [error: `sys-file.sav' near offset 0xd4: Misplaced type 4 record.
1568 ])
1569 done
1570 AT_CLEANUP
1571
1572 AT_SETUP([bad record type])
1573 AT_KEYWORDS([sack synthetic system file negative])
1574 AT_DATA([sys-file.sack], [dnl
1575 dnl File header.
1576 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1577 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1578
1579 dnl Numeric variable.
1580 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1581
1582 dnl Type 8 record (not a valid type).
1583 >>8<<;
1584 ])
1585 for variant in be le; do
1586   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1587   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1588 ])
1589   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1590    [error: `sys-file.sav' near offset 0xd4: Unrecognized record type 8.
1591 ])
1592 done
1593 AT_CLEANUP
1594
1595 AT_SETUP([wrong number of variable positions])
1596 AT_KEYWORDS([sack synthetic system file negative])
1597 AT_DATA([sys-file.sack], [dnl
1598 dnl File header.
1599 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1600 2; >>2<<; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1601
1602 dnl Numeric variable.
1603 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1604
1605 dnl Character encoding record.
1606 7; 20; 1; 12; "windows-1252";
1607
1608 dnl End of dictionary.
1609 999; 0;
1610 ])
1611 for variant in be le; do
1612   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1613   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1614 ])
1615   AT_CHECK([pspp -O format=csv sys-file.sps], [0],
1616    [warning: `sys-file.sav': File header claims 2 variable positions but 1 were read from file.
1617 ])
1618 done
1619 AT_CLEANUP
1620
1621 AT_SETUP([variable name may not begin with `#'])
1622 AT_KEYWORDS([sack synthetic system file negative])
1623 AT_DATA([sys-file.sack], [dnl
1624 dnl File header.
1625 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1626 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1627
1628 dnl Numeric variable.
1629 2; 0; 0; 0; 0x050800 *2; s8 >>"$UM1"<<;
1630
1631 dnl Character encoding record.
1632 7; 20; 1; 12; "windows-1252";
1633
1634 dnl End of dictionary.
1635 999; 0;
1636 ])
1637 for variant in be le; do
1638   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1639   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1640 ])
1641   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1642    [error: `sys-file.sav' near offset 0xb4: Invalid variable name `$UM1'.
1643 ])
1644 done
1645 AT_CLEANUP
1646
1647 AT_SETUP([variable name may not be reserved word])
1648 AT_KEYWORDS([sack synthetic system file negative])
1649 AT_DATA([sys-file.sack], [dnl
1650 dnl File header.
1651 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1652 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1653
1654 dnl Numeric variable.
1655 2; 0; 0; 0; 0x050800 *2; s8 >>"TO"<<;
1656
1657 dnl Character encoding record.
1658 7; 20; 1; 12; "windows-1252";
1659
1660 dnl End of dictionary.
1661 999; 0;
1662 ])
1663 for variant in be le; do
1664   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1665   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1666 ])
1667   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1668    [error: `sys-file.sav' near offset 0xb4: Invalid variable name `TO'.
1669 ])
1670 done
1671 AT_CLEANUP
1672
1673 AT_SETUP([variable width must be between 0 and 255])
1674 AT_KEYWORDS([sack synthetic system file negative])
1675 AT_DATA([sys-file.sack], [dnl
1676 dnl File header.
1677 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1678 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1679
1680 dnl String variable with invalid width 256.
1681 2; 256; 0; 0; 0x050800 *2; s8 "VAR1";
1682
1683 dnl Character encoding record.
1684 7; 20; 1; 12; "windows-1252";
1685
1686 dnl End of dictionary.
1687 999; 0;
1688 ])
1689 for variant in be le; do
1690   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1691   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1692 ])
1693   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1694    [error: `sys-file.sav' near offset 0xb4: Bad width 256 for variable VAR1.
1695 ])
1696 done
1697 AT_CLEANUP
1698
1699 dnl SPSS-generated system file can contain duplicate variable names
1700 dnl (see bug #41475).
1701 AT_SETUP([duplicate variable name])
1702 AT_KEYWORDS([sack synthetic system file negative])
1703 AT_DATA([sys-file.sack], [dnl
1704 dnl File header.
1705 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1706 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1707
1708 dnl Numeric variables.
1709 2; 0; 0; 0; 0x050800 *2; s8 "VAR1";
1710 2; 0; 0; 0; 0x050800 *2; s8 "VAR1";
1711
1712 dnl Character encoding record.
1713 7; 20; 1; 12; "windows-1252";
1714
1715 dnl End of dictionary.
1716 999; 0;
1717 ])
1718 for variant in be le; do
1719   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1720   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1721 DISPLAY DICTIONARY.
1722 ])
1723   AT_CHECK([pspp -O format=csv sys-file.sps], [0],
1724    [warning: `sys-file.sav' near offset 0xd4: Renaming variable with duplicate name `VAR1' to `VAR001'.
1725
1726 Table: Variables
1727 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1728 var1,1,,Scale,Input,8,Right,F8.0,F8.0,
1729 var001,2,,Scale,Input,8,Right,F8.0,F8.0,
1730 ])
1731 done
1732 AT_CLEANUP
1733
1734 AT_SETUP([variable label indicator not 0 or 1])
1735 AT_KEYWORDS([sack synthetic system file negative])
1736 AT_DATA([sys-file.sack], [dnl
1737 dnl File header.
1738 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1739 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1740
1741 dnl Numeric variable.
1742 2; 0; >>2<<; 0; 0x050800 *2; s8 "VAR1";
1743
1744 dnl Character encoding record.
1745 7; 20; 1; 12; "windows-1252";
1746
1747 dnl End of dictionary.
1748 999; 0;
1749 ])
1750 for variant in be le; do
1751   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1752   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1753 ])
1754   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1755    [error: `sys-file.sav' near offset 0xb4: Variable label indicator field is not 0 or 1.
1756 ])
1757 done
1758 AT_CLEANUP
1759
1760 AT_SETUP([invalid numeric missing value indicator])
1761 AT_KEYWORDS([sack synthetic system file negative])
1762 AT_DATA([sys-file.sack], [dnl
1763 dnl File header.
1764 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1765 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1766
1767 dnl Numeric variable.
1768 2; 0; 0; >>-1<<; 0x050800 *2; s8 "VAR1";
1769
1770 dnl Character encoding record.
1771 7; 20; 1; 12; "windows-1252";
1772
1773 dnl End of dictionary.
1774 999; 0;
1775 ])
1776 for variant in be le; do
1777   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1778   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1779 ])
1780   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1781    ["error: `sys-file.sav' near offset 0xb4: Numeric missing value indicator field is not -3, -2, 0, 1, 2, or 3."
1782 ])
1783 done
1784 AT_CLEANUP
1785
1786 AT_SETUP([invalid string missing value indicator])
1787 AT_KEYWORDS([sack synthetic system file negative])
1788 AT_DATA([sys-file.sack], [dnl
1789 dnl File header.
1790 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1791 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1792
1793 dnl String variable.
1794 2; 8; 0; >>4<<; 0x010800 *2; s8 "VAR1";
1795
1796 dnl Character encoding record.
1797 7; 20; 1; 12; "windows-1252";
1798
1799 dnl End of dictionary.
1800 999; 0;
1801 ])
1802 for variant in be le; do
1803   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1804   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1805 ])
1806   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1807    ["error: `sys-file.sav' near offset 0xb4: String missing value indicator field is not 0, 1, 2, or 3."
1808 ])
1809 done
1810 AT_CLEANUP
1811
1812 AT_SETUP([missing string continuation record])
1813 AT_KEYWORDS([sack synthetic system file negative])
1814 AT_DATA([sys-file.sack], [dnl
1815 dnl File header.
1816 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1817 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1818
1819 dnl String variable.
1820 2; 10; 0; 0; 0x010a00 *2; s8 "VAR1";
1821 >>2; 0; 0; 0; 0x050800 *2; s8 "VAR2";<<
1822
1823 dnl Character encoding record.
1824 7; 20; 1; 12; "windows-1252";
1825
1826 dnl End of dictionary.
1827 999; 0;
1828 ])
1829 for variant in be le; do
1830   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1831   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1832 ])
1833   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
1834    [error: `sys-file.sav' near offset 0xb4: Missing string continuation record.
1835 ])
1836 done
1837 AT_CLEANUP
1838
1839 AT_SETUP([invalid variable format])
1840 AT_KEYWORDS([sack synthetic system file negative])
1841 AT_DATA([sys-file.sack], [dnl
1842 dnl File header.
1843 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1844 2; 4; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1845
1846 dnl Numeric variable, invalid format types.
1847 dnl No warning is issued for type 0 because it has been observed in real
1848 dnl system files.
1849 2; 0; 0; 0; >>0xff0800; 0<<; s8 "NUM1";
1850
1851 dnl Numeric variable, string formats.
1852 2; 0; 0; 0; >>0x010800<<; >>0x021000<<; s8 "VAR1";
1853
1854 dnl String variable, numeric formats.
1855 2; 4; 0; 0; >>0x050800<<; >>0x110a01<<; s8 "STR1";
1856
1857 dnl String variable, wrong width formats.
1858 2; 4; 0; 0; >>0x010800<<; >>0x020400<<; s8 "STR2";
1859
1860 dnl Character encoding record.
1861 7; 20; 1; 12; "windows-1252";
1862
1863 dnl End of dictionary.
1864 999; 0;
1865 ])
1866 for variant in be le; do
1867   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1868   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1869 ])
1870   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
1871 warning: `sys-file.sav' near offset 0xc0: Variable NUM1 with width 0 has invalid print format 0xff0800.
1872
1873 warning: `sys-file.sav' near offset 0xe0: Variable VAR1 with width 0 has invalid print format 0x10800.
1874
1875 warning: `sys-file.sav' near offset 0xe4: Variable VAR1 with width 0 has invalid write format 0x21000.
1876
1877 warning: `sys-file.sav' near offset 0x100: Variable STR1 with width 4 has invalid print format 0x50800.
1878
1879 warning: `sys-file.sav' near offset 0x104: Variable STR1 with width 4 has invalid write format 0x110a01.
1880
1881 warning: `sys-file.sav' near offset 0x120: Variable STR2 with width 4 has invalid print format 0x10800.
1882
1883 warning: `sys-file.sav' near offset 0x124: Variable STR2 with width 4 has invalid write format 0x20400.
1884 ])
1885 done
1886 AT_CLEANUP
1887
1888 AT_SETUP([invalid long string missing values])
1889 AT_KEYWORDS([sack synthetic system file negative])
1890 AT_DATA([sys-file.sack], [dnl
1891 dnl File header.
1892 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1893 2; dnl Layout code
1894 7; dnl Nominal case size
1895 0; dnl Not compressed
1896 0; dnl Not weighted
1897 1; dnl 1 case.
1898 100.0; dnl Bias.
1899 "01 Jan 11"; "20:53:52";
1900 "PSPP synthetic test file: "; i8 244; i8 245; i8 246; i8 248; s34 "";
1901 i8 0 *3;
1902
1903 dnl One numeric variable.
1904 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1905
1906 dnl Long string variables that will have missing values added with a
1907 dnl later record.
1908 2; 9; 0; 0; 0x010900 *2; s8 "STR1";
1909 2; -1; 0; 0; 0; 0; s8 "";
1910 2; 10; 0; 0; 0x010a00 *2; s8 "STR2";
1911 2; -1; 0; 0; 0; 0; s8 "";
1912 2; 11; 0; 0; 0x010b00 *2; s8 "STR3";
1913 2; -1; 0; 0; 0; 0; s8 "";
1914
1915 dnl Machine integer info record.
1916 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 1252;
1917
1918 dnl Machine floating-point info record.
1919 7; 4; 8; 3; SYSMIS; HIGHEST; LOWEST;
1920
1921 dnl Long string variable missing values record.
1922 7; 22; 1; COUNT (
1923 dnl Zero missing values (not allowed) for STR1 .
1924 COUNT("STR1"); i8 >>0<<;
1925
1926 dnl Four missing values (not allowed) for STR2.
1927 COUNT("STR2"); i8 4;
1928 8; "abcdefgh"; 8; "ijklmnop"; 8; "qrstuvwx"; 8; "yz012345";
1929
1930 dnl Missing values for unknown variable
1931 COUNT(>>"Nonexistent"<<); i8 1; 8; "abcdefgh";
1932
1933 dnl Missing values for numeric variable
1934 COUNT(>>"NUM1"<<); i8 1; 8; "abcdefgh";
1935
1936 dnl Too long missing value
1937 COUNT("STR3"); i8 1; >>COUNT("abcdefghijkl")<<;
1938 );
1939
1940 dnl Character encoding record.
1941 7; 20; 1; 12; "windows-1252";
1942
1943 dnl Dictionary termination record.
1944 999; 0;
1945 s8 "abcd"; s8 "efgh"; s8 "ijkl"; s8 "mnop"; s8 "qrst"; s8 "uvwx";
1946 s16 "yzABCDEFGHI"; s16 "JKLMNOPQR"; s16 "STUVWXYZ01";
1947 s16 "23456789abc"; s32 "defghijklmnopqstuvwxyzABC";
1948 ])
1949
1950 for variant in be le; do
1951   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1952   AT_DATA([sys-file.sps], [dnl
1953 GET FILE='sys-file.sav'.
1954 DISPLAY DICTIONARY.
1955 ])
1956   AT_CHECK([pspp -O format=csv sys-file.sps], [0],
1957    ["warning: `sys-file.sav' near offset 0x1f8: Long string missing values record says variable STR1 has 0 missing values, but only 1 to 3 missing values are allowed."
1958
1959 "warning: `sys-file.sav' near offset 0x201: Long string missing values record says variable STR2 has 4 missing values, but only 1 to 3 missing values are allowed."
1960
1961 warning: `sys-file.sav' near offset 0x242: Ignoring long string missing value record for unknown variable Nonexistent.
1962
1963 warning: `sys-file.sav' near offset 0x257: Ignoring long string missing value record for numeric variable NUM1.
1964
1965 "warning: `sys-file.sav' near offset 0x270: Ignoring long string missing value 0 for variable str3, with width 11, that has bad value width 12."
1966
1967 Table: Variables
1968 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
1969 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
1970 str1,2,,Nominal,Input,9,Left,A9,A9,
1971 str2,3,,Nominal,Input,10,Left,A10,A10,"""abcdefgh""; ""ijklmnop""; ""qrstuvwx"""
1972 str3,4,,Nominal,Input,11,Left,A11,A11,
1973 ])
1974 done
1975 AT_CLEANUP
1976
1977 AT_SETUP([weighting variable must be numeric])
1978 AT_KEYWORDS([sack synthetic system file negative])
1979 AT_DATA([sys-file.sack], [dnl
1980 dnl File header.
1981 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
1982 2; 2; 1; >>2<<; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
1983
1984 dnl Numeric variable.
1985 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
1986
1987 dnl String variable.
1988 2; 4; 0; 0; 0x010400 *2; s8 "STR1";
1989
1990 dnl Character encoding record.
1991 7; 20; 1; 12; "windows-1252";
1992
1993 dnl End of dictionary.
1994 999; 0;
1995 ])
1996 for variant in be le; do
1997   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
1998   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
1999 DISPLAY DICTIONARY.
2000 ])
2001   AT_CHECK([pspp -O format=csv sys-file.sps], [0],
2002    [warning: `sys-file.sav': Ignoring string variable `STR1' set as weighting variable.
2003
2004 Table: Variables
2005 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
2006 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
2007 str1,2,,Nominal,Input,4,Left,A4,A4,
2008 ])
2009 done
2010 AT_CLEANUP
2011
2012 AT_SETUP([bad weighting variable index])
2013 AT_KEYWORDS([sack synthetic system file negative])
2014 AT_DATA([sys-file.sack], [dnl
2015 dnl File header.
2016 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2017 2; 2; 1; >>3<<; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2018
2019 dnl Numeric variable.
2020 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2021
2022 dnl String variable.
2023 2; 4; 0; 0; 0x010400 *2; s8 "STR1";
2024
2025 dnl Character encoding record.
2026 7; 20; 1; 12; "windows-1252";
2027
2028 dnl End of dictionary.
2029 999; 0;
2030 ])
2031 for variant in be le; do
2032   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2033   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2034 ])
2035   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
2036    [error: `sys-file.sav' near offset 0x4c: Variable index 3 not in valid range 1...2.
2037 ])
2038 done
2039 AT_CLEANUP
2040
2041 AT_SETUP([variable index is long string contination])
2042 AT_KEYWORDS([sack synthetic system file negative])
2043 AT_DATA([sys-file.sack], [dnl
2044 dnl File header.
2045 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2046 2; 3; 1; >>3<<; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2047
2048 dnl Numeric variable.
2049 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2050
2051 dnl Long string variable.
2052 2; 9; 0; 0; 0x010900 *2; s8 "STR1";
2053 (2; -1; 0; 0; 0; 0; s8 "");
2054
2055 dnl Character encoding record.
2056 7; 20; 1; 12; "windows-1252";
2057
2058 dnl End of dictionary.
2059 999; 0;
2060 ])
2061 for variant in be le; do
2062   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2063   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2064 ])
2065   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
2066    [error: `sys-file.sav' near offset 0x4c: Variable index 3 refers to long string continuation.
2067 ])
2068 done
2069 AT_CLEANUP
2070
2071 AT_SETUP([multiple documents records])
2072 AT_KEYWORDS([sack synthetic system file negative])
2073 AT_DATA([sys-file.sack], [dnl
2074 dnl File header.
2075 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2076 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2077
2078 dnl Numeric variable, no label or missing values.
2079 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2080
2081 dnl Two document records.
2082 (6; 1; s80 "One line of documents") >>* 2<<;
2083
2084 dnl Dictionary termination record.
2085 999; 0;
2086
2087 dnl Character encoding record.
2088 7; 20; 1; 12; "windows-1252";
2089
2090 dnl Data.
2091 1.0;
2092 ])
2093 for variant in be le; do
2094   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2095   AT_DATA([sys-file.sps], [dnl
2096 GET FILE='sys-file.sav'.
2097 ])
2098   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
2099 error: `sys-file.sav' near offset 0x12c: Duplicate type 6 (document) record.
2100 ])
2101 done
2102 AT_CLEANUP
2103
2104
2105 AT_SETUP([extension record too large])
2106 AT_KEYWORDS([sack synthetic system file negative])
2107 AT_DATA([sys-file.sack], [dnl
2108 dnl File header.
2109 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2110 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2111
2112 dnl Numeric variable, no label or missing values.
2113 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2114
2115 dnl Too-large extension record.
2116 7; 3; >>0xfffff000 * 2<<;
2117 ])
2118 for variant in be le; do
2119   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2120   AT_DATA([sys-file.sps], [dnl
2121 GET FILE='sys-file.sav'.
2122 ])
2123   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
2124 error: `sys-file.sav' near offset 0xd8: Record type 7 subtype 3 too large.
2125 ])
2126 done
2127 AT_CLEANUP
2128
2129 AT_SETUP([unknown extension record])
2130 AT_KEYWORDS([sack synthetic system file negative])
2131 AT_DATA([sys-file.sack], [dnl
2132 dnl File header.
2133 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2134 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2135
2136 dnl Numeric variable, no label or missing values.
2137 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2138
2139 dnl Unknown extension record type.
2140 7; 30; 1; 1; i8 0;
2141
2142 dnl Character encoding record.
2143 7; 20; 1; 12; "windows-1252";
2144
2145 dnl End of dictionary.
2146 999; 0;
2147 ])
2148 for variant in be le; do
2149   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2150   AT_DATA([sys-file.sps], [dnl
2151 GET FILE='sys-file.sav'.
2152 ])
2153   AT_CHECK_UNQUOTED([pspp -O format=csv sys-file.sps], [0], [dnl
2154 "warning: \`sys-file.sav' near offset 0xd8: Unrecognized record type 7, subtype 30.  For help, please send this file to ${PACKAGE_BUGREPORT} and mention that you were using ${PACKAGE_STRING}."
2155 ])
2156 done
2157 AT_CLEANUP
2158
2159 AT_SETUP([bad machine integer info size])
2160 AT_KEYWORDS([sack synthetic system file negative])
2161 AT_DATA([sys-file.sack], [dnl
2162 dnl File header.
2163 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2164 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2165
2166 dnl Numeric variable, no label or missing values.
2167 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2168
2169 dnl Machine integer info record.
2170 7; 3; 4; >>9<<; 1; 2; 3; -1; 1; 1; ENDIAN; 1252; >>1234<<;
2171
2172 dnl Character encoding record.
2173 7; 20; 1; 12; "windows-1252";
2174
2175 dnl End of dictionary.
2176 999; 0;
2177 ])
2178 for variant in be le; do
2179   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2180   AT_DATA([sys-file.sps], [dnl
2181 GET FILE='sys-file.sav'.
2182 ])
2183   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2184 "warning: `sys-file.sav' near offset 0xd8: Record type 7, subtype 3 has bad count 9 (expected 8)."
2185 ])
2186 done
2187 AT_CLEANUP
2188
2189 AT_SETUP([bad machine integer info float format])
2190 AT_KEYWORDS([sack synthetic system file negative])
2191 AT_DATA([sys-file.sack], [dnl
2192 dnl File header.
2193 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2194 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2195
2196 dnl Numeric variable, no label or missing values.
2197 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2198
2199 dnl Machine integer info record.
2200 7; 3; 4; 8; 1; 2; 3; -1; >>2<<; 1; ENDIAN; 1252;
2201
2202 dnl Character encoding record.
2203 7; 20; 1; 12; "windows-1252";
2204
2205 dnl End of dictionary.
2206 999; 0;
2207 ])
2208 for variant in be le; do
2209   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2210   AT_DATA([sys-file.sps], [dnl
2211 GET FILE='sys-file.sav'.
2212 ])
2213   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
2214 error: `sys-file.sav' near offset 0xd8: Floating-point representation indicated by system file (2) differs from expected (1).
2215 ])
2216 done
2217 AT_CLEANUP
2218
2219 AT_SETUP([bad machine integer info endianness])
2220 AT_KEYWORDS([sack synthetic system file negative])
2221 AT_DATA([sys-file.sack], [dnl
2222 dnl File header.
2223 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2224 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2225
2226 dnl Numeric variable, no label or missing values.
2227 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2228
2229 dnl Machine integer info record.
2230 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; >>3<<; 1252;
2231
2232 dnl Character encoding record.
2233 7; 20; 1; 12; "windows-1252";
2234
2235 dnl End of dictionary.
2236 999; 0;
2237 ])
2238 for variant in "be 1" "le 2"; do
2239   set $variant
2240   AT_CHECK([sack --$[1] sys-file.sack > sys-file.sav])
2241   AT_DATA([sys-file.sps], [dnl
2242 GET FILE='sys-file.sav'.
2243 DISPLAY DICTIONARY.
2244 ])
2245   AT_CHECK_UNQUOTED([pspp -O format=csv sys-file.sps], [0], [dnl
2246 warning: \`sys-file.sav' near offset 0xd8: Integer format indicated by system file (3) differs from expected ($[2]).
2247
2248 Table: Variables
2249 Name,Position,Label,Measurement Level,Role,Width,Alignment,Print Format,Write Format,Missing Values
2250 num1,1,,Scale,Input,8,Right,F8.0,F8.0,
2251 ])
2252 done
2253 AT_CLEANUP
2254
2255
2256 AT_SETUP([bad machine floating-point info size])
2257 AT_KEYWORDS([sack synthetic system file negative])
2258 AT_DATA([sys-file.sack], [dnl
2259 dnl File header.
2260 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2261 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2262
2263 dnl Numeric variable, no label or missing values.
2264 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2265
2266 dnl Machine floating-point info record.
2267 7; 4; 8; >>4<<; SYSMIS; HIGHEST; LOWEST; 0.0;
2268
2269 dnl Character encoding record.
2270 7; 20; 1; 12; "windows-1252";
2271
2272 dnl End of dictionary.
2273 999; 0;
2274 ])
2275 for variant in be le; do
2276   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2277   AT_DATA([sys-file.sps], [dnl
2278 GET FILE='sys-file.sav'.
2279 ])
2280   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2281 "warning: `sys-file.sav' near offset 0xd8: Record type 7, subtype 4 has bad count 4 (expected 3)."
2282 ])
2283 done
2284 AT_CLEANUP
2285
2286 AT_SETUP([wrong special floating point values])
2287 AT_KEYWORDS([sack synthetic system file negative])
2288 AT_DATA([sys-file.sack], [dnl
2289 dnl File header.
2290 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2291 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2292
2293 dnl Numeric variable, no label or missing values.
2294 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2295
2296 dnl Machine floating-point info record.
2297 7; 4; 8; 3; >>0.0<<; >>1.0<<; >>2.0<<;
2298
2299 dnl Character encoding record.
2300 7; 20; 1; 12; "windows-1252";
2301
2302 dnl End of dictionary.
2303 999; 0;
2304 ])
2305 for variant in be le; do
2306   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2307   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2308 ])
2309   AT_CHECK([pspp -O format=csv sys-file.sps | sed 's/ [(].*/.../'], [0], [dnl
2310 "warning: `sys-file.sav' near offset 0xd8: File specifies unexpected value 0...
2311
2312 "warning: `sys-file.sav' near offset 0xd8: File specifies unexpected value 1...
2313
2314 "warning: `sys-file.sav' near offset 0xd8: File specifies unexpected value 2...
2315 ])
2316 done
2317 AT_CLEANUP
2318
2319 AT_SETUP([bad mrsets name])
2320 AT_KEYWORDS([sack synthetic system file negative multiple response])
2321 AT_DATA([sys-file.sack], [dnl
2322 dnl File header.
2323 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2324 2; dnl Layout code
2325 16; dnl Nominal case size
2326 0; dnl Not compressed
2327 0; dnl Not weighted
2328 0; dnl No cases.
2329 100.0; dnl Bias.
2330 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
2331 i8 0 *3;
2332
2333 dnl $a
2334 2; 0; 0; 0; 0x050800 *2; i8 0x82; i8 0xa0; s6 "";
2335 2; 0; 0; 0; 0x050800 *2; s8 "B";
2336 2; 0; 0; 0; 0x050800 *2; s8 "C";
2337
2338 dnl $b
2339 2; 0; 0; 0; 0x050800 *2; s8 "D";
2340 2; 0; 0; 0; 0x050800 *2; s8 "E";
2341 2; 0; 0; 0; 0x050800 *2; s8 "F";
2342 2; 0; 0; 0; 0x050800 *2; s8 "G";
2343
2344 dnl $c
2345 2; 4; 0; 0; 0x010400 *2; s8 "H";
2346 2; 4; 0; 0; 0x010400 *2; s8 "I";
2347 2; 4; 0; 0; 0x010400 *2; s8 "J";
2348
2349 dnl $d
2350 2; 0; 0; 0; 0x050800 *2; s8 "K";
2351 2; 0; 0; 0; 0x050800 *2; s8 "L";
2352 2; 0; 0; 0; 0x050800 *2; s8 "M";
2353
2354 dnl $e
2355 2; 6; 0; 0; 0x010600 *2; s8 "N";
2356 2; 6; 0; 0; 0x010600 *2; s8 "O";
2357 2; 6; 0; 0; 0x010600 *2; s8 "P";
2358
2359 dnl Machine integer info record.
2360 7; 3; 4; 8; 1; 2; 3; -1; 1; 1; ENDIAN; 932;
2361
2362 7; 7; 1;
2363 COUNT(
2364   "$a=C 10 my mcgroup "; i8 0x82; i8 0xa0; " b c"; i8 10;
2365   "b=D2 55 0  g e f d"; i8 10;
2366   "$c=D4 "; i8 0x82; i8 0xcd; i8 0x82; i8 0xa2; " 10 mdgroup #2 h i j"; i8 10);
2367
2368 7; 19; 1;
2369 COUNT(
2370   "$d=E 1 2 34 13 third mdgroup k l m"; i8 10;
2371   "e=E 11 6 choice 0  n o p"; i8 10);
2372
2373 dnl Character encoding record.
2374 7; 20; 1; 9; "shift_jis";
2375
2376 dnl Dictionary termination record.
2377 999; 0;
2378 ])
2379 for variant in be le; do
2380   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2381   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2382 MRSETS /DISPLAY NAME=ALL.
2383 ])
2384   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2385 warning: `sys-file.sav': Invalid multiple response set name `b'.
2386
2387 warning: `sys-file.sav': Invalid multiple response set name `e'.
2388
2389 Table: Multiple Response Sets
2390 Name,Label,Encoding,Counted Value,Member Variables
2391 $a,my mcgroup,Categories,,"あ
2392 b
2393 c"
2394 $c,mdgroup #2,Dichotomies,はい,"h
2395 i
2396 j"
2397 $d,third mdgroup,Dichotomies,34,"k
2398 l
2399 m"
2400 ])
2401 done
2402 AT_CLEANUP
2403
2404 AT_SETUP([missing space after C in mrsets])
2405 AT_KEYWORDS([sack synthetic system file negative multiple response])
2406 AT_DATA([sys-file.sack], [dnl
2407 dnl File header.
2408 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2409 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2410
2411 dnl Numeric variable, no label or missing values.
2412 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2413
2414 dnl Multiple response sets.
2415 7; 7; 1; COUNT("$a=Cx");
2416
2417 dnl Character encoding record.
2418 7; 20; 1; 12; "windows-1252";
2419
2420 999; 0;
2421 ])
2422 for variant in be le; do
2423   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2424   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2425 ])
2426   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2427 warning: `sys-file.sav' near offset 0xd8: Missing space following `C' at offset 4 in MRSETS record.
2428 ])
2429 done
2430 AT_CLEANUP
2431
2432 AT_SETUP([missing space after E in mrsets])
2433 AT_KEYWORDS([sack synthetic system file negative multiple response])
2434 AT_DATA([sys-file.sack], [dnl
2435 dnl File header.
2436 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2437 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2438
2439 dnl Numeric variable, no label or missing values.
2440 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2441
2442 dnl Multiple response sets.
2443 7; 7; 1; COUNT("$a=Ex");
2444
2445 dnl Character encoding record.
2446 7; 20; 1; 12; "windows-1252";
2447
2448 999; 0;
2449 ])
2450 for variant in be le; do
2451   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2452   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2453 ])
2454   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2455 warning: `sys-file.sav' near offset 0xd8: Missing space following `E' at offset 4 in MRSETS record.
2456 ])
2457 done
2458 AT_CLEANUP
2459
2460 AT_SETUP([missing label source in mrsets])
2461 AT_KEYWORDS([sack synthetic system file negative multiple response])
2462 AT_DATA([sys-file.sack], [dnl
2463 dnl File header.
2464 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2465 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2466
2467 dnl Numeric variable, no label or missing values.
2468 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2469
2470 dnl Multiple response sets.
2471 7; 7; 1; COUNT("$a=E ");
2472
2473 dnl Character encoding record.
2474 7; 20; 1; 12; "windows-1252";
2475
2476 999; 0;
2477 ])
2478 for variant in be le; do
2479   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2480   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2481 ])
2482   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2483 warning: `sys-file.sav' near offset 0xd8: Missing label source value following `E' at offset 5 in MRSETS record.
2484
2485 warning: `sys-file.sav' near offset 0xd8: Expecting digit at offset 5 in MRSETS record.
2486 ])
2487 done
2488 AT_CLEANUP
2489
2490 AT_SETUP([unexpected label source in mrsets])
2491 AT_KEYWORDS([sack synthetic system file negative multiple response])
2492 AT_DATA([sys-file.sack], [dnl
2493 dnl File header.
2494 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2495 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2496
2497 dnl Numeric variable, no label or missing values.
2498 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2499
2500 dnl Multiple response sets.
2501 7; 7; 1; COUNT("$a=E 2");
2502
2503 dnl Character encoding record.
2504 7; 20; 1; 12; "windows-1252";
2505
2506 999; 0;
2507 ])
2508 for variant in be le; do
2509   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2510   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2511 ])
2512   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2513 warning: `sys-file.sav' near offset 0xd8: Unexpected label source value following `E' at offset 7 in MRSETS record.
2514
2515 warning: `sys-file.sav' near offset 0xd8: Expecting digit at offset 7 in MRSETS record.
2516 ])
2517 done
2518 AT_CLEANUP
2519
2520 AT_SETUP([bad type character in mrsets])
2521 AT_KEYWORDS([sack synthetic system file negative multiple response])
2522 AT_DATA([sys-file.sack], [dnl
2523 dnl File header.
2524 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2525 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2526
2527 dnl Numeric variable, no label or missing values.
2528 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2529
2530 dnl Multiple response sets.
2531 7; 7; 1; COUNT("$a=");
2532
2533 dnl Character encoding record.
2534 7; 20; 1; 12; "windows-1252";
2535
2536 999; 0;
2537 ])
2538 for variant in be le; do
2539   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2540   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2541 ])
2542   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2543 "warning: `sys-file.sav' near offset 0xd8: Missing `C', `D', or `E' at offset 3 in MRSETS record."
2544 ])
2545 done
2546 AT_CLEANUP
2547
2548 AT_SETUP([bad counted string length in mrsets])
2549 AT_KEYWORDS([sack synthetic system file negative multiple response])
2550 AT_DATA([sys-file.sack], [dnl
2551 dnl File header.
2552 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2553 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2554
2555 dnl Numeric variable, no label or missing values.
2556 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2557
2558 dnl Multiple response sets.
2559 7; 7; 1; COUNT("$a=Dx");
2560
2561 dnl Character encoding record.
2562 7; 20; 1; 12; "windows-1252";
2563
2564 999; 0;
2565 ])
2566 for variant in be le; do
2567   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2568   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2569 ])
2570   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2571 warning: `sys-file.sav' near offset 0xd8: Expecting digit at offset 4 in MRSETS record.
2572 ])
2573 done
2574 AT_CLEANUP
2575
2576 AT_SETUP([missing space in counted string in mrsets])
2577 AT_KEYWORDS([sack synthetic system file negative multiple response])
2578 AT_DATA([sys-file.sack], [dnl
2579 dnl File header.
2580 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2581 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2582
2583 dnl Numeric variable, no label or missing values.
2584 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2585
2586 dnl Multiple response sets.
2587 7; 7; 1; COUNT("$a=D1x");
2588
2589 dnl Character encoding record.
2590 7; 20; 1; 12; "windows-1252";
2591
2592 999; 0;
2593 ])
2594 for variant in be le; do
2595   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2596   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2597 ])
2598   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2599 warning: `sys-file.sav' near offset 0xd8: Expecting space at offset 5 in MRSETS record.
2600 ])
2601 done
2602 AT_CLEANUP
2603
2604 AT_SETUP([counted string too long in mrsets])
2605 AT_KEYWORDS([sack synthetic system file negative multiple response])
2606 AT_DATA([sys-file.sack], [dnl
2607 dnl File header.
2608 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2609 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2610
2611 dnl Numeric variable, no label or missing values.
2612 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2613
2614 dnl Multiple response sets.
2615 7; 7; 1; COUNT("$a=D4 abc");
2616
2617 dnl Character encoding record.
2618 7; 20; 1; 12; "windows-1252";
2619
2620 999; 0;
2621 ])
2622 for variant in be le; do
2623   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2624   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2625 ])
2626   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2627 warning: `sys-file.sav' near offset 0xd8: 4-byte string starting at offset 6 exceeds record length 9.
2628 ])
2629 done
2630 AT_CLEANUP
2631
2632 AT_SETUP([missing space after counted string in mrsets])
2633 AT_KEYWORDS([sack synthetic system file negative multiple response])
2634 AT_DATA([sys-file.sack], [dnl
2635 dnl File header.
2636 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2637 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2638
2639 dnl Numeric variable, no label or missing values.
2640 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2641
2642 dnl Multiple response sets.
2643 7; 7; 1; COUNT("$a=D3 abcx");
2644
2645 dnl Character encoding record.
2646 7; 20; 1; 12; "windows-1252";
2647
2648 999; 0;
2649 ])
2650 for variant in be le; do
2651   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2652   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2653 ])
2654   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2655 warning: `sys-file.sav' near offset 0xd8: Expecting space at offset 9 following 3-byte string.
2656 ])
2657 done
2658 AT_CLEANUP
2659
2660 AT_SETUP([missing newline after variable name in mrsets])
2661 AT_KEYWORDS([sack synthetic system file negative multiple response])
2662 AT_DATA([sys-file.sack], [dnl
2663 dnl File header.
2664 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2665 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2666
2667 dnl Numeric variable, no label or missing values.
2668 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2669
2670 dnl Multiple response sets.
2671 7; 7; 1; COUNT("$a=C 0  NUM1");
2672
2673 dnl Character encoding record.
2674 7; 20; 1; 12; "windows-1252";
2675
2676 999; 0;
2677 ])
2678 for variant in be le; do
2679   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2680   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2681 ])
2682   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2683 warning: `sys-file.sav' near offset 0xd8: Missing new-line parsing variable names at offset 13 in MRSETS record.
2684
2685 warning: `sys-file.sav': MRSET $a has only one variable.
2686 ])
2687 done
2688 AT_CLEANUP
2689
2690 AT_SETUP([duplicate variable name in mrsets])
2691 AT_KEYWORDS([sack synthetic system file negative multiple response])
2692 AT_DATA([sys-file.sack], [dnl
2693 dnl File header.
2694 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2695 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2696
2697 dnl Numeric variable, no label or missing values.
2698 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2699
2700 dnl Multiple response sets.
2701 7; 7; 1; COUNT("$a=C 0  NUM1 NUM1"; i8 10);
2702
2703 dnl Character encoding record.
2704 7; 20; 1; 12; "windows-1252";
2705
2706 999; 0;
2707 ])
2708 for variant in be le; do
2709   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2710   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2711 ])
2712   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2713 warning: `sys-file.sav': MRSET $a contains duplicate variable name NUM1.
2714
2715 warning: `sys-file.sav': MRSET $a has only one variable.
2716 ])
2717 done
2718 AT_CLEANUP
2719
2720 AT_SETUP([mixed variable types in mrsets])
2721 AT_KEYWORDS([sack synthetic system file negative multiple response])
2722 AT_DATA([sys-file.sack], [dnl
2723 dnl File header.
2724 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2725 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2726
2727 dnl Variables.
2728 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2729 2; 8; 0; 0; 0x010800 *2; s8 "STR1";
2730
2731 dnl Multiple response sets.
2732 7; 7; 1; COUNT("$a=C 0  NUM1 STR1"; i8 10);
2733
2734 dnl Character encoding record.
2735 7; 20; 1; 12; "windows-1252";
2736
2737 999; 0;
2738 ])
2739 for variant in be le; do
2740   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2741   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2742 ])
2743   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2744 warning: `sys-file.sav': MRSET $a contains both string and numeric variables.
2745
2746 warning: `sys-file.sav': MRSET $a has only one variable.
2747 ])
2748 done
2749 AT_CLEANUP
2750
2751 AT_SETUP([missing newline after variable name in mrsets])
2752 AT_KEYWORDS([sack synthetic system file negative multiple response])
2753 AT_DATA([sys-file.sack], [dnl
2754 dnl File header.
2755 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2756 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2757
2758 dnl Numeric variable, no label or missing values.
2759 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2760
2761 dnl Multiple response sets.
2762 7; 7; 1; COUNT("$a=C 0  NUM1"; i8 10);
2763
2764 dnl Character encoding record.
2765 7; 20; 1; 12; "windows-1252";
2766
2767 999; 0;
2768 ])
2769 for variant in be le; do
2770   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2771   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2772 ])
2773   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2774 warning: `sys-file.sav': MRSET $a has only one variable.
2775 ])
2776 done
2777 AT_CLEANUP
2778
2779 AT_SETUP([zero or one variable in mrset])
2780 AT_KEYWORDS([sack synthetic system file negative multiple response])
2781 AT_DATA([sys-file.sack], [dnl
2782 dnl File header.
2783 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2784 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2785
2786 dnl Numeric variable, no label or missing values.
2787 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2788
2789 dnl Multiple response sets.
2790 7; 7; 1; COUNT("$a=C 0  NUM1"; i8 10; "$b=C 0  "; i8 10);
2791
2792 dnl Character encoding record.
2793 7; 20; 1; 12; "windows-1252";
2794
2795 999; 0;
2796 ])
2797 for variant in be le; do
2798   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2799   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2800 ])
2801   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2802 warning: `sys-file.sav': MRSET $a has only one variable.
2803
2804 warning: `sys-file.sav': MRSET $b has no variables.
2805 ])
2806 done
2807 AT_CLEANUP
2808
2809 AT_SETUP([wrong display parameter size])
2810 AT_KEYWORDS([sack synthetic system file negative])
2811 AT_DATA([sys-file.sack], [dnl
2812 dnl File header.
2813 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2814 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2815
2816 dnl Numeric variable, no label or missing values.
2817 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2818
2819 dnl Display parameters record.
2820 7; 11; >>8<<; 2; 1.0; 1.0;
2821
2822 dnl Character encoding record.
2823 7; 20; 1; 12; "windows-1252";
2824
2825 dnl End of dictionary.
2826 999; 0;
2827 ])
2828 for variant in be le; do
2829   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2830   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2831 ])
2832   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2833 "warning: `sys-file.sav' near offset 0xd8: Record type 7, subtype 11 has bad size 8 (expected 4)."
2834 ])
2835 done
2836 AT_CLEANUP
2837
2838 AT_SETUP([wrong display parameter count])
2839 AT_KEYWORDS([sack synthetic system file negative])
2840 AT_DATA([sys-file.sack], [dnl
2841 dnl File header.
2842 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2843 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2844
2845 dnl Numeric variable, no label or missing values.
2846 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2847
2848 dnl Display parameters record.
2849 7; 11; 4; >>4<<; 1; 1; 2; 2;
2850
2851 dnl Character encoding record.
2852 7; 20; 1; 12; "windows-1252";
2853
2854 dnl End of dictionary.
2855 999; 0;
2856 ])
2857 for variant in be le; do
2858   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2859   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2860 ])
2861   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2862 warning: `sys-file.sav' near offset 0xd8: Extension 11 has bad count 4 (for 1 variables).
2863 ])
2864 done
2865 AT_CLEANUP
2866
2867 AT_SETUP([wrong display measurement level])
2868 AT_KEYWORDS([sack synthetic system file negative])
2869 AT_DATA([sys-file.sack], [dnl
2870 dnl File header.
2871 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2872 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2873
2874 dnl Numeric variable, no label or missing values.
2875 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2876
2877 dnl Display parameters record.
2878 7; 11; 4; 2; >>4<<; 0;
2879
2880 dnl Character encoding record.
2881 7; 20; 1; 12; "windows-1252";
2882
2883 dnl End of dictionary.
2884 999; 0;
2885 ])
2886 for variant in be le; do
2887   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2888   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2889 ])
2890   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2891 warning: `sys-file.sav' near offset 0xd8: Invalid variable display parameters for variable 0 (NUM1).  Default parameters substituted.
2892 ])
2893 done
2894 AT_CLEANUP
2895
2896 AT_SETUP([wrong display alignment])
2897 AT_KEYWORDS([sack synthetic system file negative])
2898 AT_DATA([sys-file.sack], [dnl
2899 dnl File header.
2900 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2901 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2902
2903 dnl Numeric variable, no label or missing values.
2904 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
2905
2906 dnl Display parameters record.
2907 7; 11; 4; 2; 1; >>-1<<;
2908
2909 dnl Character encoding record.
2910 7; 20; 1; 12; "windows-1252";
2911
2912 dnl End of dictionary.
2913 999; 0;
2914 ])
2915 for variant in be le; do
2916   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2917   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
2918 ])
2919   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2920 warning: `sys-file.sav' near offset 0xd8: Invalid variable display parameters for variable 0 (NUM1).  Default parameters substituted.
2921 ])
2922 done
2923 AT_CLEANUP
2924
2925 AT_SETUP([bad variable name in variable/value pair])
2926 AT_KEYWORDS([sack synthetic system file negative])
2927 AT_DATA([sys-file.sack], [dnl
2928 dnl File header.
2929 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2930 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2931
2932 dnl Numeric variables.
2933 2; 0; 0; 0; 0x050800 *2; s8 "LONGVARI";
2934
2935 dnl Long variable names.
2936 7; 13; 1; COUNT (>>"xyzzy"<<);
2937
2938 dnl Character encoding record.
2939 7; 20; 1; 12; "windows-1252";
2940
2941 dnl Dictionary termination record.
2942 999; 0;
2943 ])
2944 for variant in be le; do
2945   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2946   AT_DATA([sys-file.sps], [dnl
2947 GET FILE='sys-file.sav'.
2948 ])
2949   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2950 warning: `sys-file.sav' near offset 0xde: Dictionary record refers to unknown variable xyzzy.
2951 ])
2952 done
2953 AT_CLEANUP
2954
2955 AT_SETUP([duplicate long variable name])
2956 AT_KEYWORDS([sack synthetic system file negative])
2957 AT_DATA([sys-file.sack], [dnl
2958 dnl File header.
2959 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
2960 2; 4; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
2961
2962 dnl Numeric variables.
2963 2; 0; 0; 0; 0x050800 *2; s8 "LONGVARI";
2964 2; 0; 0; 0; 0x050800 *2; s8 "LONGVA_A";
2965 2; 0; 0; 0; 0x050800 *2; s8 "LONGVA_B";
2966 2; 0; 0; 0; 0x050800 *2; s8 "LONGVA_C";
2967
2968 dnl Long variable names.
2969 7; 13; 1; COUNT (
2970 "LONGVARI=_Invalid"; i8 9;
2971 "LONGVARI=$Invalid"; i8 9;
2972 "LONGVARI=#Invalid"; i8 9;
2973 "LONGVA_A=LongVariableName"; i8 9;
2974 "LONGVA_B=LONGVARIABLENAME"; i8 9;
2975 );
2976
2977 dnl Character encoding record.
2978 7; 20; 1; 12; "windows-1252";
2979
2980 dnl Dictionary termination record.
2981 999; 0;
2982 ])
2983 for variant in be le; do
2984   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
2985   AT_DATA([sys-file.sps], [dnl
2986 GET FILE='sys-file.sav'.
2987 ])
2988   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
2989 warning: `sys-file.sav' near offset 0x138: Long variable mapping from LONGVARI to invalid variable name `_Invalid'.
2990
2991 warning: `sys-file.sav' near offset 0x138: Long variable mapping from LONGVARI to invalid variable name `$Invalid'.
2992
2993 warning: `sys-file.sav' near offset 0x138: Long variable mapping from LONGVARI to invalid variable name `#Invalid'.
2994
2995 warning: `sys-file.sav' near offset 0x138: Duplicate long variable name `LONGVARIABLENAME'.
2996 ])
2997 done
2998 AT_CLEANUP
2999
3000 AT_SETUP([bad very long string length])
3001 AT_KEYWORDS([sack synthetic system file negative])
3002 AT_DATA([sys-file.sack], [dnl
3003 dnl File header.
3004 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3005 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3006
3007 dnl Numeric variable.
3008 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3009
3010 dnl Very long string map.
3011 7; 14; 1; COUNT (
3012 "NUM1=00000"; i8 0; i8 9;
3013 "NUM1=00255"; i8 0; i8 9;
3014 "NUM1=00256"; i8 0; i8 9;
3015 );
3016
3017 dnl Character encoding record.
3018 7; 20; 1; 12; "windows-1252";
3019
3020 dnl Dictionary termination record.
3021 999; 0;
3022 ])
3023 for variant in be le; do
3024   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3025   AT_DATA([sys-file.sps], [dnl
3026 GET FILE='sys-file.sav'.
3027 ])
3028   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
3029 warning: `sys-file.sav' near offset 0xd8: NUM1 listed as string of invalid length 00000 in very long string record.
3030
3031 "warning: `sys-file.sav' near offset 0xd8: NUM1 listed in very long string record with width 00255, which requires only one segment."
3032
3033 error: `sys-file.sav' near offset 0xd8: Very long string NUM1 overflows dictionary.
3034 ])
3035 done
3036 AT_CLEANUP
3037
3038 AT_SETUP([bad very long string segment width])
3039 AT_KEYWORDS([sack synthetic system file negative])
3040 AT_DATA([sys-file.sack], [dnl
3041 dnl File header.
3042 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3043 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3044
3045 dnl Variables.
3046 2; 255; 0; 0; 0x01ff00 *2; s8 "STR1";
3047 (2; -1; 0; 0; 0; 0; s8 "") * 31;
3048 2; >>9<<; 0; 0; 0x010900 *2; s8 "STR1_A";
3049 >>2; -1; 0; 0; 0; 0; s8 "";<<
3050
3051 dnl Very long string map.
3052 7; 14; 1; COUNT (
3053 "STR1=00256"; i8 0; i8 9;
3054 );
3055
3056 dnl Character encoding record.
3057 7; 20; 1; 12; "windows-1252";
3058
3059 dnl Dictionary termination record.
3060 999; 0;
3061 ])
3062 for variant in be le; do
3063   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3064   AT_DATA([sys-file.sps], [dnl
3065 GET FILE='sys-file.sav'.
3066 ])
3067   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
3068 error: `sys-file.sav' near offset 0x4f8: Very long string with width 256 has segment 1 of width 9 (expected 4).
3069 ])
3070 done
3071 AT_CLEANUP
3072
3073 AT_SETUP([too many value labels])
3074 AT_KEYWORDS([sack synthetic system file negative])
3075 AT_DATA([sys-file.sack], [dnl
3076 dnl File header.
3077 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3078 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3079
3080 dnl Numeric variable.
3081 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3082 3; >>0x7fffffff<<;
3083 ])
3084 for variant in be le; do
3085   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3086   AT_DATA([sys-file.sps], [dnl
3087 GET FILE='sys-file.sav'.
3088 ])
3089   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
3090 error: `sys-file.sav' near offset 0xd4: Invalid number of labels 2147483647.
3091 ])
3092 done
3093 AT_CLEANUP
3094
3095 AT_SETUP([missing type 4 record])
3096 AT_KEYWORDS([sack synthetic system file negative])
3097 AT_DATA([sys-file.sack], [dnl
3098 dnl File header.
3099 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3100 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3101
3102 dnl Numeric variable.
3103 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3104
3105 dnl Value label with missing type 4 record.
3106 3; 1; 1.0; i8 3; s7 "one";
3107
3108 dnl Character encoding record.
3109 7; 20; 1; 12; "windows-1252";
3110
3111 dnl End of dictionary.
3112 >>999; 0<<;
3113 ])
3114 for variant in be le; do
3115   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3116   AT_DATA([sys-file.sps], [dnl
3117 GET FILE='sys-file.sav'.
3118 ])
3119   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
3120 error: `sys-file.sav' near offset 0xe8: Variable index record (type 4) does not immediately follow value label record (type 3) as it should.
3121 ])
3122 done
3123 AT_CLEANUP
3124
3125 AT_SETUP([value label with no associated variables])
3126 AT_KEYWORDS([sack synthetic system file negative])
3127 AT_DATA([sys-file.sack], [dnl
3128 dnl File header.
3129 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3130 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3131
3132 dnl Numeric variable.
3133 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3134
3135 dnl Value label with no variables.
3136 3; 1; 1.0; i8 3; s7 "one"; 4; >>0<<;
3137 ])
3138 for variant in be le; do
3139   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3140   AT_DATA([sys-file.sps], [dnl
3141 GET FILE='sys-file.sav'.
3142 ])
3143   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
3144 error: `sys-file.sav' near offset 0xec: Number of variables associated with a value label (0) is not between 1 and the number of variables (1).
3145 ])
3146 done
3147 AT_CLEANUP
3148
3149 AT_SETUP([type 4 record names long string variable])
3150 AT_KEYWORDS([sack synthetic system file negative])
3151 AT_DATA([sys-file.sack], [dnl
3152 dnl File header.
3153 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3154 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3155
3156 dnl Long string variable.
3157 2; 9; 0; 0; 0x010900 *2; s8 "STR1";
3158 2; -1; 0; 0; 0; 0; s8 "";
3159
3160 dnl Value label that names long string variable.
3161 3; 1; s8 "xyzzy"; i8 3; s7 "one"; 4; 1; >>1<<;
3162
3163 dnl Character encoding record.
3164 7; 20; 1; 12; "windows-1252";
3165
3166 dnl End of dictionary.
3167 999; 0;
3168 ])
3169 for variant in be le; do
3170   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3171   AT_DATA([sys-file.sps], [dnl
3172 GET FILE='sys-file.sav'.
3173 ])
3174   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
3175 error: `sys-file.sav' near offset 0xf4: Value labels may not be added to long string variables (e.g. STR1) using records types 3 and 4.
3176 ])
3177 done
3178 AT_CLEANUP
3179
3180 AT_SETUP([variables for value label must all be same type])
3181 AT_KEYWORDS([sack synthetic system file negative])
3182 AT_DATA([sys-file.sack], [dnl
3183 dnl File header.
3184 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3185 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3186
3187 dnl Variables.
3188 2; 6; 0; 0; 0x010600 *2; s8 "STR1";
3189 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3190
3191 dnl Value label that names numeric and string variables.
3192 3; 1; s8 "xyzzy"; i8 3; s7 "one"; 4; 2; >>1; 2<<;
3193
3194 dnl Character encoding record.
3195 7; 20; 1; 12; "windows-1252";
3196
3197 dnl End of dictionary.
3198 999; 0;
3199 ])
3200 for variant in be le; do
3201   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3202   AT_DATA([sys-file.sps], [dnl
3203 GET FILE='sys-file.sav'.
3204 ])
3205   AT_CHECK([pspp -O format=csv sys-file.sps], [1], [dnl
3206 "error: `sys-file.sav' near offset 0xf4: Variables associated with value label are not all of identical type.  Variable STR1 is string, but variable NUM1 is numeric."
3207 ])
3208 done
3209 AT_CLEANUP
3210
3211 AT_SETUP([duplicate value labels type])
3212 AT_KEYWORDS([sack synthetic system file negative])
3213 AT_DATA([sys-file.sack], [dnl
3214 dnl File header.
3215 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3216 2; 2; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3217
3218 dnl Variables.
3219 2; 6; 0; 0; 0x010600 *2; s8 "STR1";
3220 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3221
3222 dnl Duplicate value labels.
3223 3; 1; s8 "xyzzy"; i8 3; s7 "one"; 4; 2; >>1; 1<<;
3224 3; 1; 1.0; i8 3; s7 "one"; 4; 2; >>2; 2<<;
3225
3226 dnl Character encoding record.
3227 7; 20; 1; 12; "windows-1252";
3228
3229 dnl End of dictionary.
3230 999; 0;
3231 ])
3232 for variant in be le; do
3233   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3234   AT_DATA([sys-file.sps], [dnl
3235 GET FILE='sys-file.sav'.
3236 ])
3237   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
3238 warning: `sys-file.sav' near offset 0xf4: Duplicate value label for `xyzzy ' on STR1.
3239
3240 warning: `sys-file.sav' near offset 0x11c: Duplicate value label for 1 on NUM1.
3241 ])
3242 done
3243 AT_CLEANUP
3244
3245 AT_SETUP([missing attribute value])
3246 AT_KEYWORDS([sack synthetic system file negative])
3247 AT_DATA([sys-file.sack], [dnl
3248 dnl File header.
3249 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3250 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3251
3252 dnl Variables.
3253 2; 0; 0; 0; 0x050800 *2; s8 "FIRSTVAR";
3254
3255 dnl Data file attributes record.
3256 7; 17; 1; COUNT (
3257 "Attr1("
3258 );
3259
3260 dnl Variable attributes record.
3261 7; 18; 1; COUNT (
3262 "FIRSTVAR:";
3263   "fred('23'"; i8 10
3264 );
3265
3266 dnl Character encoding record.
3267 7; 20; 1; 12; "windows-1252";
3268
3269 dnl Dictionary termination record.
3270 999; 0;
3271 ])
3272 for variant in be le; do
3273   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3274   AT_DATA([sys-file.sps], [dnl
3275 GET FILE='sys-file.sav'.
3276 ])
3277   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
3278 warning: `sys-file.sav' near offset 0xde: Error parsing attribute value Attr1[[1]].
3279
3280 warning: `sys-file.sav' near offset 0x101: Error parsing attribute value fred[[2]].
3281 ])
3282 done
3283 AT_CLEANUP
3284
3285 AT_SETUP([unquoted attribute value])
3286 AT_KEYWORDS([sack synthetic system file negative])
3287 AT_DATA([sys-file.sack], [dnl
3288 dnl File header.
3289 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3290 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3291
3292 dnl Variables.
3293 2; 0; 0; 0; 0x050800 *2; s8 "FIRSTVAR";
3294
3295 dnl Data file attributes record.
3296 7; 17; 1; COUNT (
3297 "Attr1(value"; i8 10;
3298 ")"
3299 );
3300
3301 dnl Variable attributes record.
3302 7; 18; 1; COUNT (
3303 "FIRSTVAR:";
3304   "fred(23"; i8 10; ")"
3305 );
3306
3307 dnl Character encoding record.
3308 7; 20; 1; 12; "windows-1252";
3309
3310 dnl Dictionary termination record.
3311 999; 0;
3312 ])
3313 for variant in be le; do
3314   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3315   AT_DATA([sys-file.sps], [dnl
3316 GET FILE='sys-file.sav'.
3317 ])
3318   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
3319 warning: `sys-file.sav' near offset 0xe4: Attribute value Attr1[[1]] is not quoted: value.
3320
3321 warning: `sys-file.sav' near offset 0x106: Attribute value fred[[1]] is not quoted: 23.
3322 ])
3323 done
3324 AT_CLEANUP
3325
3326 AT_SETUP([duplicate attribute name])
3327 AT_KEYWORDS([sack synthetic system file negative])
3328 AT_DATA([sys-file.sack], [dnl
3329 dnl File header.
3330 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3331 2; 1; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3332
3333 dnl Variables.
3334 2; 0; 0; 0; 0x050800 *2; s8 "FIRSTVAR";
3335
3336 dnl Data file attributes record.
3337 7; 17; 1; COUNT (
3338 "Attr1('value'"; i8 10; ")";
3339 "Attr1('value'"; i8 10; ")";
3340 );
3341
3342 dnl Variable attributes record.
3343 7; 18; 1; COUNT (
3344 "FIRSTVAR:";
3345   "fred('23'"; i8 10; ")";
3346   "fred('23'"; i8 10; ")";
3347 );
3348
3349 dnl Character encoding record.
3350 7; 20; 1; 12; "windows-1252";
3351
3352 dnl Dictionary termination record.
3353 999; 0;
3354 ])
3355 for variant in be le; do
3356   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3357   AT_DATA([sys-file.sps], [dnl
3358 GET FILE='sys-file.sav'.
3359 ])
3360   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
3361 warning: `sys-file.sav' near offset 0xf6: Duplicate attribute Attr1.
3362
3363 warning: `sys-file.sav' near offset 0x125: Duplicate attribute fred.
3364 ])
3365 done
3366 AT_CLEANUP
3367
3368 AT_SETUP([bad variable name in long string value label])
3369 AT_KEYWORDS([sack synthetic system file negative])
3370 AT_DATA([sys-file.sack], [dnl
3371 dnl File header.
3372 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3373 2; 3; 1; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3374
3375 dnl Variables.
3376 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3377 2; 14; 0; 0; 0x010e00 *2; s8 "STR14";
3378 2; -1; 0; 0; 0; 0; s8 "";
3379
3380 7; 21; 1; COUNT (
3381 dnl No variable named STR9.
3382 COUNT(>>"STR9"<<); 9;
3383 1; COUNT("RSTUVWXYZ"); COUNT("value label for `RSTUVWXYZ'");
3384
3385 dnl NUM1 is numeric.
3386 COUNT(>>"NUM1"<<); 0;
3387 1; COUNT("xyz"); COUNT("value label for 1.0");
3388
3389 dnl Wrong width for STR14.
3390 COUNT("STR14"); >>9<<;
3391 1; COUNT("RSTUVWXYZ"); COUNT("value label for `RSTUVWXYZ'");
3392
3393 dnl Wrong width for value.
3394 COUNT("STR14"); 14;
3395 1; COUNT(>>"RSTUVWXYZ"<<); COUNT("value label for `RSTUVWXYZ'");
3396
3397 dnl Duplicate value label.
3398 COUNT("STR14"); 14; 2;
3399 COUNT("abcdefghijklmn"); COUNT("value label for `abcdefghijklmn'");
3400 >>COUNT("abcdefghijklmn"); COUNT("another value label for `abcdefghijklmn'")<<;
3401 );
3402
3403 dnl Character encoding record.
3404 7; 20; 1; 12; "windows-1252";
3405
3406 dnl Dictionary termination record.
3407 999; 0;
3408 ])
3409 for variant in be le; do
3410   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3411   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3412 ])
3413   AT_CHECK([pspp -O format=csv sys-file.sps], [0], [dnl
3414 warning: `sys-file.sav' near offset 0x128: Ignoring long string value label record for unknown variable STR9.
3415
3416 warning: `sys-file.sav' near offset 0x164: Ignoring long string value label record for numeric variable NUM1.
3417
3418 warning: `sys-file.sav' near offset 0x193: Ignoring long string value label record for variable STR14 because the record's width (9) does not match the variable's width (14).
3419
3420 "warning: `sys-file.sav' near offset 0x1d4: Ignoring long string value label 0 for variable str14, with width 14, that has bad value width 9."
3421
3422 warning: `sys-file.sav' near offset 0x259: Duplicate value label for `abcdefghijklmn' on str14.
3423 ])
3424 done
3425 AT_CLEANUP
3426
3427 AT_SETUP([fewer data records than indicated by file header])
3428 AT_KEYWORDS([sack synthetic system file negative])
3429 AT_DATA([sys-file.sack], [dnl
3430 dnl File header.
3431 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3432 2; 2; 0; 0; >>5<<; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3433
3434 dnl Numeric variables.
3435 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3436 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
3437
3438 dnl Character encoding record.
3439 7; 20; 1; 12; "windows-1252";
3440
3441 dnl Data.
3442 999; 0;
3443 1.0; 2.0;
3444 3.0; 4.0;
3445 5.0; 6.0;
3446 7.0; 8.0;
3447 dnl Missing record here.
3448 ])
3449 for variant in be le; do
3450   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3451   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3452 LIST.
3453 ])
3454   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
3455    [error: Error reading case from file `sys-file.sav'.
3456
3457 Table: Data List
3458 num1,num2
3459 1,2
3460 3,4
3461 5,6
3462 7,8
3463 ])
3464 done
3465 AT_CLEANUP
3466
3467 AT_SETUP([partial data record between variables])
3468 AT_KEYWORDS([sack synthetic system file negative])
3469 AT_DATA([sys-file.sack], [dnl
3470 dnl File header.
3471 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3472 2; 2; 0; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3473
3474 dnl Numeric variables.
3475 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3476 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
3477
3478 dnl Character encoding record.
3479 7; 20; 1; 12; "windows-1252";
3480
3481 dnl Data.
3482 999; 0;
3483 1.0; 2.0;
3484 3.0;
3485 ])
3486 for variant in be le; do
3487   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3488   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3489 LIST.
3490 ])
3491   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
3492    [error: `sys-file.sav' near offset 0x12c: File ends in partial case.
3493
3494 Table: Data List
3495 num1,num2
3496 1,2
3497 ])
3498 done
3499 AT_CLEANUP
3500
3501 AT_SETUP([partial data record within long string])
3502 AT_KEYWORDS([sack synthetic system file negative])
3503 AT_DATA([sys-file.sack], [dnl
3504 dnl File header.
3505 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3506 2; 2; 0; 0; -1; 100.0; "01 Jan 11"; "20:53:52"; s64 ""; i8 0 *3;
3507
3508 dnl Numeric variables.
3509 2; 14; 0; 0; 0x010e00 *2; s8 "STR14";
3510 2; -1; 0; 0; 0; 0; s8 "";
3511
3512 dnl Character encoding record.
3513 7; 20; 1; 12; "windows-1252";
3514
3515 dnl Data.
3516 999; 0;
3517 s14 "one data item";
3518 s8 "partial";
3519 ])
3520 for variant in be le; do
3521   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3522   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3523 LIST.
3524 ])
3525   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
3526    [error: `sys-file.sav' near offset 0x12a: Unexpected end of file.
3527
3528 Table: Data List
3529 str14
3530 one data item
3531 ])
3532 done
3533 AT_CLEANUP
3534
3535 AT_SETUP([partial compressed data record])
3536 AT_KEYWORDS([sack synthetic system file positive])
3537 AT_DATA([sys-file.sack], [dnl
3538 dnl File header.
3539 "$FL2"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3540 2; dnl Layout code
3541 6; dnl Nominal case size
3542 1; dnl Compressed
3543 0; dnl Not weighted
3544 -1; dnl Unspecified number of cases.
3545 100.0; dnl Bias.
3546 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
3547 i8 0 *3;
3548
3549 dnl Numeric variables.
3550 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3551 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
3552
3553 dnl String variable.
3554 2; 4; 0; 0; 0x010400 *2; s8 "STR4";
3555 2; 8; 0; 0; 0x010800 *2; s8 "STR8";
3556 2; 15; 0; 0; 0x010f00 *2; s8 "STR15";
3557 2; -1; 0; 0; 0; 0; s8 "";
3558
3559 dnl Character encoding record.
3560 7; 20; 1; 12; "windows-1252";
3561
3562 dnl Dictionary termination record.
3563 999; 0;
3564
3565 dnl Compressed data.
3566 i8 1 100 254 253 254 253; i8 255 251; "abcdefgh"; s8 "0123";
3567 ])
3568 for variant in be le; do
3569   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3570   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3571 LIST.
3572 ])
3573   AT_CHECK([pspp -O format=csv sys-file.sps], [1],
3574    [error: `sys-file.sav' near offset 0x1ac: File ends in partial case.
3575
3576 Table: Data List
3577 num1,num2,str4,str8,str15
3578 -99,0,,abcdefgh,0123
3579 ])
3580 done
3581 AT_CLEANUP
3582
3583 AT_SETUP([zcompressed data - bad zheader_ofs])
3584 AT_KEYWORDS([sack synthetic system file negative zlib])
3585 zcompressed_sack | sed 's/.*zheader_ofs.*/>>i64 0<<;/' > sys-file.sack
3586 for variant in be le; do
3587   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3588   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3589 ])
3590   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x194: Wrong ZLIB data header offset 0 (expected 0x194).
3591 ])
3592 done
3593 AT_CLEANUP
3594
3595 AT_SETUP([zcompressed data - bad ztrailer_ofs])
3596 AT_KEYWORDS([sack synthetic system file negative zlib])
3597 zcompressed_sack | sed 's/.*ztrailer_ofs.*/>>i64 0<<;/' > sys-file.sack
3598 for variant in be le; do
3599   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3600   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3601 ])
3602   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x194: Impossible ZLIB trailer offset 0x0.
3603 ])
3604 done
3605 AT_CLEANUP
3606
3607 # ztrailer_len must be a multiple of 24 and at least 48,
3608 # so a value of 12 is impossible.
3609 AT_SETUP([zcompressed data - invalid ztrailer_len])
3610 AT_KEYWORDS([sack synthetic system file negative zlib])
3611 zcompressed_sack | sed 's/.*ztrailer_len.*/>>i64 12<<;/' > sys-file.sack
3612 for variant in be le; do
3613   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3614   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3615 ])
3616   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x194: Invalid ZLIB trailer length 12.
3617 ])
3618 done
3619 AT_CLEANUP
3620
3621 # ztrailer_ofs + ztrailer_len must be the file size.
3622 AT_SETUP([zcompressed data - wrong ztrailer_len])
3623 AT_KEYWORDS([sack synthetic system file negative zlib])
3624 zcompressed_sack | sed 's/.*ztrailer_len.*/>>i64 72<<;/' > sys-file.sack
3625 for variant in be le; do
3626   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3627   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3628 ])
3629   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [warning: `sys-file.sav' near offset 0x1ac: End of ZLIB trailer (0x24d) is not file size (0x235).
3630 error: `sys-file.sav' near offset 0x21d: 72-byte ZLIB trailer specifies 1 data blocks (expected 2).
3631 ])
3632 done
3633 AT_CLEANUP
3634
3635 AT_SETUP([zcompressed data - wrong ztrailer_bias])
3636 AT_KEYWORDS([sack synthetic system file negative zlib])
3637 zcompressed_sack | sed 's/.*ztrailer_bias.*/>>i64 0<<;/' > sys-file.sack
3638 for variant in be le; do
3639   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3640   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3641 ])
3642   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x20d: ZLIB trailer bias (0) differs from file header bias (100.00).
3643 ])
3644 done
3645 AT_CLEANUP
3646
3647 AT_SETUP([zcompressed data - wrong ztrailer_zero])
3648 AT_KEYWORDS([sack synthetic system file negative zlib])
3649 zcompressed_sack | sed 's/.*ztrailer_zero.*/>>i64 100<<;/' > sys-file.sack
3650 for variant in be le; do
3651   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3652   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3653 ])
3654   AT_CHECK([pspp -o pspp.csv sys-file.sps], [0], [warning: `sys-file.sav' near offset 0x215: ZLIB trailer "zero" field has nonzero value 100.
3655 ])
3656 done
3657 AT_CLEANUP
3658
3659 AT_SETUP([zcompressed data - wrong block_size])
3660 AT_KEYWORDS([sack synthetic system file negative zlib])
3661 zcompressed_sack | sed 's/.*block_size.*/>>0x1000<<;/' > sys-file.sack
3662 for variant in be le; do
3663   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3664   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3665 ])
3666   AT_CHECK([pspp -o pspp.csv sys-file.sps], [0], [warning: `sys-file.sav' near offset 0x219: ZLIB trailer specifies unexpected 4096-byte block size.
3667 ])
3668 done
3669 AT_CLEANUP
3670
3671 AT_SETUP([zcompressed data - wrong n_blocks])
3672 AT_KEYWORDS([sack synthetic system file negative zlib])
3673 zcompressed_sack | sed 's/.*n_blocks.*/>>2<<;/' > sys-file.sack
3674 for variant in be le; do
3675   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3676   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3677 ])
3678   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x21d: 48-byte ZLIB trailer specifies 2 data blocks (expected 1).
3679 ])
3680 done
3681 AT_CLEANUP
3682
3683 AT_SETUP([zcompressed data - wrong uncompressed_ofs])
3684 AT_KEYWORDS([sack synthetic system file negative zlib])
3685 zcompressed_sack | sed 's/.*uncompressed_ofs.*/i64 >>0x177<<;/' > sys-file.sack
3686 for variant in be le; do
3687   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3688   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3689 ])
3690   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x21d: ZLIB block descriptor 0 reported uncompressed data offset 0x177, when 0x194 was expected.
3691 ])
3692 done
3693 AT_CLEANUP
3694
3695 AT_SETUP([zcompressed data - wrong compressed_ofs])
3696 AT_KEYWORDS([sack synthetic system file negative zlib])
3697 zcompressed_sack | sed 's/.*@%:@ compressed_ofs.*/i64 >>0x191<<;/' > sys-file.sack
3698 for variant in be le; do
3699   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3700   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3701 ])
3702   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x21d: ZLIB block descriptor 0 reported compressed data offset 0x191, when 0x1ac was expected.
3703 ])
3704 done
3705 AT_CLEANUP
3706
3707 AT_SETUP([zcompressed data - compressed sizes don't add up])
3708 AT_KEYWORDS([sack synthetic system file negative zlib])
3709 AT_DATA([sys-file.sack], [dnl
3710 dnl File header.
3711 "$FL3"; s60 "$(#) SPSS DATA FILE PSPP synthetic test file";
3712 2; dnl Layout code
3713 6; dnl Nominal case size
3714 2; dnl zlib compressed
3715 0; dnl Not weighted
3716 -1; dnl Unspecified number of cases.
3717 100.0; dnl Bias.
3718 "01 Jan 11"; "20:53:52"; s64 "PSPP synthetic test file";
3719 i8 0 *3;
3720
3721 dnl Numeric variables.
3722 2; 0; 0; 0; 0x050800 *2; s8 "NUM1";
3723 2; 0; 0; 0; 0x050800 *2; s8 "NUM2";
3724
3725 dnl String variable.
3726 2; 4; 0; 0; 0x010400 *2; s8 "STR4";
3727 2; 8; 0; 0; 0x010800 *2; s8 "STR8";
3728 2; 15; 0; 0; 0x010f00 *2; s8 "STR15";
3729 2; -1; 0; 0; 0; 0; s8 "";
3730
3731 dnl Character encoding record.
3732 7; 20; 1; 12; "windows-1252";
3733
3734 dnl Dictionary termination record.
3735 999; 0;
3736
3737 dnl ZLIB data header.
3738 i64 0x194;    # zheader_ofs
3739 i64 0x1ac;    # ztrailer_ofs
3740 i64 72;       # ztrailer_len
3741
3742 dnl This is where the ZLIB data blocks would go, but we don't need any to
3743 dnl provoke this message so we omit them.
3744
3745 dnl ZLIB data trailer fixed header:
3746 i64 -100;     # ztrailer_bias
3747 i64 0;        # ztrailer_zero
3748 0x3ff000;     # block_size
3749 2;            # n_blocks
3750
3751 dnl ZLIB block descriptor 1:
3752 i64 0x194;    # uncompressed_ofs
3753 i64 0x1ac;    # compressed_ofs
3754 0x100000;     # uncompressed_size
3755 0x12345;      # compressed_size
3756
3757 dnl ZLIB block descriptor 2:
3758 i64 0x100194; # uncompressed_ofs
3759 i64 0x12421;  # compressed_ofs
3760 0x100000;     # uncompressed_size
3761 0x12345;      # compressed_size
3762 ])
3763 for variant in be le; do
3764   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3765   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3766 ])
3767   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [warning: `sys-file.sav' near offset 0x1c4: ZLIB block descriptor 0 reported block size 0x100000, when 0x3ff000 was expected.
3768 error: `sys-file.sav' near offset 0x1dc: ZLIB block descriptor 1 reported compressed data offset 0x12421, when 0x124f1 was expected.
3769 ])
3770 done
3771 AT_CLEANUP
3772
3773 AT_SETUP([zcompressed data - uncompressed_size > block_size])
3774 AT_KEYWORDS([sack synthetic system file negative zlib])
3775 zcompressed_sack | sed 's/.*uncompressed_size.*/>>0x400000<<;/' > sys-file.sack
3776 for variant in be le; do
3777   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3778   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3779 ])
3780   AT_CHECK([pspp -o pspp.csv sys-file.sps], [0], [warning: `sys-file.sav' near offset 0x21d: ZLIB block descriptor 0 reported block size 0x400000, when at most 0x3ff000 was expected.
3781 ])
3782 done
3783 AT_CLEANUP
3784
3785 AT_SETUP([zcompressed data - compression expands data too much])
3786 AT_KEYWORDS([sack synthetic system file negative zlib])
3787 zcompressed_sack | sed 's/.*uncompressed_size.*/>>50<<;/
3788 s/.*@%:@ compressed_size.*/>>100<<;/' > sys-file.sack
3789 for variant in be le; do
3790   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3791   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3792 ])
3793   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x21d: ZLIB block descriptor 0 reports compressed size 100 and uncompressed size 50.
3794 ])
3795 done
3796 AT_CLEANUP
3797
3798 AT_SETUP([zcompressed data - compressed sizes don't add up])
3799 AT_KEYWORDS([sack synthetic system file negative zlib])
3800 zcompressed_sack | sed 's/.*@%:@ compressed_size.*/>>88<<;/' > sys-file.sack
3801 for variant in be le; do
3802   AT_CHECK([sack --$variant sys-file.sack > sys-file.sav])
3803   AT_DATA([sys-file.sps], [GET FILE='sys-file.sav'.
3804 ])
3805   AT_CHECK([pspp -o pspp.csv sys-file.sps], [1], [error: `sys-file.sav' near offset 0x235: ZLIB trailer is at offset 0x205 but 0x204 would be expected from block descriptors.
3806 ])
3807 done
3808 AT_CLEANUP
3809
3810 # CVE-2017-10791.
3811 # See also https://bugzilla.redhat.com/show_bug.cgi?id=1467004.
3812 # See also https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=866890.
3813 # See also https://security-tracker.debian.org/tracker/CVE-2017-10791.
3814 # Found by team OWL337, using the collAFL fuzzer.
3815 AT_SETUP([integer overflows in long string missing values])
3816 AT_KEYWORDS([system file negative])
3817 cp $top_srcdir/tests/data/CVE-2017-10791.sav .
3818 AT_CHECK([pspp-convert -O csv -e ASCII CVE-2017-10791.sav -], [0], [], [dnl
3819 `CVE-2017-10791.sav' near offset 0x217: Extension record subtype 21 ends unexpectedly.
3820 ])
3821 AT_CLEANUP
3822
3823 # CVE-2017-10792.
3824 # See also https://bugzilla.redhat.com/show_bug.cgi?id=1467005.
3825 # See also https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=866890.
3826 # See also https://security-tracker.debian.org/tracker/CVE-2017-10792.
3827 # Reported by team OWL337, with fuzzer collAFL.
3828 AT_SETUP([null dereference skipping bad extension record 18])
3829 AT_KEYWORDS([system file negative])
3830 cp $top_srcdir/tests/data/CVE-2017-10792.sav .
3831 AT_CHECK([pspp-convert -O csv -e ASCII CVE-2017-10792.sav -], [0], [], [dnl
3832 `CVE-2017-10792.sav' near offset 0x1c0: Record type 7, subtype 18 has bad size 4 (expected 1).
3833 ])
3834 AT_CLEANUP