pintos-os.org Git - pspp/blob - tests/language/data-io/data-list.at

   1 dnl PSPP - a program for statistical analysis.
   2 dnl Copyright (C) 2017 Free Software Foundation, Inc.
   3 dnl
   4 dnl This program is free software: you can redistribute it and/or modify
   5 dnl it under the terms of the GNU General Public License as published by
   6 dnl the Free Software Foundation, either version 3 of the License, or
   7 dnl (at your option) any later version.
   8 dnl
   9 dnl This program is distributed in the hope that it will be useful,
  10 dnl but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 dnl MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 dnl GNU General Public License for more details.
  13 dnl
  14 dnl You should have received a copy of the GNU General Public License
  15 dnl along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16 dnl
  17 AT_BANNER([DATA LIST])
  18
  19 AT_SETUP([DATA LIST LIST with empty fields])
  20 AT_DATA([data-list.pspp], [dnl
  21 DATA LIST LIST NOTABLE /A B C (F1.0).
  22 BEGIN DATA.
  23 ,,
  24 ,,3
  25 ,2,
  26 ,2,3
  27 1,,
  28 1,,3
  29 1,2,
  30 1,2,3
  31 END DATA.
  32
  33 LIST.
  34 ])
  35 AT_CHECK([pspp -O format=csv data-list.pspp], [0], [dnl
  36 Table: Data List
  37 A,B,C
  38 .,.,.
  39 .,.,3
  40 .,2,.
  41 .,2,3
  42 1,.,.
  43 1,.,3
  44 1,2,.
  45 1,2,3
  46 ])
  47 AT_CLEANUP
  48
  49
  50 AT_SETUP([DATA LIST LIST with explicit delimiters])
  51 AT_DATA([data-list.pspp], [dnl
  52 data list list ('|','X') /A B C D.
  53 begin data.
  54 1|23X45|2.03x
  55 2X22|34|23|
  56 3|34|34X34
  57 end data.
  58
  59 list.
  60 ])
  61 AT_CHECK([pspp -O format=csv data-list.pspp], [0], [dnl
  62 Table: Reading free-form data from INLINE.
  63 Variable,Format
  64 A,F8.0
  65 B,F8.0
  66 C,F8.0
  67 D,F8.0
  68
  69 data-list.pspp:3.9-3.13: warning: Data for variable D is not valid as format F: Number followed by garbage.
  70
  71 Table: Data List
  72 A,B,C,D
  73 1.00,23.00,45.00,.  @&t@
  74 2.00,22.00,34.00,23.00
  75 3.00,34.00,34.00,34.00
  76 ])
  77 AT_CLEANUP
  78
  79 AT_SETUP([DATA LIST FREE with SKIP])
  80 AT_DATA([data-list.pspp], [dnl
  81 data list free skip=1/A B C D.
  82 begin data.
  83 # This record is ignored.
  84 ,1,2,x
  85 ,4,,5
  86 6
  87 7,
  88 8 9
  89 0,1 ,,,
  90 ,,,,
  91 2
  92
  93 3
  94 4
  95 5
  96 end data.
  97 list.
  98 ])
  99 AT_CHECK([pspp -O format=csv data-list.pspp], [0], [dnl
 100 data-list.pspp:4.6: warning: Data for variable D is not valid as format F: Field contents are not numeric.
 101
 102 Table: Data List
 103 A,B,C,D
 104 .  ,1.00,2.00,.  @&t@
 105 .  ,4.00,.  ,5.00
 106 6.00,7.00,8.00,9.00
 107 .00,1.00,.  ,.  @&t@
 108 .  ,.  ,.  ,.  @&t@
 109 2.00,3.00,4.00,5.00
 110 ])
 111 AT_CLEANUP
 112
 113 AT_SETUP([DATA LIST LIST with SKIP and tab delimiter])
 114 AT_DATA([data-list.pspp], [dnl
 115 data list list (tab) notable skip=2/A B C D.
 116 begin data.
 117 # These records
 118 # are skipped.
 119 1       2       3       4
 120 1       2       3       @&t@
 121 1       2               4
 122 1       2               @&t@
 123 1               3       4
 124 1               3       @&t@
 125 1                       4
 126 1                       @&t@
 127         2       3       4
 128         2       3       @&t@
 129         2               4
 130         2               @&t@
 131                 3       4
 132                 3       @&t@
 133                         4
 134                         @&t@
 135 end data.
 136 list.
 137 ])
 138 AT_CHECK([pspp -O format=csv data-list.pspp], [0], [dnl
 139 Table: Data List
 140 A,B,C,D
 141 1.00,2.00,3.00,4.00
 142 1.00,2.00,3.00,.  @&t@
 143 1.00,2.00,.  ,4.00
 144 1.00,2.00,.  ,.  @&t@
 145 1.00,.  ,3.00,4.00
 146 1.00,.  ,3.00,.  @&t@
 147 1.00,.  ,.  ,4.00
 148 1.00,.  ,.  ,.  @&t@
 149 .  ,2.00,3.00,4.00
 150 .  ,2.00,3.00,.  @&t@
 151 .  ,2.00,.  ,4.00
 152 .  ,2.00,.  ,.  @&t@
 153 .  ,.  ,3.00,4.00
 154 .  ,.  ,3.00,.  @&t@
 155 .  ,.  ,.  ,4.00
 156 .  ,.  ,.  ,.  @&t@
 157 ])
 158 AT_CLEANUP
 159
 160 dnl Results of this test were confirmed with SPSS 21:
 161 dnl http://lists.gnu.org/archive/html/pspp-dev/2013-09/msg00003.html
 162 AT_SETUP([DATA LIST FREE with explicit delimiter at end of line])
 163 AT_DATA([data-list.pspp], [dnl
 164 DATA LIST FREE(',')/x y z.
 165 BEGIN DATA.
 166 1,2,3
 167 4,5,6
 168 7,8,9
 169 END DATA.
 170 LIST.
 171
 172 DATA LIST FREE(',')/x y z.
 173 BEGIN DATA.
 174 11,12,13,
 175 14,15,16,
 176 17,18,19,
 177 END DATA.
 178 LIST.
 179
 180 DATA LIST FREE(TAB)/x y z.
 181 BEGIN DATA.
 182 21      22      23
 183 24      25      26
 184 27      28      29
 185 END DATA.
 186 LIST.
 187
 188 DATA LIST FREE(TAB)/x y z.
 189 BEGIN DATA.
 190 31      32      33      @&t@
 191 34      35      36      @&t@
 192 37      38      39      @&t@
 193 END DATA.
 194 LIST.
 195 ])
 196 AT_CHECK([pspp -O format=csv data-list.pspp], [0], [dnl
 197 Table: Data List
 198 x,y,z
 199 1.00,2.00,3.00
 200 4.00,5.00,6.00
 201 7.00,8.00,9.00
 202
 203 Table: Data List
 204 x,y,z
 205 11.00,12.00,13.00
 206 14.00,15.00,16.00
 207 17.00,18.00,19.00
 208
 209 Table: Data List
 210 x,y,z
 211 21.00,22.00,23.00
 212 24.00,25.00,26.00
 213 27.00,28.00,29.00
 214
 215 Table: Data List
 216 x,y,z
 217 31.00,32.00,33.00
 218 34.00,35.00,36.00
 219 37.00,38.00,39.00
 220 ])
 221 AT_CLEANUP
 222
 223 AT_SETUP([DATA LIST FIXED with multiple records per case])
 224 AT_DATA([data-list.pspp], [dnl
 225 data list fixed notable
 226         /1 start 1-20 (adate)
 227         /2 end 1-20 (adate)
 228         /3 count 1-3.
 229 begin data.
 230 07-22-2007
 231 10-06-2007
 232 x
 233 07-14-1789
 234 08-26-1789
 235 xy
 236 01-01-1972
 237 12-31-1999
 238 682
 239 end data.
 240 list.
 241 ])
 242 AT_CHECK([pspp -O format=csv data-list.pspp], [0], [dnl
 243 data-list.pspp:8.1-8.3: warning: Data for variable count is not valid as format F: Field contents are not numeric.
 244
 245 data-list.pspp:11.1-11.3: warning: Data for variable count is not valid as format F: Field contents are not numeric.
 246
 247 Table: Data List
 248 start,end,count
 249 07/22/2007,10/06/2007,.
 250 07/14/1789,08/26/1789,.
 251 01/01/1972,12/31/1999,682
 252 ])
 253 AT_CLEANUP
 254
 255 AT_SETUP([DATA LIST FIXED with empty trailing record])
 256 AT_DATA([data-list.pspp], [dnl
 257 data list fixed notable records=2/x 1 y 2.
 258 begin data.
 259 12
 260
 261 34
 262
 263 56
 264
 265 78
 266
 267 90
 268
 269 end data.
 270 list.
 271 ])
 272 AT_CHECK([pspp -O format=csv data-list.pspp], [0], [dnl
 273 Table: Data List
 274 x,y
 275 1,2
 276 3,4
 277 5,6
 278 7,8
 279 9,0
 280 ])
 281 AT_CLEANUP
 282
 283 dnl Test that PSPP accepts LF and CR LF as line ends, but
 284 dnl treats isolated CR as linear whitespace.
 285 AT_SETUP([DATA LIST with various line-ends])
 286 AT_DATA([data-list.sps], [dnl
 287 data list list notable file='input.txt'/a b c.
 288 list.
 289 ])
 290 printf '1 2 3\n4 5 6\r\n7\r8\r9\r\n10 11 12\n13 14 15 \r\n16\r\r17\r18\n' > input.txt
 291 dnl Make sure that input.txt actually received the data that we expect.
 292 dnl It might not have, if we're running on a system that translates \n
 293 dnl into some other sequence.
 294 AT_CHECK([cksum input.txt], [0], [1732021750 50 input.txt
 295 ])
 296 AT_CHECK([pspp -o pspp.csv data-list.sps])
 297 AT_CHECK([cat pspp.csv], [0], [dnl
 298 Table: Data List
 299 a,b,c
 300 1.00,2.00,3.00
 301 4.00,5.00,6.00
 302 7.00,8.00,9.00
 303 10.00,11.00,12.00
 304 13.00,14.00,15.00
 305 16.00,17.00,18.00
 306 ])
 307 AT_CLEANUP
 308
 309 AT_SETUP([DATA LIST properly expands tabs in input])
 310 AT_DATA([data-list.sps], [dnl
 311 data list notable /X 1-50 (a).
 312 begin data.
 313         1       12      123     1234    12345    .
 314 end data.
 315 print /x.
 316 print outfile='print.txt' /x.
 317 write outfile='write.txt' /x.
 318 execute.
 319 ])
 320 AT_CHECK([sed -n '/12345/l' data-list.sps], [0], [dnl
 321 \t1\t12\t123\t1234\t12345    .$
 322 ])
 323 AT_CHECK([pspp -o pspp.csv data-list.sps])
 324 dnl The CSV driver drops leading spaces so they don't appear here:
 325 AT_CHECK([cat pspp.csv], [0], [dnl
 326 1       12      123     1234    12345    . @&t@
 327 ])
 328 dnl But they do appear in print.txt.  The PRINT command also puts a space
 329 dnl at the beginning of the line and after the variable:
 330 AT_CHECK([cat print.txt], [0], [dnl
 331          1       12      123     1234    12345    . @&t@
 332 ])
 333 dnl WRITE doesn't add spaces at the beginning or end of lines:
 334 AT_CHECK([cat write.txt], [0], [dnl
 335         1       12      123     1234    12345    .
 336 ])
 337 AT_CLEANUP
 338
 339 AT_SETUP([DATA LIST FREE and LIST report missing delimiters])
 340 AT_DATA([data-list.sps], [dnl
 341 DATA LIST FREE NOTABLE/s (a10).
 342 LIST.
 343 BEGIN DATA.
 344 'y'z
 345 END DATA.
 346 ])
 347 AT_CHECK([pspp -O format=csv data-list.sps], [0], [dnl
 348 data-list.sps:4: warning: Missing delimiter following quoted string.
 349
 350 Table: Data List
 351 s
 352 y
 353 z
 354 ])
 355 AT_CLEANUP
 356
 357 AT_SETUP([DATA LIST FREE and LIST assume a width if omitted])
 358 AT_DATA([data-list.sps], [dnl
 359 DATA LIST FREE TABLE/s (a) d (datetime) f (f).
 360 ])
 361 AT_CHECK([pspp -O format=csv data-list.sps], [0], [dnl
 362 Table: Reading free-form data from INLINE.
 363 Variable,Format
 364 s,A1
 365 d,DATETIME17.0
 366 f,F1.0
 367 ])
 368 AT_CLEANUP
 369
 370 AT_SETUP([DATA LIST Decimal comma])
 371 AT_DATA([data-list.sps], [dnl
 372 SET DECIMAL=COMMA.
 373
 374 DATA LIST NOTABLE LIST /A *.
 375 BEGIN DATA
 376 1
 377 2
 378 3
 379 3,5
 380 4
 381 4,5
 382 5
 383 6
 384 END DATA
 385
 386 LIST /FORMAT=NUMBERED.
 387 ])
 388
 389 AT_CHECK([pspp -O format=csv data-list.sps], [0], [dnl
 390 Table: Data List
 391 Case Number,A
 392 1,"1,00"
 393 2,"2,00"
 394 3,"3,00"
 395 4,"3,50"
 396 5,"4,00"
 397 6,"4,50"
 398 7,"5,00"
 399 8,"6,00"
 400 ])
 401
 402 AT_CLEANUP
 403
 404
 405 AT_SETUP([DATA LIST - Negative SKIP])
 406 AT_DATA([data-list.sps], [dnl
 407 DATA LIST LIST FILE='f.in' NOTABLE SKIP=-1 /a b c d.
 408
 409 EXECUTE.
 410 ])
 411
 412 AT_CHECK([pspp -O format=csv data-list.sps], [1], [dnl
 413 data-list.sps:1.41-1.42: error: DATA LIST: Syntax error at `-1': Expected non-negative integer for SKIP.
 414
 415 data-list.sps:3: error: Stopping syntax file processing here to avoid a cascade of dependent command failures.
 416 ])
 417
 418 AT_CLEANUP
 419
 420
 421 AT_SETUP([DATA LIST - Negative RECORDS])
 422 AT_DATA([data-list.sps], [dnl
 423 DATA LIST LIST FILE='f.in' NOTABLE RECORDS=-1 /a b c d.
 424
 425 EXECUTE.
 426 ])
 427
 428 AT_CHECK([pspp -O format=csv data-list.sps], [1], [dnl
 429 data-list.sps:1.44-1.45: error: DATA LIST: Syntax error at `-1': Expected non-negative integer for RECORDS.
 430
 431 data-list.sps:3: error: Stopping syntax file processing here to avoid a cascade of dependent command failures.
 432 ])
 433
 434 AT_CLEANUP
 435