tests: Only check MODE=360 when EBCDIC is supported.
[pspp-builds.git] / tests / language / data-io / data-reader.at
1 AT_BANNER([BEGIN DATA])
2
3 # BEGIN DATA can run as a command in itself, or it can appear as part
4 # of the first procedure.  First, test it after a procedure.
5 AT_SETUP([BEGIN DATA as part of a procedure])
6 AT_DATA([begin-data.sps], [dnl
7 TITLE 'Test BEGIN DATA ... END DATA'.
8
9 DATA LIST /a b 1-2.
10 LIST.
11 BEGIN DATA.
12 12
13 34
14 56
15 78
16 90
17 END DATA.
18 ])
19 AT_CHECK([pspp -O format=csv begin-data.sps], [0], [dnl
20 Title: Test BEGIN DATA ... END DATA
21
22 Table: Reading 1 record from INLINE.
23 Variable,Record,Columns,Format
24 a,1,1-  1,F1.0
25 b,1,2-  2,F1.0
26
27 Table: Data List
28 a,b
29 1,2
30 3,4
31 5,6
32 7,8
33 9,0
34 ])
35 AT_CLEANUP
36
37 # Also test BEGIN DATA as an independent command.
38 AT_SETUP([BEGIN DATA as an independent command])
39 AT_DATA([begin-data.sps], [dnl
40 data list /A B 1-2.
41 begin data.
42 09
43 87
44 65
45 43
46 21
47 end data.
48 list.
49 ])
50 AT_CHECK([pspp -O format=csv begin-data.sps], [0], [dnl
51 Table: Reading 1 record from INLINE.
52 Variable,Record,Columns,Format
53 A,1,1-  1,F1.0
54 B,1,2-  2,F1.0
55
56 Table: Data List
57 A,B
58 0,9
59 8,7
60 6,5
61 4,3
62 2,1
63 ])
64 AT_CLEANUP
65
66 m4_define([DATA_READER_BINARY], 
67   [AT_SETUP([read and write files with $1])
68 $3
69    AT_DATA([input.txt], [dnl
70 07-22-2007
71 10-06-2007
72 321
73 07-14-1789
74 08-26-1789
75 4
76 01-01-1972
77 12-31-1999
78 682
79 ])
80    AT_DATA([make-binary.pl], [dnl
81 use strict;
82 use warnings;
83
84 # ASCII to EBCDIC translation table
85 our ($ascii2ebcdic) = ""
86 . "\x00\x01\x02\x03\x37\x2d\x2e\x2f"
87 . "\x16\x05\x25\x0b\x0c\x0d\x0e\x0f"
88 . "\x10\x11\x12\x13\x3c\x3d\x32\x26"
89 . "\x18\x19\x3f\x27\x1c\x1d\x1e\x1f"
90 . "\x40\x5a\x7f\x7b\x5b\x6c\x50\x7d"
91 . "\x4d\x5d\x5c\x4e\x6b\x60\x4b\x61"
92 . "\xf0\xf1\xf2\xf3\xf4\xf5\xf6\xf7"
93 . "\xf8\xf9\x7a\x5e\x4c\x7e\x6e\x6f"
94 . "\x7c\xc1\xc2\xc3\xc4\xc5\xc6\xc7"
95 . "\xc8\xc9\xd1\xd2\xd3\xd4\xd5\xd6"
96 . "\xd7\xd8\xd9\xe2\xe3\xe4\xe5\xe6"
97 . "\xe7\xe8\xe9\xad\xe0\xbd\x9a\x6d"
98 . "\x79\x81\x82\x83\x84\x85\x86\x87"
99 . "\x88\x89\x91\x92\x93\x94\x95\x96"
100 . "\x97\x98\x99\xa2\xa3\xa4\xa5\xa6"
101 . "\xa7\xa8\xa9\xc0\x4f\xd0\x5f\x07"
102 . "\x20\x21\x22\x23\x24\x15\x06\x17"
103 . "\x28\x29\x2a\x2b\x2c\x09\x0a\x1b"
104 . "\x30\x31\x1a\x33\x34\x35\x36\x08"
105 . "\x38\x39\x3a\x3b\x04\x14\x3e\xe1"
106 . "\x41\x42\x43\x44\x45\x46\x47\x48"
107 . "\x49\x51\x52\x53\x54\x55\x56\x57"
108 . "\x58\x59\x62\x63\x64\x65\x66\x67"
109 . "\x68\x69\x70\x71\x72\x73\x74\x75"
110 . "\x76\x77\x78\x80\x8a\x8b\x8c\x8d"
111 . "\x8e\x8f\x90\x6a\x9b\x9c\x9d\x9e"
112 . "\x9f\xa0\xaa\xab\xac\x4a\xae\xaf"
113 . "\xb0\xb1\xb2\xb3\xb4\xb5\xb6\xb7"
114 . "\xb8\xb9\xba\xbb\xbc\xa1\xbe\xbf"
115 . "\xca\xcb\xcc\xcd\xce\xcf\xda\xdb"
116 . "\xdc\xdd\xde\xdf\xea\xeb\xec\xed"
117 . "\xee\xef\xfa\xfb\xfc\xfd\xfe\xff";
118 length ($ascii2ebcdic) == 256 || die;
119
120 open (INPUT, '<', 'input.txt') or die "input.txt: open: $!\n";
121 my (@data) = <INPUT> or die;
122 close (INPUT) or die;
123 chomp $_ foreach @data;
124
125 our @records;
126
127 $2
128
129 sub a2e {
130     local ($_) = @_;
131     my ($s) = "";
132     foreach (split (//)) {
133         $s .= substr ($ascii2ebcdic, ord, 1);
134     }
135     return $s;
136 }
137
138 sub min {
139     my ($a, $b) = @_;
140     return $a < $b ? $a : $b
141 }
142
143 sub dump_records {
144     while (@records) {
145         my ($n) = min (int (rand (5)) + 1, scalar (@records));
146         my (@r) = splice (@records, 0, $n);
147         my ($len) = 0;
148         $len += length foreach @r;
149         print pack ("n xx", $len + 4);
150         print foreach @r;
151     }
152 }
153 ])
154    AT_CHECK([$PERL make-binary.pl < input.txt > input.bin])
155    AT_DATA([data-reader.sps], [dnl
156 FILE HANDLE input/NAME='input.bin'/$1.
157 DATA LIST FIXED FILE=input NOTABLE
158         /1 start 1-10 (ADATE)
159         /2 end 1-10 (ADATE)
160         /3 count 1-3.
161 LIST.
162
163 * Output the data to a new file in the same format.
164 FILE HANDLE OUTPUT/NAME='output.bin'/$1.
165 COMPUTE count=count + 1.
166 PRINT OUTFILE=output/start end count.
167 EXECUTE.
168 ])
169    AT_CHECK([pspp -O format=csv data-reader.sps], [0], [dnl
170 Table: Data List
171 start,end,count
172 07/22/2007,10/06/2007,321
173 07/14/1789,08/26/1789,4
174 01/01/1972,12/31/1999,682
175 ])
176    AT_CHECK([test -s output.bin])
177    AT_DATA([data-reader-2.sps], [dnl
178 * Re-read the new data and list it, to verify that it was written correctly.
179 FILE HANDLE OUTPUT/NAME='output.bin'/$1.
180 DATA LIST FIXED FILE=output NOTABLE/
181         start 2-11 (ADATE)
182         end 13-22 (ADATE)
183         count 24-26.
184 LIST.
185 ])
186    AT_CHECK([pspp -O format=csv data-reader-2.sps], [0], [dnl
187 Table: Data List
188 start,end,count
189 07/22/2007,10/06/2007,322
190 07/14/1789,08/26/1789,5
191 01/01/1972,12/31/1999,683
192 ])
193    AT_CLEANUP])
194
195 DATA_READER_BINARY([MODE=BINARY],
196   [for $_ (@data) {
197        my ($reclen) = pack ("V", length);
198        print $reclen, $_, $reclen;
199    }])
200
201 DATA_READER_BINARY([MODE=360 /RECFORM=FIXED /LRECL=32],
202   [my ($lrecl) = 32;
203    for $_ (@data) {
204        my ($out) = substr ($_, 0, $lrecl);
205        $out .= ' ' x ($lrecl - length ($out));
206        length ($out) == 32 or die;
207        print +a2e ($out);
208    }],
209   [AT_CHECK([supports_encodings EBCDIC-US])])
210
211 DATA_READER_BINARY([MODE=360 /RECFORM=VARIABLE],
212   [for $_ (@data) {
213        push (@records, pack ("n xx", length ($_) + 4) . a2e ($_));
214    }
215    dump_records ();],
216   [AT_CHECK([supports_encodings EBCDIC-US])])
217
218 DATA_READER_BINARY([MODE=360 /RECFORM=SPANNED],
219   [[for my $line (@data) {
220        local ($_) = $line;
221        my (@r);
222        while (length) {
223            my ($n) = min (int (rand (5)), length);
224            push (@r, substr ($_, 0, $n, ''));
225        }
226        foreach my $i (0...$#r) {
227            my $scc = ($#r == 0 ? 0
228                       : $i == 0 ? 1
229                       : $i == $#r ? 2
230                       : 3);
231            push (@records,
232                  pack ("nCx", length ($r[$i]) + 4, $scc) . a2e ($r[$i]));
233        }
234    }
235    dump_records ();]],
236   [AT_CHECK([supports_encodings EBCDIC-US])])