24af08cc7c847f9a0332ef1421b3ee2f86a82412
[pspp] / tests / libpspp / u8-istream.at
1 AT_BANNER([u8_istream])
2
3 AT_SETUP([read ASCII])
4 AT_KEYWORDS([u8_istream])
5 AT_CHECK([i18n-test supports_encodings ASCII])
6 AT_CHECK([echo string | u8-istream-test read - ASCII], [0], [string
7 ])
8 AT_CLEANUP
9
10 AT_SETUP([read UTF-8])
11 AT_KEYWORDS([u8_istream])
12 AT_CHECK([printf '\346\227\245\346\234\254\350\252\236\n' | u8-istream-test read - UTF-8], [0], [dnl
13 UTF-8 mode
14 日本語
15 UTF-8 mode
16 ])
17 AT_CLEANUP
18
19 AT_SETUP([read EUC-JP])
20 AT_KEYWORDS([u8_istream])
21 AT_CHECK([i18n-test supports_encodings EUC-JP])
22 AT_CHECK([printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 \244\250 \244\251 \244\252\n' | u8-istream-test read - EUC-JP],
23   [0],
24   [ぁ あ ぃ い ぅ う ぇ え ぉ お
25 ])
26 AT_CLEANUP
27
28 AT_SETUP([read UTF-8 with character split across input buffers])
29 AT_KEYWORDS([u8_istream])
30 buffer_size=`u8-istream-test buffer-size`
31 ($PERL -e "print 'x' x ($buffer_size - 16)"
32  printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n') > input
33 (echo "UTF-8 mode"
34  cat input
35  echo "UTF-8 mode") > expout
36 AT_CHECK([u8-istream-test read input UTF-8 16], [0], [expout])
37 AT_CLEANUP
38
39 AT_SETUP([read UTF-8 with character split across output buffers])
40 AT_KEYWORDS([u8_istream])
41 AT_CHECK([printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n' | u8-istream-test read - UTF-8 16], [0], [dnl
42 UTF-8 mode
43 ぁあぃいぅうぇえぉお
44 UTF-8 mode
45 ])
46 AT_CLEANUP
47
48 AT_SETUP([read UTF-8 with character split across input and output buffers])
49 AT_KEYWORDS([u8_istream])
50 buffer_size=`u8-istream-test buffer-size`
51 ($PERL -e "print 'x' x ($buffer_size - 16)"
52  printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n') > input
53 (echo "UTF-8 mode"
54  cat input
55  echo "UTF-8 mode") > expout
56 AT_CHECK([u8-istream-test read input UTF-8 16], [0], [expout])
57 AT_CLEANUP
58
59 AT_SETUP([read EUC-JP with character split across input buffers])
60 AT_KEYWORDS([u8_istream])
61 AT_CHECK([i18n-test supports_encodings EUC-JP])
62 buffer_size=`u8-istream-test buffer-size`
63 ($PERL -e "print 'x' x ($buffer_size - 16)"
64  printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 '
65  printf '\244\250 \244\251 \244\252\n') > input
66 ($PERL -e "print 'x' x ($buffer_size - 16)"
67  printf '\343\201\201\040\343\201\202\040\343\201\203\040\343\201\204\040'
68  printf '\343\201\205\040\343\201\206\040\343\201\207\040\343\201\210\040'
69  printf '\343\201\211\040\343\201\212\n') > expout
70 AT_CHECK([u8-istream-test read input EUC-JP], [0], [expout])
71 AT_CLEANUP
72
73 AT_SETUP([read EUC-JP with character split across output buffers])
74 AT_KEYWORDS([u8_istream])
75 AT_CHECK([i18n-test supports_encodings EUC-JP])
76 AT_CHECK([printf '\244\241\244\242\244\243\244\244\244\245\244\246\244\247\244\250\244\251\244\252\n' | u8-istream-test read - EUC-JP 16],
77   [0],
78   [ぁあぃいぅうぇえぉお
79 ])
80 AT_CLEANUP
81
82 AT_SETUP([read EUC-JP with character split across input and output buffers])
83 AT_KEYWORDS([u8_istream])
84 AT_CHECK([i18n-test supports_encodings EUC-JP])
85 buffer_size=`u8-istream-test buffer-size`
86 ($PERL -e "print 'x' x ($buffer_size - 16)"
87  printf 'xyz\244\241\244\242\244\243\244\244\244\245\244\246\244\247\244\250'
88  printf '\244\251\244\252\n') > input
89 ($PERL -e "print 'x' x ($buffer_size - 16)"
90  printf '\170\171\172\343\201\201\343\201\202\343\201\203\343\201\204\343'
91  printf '\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201'
92  printf '\212\n') > expout
93 AT_CHECK([u8-istream-test read input EUC-JP 16], [0], [expout])
94 AT_CLEANUP
95
96 AT_SETUP([read ASCII as Auto])
97 AT_KEYWORDS([u8_istream])
98 AT_CHECK([echo string | u8-istream-test read - Auto], [0], [dnl
99 Auto mode
100 string
101 Auto mode
102 ])
103 AT_CLEANUP
104
105 AT_SETUP([read UTF-8 as Auto])
106 AT_KEYWORDS([u8_istream])
107 AT_CHECK([printf 'entr\303\251e\n' | u8-istream-test read - Auto], [0], [dnl
108 Auto mode
109 entrée
110 UTF-8 mode
111 ])
112 AT_CHECK([printf '\357\273\277entr\303\251e\n' | u8-istream-test read - Auto], [0], [dnl
113 UTF-8 mode
114 entrée
115 UTF-8 mode
116 ])
117 AT_CLEANUP
118
119 AT_SETUP([read ISO-8859-1 as Auto,ISO-8859-1])
120 AT_KEYWORDS([u8_istream])
121 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
122 buffer_size=`u8-istream-test buffer-size`
123 ($PERL -e 'print "xyzzy\n" x int('$buffer_size' * 2.5 / 7)'; printf 'entr\351e\n') > input
124 (echo "Auto mode"
125  $PERL -e 'print "xyzzy\n" x int('$buffer_size' * 2.5 / 7)'
126  printf 'entr\303\251e\n') > expout
127 AT_CHECK([u8-istream-test read input Auto,ISO-8859-1], [0], [expout])
128 AT_CLEANUP
129
130 dnl UTF-16BE is not ASCII compatible so this doesn't start out in Auto mode.
131 AT_SETUP([read UTF-16BE as Auto,UTF-16BE])
132 AT_KEYWORDS([u8_istream])
133 AT_CHECK([i18n-test supports_encodings UTF-16BE])
134 AT_CHECK([printf '\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto,UTF-16BE], 
135   [0], [dnl
136 entrée
137 ])
138 AT_CLEANUP
139
140 AT_SETUP([read UTF-16 as Auto])
141 AT_KEYWORDS([u8_istream])
142 AT_CHECK([i18n-test supports_encodings UTF-16 UTF-16BE UTF-16LE])
143 AT_CHECK([printf '\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto],
144   [0], [entrée
145 ])
146 AT_CHECK([printf 'e\0n\0t\0r\0\351\0e\0\n\0' | u8-istream-test read - Auto],
147   [0], [entrée
148 ])
149 AT_CHECK([printf '\376\377\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto],
150   [0], [entrée
151 ])
152 AT_CHECK([printf '\377\376e\0n\0t\0r\0\351\0e\0\n\0' | u8-istream-test read - Auto],
153   [0], [entrée
154 ])
155 AT_CLEANUP
156
157 AT_SETUP([read UTF-32 as Auto])
158 AT_KEYWORDS([u8_istream])
159 AT_CHECK([i18n-test supports_encodings UTF-16 UTF-16BE UTF-16LE])
160 AT_CHECK([printf '\0\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n' | u8-istream-test read - Auto],
161   [0], [entrée
162 ])
163 AT_CHECK([printf 'e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n\0\0\0' | u8-istream-test read - Auto],
164   [0], [entrée
165 ])
166 AT_CHECK([printf '\0\0\376\377\0\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n' | u8-istream-test read - Auto],
167   [0], [entrée
168 ])
169 AT_CHECK([printf '\377\376\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n\0\0\0' | u8-istream-test read - Auto],
170   [0], [entrée
171 ])
172 AT_CLEANUP
173
174 AT_SETUP([read EUC-JP as Auto,EUC-JP])
175 AT_KEYWORDS([u8_istream])
176 AT_CHECK([i18n-test supports_encodings EUC-JP])
177 AT_CHECK([printf 'entr\217\253\261e\n' | u8-istream-test read - Auto,EUC-JP], 
178   [0], [entrée
179 ])
180 AT_CLEANUP
181