pintos-os.org Git - pspp/blob - tests/libpspp/u8-istream.at

   1 dnl PSPP - a program for statistical analysis.
   2 dnl Copyright (C) 2017 Free Software Foundation, Inc.
   3 dnl
   4 dnl This program is free software: you can redistribute it and/or modify
   5 dnl it under the terms of the GNU General Public License as published by
   6 dnl the Free Software Foundation, either version 3 of the License, or
   7 dnl (at your option) any later version.
   8 dnl
   9 dnl This program is distributed in the hope that it will be useful,
  10 dnl but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 dnl MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 dnl GNU General Public License for more details.
  13 dnl
  14 dnl You should have received a copy of the GNU General Public License
  15 dnl along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16 dnl
  17 AT_BANNER([u8_istream])
  18
  19 AT_SETUP([read ASCII])
  20 AT_KEYWORDS([u8_istream])
  21 AT_CHECK([i18n-test supports_encodings ASCII])
  22 AT_CHECK([echo string | u8-istream-test read - ASCII], [0], [string
  23 ])
  24 AT_CLEANUP
  25
  26 AT_SETUP([read UTF-8])
  27 AT_KEYWORDS([u8_istream])
  28 # Without byte-order-mark.
  29 AT_CHECK([printf '\346\227\245\346\234\254\350\252\236\n' | u8-istream-test read - UTF-8], [0], [dnl
  30 UTF-8 mode
  31 日本語
  32 UTF-8 mode
  33 ])
  34 # With byte-order-mark.
  35 AT_CHECK([printf '\357\273\277\346\227\245\346\234\254\350\252\236\n' | u8-istream-test read - UTF-8], [0], [dnl
  36 UTF-8 mode
  37 日本語
  38 UTF-8 mode
  39 ])
  40 AT_CLEANUP
  41
  42 AT_SETUP([read EUC-JP])
  43 AT_KEYWORDS([u8_istream])
  44 AT_CHECK([i18n-test supports_encodings EUC-JP])
  45 AT_CHECK([printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 \244\250 \244\251 \244\252\n' | u8-istream-test read - EUC-JP],
  46   [0],
  47   [ぁ あ ぃ い ぅ う ぇ え ぉ お
  48 ])
  49 AT_CLEANUP
  50
  51 AT_SETUP([read UTF-8 with character split across input buffers])
  52 AT_KEYWORDS([u8_istream])
  53 buffer_size=`u8-istream-test buffer-size`
  54 ($PYTHON3 -c "import sys; sys.stdout.write('x' * ($buffer_size - 16))";
  55  printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n') > input
  56 (echo "UTF-8 mode"
  57  cat input
  58  echo "UTF-8 mode") > expout
  59 AT_CHECK([u8-istream-test read input UTF-8 16], [0], [expout])
  60 AT_CLEANUP
  61
  62 AT_SETUP([read UTF-8 with character split across output buffers])
  63 AT_KEYWORDS([u8_istream])
  64 AT_CHECK([printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n' | u8-istream-test read - UTF-8 16], [0], [dnl
  65 UTF-8 mode
  66 ぁあぃいぅうぇえぉお
  67 UTF-8 mode
  68 ])
  69 AT_CLEANUP
  70
  71 AT_SETUP([read UTF-8 with character split across input and output buffers])
  72 AT_KEYWORDS([u8_istream])
  73 buffer_size=`u8-istream-test buffer-size`
  74 ($PYTHON3 -c "import sys; sys.stdout.write('x' * ($buffer_size - 16))";
  75  printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n') > input
  76 (echo "UTF-8 mode"
  77  cat input
  78  echo "UTF-8 mode") > expout
  79 AT_CHECK([u8-istream-test read input UTF-8 16], [0], [expout])
  80 AT_CLEANUP
  81
  82 AT_SETUP([read EUC-JP with character split across input buffers])
  83 AT_KEYWORDS([u8_istream])
  84 AT_CHECK([i18n-test supports_encodings EUC-JP])
  85 buffer_size=`u8-istream-test buffer-size`
  86 ($PYTHON3 -c "import sys; sys.stdout.write('x' * ($buffer_size - 16))";
  87  printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 '
  88  printf '\244\250 \244\251 \244\252\n') > input
  89 ($PYTHON3 -c "import sys; sys.stdout.write('x' * ($buffer_size - 16))";
  90  printf '\343\201\201\040\343\201\202\040\343\201\203\040\343\201\204\040'
  91  printf '\343\201\205\040\343\201\206\040\343\201\207\040\343\201\210\040'
  92  printf '\343\201\211\040\343\201\212\n') > expout
  93 AT_CHECK([u8-istream-test read input EUC-JP], [0], [expout])
  94 AT_CLEANUP
  95
  96 AT_SETUP([read EUC-JP with character split across output buffers])
  97 AT_KEYWORDS([u8_istream])
  98 AT_CHECK([i18n-test supports_encodings EUC-JP])
  99 AT_CHECK([printf '\244\241\244\242\244\243\244\244\244\245\244\246\244\247\244\250\244\251\244\252\n' | u8-istream-test read - EUC-JP 16],
 100   [0],
 101   [ぁあぃいぅうぇえぉお
 102 ])
 103 AT_CLEANUP
 104
 105 AT_SETUP([read EUC-JP with character split across input and output buffers])
 106 AT_KEYWORDS([u8_istream])
 107 AT_CHECK([i18n-test supports_encodings EUC-JP])
 108 buffer_size=`u8-istream-test buffer-size`
 109 ($PYTHON3 -c "import sys; sys.stdout.write('x' * ($buffer_size - 16))";
 110  printf 'xyz\244\241\244\242\244\243\244\244\244\245\244\246\244\247\244\250'
 111  printf '\244\251\244\252\n') > input
 112 ($PYTHON3 -c "import sys; sys.stdout.write('x' * ($buffer_size - 16))";
 113  printf '\170\171\172\343\201\201\343\201\202\343\201\203\343\201\204\343'
 114  printf '\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201'
 115  printf '\212\n') > expout
 116 AT_CHECK([u8-istream-test read input EUC-JP 16], [0], [expout])
 117 AT_CLEANUP
 118
 119 AT_SETUP([read ASCII as Auto])
 120 AT_KEYWORDS([u8_istream])
 121 AT_CHECK([echo string | u8-istream-test read - Auto], [0], [dnl
 122 Auto mode
 123 string
 124 Auto mode
 125 ])
 126 AT_CLEANUP
 127
 128 AT_SETUP([read UTF-8 as Auto])
 129 AT_KEYWORDS([u8_istream])
 130 # Without byte-order mark.
 131 AT_CHECK([printf 'entr\303\251e\n' | u8-istream-test read - Auto], [0], [dnl
 132 Auto mode
 133 entrée
 134 UTF-8 mode
 135 ])
 136 # With byte-order mark.
 137 AT_CHECK([printf '\357\273\277entr\303\251e\n' | u8-istream-test read - Auto], [0], [dnl
 138 UTF-8 mode
 139 entrée
 140 UTF-8 mode
 141 ])
 142 AT_CLEANUP
 143
 144 AT_SETUP([read ISO-8859-1 as Auto,ISO-8859-1])
 145 AT_KEYWORDS([u8_istream])
 146 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
 147 buffer_size=`u8-istream-test buffer-size`
 148 ($PYTHON3 -c "import sys; sys.stdout.write('xyzzy\n' * ($buffer_size * 5 // 14))"
 149  printf 'entr\351e\n') > input
 150 (echo "Auto mode"
 151  $PYTHON3 -c "import sys; sys.stdout.write('xyzzy\n' * ($buffer_size * 5 // 14))"
 152  printf 'entr\303\251e\n') > expout
 153 AT_CHECK([u8-istream-test read input Auto,ISO-8859-1], [0], [expout])
 154 AT_CLEANUP
 155
 156 dnl UTF-16BE is not ASCII compatible so this doesn't start out in Auto mode.
 157 AT_SETUP([read UTF-16BE as Auto,UTF-16BE])
 158 AT_KEYWORDS([u8_istream])
 159 AT_CHECK([i18n-test supports_encodings UTF-16BE])
 160 # Without byte-order mark.
 161 AT_CHECK([printf '\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto,UTF-16BE],
 162   [0], [dnl
 163 entrée
 164 ])
 165 # With byte-order mark.
 166 AT_CHECK([printf '\376\377\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto,UTF-16BE],
 167   [0], [dnl
 168 entrée
 169 ])
 170 AT_CLEANUP
 171
 172 AT_SETUP([read UTF-16 as Auto])
 173 AT_KEYWORDS([u8_istream slow])
 174 AT_CHECK([i18n-test supports_encodings UTF-16 UTF-16BE UTF-16LE])
 175 # Without byte-order mark.
 176 dnl The "sleep 1" checks for a bug in which u8-istream did not properly
 177 dnl handle receiving data in multiple chunks.
 178 AT_CHECK([{ printf '\0e\0n\0t\0'; sleep 1; printf 'r\0\351\0e\0\n'; } | u8-istream-test read - Auto],
 179   [0], [entrée
 180 ])
 181 AT_CHECK([printf 'e\0n\0t\0r\0\351\0e\0\n\0' | u8-istream-test read - Auto],
 182   [0], [entrée
 183 ])
 184 # With byte-order mark.
 185 AT_CHECK([printf '\376\377\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto],
 186   [0], [entrée
 187 ])
 188 AT_CHECK([printf '\377\376e\0n\0t\0r\0\351\0e\0\n\0' | u8-istream-test read - Auto],
 189   [0], [entrée
 190 ])
 191 AT_CLEANUP
 192
 193 AT_SETUP([read UTF-32 as Auto])
 194 AT_KEYWORDS([u8_istream])
 195 AT_CHECK([i18n-test supports_encodings UTF-16 UTF-16BE UTF-16LE])
 196 # Without byte-order mark.
 197 AT_CHECK([printf '\0\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n' | u8-istream-test read - Auto],
 198   [0], [entrée
 199 ])
 200 AT_CHECK([printf 'e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n\0\0\0' | u8-istream-test read - Auto],
 201   [0], [entrée
 202 ])
 203 # With byte-order mark.
 204 AT_CHECK([printf '\0\0\376\377\0\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n' | u8-istream-test read - Auto],
 205   [0], [entrée
 206 ])
 207 AT_CHECK([printf '\377\376\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n\0\0\0' | u8-istream-test read - Auto],
 208   [0], [entrée
 209 ])
 210 AT_CLEANUP
 211
 212 AT_SETUP([read EUC-JP as Auto,EUC-JP])
 213 AT_KEYWORDS([u8_istream])
 214 AT_CHECK([i18n-test supports_encodings EUC-JP])
 215 AT_CHECK([printf 'entr\217\253\261e\n' | u8-istream-test read - Auto,EUC-JP],
 216   [0], [entrée
 217 ])
 218 AT_CLEANUP
 219