pintos-os.org Git - pspp/blob - tests/libpspp/u8-istream.at

   1 dnl PSPP - a program for statistical analysis.
   2 dnl Copyright (C) 2017 Free Software Foundation, Inc.
   3 dnl
   4 dnl This program is free software: you can redistribute it and/or modify
   5 dnl it under the terms of the GNU General Public License as published by
   6 dnl the Free Software Foundation, either version 3 of the License, or
   7 dnl (at your option) any later version.
   8 dnl
   9 dnl This program is distributed in the hope that it will be useful,
  10 dnl but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 dnl MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 dnl GNU General Public License for more details.
  13 dnl
  14 dnl You should have received a copy of the GNU General Public License
  15 dnl along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16 dnl AT_BANNER([u8_istream])
  17
  18 AT_SETUP([read ASCII])
  19 AT_KEYWORDS([u8_istream])
  20 AT_CHECK([i18n-test supports_encodings ASCII])
  21 AT_CHECK([echo string | u8-istream-test read - ASCII], [0], [string
  22 ])
  23 AT_CLEANUP
  24
  25 AT_SETUP([read UTF-8])
  26 AT_KEYWORDS([u8_istream])
  27 AT_CHECK([printf '\346\227\245\346\234\254\350\252\236\n' | u8-istream-test read - UTF-8], [0], [dnl
  28 UTF-8 mode
  29 日本語
  30 UTF-8 mode
  31 ])
  32 AT_CLEANUP
  33
  34 AT_SETUP([read EUC-JP])
  35 AT_KEYWORDS([u8_istream])
  36 AT_CHECK([i18n-test supports_encodings EUC-JP])
  37 AT_CHECK([printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 \244\250 \244\251 \244\252\n' | u8-istream-test read - EUC-JP],
  38   [0],
  39   [ぁ あ ぃ い ぅ う ぇ え ぉ お
  40 ])
  41 AT_CLEANUP
  42
  43 AT_SETUP([read UTF-8 with character split across input buffers])
  44 AT_KEYWORDS([u8_istream])
  45 buffer_size=`u8-istream-test buffer-size`
  46 ($PERL -e "print 'x' x ($buffer_size - 16)"
  47  printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n') > input
  48 (echo "UTF-8 mode"
  49  cat input
  50  echo "UTF-8 mode") > expout
  51 AT_CHECK([u8-istream-test read input UTF-8 16], [0], [expout])
  52 AT_CLEANUP
  53
  54 AT_SETUP([read UTF-8 with character split across output buffers])
  55 AT_KEYWORDS([u8_istream])
  56 AT_CHECK([printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n' | u8-istream-test read - UTF-8 16], [0], [dnl
  57 UTF-8 mode
  58 ぁあぃいぅうぇえぉお
  59 UTF-8 mode
  60 ])
  61 AT_CLEANUP
  62
  63 AT_SETUP([read UTF-8 with character split across input and output buffers])
  64 AT_KEYWORDS([u8_istream])
  65 buffer_size=`u8-istream-test buffer-size`
  66 ($PERL -e "print 'x' x ($buffer_size - 16)"
  67  printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n') > input
  68 (echo "UTF-8 mode"
  69  cat input
  70  echo "UTF-8 mode") > expout
  71 AT_CHECK([u8-istream-test read input UTF-8 16], [0], [expout])
  72 AT_CLEANUP
  73
  74 AT_SETUP([read EUC-JP with character split across input buffers])
  75 AT_KEYWORDS([u8_istream])
  76 AT_CHECK([i18n-test supports_encodings EUC-JP])
  77 buffer_size=`u8-istream-test buffer-size`
  78 ($PERL -e "print 'x' x ($buffer_size - 16)"
  79  printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 '
  80  printf '\244\250 \244\251 \244\252\n') > input
  81 ($PERL -e "print 'x' x ($buffer_size - 16)"
  82  printf '\343\201\201\040\343\201\202\040\343\201\203\040\343\201\204\040'
  83  printf '\343\201\205\040\343\201\206\040\343\201\207\040\343\201\210\040'
  84  printf '\343\201\211\040\343\201\212\n') > expout
  85 AT_CHECK([u8-istream-test read input EUC-JP], [0], [expout])
  86 AT_CLEANUP
  87
  88 AT_SETUP([read EUC-JP with character split across output buffers])
  89 AT_KEYWORDS([u8_istream])
  90 AT_CHECK([i18n-test supports_encodings EUC-JP])
  91 AT_CHECK([printf '\244\241\244\242\244\243\244\244\244\245\244\246\244\247\244\250\244\251\244\252\n' | u8-istream-test read - EUC-JP 16],
  92   [0],
  93   [ぁあぃいぅうぇえぉお
  94 ])
  95 AT_CLEANUP
  96
  97 AT_SETUP([read EUC-JP with character split across input and output buffers])
  98 AT_KEYWORDS([u8_istream])
  99 AT_CHECK([i18n-test supports_encodings EUC-JP])
 100 buffer_size=`u8-istream-test buffer-size`
 101 ($PERL -e "print 'x' x ($buffer_size - 16)"
 102  printf 'xyz\244\241\244\242\244\243\244\244\244\245\244\246\244\247\244\250'
 103  printf '\244\251\244\252\n') > input
 104 ($PERL -e "print 'x' x ($buffer_size - 16)"
 105  printf '\170\171\172\343\201\201\343\201\202\343\201\203\343\201\204\343'
 106  printf '\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201'
 107  printf '\212\n') > expout
 108 AT_CHECK([u8-istream-test read input EUC-JP 16], [0], [expout])
 109 AT_CLEANUP
 110
 111 AT_SETUP([read ASCII as Auto])
 112 AT_KEYWORDS([u8_istream])
 113 AT_CHECK([echo string | u8-istream-test read - Auto], [0], [dnl
 114 Auto mode
 115 string
 116 Auto mode
 117 ])
 118 AT_CLEANUP
 119
 120 AT_SETUP([read UTF-8 as Auto])
 121 AT_KEYWORDS([u8_istream])
 122 AT_CHECK([printf 'entr\303\251e\n' | u8-istream-test read - Auto], [0], [dnl
 123 Auto mode
 124 entrée
 125 UTF-8 mode
 126 ])
 127 AT_CHECK([printf '\357\273\277entr\303\251e\n' | u8-istream-test read - Auto], [0], [dnl
 128 UTF-8 mode
 129 entrée
 130 UTF-8 mode
 131 ])
 132 AT_CLEANUP
 133
 134 AT_SETUP([read ISO-8859-1 as Auto,ISO-8859-1])
 135 AT_KEYWORDS([u8_istream])
 136 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
 137 buffer_size=`u8-istream-test buffer-size`
 138 ($PERL -e 'print "xyzzy\n" x int('$buffer_size' * 2.5 / 7)'; printf 'entr\351e\n') > input
 139 (echo "Auto mode"
 140  $PERL -e 'print "xyzzy\n" x int('$buffer_size' * 2.5 / 7)'
 141  printf 'entr\303\251e\n') > expout
 142 AT_CHECK([u8-istream-test read input Auto,ISO-8859-1], [0], [expout])
 143 AT_CLEANUP
 144
 145 dnl UTF-16BE is not ASCII compatible so this doesn't start out in Auto mode.
 146 AT_SETUP([read UTF-16BE as Auto,UTF-16BE])
 147 AT_KEYWORDS([u8_istream])
 148 AT_CHECK([i18n-test supports_encodings UTF-16BE])
 149 AT_CHECK([printf '\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto,UTF-16BE],
 150   [0], [dnl
 151 entrée
 152 ])
 153 AT_CLEANUP
 154
 155 AT_SETUP([read UTF-16 as Auto])
 156 AT_KEYWORDS([u8_istream])
 157 AT_CHECK([i18n-test supports_encodings UTF-16 UTF-16BE UTF-16LE])
 158 dnl The "sleep 1" checks for a bug in which u8-istream did not properly
 159 dnl handle receiving data in multiple chunks.
 160 AT_CHECK([{ printf '\0e\0n\0t\0'; sleep 1; printf 'r\0\351\0e\0\n'; } | u8-istream-test read - Auto],
 161   [0], [entrée
 162 ])
 163 AT_CHECK([printf 'e\0n\0t\0r\0\351\0e\0\n\0' | u8-istream-test read - Auto],
 164   [0], [entrée
 165 ])
 166 AT_CHECK([printf '\376\377\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto],
 167   [0], [entrée
 168 ])
 169 AT_CHECK([printf '\377\376e\0n\0t\0r\0\351\0e\0\n\0' | u8-istream-test read - Auto],
 170   [0], [entrée
 171 ])
 172 AT_CLEANUP
 173
 174 AT_SETUP([read UTF-32 as Auto])
 175 AT_KEYWORDS([u8_istream])
 176 AT_CHECK([i18n-test supports_encodings UTF-16 UTF-16BE UTF-16LE])
 177 AT_CHECK([printf '\0\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n' | u8-istream-test read - Auto],
 178   [0], [entrée
 179 ])
 180 AT_CHECK([printf 'e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n\0\0\0' | u8-istream-test read - Auto],
 181   [0], [entrée
 182 ])
 183 AT_CHECK([printf '\0\0\376\377\0\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n' | u8-istream-test read - Auto],
 184   [0], [entrée
 185 ])
 186 AT_CHECK([printf '\377\376\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n\0\0\0' | u8-istream-test read - Auto],
 187   [0], [entrée
 188 ])
 189 AT_CLEANUP
 190
 191 AT_SETUP([read EUC-JP as Auto,EUC-JP])
 192 AT_KEYWORDS([u8_istream])
 193 AT_CHECK([i18n-test supports_encodings EUC-JP])
 194 AT_CHECK([printf 'entr\217\253\261e\n' | u8-istream-test read - Auto,EUC-JP],
 195   [0], [entrée
 196 ])
 197 AT_CLEANUP
 198