tests/libpspp/u8-istream.at

   1 AT_BANNER([u8_istream])
   2
   3 AT_SETUP([read ASCII])
   4 AT_KEYWORDS([u8_istream])
   5 AT_CHECK([supports_encodings ASCII])
   6 AT_CHECK([echo string | u8-istream-test read - ASCII], [0], [string
   7 ])
   8 AT_CLEANUP
   9
  10 AT_SETUP([read UTF-8])
  11 AT_KEYWORDS([u8_istream])
  12 AT_CHECK([printf '\346\227\245\346\234\254\350\252\236\n' | u8-istream-test read - UTF-8], [0], [dnl
  13 UTF-8 mode
  14 日本語
  15 UTF-8 mode
  16 ])
  17 AT_CLEANUP
  18
  19 AT_SETUP([read EUC-JP])
  20 AT_KEYWORDS([u8_istream])
  21 AT_CHECK([supports_encodings EUC-JP])
  22 AT_CHECK([printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 \244\250 \244\251 \244\252\n' | u8-istream-test read - EUC-JP],
  23   [0],
  24   [ぁ あ ぃ い ぅ う ぇ え ぉ お
  25 ])
  26 AT_CLEANUP
  27
  28 AT_SETUP([read UTF-8 with character split across input buffers])
  29 AT_KEYWORDS([u8_istream])
  30 buffer_size=`u8-istream-test buffer-size`
  31 ($PERL -e "print 'x' x ($buffer_size - 16)"
  32  printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n') > input
  33 (echo "UTF-8 mode"
  34  cat input
  35  echo "UTF-8 mode") > expout
  36 AT_CHECK([u8-istream-test read input UTF-8 16], [0], [expout])
  37 AT_CLEANUP
  38
  39 AT_SETUP([read UTF-8 with character split across output buffers])
  40 AT_KEYWORDS([u8_istream])
  41 AT_CHECK([printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n' | u8-istream-test read - UTF-8 16], [0], [dnl
  42 UTF-8 mode
  43 ぁあぃいぅうぇえぉお
  44 UTF-8 mode
  45 ])
  46 AT_CLEANUP
  47
  48 AT_SETUP([read UTF-8 with character split across input and output buffers])
  49 AT_KEYWORDS([u8_istream])
  50 buffer_size=`u8-istream-test buffer-size`
  51 ($PERL -e "print 'x' x ($buffer_size - 16)"
  52  printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n') > input
  53 (echo "UTF-8 mode"
  54  cat input
  55  echo "UTF-8 mode") > expout
  56 AT_CHECK([u8-istream-test read input UTF-8 16], [0], [expout])
  57 AT_CLEANUP
  58
  59 AT_SETUP([read EUC-JP with character split across input buffers])
  60 AT_KEYWORDS([u8_istream])
  61 AT_CHECK([supports_encodings EUC-JP])
  62 buffer_size=`u8-istream-test buffer-size`
  63 ($PERL -e "print 'x' x ($buffer_size - 16)"
  64  printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 '
  65  printf '\244\250 \244\251 \244\252\n') > input
  66 ($PERL -e "print 'x' x ($buffer_size - 16)"
  67  printf '\343\201\201\040\343\201\202\040\343\201\203\040\343\201\204\040'
  68  printf '\343\201\205\040\343\201\206\040\343\201\207\040\343\201\210\040'
  69  printf '\343\201\211\040\343\201\212\n') > expout
  70 AT_CHECK([u8-istream-test read input EUC-JP], [0], [expout])
  71 AT_CLEANUP
  72
  73 AT_SETUP([read EUC-JP with character split across output buffers])
  74 AT_KEYWORDS([u8_istream])
  75 AT_CHECK([supports_encodings EUC-JP])
  76 AT_CHECK([printf '\244\241\244\242\244\243\244\244\244\245\244\246\244\247\244\250\244\251\244\252\n' | u8-istream-test read - EUC-JP 16],
  77   [0],
  78   [ぁあぃいぅうぇえぉお
  79 ])
  80 AT_CLEANUP
  81
  82 AT_SETUP([read EUC-JP with character split across input and output buffers])
  83 AT_KEYWORDS([u8_istream])
  84 AT_CHECK([supports_encodings EUC-JP])
  85 buffer_size=`u8-istream-test buffer-size`
  86 ($PERL -e "print 'x' x ($buffer_size - 16)"
  87  printf 'xyz\244\241\244\242\244\243\244\244\244\245\244\246\244\247\244\250'
  88  printf '\244\251\244\252\n') > input
  89 ($PERL -e "print 'x' x ($buffer_size - 16)"
  90  printf '\170\171\172\343\201\201\343\201\202\343\201\203\343\201\204\343'
  91  printf '\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201'
  92  printf '\212\n') > expout
  93 AT_CHECK([u8-istream-test read input EUC-JP 16], [0], [expout])
  94 AT_CLEANUP
  95
  96 AT_SETUP([read ASCII as Auto])
  97 AT_KEYWORDS([u8_istream])
  98 AT_CHECK([echo string | u8-istream-test read - Auto], [0], [dnl
  99 Auto mode
 100 string
 101 Auto mode
 102 ])
 103 AT_CLEANUP
 104
 105 AT_SETUP([read UTF-8 as Auto])
 106 AT_KEYWORDS([u8_istream])
 107 AT_CHECK([printf 'entr\303\251e\n' | u8-istream-test read - Auto], [0], [dnl
 108 Auto mode
 109 entrée
 110 UTF-8 mode
 111 ])
 112 AT_CLEANUP
 113
 114 AT_SETUP([read ISO-8859-1 as Auto,ISO-8859-1])
 115 AT_KEYWORDS([u8_istream])
 116 AT_CHECK([supports_encodings ISO-8859-1])
 117 buffer_size=`u8-istream-test buffer-size`
 118 ($PERL -e "print 'x' x int($buffer_size * 2.5)"; printf 'entr\351e\n') > input
 119 (echo "Auto mode"
 120  $PERL -e "print 'x' x int($buffer_size * 2.5)"
 121  printf 'entr\303\251e\n') > expout
 122 AT_CHECK([u8-istream-test read input Auto,ISO-8859-1], [0], [expout])
 123 AT_CLEANUP
 124
 125 dnl UTF-16BE is not ASCII compatible so this doesn't start out in Auto mode.
 126 AT_SETUP([read UTF-16BE as Auto,UTF-16BE])
 127 AT_KEYWORDS([u8_istream])
 128 AT_CHECK([supports_encodings UTF-16BE])
 129 AT_CHECK([printf '\0e\0n\0t\0r\0\351\0e\0\n' | u8-istream-test read - Auto,UTF-16BE],
 130   [0], [dnl
 131 entrée
 132 ])
 133 AT_CLEANUP
 134
 135 AT_SETUP([read EUC-JP as Auto,EUC-JP])
 136 AT_KEYWORDS([u8_istream])
 137 AT_CHECK([supports_encodings EUC-JP])
 138 AT_CHECK([printf 'entr\217\253\261e\n' | u8-istream-test read - Auto,EUC-JP],
 139   [0], [entrée
 140 ])
 141 AT_CLEANUP
 142