pintos-os.org Git - pspp/blob - tests/libpspp/encoding-guesser.at

   1 dnl PSPP - a program for statistical analysis.
   2 dnl Copyright (C) 2017 Free Software Foundation, Inc.
   3 dnl
   4 dnl This program is free software: you can redistribute it and/or modify
   5 dnl it under the terms of the GNU General Public License as published by
   6 dnl the Free Software Foundation, either version 3 of the License, or
   7 dnl (at your option) any later version.
   8 dnl
   9 dnl This program is distributed in the hope that it will be useful,
  10 dnl but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 dnl MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 dnl GNU General Public License for more details.
  13 dnl
  14 dnl You should have received a copy of the GNU General Public License
  15 dnl along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16 dnl
  17 AT_BANNER([encoding guesser])
  18
  19 AT_SETUP([ASCII])
  20 AT_KEYWORDS([encoding guesser])
  21 AT_CHECK([echo string | encoding-guesser-test Auto,ISO-8859-1], [0], [ASCII
  22 ])
  23 AT_CLEANUP
  24
  25 AT_SETUP([UTF-8])
  26 AT_KEYWORDS([encoding guesser])
  27 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
  28 AT_CHECK([printf '\346\227\245\346\234\254\350\252\236\n' | encoding-guesser-test Auto,ISO-8859-1], [0], [UTF-8
  29 ])
  30 AT_CLEANUP
  31
  32 AT_SETUP([UTF-8 starting with ASCII])
  33 AT_KEYWORDS([encoding guesser])
  34 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
  35 AT_CHECK([printf 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\346\227\245\346\234\254\350\252\236\n' | encoding-guesser-test Auto,ISO-8859-1 32], [0], [UTF-8
  36 ])
  37 AT_CLEANUP
  38
  39 AT_SETUP([UTF-16 with big-endian byte order mark])
  40 AT_KEYWORDS([encoding guesser])
  41 AT_CHECK([printf '\376\377' | encoding-guesser-test Auto,ISO-8859-1],
  42   [0], [UTF-16
  43 ])
  44 AT_CLEANUP
  45
  46 AT_SETUP([UTF-16 with little-endian byte order mark])
  47 AT_KEYWORDS([encoding guesser])
  48 AT_CHECK([printf '\377\376' | encoding-guesser-test Auto,ISO-8859-1],
  49   [0], [UTF-16
  50 ])
  51 AT_CLEANUP
  52
  53 AT_SETUP([UTF-16BE])
  54 AT_KEYWORDS([encoding guesser])
  55 AT_CHECK([printf '\0e\0n\0t\0r\0\351\0e\0\n' | encoding-guesser-test Auto,ISO-8859-1],
  56   [0], [UTF-16BE
  57 ])
  58 AT_CLEANUP
  59
  60 dnl Unicode U+XX00 characters are confusing in UTF-16 because they look
  61 dnl likely to be of the opposite endianness, so this tests for proper handling.
  62 AT_SETUP([UTF-16BE starting with U+0100])
  63 AT_KEYWORDS([encoding guesser])
  64 AT_CHECK([printf '\1\0\0e\0n\0t\0r\0\351\0e\0\n' | encoding-guesser-test Auto,ISO-8859-1],
  65   [0], [UTF-16BE
  66 ])
  67 AT_CLEANUP
  68
  69 AT_SETUP([UTF-16LE])
  70 AT_KEYWORDS([encoding guesser])
  71 AT_CHECK([printf 'e\0n\0t\0r\0\351\0e\0\n\0' | encoding-guesser-test Auto,ISO-8859-1],
  72   [0], [UTF-16LE
  73 ])
  74 AT_CLEANUP
  75
  76 dnl Unicode U+XX00 characters are confusing in UTF-16 because they look
  77 dnl likely to be of the opposite endianness, so this tests for proper handling.
  78 AT_SETUP([UTF-16LE starting with U+0100])
  79 AT_KEYWORDS([encoding guesser])
  80 AT_CHECK([printf '\0\1e\0n\0t\0r\0\351\0e\0\n\0' | encoding-guesser-test Auto,ISO-8859-1],
  81   [0], [UTF-16LE
  82 ])
  83 AT_CLEANUP
  84
  85 AT_SETUP([UTF-32 with big-endian byte order mark])
  86 AT_KEYWORDS([encoding guesser])
  87 AT_CHECK([printf '\0\0\376\377' | encoding-guesser-test Auto,ISO-8859-1],
  88   [0], [UTF-32
  89 ])
  90 AT_CLEANUP
  91
  92 AT_SETUP([UTF-32 with little-endian byte order mark])
  93 AT_KEYWORDS([encoding guesser])
  94 AT_CHECK([printf '\377\376\0\0' | encoding-guesser-test Auto,ISO-8859-1],
  95   [0], [UTF-32
  96 ])
  97 AT_CLEANUP
  98
  99 AT_SETUP([UTF-32BE])
 100 AT_KEYWORDS([encoding guesser])
 101 AT_CHECK([printf '\0\0\0e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n' | encoding-guesser-test Auto,ISO-8859-1],
 102   [0], [UTF-32BE
 103 ])
 104 AT_CLEANUP
 105
 106 AT_SETUP([UTF-32LE])
 107 AT_KEYWORDS([encoding guesser])
 108 AT_CHECK([printf 'e\0\0\0n\0\0\0t\0\0\0r\0\0\0\351\0\0\0e\0\0\0\n\0\0\0' | encoding-guesser-test Auto,ISO-8859-1],
 109   [0], [UTF-32LE
 110 ])
 111 AT_CLEANUP
 112
 113 AT_SETUP([ISO-8859-1])
 114 AT_KEYWORDS([encoding guesser])
 115 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
 116 AT_CHECK([printf 'entr\351e\n' | encoding-guesser-test Auto,ISO-8859-1],
 117   [0], [ISO-8859-1
 118 ])
 119 AT_CLEANUP
 120
 121 AT_SETUP([GB-18030 with byte order mark])
 122 AT_KEYWORDS([encoding guesser])
 123 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
 124 AT_CHECK([printf '\204\061\225\063' | encoding-guesser-test Auto,ISO-8859-1],
 125   [0], [GB-18030
 126 ])
 127 AT_CLEANUP
 128
 129 AT_SETUP([UTF-EBCDIC with byte order mark])
 130 AT_KEYWORDS([encoding guesser])
 131 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
 132 AT_CHECK([printf '\335\163\146\163' | encoding-guesser-test Auto,ISO-8859-1],
 133   [0], [UTF-EBCDIC
 134 ])
 135 AT_CLEANUP
 136
 137 AT_SETUP([EUC-JP as Auto,EUC-JP])
 138 AT_KEYWORDS([encoding guesser])
 139 AT_CHECK([i18n-test supports_encodings EUC-JP])
 140 AT_CHECK([printf '\244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 \244\250 \244\251 \244\252\n' | encoding-guesser-test Auto,EUC-JP],
 141   [0], [EUC-JP
 142 ])
 143 AT_CLEANUP
 144
 145 AT_SETUP([EUC-JP starting with ASCII as Auto,EUC-JP])
 146 AT_KEYWORDS([encoding guesser])
 147 AT_CHECK([i18n-test supports_encodings EUC-JP])
 148 AT_CHECK([printf 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx \244\241 \244\242 \244\243 \244\244 \244\245 \244\246 \244\247 \244\250 \244\251 \244\252\n' | encoding-guesser-test Auto,EUC-JP 32],
 149   [0], [EUC-JP
 150 ])
 151 AT_CLEANUP
 152
 153 AT_SETUP([UTF-8 with character split across input buffers])
 154 AT_KEYWORDS([encoding guesser])
 155 AT_CHECK([i18n-test supports_encodings ISO-8859-1])
 156 AT_CHECK([printf '\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\343\201\201\343\201\202\343\201\203\343\201\204\343\201\205\343\201\206\343\201\207\343\201\210\343\201\211\343\201\212\n' | encoding-guesser-test Auto,ISO-8859-1 32],
 157   [0], [UTF-8
 158 ])
 159 AT_CLEANUP
 160
 161 AT_SETUP([windows-1252 as Auto,UTF-8])
 162 AT_KEYWORDS([encoding guesser])
 163 AT_CHECK([i18n-test supports_encodings windows-1252])
 164 AT_CHECK([printf 'entr\351e' | encoding-guesser-test Auto,UTF-8 32], [0],
 165   [windows-1252
 166 ])
 167 AT_CLEANUP