gui: Allow File|Open to select an encoding for system files.
[pspp] / src / libpspp / i18n.h
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 2006, 2010, 2011, 2012 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #ifndef I18N_H
18 #define I18N_H
19
20 #include <stdbool.h>
21 #include <unistr.h>
22
23 void  i18n_done (void);
24 void  i18n_init (void);
25
26 #define UTF8 "UTF-8"
27
28 /* The encoding of literal strings in PSPP source code, as seen at execution
29    time.  In fact this is likely to be some extended ASCII encoding, such as
30    UTF-8 or ISO-8859-1, but ASCII is adequate for our purposes. */
31 #define C_ENCODING "ASCII"
32
33 struct pool;
34
35 char recode_byte (const char *to, const char *from, char);
36
37 char *recode_string (const char *to, const char *from,
38                      const char *text, int len);
39 char *recode_string_pool (const char *to, const char *from,
40                           const char *text, int length, struct pool *);
41 struct substring recode_substring_pool (const char *to, const char *from,
42                                         struct substring text, struct pool *);
43
44 size_t recode_string_len (const char *to, const char *from,
45                           const char *text, int len);
46
47 char *utf8_encoding_trunc (const char *, const char *encoding,
48                            size_t max_len);
49 size_t utf8_encoding_trunc_len (const char *, const char *encoding,
50                                 size_t max_len);
51
52 char *utf8_encoding_concat (const char *head, const char *tail,
53                             const char *encoding, size_t max_len);
54 size_t utf8_encoding_concat_len (const char *head, const char *tail,
55                                  const char *encoding, size_t max_len);
56
57 char *utf8_to_filename (const char *filename);
58 char *filename_to_utf8 (const char *filename);
59
60 bool valid_encoding (const char *enc);
61
62 char get_system_decimal (void);
63
64 const char * get_default_encoding (void);
65 void set_default_encoding (const char *enc);
66
67 bool set_encoding_from_locale (const char *loc);
68
69 const char *uc_name (ucs4_t uc, char buffer[16]);
70
71 unsigned int utf8_hash_case_bytes (const char *, size_t n, unsigned int basis);
72 unsigned int utf8_hash_case_string (const char *, unsigned int basis);
73 int utf8_strcasecmp (const char *, const char *);
74 int utf8_strncasecmp (const char *, size_t, const char *, size_t);
75 char *utf8_to_upper (const char *);
76 char *utf8_to_lower (const char *);
77 \f
78 /* Information about character encodings. */
79
80 /* ISO C defines a set of characters that a C implementation must support at
81    runtime, called the C basic execution character set, which consists of the
82    following characters:
83
84        A B C D E F G H I J K L M
85        N O P Q R S T U V W X Y Z
86        a b c d e f g h i j k l m
87        n o p q r s t u v w x y z
88        0 1 2 3 4 5 6 7 8 9
89        ! " # % & ' ( ) * + , - . / :
90        ; < = > ? [ \ ] ^ _ { | } ~
91        space \a \b \r \n \t \v \f \0
92
93    The following is true of every member of the C basic execution character
94    set in all "reasonable" encodings:
95
96        1. Every member of the C basic character set is encoded.
97
98        2. Every member of the C basic character set has the same width in
99           bytes, called the "unit width".  Most encodings have a unit width of
100           1 byte, but UCS-2 and UTF-16 have a unit width of 2 bytes and UCS-4
101           and UTF-32 have a unit width of 4 bytes.
102
103        3. In a stateful encoding, the encoding of members of the C basic
104           character set does not vary with shift state.
105
106        4. When a string is read unit-by-unit, a unit that has the encoded value
107           of a member of the C basic character set, EXCEPT FOR THE DECIMAL
108           DIGITS, always represents that member.  That is, if the encoding has
109           multi-unit characters, the units that encode the C basic character
110           set are never part of a multi-unit character.
111
112           The exception for decimal digits is due to GB18030, which uses
113           decimal digits as part of multi-byte encodings.
114
115    All 8-bit and wider encodings that I have been able to find follow these
116    rules.  7-bit and narrower encodings (e.g. UTF-7) do not.  I'm not too
117    concerned about that. */
118
119 #include <stdbool.h>
120
121 /* Maximum width of a unit, in bytes.  UTF-32 with 4-byte units is the widest
122    that I am aware of. */
123 #define MAX_UNIT 4
124
125 /* Information about an encoding. */
126 struct encoding_info
127   {
128     /* Encoding name.  IANA says character set names may be up to 40 US-ASCII
129        characters. */
130     char name[41];
131
132     /* True if this encoding has a unit width of 1 byte, and every character
133        used in ASCII text files has the same value in this encoding. */
134     bool is_ascii_compatible;
135
136     /* True if this encoding has a unit width of 1 byte and appears to be
137        EBCDIC-based.  */
138     bool is_ebcdic_compatible;
139
140     /* Character information. */
141     int unit;                   /* Unit width, in bytes. */
142     char cr[MAX_UNIT];          /* \r in encoding, 'unit' bytes long. */
143     char lf[MAX_UNIT];          /* \n in encoding, 'unit' bytes long. */
144     char space[MAX_UNIT];       /* ' ' in encoding, 'unit' bytes long. */
145   };
146
147 bool get_encoding_info (struct encoding_info *, const char *name);
148 bool is_encoding_ascii_compatible (const char *encoding);
149 bool is_encoding_ebcdic_compatible (const char *encoding);
150 bool is_encoding_supported (const char *encoding);
151
152 bool is_encoding_utf8 (const char *encoding);
153 \f
154 /* Database of encodings, by language or region. */
155
156 struct encoding_category
157   {
158     const char *category;       /* e.g. "Arabic" or "Western European". */
159     const char **encodings;     /* Encodings within the category. */
160     size_t n_encodings;         /* Number of encodings in category. */
161   };
162
163 struct encoding_category *get_encoding_categories (void);
164 size_t get_n_encoding_categories (void);
165
166 #endif /* i18n.h */