#define TOKEN_TYPES \
TOKEN_TYPE(ID) /* Identifier. */ \
- TOKEN_TYPE(MACRO_ID) /* Identifier starting with '!'. */ \
TOKEN_TYPE(POS_NUM) /* Positive number. */ \
TOKEN_TYPE(NEG_NUM) /* Negative number. */ \
TOKEN_TYPE(STRING) /* Quoted string. */ \
TOKEN_TYPE(SLASH) /* / */ \
TOKEN_TYPE(EQUALS) /* = */ \
TOKEN_TYPE(LPAREN) /* (*/ \
- TOKEN_TYPE(RPAREN) /*) */ \
+ TOKEN_TYPE(RPAREN) /* ) */ \
TOKEN_TYPE(LBRACK) /* [ */ \
TOKEN_TYPE(RBRACK) /* ] */ \
TOKEN_TYPE(COMMA) /* , */ \
TOKEN_TYPE(TO) /* TO */ \
TOKEN_TYPE(WITH) /* WITH */ \
\
- TOKEN_TYPE(EXP) /* ** */
-
+ TOKEN_TYPE(EXP) /* ** */ \
+ \
+ TOKEN_TYPE(MACRO_ID) /* Identifier starting with '!'. */ \
+ TOKEN_TYPE(MACRO_PUNCT) /* Miscellaneous punctuator. */
/* Token types. */
enum token_type
{
#define TOKEN_TYPE(TYPE) T_##TYPE,
TOKEN_TYPES
- TOKEN_N_TYPES
#undef TOKEN_TYPE
};
+#define TOKEN_TYPE(TYPE) + 1
+enum { TOKEN_N_TYPES = TOKEN_TYPES };
+#undef TOKEN_TYPE
+
const char *token_type_to_name (enum token_type);
const char *token_type_to_string (enum token_type);