#include <stdbool.h>
#include <unitypes.h>
#include "libpspp/str.h"
+#include "gl/verify.h"
#define TOKEN_TYPES \
- TOKEN_TYPE(ID) /* Identifier. */ \
- TOKEN_TYPE(POS_NUM) /* Positive number. */ \
- TOKEN_TYPE(NEG_NUM) /* Negative number. */ \
- TOKEN_TYPE(STRING) /* Quoted string. */ \
- TOKEN_TYPE(STOP) /* End of input. */ \
+ TOKEN_TYPE(STOP) /* End of input. */ \
\
- TOKEN_TYPE(ENDCMD) /* . */ \
- TOKEN_TYPE(PLUS) /* + */ \
- TOKEN_TYPE(DASH) /* - */ \
- TOKEN_TYPE(ASTERISK) /* * */ \
- TOKEN_TYPE(SLASH) /* / */ \
- TOKEN_TYPE(EQUALS) /* = */ \
- TOKEN_TYPE(LPAREN) /* ( */ \
- TOKEN_TYPE(RPAREN) /* ) */ \
- TOKEN_TYPE(LBRACK) /* [ */ \
- TOKEN_TYPE(RBRACK) /* ] */ \
- TOKEN_TYPE(COMMA) /* , */ \
+ TOKEN_TYPE(ID) /* Identifier. */ \
+ TOKEN_TYPE(POS_NUM) /* Positive number. */ \
+ TOKEN_TYPE(NEG_NUM) /* Negative number. */ \
+ TOKEN_TYPE(STRING) /* Quoted string. */ \
\
- TOKEN_TYPE(AND) /* AND */ \
- TOKEN_TYPE(OR) /* OR */ \
- TOKEN_TYPE(NOT) /* NOT */ \
+ TOKEN_TYPE(ENDCMD) /* . */ \
+ TOKEN_TYPE(PLUS) /* + */ \
+ TOKEN_TYPE(DASH) /* - */ \
+ TOKEN_TYPE(ASTERISK) /* * */ \
+ TOKEN_TYPE(SLASH) /* / */ \
+ TOKEN_TYPE(EQUALS) /* = */ \
+ TOKEN_TYPE(LPAREN) /* (*/ \
+ TOKEN_TYPE(RPAREN) /* ) */ \
+ TOKEN_TYPE(LBRACK) /* [ */ \
+ TOKEN_TYPE(RBRACK) /* ] */ \
+ TOKEN_TYPE(LCURLY) /* { */ \
+ TOKEN_TYPE(RCURLY) /* } */ \
+ TOKEN_TYPE(COMMA) /* , */ \
+ TOKEN_TYPE(SEMICOLON) /* ; */ \
+ TOKEN_TYPE(COLON) /* : */ \
\
- TOKEN_TYPE(EQ) /* EQ */ \
- TOKEN_TYPE(GE) /* GE or >= */ \
- TOKEN_TYPE(GT) /* GT or > */ \
- TOKEN_TYPE(LE) /* LE or <= */ \
- TOKEN_TYPE(LT) /* LT or < */ \
- TOKEN_TYPE(NE) /* NE or ~= */ \
+ TOKEN_TYPE(AND) /* AND */ \
+ TOKEN_TYPE(OR) /* OR */ \
+ TOKEN_TYPE(NOT) /* NOT */ \
\
- TOKEN_TYPE(ALL) /* ALL */ \
- TOKEN_TYPE(BY) /* BY */ \
- TOKEN_TYPE(TO) /* TO */ \
- TOKEN_TYPE(WITH) /* WITH */ \
+ TOKEN_TYPE(EQ) /* EQ */ \
+ TOKEN_TYPE(GE) /* GE or >= */ \
+ TOKEN_TYPE(GT) /* GT or > */ \
+ TOKEN_TYPE(LE) /* LE or <= */ \
+ TOKEN_TYPE(LT) /* LT or < */ \
+ TOKEN_TYPE(NE) /* NE or ~= */ \
\
- TOKEN_TYPE(EXP) /* ** */
-
+ TOKEN_TYPE(ALL) /* ALL */ \
+ TOKEN_TYPE(BY) /* BY */ \
+ TOKEN_TYPE(TO) /* TO */ \
+ TOKEN_TYPE(WITH) /* WITH */ \
+ \
+ TOKEN_TYPE(EXP) /* ** */ \
+ \
+ TOKEN_TYPE(MACRO_ID) /* Identifier starting with '!'. */ \
+ TOKEN_TYPE(MACRO_PUNCT) /* Miscellaneous punctuator. */
/* Token types. */
enum token_type
{
#define TOKEN_TYPE(TYPE) T_##TYPE,
TOKEN_TYPES
- TOKEN_N_TYPES
#undef TOKEN_TYPE
};
+verify(T_STOP == 0);
+
+#define TOKEN_TYPE(TYPE) + 1
+enum { TOKEN_N_TYPES = TOKEN_TYPES };
+#undef TOKEN_TYPE
const char *token_type_to_name (enum token_type);
const char *token_type_to_string (enum token_type);