spv: ALlow an extra 01 at the end of X3.
[pspp] / src / language / lexer / lexer.h
index caf57503317973788122afd42367d0a4eeaf1b1f..ae40a87a04253894669fb6e274d6307ea507a4c7 100644 (file)
 #include "language/lexer/segment.h"
 #include "libpspp/cast.h"
 #include "libpspp/compiler.h"
+#include "libpspp/message.h"
 #include "libpspp/prompt.h"
+#include "libpspp/str.h"
 
 struct lexer;
+struct lex_source;
+struct macro;
 
 /* Handling of errors. */
 enum lex_error_mode
@@ -36,7 +40,8 @@ enum lex_error_mode
     LEX_ERROR_TERMINAL,        /* Discard input line and continue reading. */
     LEX_ERROR_CONTINUE,        /* Continue to next command, except for
                                   cascading failures. */
-    LEX_ERROR_STOP             /* Stop processing. */
+    LEX_ERROR_IGNORE,          /* Continue, even for cascading failures. */
+    LEX_ERROR_STOP,            /* Stop processing. */
   };
 
 /* Reads a single syntax file as a stream of bytes encoded in UTF-8.
@@ -90,12 +95,16 @@ struct lex_reader *lex_reader_for_substring_nocopy (struct substring, const char
 struct lexer *lex_create (void);
 void lex_destroy (struct lexer *);
 
+/* Macros. */
+void lex_define_macro (struct lexer *, struct macro *);
+
 /* Files. */
 void lex_include (struct lexer *, struct lex_reader *);
 void lex_append (struct lexer *, struct lex_reader *);
 
 /* Advancing. */
 void lex_get (struct lexer *);
+void lex_get_n (struct lexer *, size_t n);
 
 /* Token testing functions. */
 bool lex_is_number (const struct lexer *);
@@ -116,7 +125,9 @@ bool lex_match (struct lexer *, enum token_type);
 bool lex_match_id (struct lexer *, const char *);
 bool lex_match_id_n (struct lexer *, const char *, size_t n);
 bool lex_match_int (struct lexer *, int);
+bool lex_at_phrase (struct lexer *, const char *s);
 bool lex_match_phrase (struct lexer *, const char *s);
+bool lex_force_match_phrase (struct lexer *, const char *s);
 
 /* Forcible matching functions. */
 bool lex_force_match (struct lexer *, enum token_type) WARN_UNUSED_RESULT;
@@ -125,6 +136,12 @@ bool lex_force_int (struct lexer *) WARN_UNUSED_RESULT;
 bool lex_force_int_range (struct lexer *, const char *name,
                           long min, long max) WARN_UNUSED_RESULT;
 bool lex_force_num (struct lexer *) WARN_UNUSED_RESULT;
+bool lex_force_num_range_closed (struct lexer *, const char *name,
+                                 double min, double max) WARN_UNUSED_RESULT;
+bool lex_force_num_range_halfopen (struct lexer *, const char *name,
+                                   double min, double max) WARN_UNUSED_RESULT;
+bool lex_force_num_range_open (struct lexer *, const char *name,
+                               double min, double max) WARN_UNUSED_RESULT;
 bool lex_force_id (struct lexer *) WARN_UNUSED_RESULT;
 bool lex_force_string (struct lexer *) WARN_UNUSED_RESULT;
 bool lex_force_string_or_id (struct lexer *) WARN_UNUSED_RESULT;
@@ -142,18 +159,44 @@ const char *lex_next_tokcstr (const struct lexer *, int n);
 double lex_next_tokval (const struct lexer *, int n);
 struct substring lex_next_tokss (const struct lexer *, int n);
 
+/* Looking at the current command, including lookahead and lookbehind. */
+int lex_ofs (const struct lexer *);
+int lex_max_ofs (const struct lexer *);
+const struct token *lex_ofs_token (const struct lexer *, int ofs);
+struct msg_location *lex_ofs_location (const struct lexer *, int ofs0, int ofs1);
+struct msg_point lex_ofs_start_point (const struct lexer *, int ofs);
+struct msg_point lex_ofs_end_point (const struct lexer *, int ofs);
+
+/* Token representation. */
+char *lex_next_representation (const struct lexer *, int n0, int n1);
+char *lex_ofs_representation (const struct lexer *, int ofs0, int ofs1);
+bool lex_next_is_from_macro (const struct lexer *, int n);
+
 /* Current position. */
-int lex_get_first_line_number (const struct lexer *, int n);
-int lex_get_last_line_number (const struct lexer *, int n);
-int lex_get_first_column (const struct lexer *, int n);
-int lex_get_last_column (const struct lexer *, int n);
 const char *lex_get_file_name (const struct lexer *);
+struct msg_location *lex_get_location (const struct lexer *, int n0, int n1);
 const char *lex_get_encoding (const struct lexer *);
+const struct lex_source *lex_source (const struct lexer *);
 
-/* Issuing errors. */
+/* Issuing errors and warnings. */
 void lex_error (struct lexer *, const char *, ...) PRINTF_FORMAT (2, 3);
 void lex_next_error (struct lexer *, int n0, int n1, const char *, ...)
   PRINTF_FORMAT (4, 5);
+void lex_ofs_error (struct lexer *, int ofs0, int ofs1, const char *, ...)
+  PRINTF_FORMAT (4, 5);
+
+void lex_msg (struct lexer *, enum msg_class, const char *, ...)
+  PRINTF_FORMAT (3, 4);
+void lex_next_msg (struct lexer *, enum msg_class, int n0, int n1,
+                   const char *, ...)
+  PRINTF_FORMAT (5, 6);
+void lex_ofs_msg (struct lexer *, enum msg_class, int ofs0, int ofs1,
+                  const char *, ...)
+  PRINTF_FORMAT (5, 6);
+void lex_ofs_msg_valist (struct lexer *lexer, enum msg_class,
+                         int ofs0, int ofs1, const char *format, va_list)
+  PRINTF_FORMAT (5, 0);
+
 int lex_end_of_command (struct lexer *);
 
 void lex_error_expecting (struct lexer *, ...) SENTINEL(0);
@@ -162,20 +205,14 @@ void lex_error_expecting (struct lexer *, ...) SENTINEL(0);
 void lex_error_expecting_valist (struct lexer *, va_list);
 void lex_error_expecting_array (struct lexer *, const char **, size_t n);
 
-void lex_sbc_only_once (const char *);
-void lex_sbc_missing (const char *);
+void lex_sbc_only_once (struct lexer *, const char *);
+void lex_sbc_missing (struct lexer *, const char *);
 
 void lex_spec_only_once (struct lexer *, const char *subcommand,
                          const char *specification);
 void lex_spec_missing (struct lexer *, const char *subcommand,
                        const char *specification);
 
-void lex_error_valist (struct lexer *, const char *, va_list)
-  PRINTF_FORMAT (2, 0);
-void lex_next_error_valist (struct lexer *lexer, int n0, int n1,
-                            const char *format, va_list)
-  PRINTF_FORMAT (4, 0);
-
 /* Error handling. */
 enum segmenter_mode lex_get_syntax_mode (const struct lexer *);
 enum lex_error_mode lex_get_error_mode (const struct lexer *);
@@ -183,4 +220,12 @@ void lex_discard_rest_of_command (struct lexer *);
 void lex_interactive_reset (struct lexer *);
 void lex_discard_noninteractive (struct lexer *);
 
+/* Source code access. */
+void lex_set_message_handler (struct lexer *,
+                              void (*output_msg) (const struct msg *,
+                                                  struct lexer *));
+struct lex_source *lex_source_ref (const struct lex_source *);
+void lex_source_unref (struct lex_source *);
+struct substring lex_source_get_line (const struct lex_source *, int line);
+
 #endif /* lexer.h */