pintos-os.org Git - pspp/blob - src/language/lexer/lexer.h

   1 /* PSPP - a program for statistical analysis.
   2    Copyright (C) 1997-9, 2000, 2010, 2011, 2013, 2014 Free Software Foundation, Inc.
   3
   4    This program is free software: you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation, either version 3 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13
  14    You should have received a copy of the GNU General Public License
  15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
  16
  17 #ifndef LEXER_H
  18 #define LEXER_H 1
  19
  20 #include <stdbool.h>
  21 #include <stddef.h>
  22 #include <unistd.h>
  23
  24 #include "data/identifier.h"
  25 #include "data/variable.h"
  26 #include "language/lexer/segment.h"
  27 #include "libpspp/cast.h"
  28 #include "libpspp/compiler.h"
  29 #include "libpspp/message.h"
  30 #include "libpspp/prompt.h"
  31 #include "libpspp/str.h"
  32
  33 struct lexer;
  34 struct lex_source;
  35 struct macro;
  36
  37 void lex_source_ref (const struct lex_source *);
  38 void lex_source_unref (struct lex_source *);
  39 struct substring lex_source_get_line (const struct lex_source *, int line);
  40
  41 /* Handling of errors. */
  42 enum lex_error_mode
  43   {
  44     LEX_ERROR_TERMINAL,        /* Discard input line and continue reading. */
  45     LEX_ERROR_CONTINUE,        /* Continue to next command, except for
  46                                   cascading failures. */
  47     LEX_ERROR_STOP             /* Stop processing. */
  48   };
  49
  50 /* Reads a single syntax file as a stream of bytes encoded in UTF-8.
  51
  52    Not opaque. */
  53 struct lex_reader
  54   {
  55     const struct lex_reader_class *class;
  56     enum segmenter_mode syntax;
  57     enum lex_error_mode error;
  58     char *encoding;
  59     char *file_name;            /* NULL if not associated with a file. */
  60     int line_number;            /* 1-based initial line number, 0 if none. */
  61     bool eof;
  62   };
  63
  64 /* An implementation of a lex_reader. */
  65 struct lex_reader_class
  66   {
  67     /* Reads up to N bytes of data from READER into N.  Returns the positive
  68        number of bytes read if successful, or zero at end of input or on
  69        error.
  70
  71        STYLE provides a hint to interactive readers as to what kind of syntax
  72        is being read right now. */
  73     size_t (*read) (struct lex_reader *reader, char *buf, size_t n,
  74                     enum prompt_style style);
  75
  76     /* Closes and destroys READER, releasing any allocated storage.
  77
  78        The caller will free the 'file_name' member of READER, so the
  79        implementation should not do so. */
  80     void (*destroy) (struct lex_reader *reader);
  81   };
  82
  83 /* Helper functions for lex_reader. */
  84 void lex_reader_init (struct lex_reader *, const struct lex_reader_class *);
  85 void lex_reader_set_file_name (struct lex_reader *, const char *file_name);
  86
  87 /* Creating various kinds of lex_readers. */
  88 struct lex_reader *lex_reader_for_file (const char *file_name,
  89                                         const char *encoding,
  90                                         enum segmenter_mode syntax,
  91                                         enum lex_error_mode error);
  92 struct lex_reader *lex_reader_for_string (const char *, const char *encoding);
  93 struct lex_reader *lex_reader_for_format (const char *, const char *, ...)
  94   PRINTF_FORMAT (1, 3);
  95 struct lex_reader *lex_reader_for_substring_nocopy (struct substring, const char *encoding);
  96
  97 /* Initialization. */
  98 struct lexer *lex_create (void);
  99 void lex_destroy (struct lexer *);
 100
 101 /* Macros. */
 102 void lex_define_macro (struct lexer *, struct macro *);
 103
 104 /* Files. */
 105 void lex_include (struct lexer *, struct lex_reader *);
 106 void lex_append (struct lexer *, struct lex_reader *);
 107
 108 /* Advancing. */
 109 void lex_get (struct lexer *);
 110 void lex_get_n (struct lexer *, size_t n);
 111
 112 /* Token testing functions. */
 113 bool lex_is_number (const struct lexer *);
 114 double lex_number (const struct lexer *);
 115 bool lex_is_integer (const struct lexer *);
 116 long lex_integer (const struct lexer *);
 117 bool lex_is_string (const struct lexer *);
 118
 119 /* Token testing functions with lookahead. */
 120 bool lex_next_is_number (const struct lexer *, int n);
 121 double lex_next_number (const struct lexer *, int n);
 122 bool lex_next_is_integer (const struct lexer *, int n);
 123 long lex_next_integer (const struct lexer *, int n);
 124 bool lex_next_is_string (const struct lexer *, int n);
 125
 126 /* Token matching functions. */
 127 bool lex_match (struct lexer *, enum token_type);
 128 bool lex_match_id (struct lexer *, const char *);
 129 bool lex_match_id_n (struct lexer *, const char *, size_t n);
 130 bool lex_match_int (struct lexer *, int);
 131 bool lex_at_phrase (struct lexer *, const char *s);
 132 bool lex_match_phrase (struct lexer *, const char *s);
 133
 134 /* Forcible matching functions. */
 135 bool lex_force_match (struct lexer *, enum token_type) WARN_UNUSED_RESULT;
 136 bool lex_force_match_id (struct lexer *, const char *) WARN_UNUSED_RESULT;
 137 bool lex_force_int (struct lexer *) WARN_UNUSED_RESULT;
 138 bool lex_force_int_range (struct lexer *, const char *name,
 139                           long min, long max) WARN_UNUSED_RESULT;
 140 bool lex_force_num (struct lexer *) WARN_UNUSED_RESULT;
 141 bool lex_force_id (struct lexer *) WARN_UNUSED_RESULT;
 142 bool lex_force_string (struct lexer *) WARN_UNUSED_RESULT;
 143 bool lex_force_string_or_id (struct lexer *) WARN_UNUSED_RESULT;
 144
 145 /* Token accessors. */
 146 enum token_type lex_token (const struct lexer *);
 147 double lex_tokval (const struct lexer *);
 148 const char *lex_tokcstr (const struct lexer *);
 149 struct substring lex_tokss (const struct lexer *);
 150
 151 /* Looking ahead. */
 152 const struct token *lex_next (const struct lexer *, int n);
 153 enum token_type lex_next_token (const struct lexer *, int n);
 154 const char *lex_next_tokcstr (const struct lexer *, int n);
 155 double lex_next_tokval (const struct lexer *, int n);
 156 struct substring lex_next_tokss (const struct lexer *, int n);
 157
 158 int lex_ofs (const struct lexer *);
 159 const struct token *lex_ofs_token (const struct lexer *, int ofs);
 160 struct msg_location *lex_ofs_location (const struct lexer *, int ofs0, int ofs1);
 161 struct msg_point lex_ofs_start_point (const struct lexer *, int ofs);
 162 struct msg_point lex_ofs_end_point (const struct lexer *, int ofs);
 163
 164 /* Token representation. */
 165 char *lex_next_representation (const struct lexer *, int n0, int n1);
 166 bool lex_next_is_from_macro (const struct lexer *, int n);
 167
 168 /* Current position. */
 169 int lex_get_first_line_number (const struct lexer *, int n);
 170 int lex_get_last_line_number (const struct lexer *, int n);
 171 int lex_get_first_column (const struct lexer *, int n);
 172 int lex_get_last_column (const struct lexer *, int n);
 173 const char *lex_get_file_name (const struct lexer *);
 174 struct msg_location *lex_get_location (const struct lexer *, int n0, int n1);
 175 struct msg_location *lex_get_lines (const struct lexer *, int n0, int n1);
 176 void lex_extend_location (const struct lexer *, int n, struct msg_location **);
 177 const char *lex_get_encoding (const struct lexer *);
 178
 179 /* Issuing errors. */
 180 void lex_error (struct lexer *, const char *, ...) PRINTF_FORMAT (2, 3);
 181 void lex_next_error (struct lexer *, int n0, int n1, const char *, ...)
 182   PRINTF_FORMAT (4, 5);
 183 int lex_end_of_command (struct lexer *);
 184
 185 void lex_error_expecting (struct lexer *, ...) SENTINEL(0);
 186 #define lex_error_expecting(...) \
 187   lex_error_expecting(__VA_ARGS__, NULL_SENTINEL)
 188 void lex_error_expecting_valist (struct lexer *, va_list);
 189 void lex_error_expecting_array (struct lexer *, const char **, size_t n);
 190
 191 void lex_sbc_only_once (const char *);
 192 void lex_sbc_missing (const char *);
 193
 194 void lex_spec_only_once (struct lexer *, const char *subcommand,
 195                          const char *specification);
 196 void lex_spec_missing (struct lexer *, const char *subcommand,
 197                        const char *specification);
 198
 199 void lex_error_valist (struct lexer *, const char *, va_list)
 200   PRINTF_FORMAT (2, 0);
 201 void lex_next_error_valist (struct lexer *lexer, int n0, int n1,
 202                             const char *format, va_list)
 203   PRINTF_FORMAT (4, 0);
 204
 205 /* Error handling. */
 206 enum segmenter_mode lex_get_syntax_mode (const struct lexer *);
 207 enum lex_error_mode lex_get_error_mode (const struct lexer *);
 208 void lex_discard_rest_of_command (struct lexer *);
 209 void lex_interactive_reset (struct lexer *);
 210 void lex_discard_noninteractive (struct lexer *);
 211
 212 #endif /* lexer.h */