scons/source_list.py

   1 """Source List Parser
   2
   3 The syntax of a source list file is a very small subset of GNU Make.  These
   4 features are supported
   5
   6  operators: +=, :=
   7  line continuation
   8  non-nested variable expansion
   9  comment
  10
  11 The goal is to allow Makefile's and SConscript's to share source listing.
  12 """
  13
  14 class SourceListParser(object):
  15     def __init__(self):
  16         self._reset()
  17
  18     def _reset(self, filename=None):
  19         self.filename = filename
  20
  21         self.line_no = 1
  22         self.line_cont = ''
  23         self.symbol_table = {}
  24
  25     def _error(self, msg):
  26         raise RuntimeError('%s:%d: %s' % (self.filename, self.line_no, msg))
  27
  28     def _next_dereference(self, val, cur):
  29         """Locate the next $(...) in value."""
  30         deref_pos = val.find('$', cur)
  31         if deref_pos < 0:
  32             return (-1, -1)
  33         elif val[deref_pos + 1] != '(':
  34             self._error('non-variable dereference')
  35
  36         deref_end = val.find(')', deref_pos + 2)
  37         if deref_end < 0:
  38             self._error('unterminated variable dereference')
  39
  40         return (deref_pos, deref_end + 1)
  41
  42     def _expand_value(self, val):
  43         """Perform variable expansion."""
  44         expanded = ''
  45         cur = 0
  46         while True:
  47             deref_pos, deref_end = self._next_dereference(val, cur)
  48             if deref_pos < 0:
  49                 expanded += val[cur:]
  50                 break
  51
  52             sym = val[(deref_pos + 2):(deref_end - 1)]
  53             expanded += val[cur:deref_pos] + self.symbol_table[sym]
  54             cur = deref_end
  55
  56         return expanded
  57
  58     def _parse_definition(self, line):
  59         """Parse a variable definition line."""
  60         op_pos = line.find('=')
  61         op_end = op_pos + 1
  62         if op_pos < 0:
  63             self._error('not a variable definition')
  64
  65         if op_pos > 0 and line[op_pos - 1] in [':', '+']:
  66             op_pos -= 1
  67         else:
  68             self._error('only := and += are supported')
  69
  70         # set op, sym, and val
  71         op = line[op_pos:op_end]
  72         sym = line[:op_pos].strip()
  73         val = self._expand_value(line[op_end:].lstrip())
  74
  75         if op == ':=':
  76             self.symbol_table[sym] = val
  77         elif op == '+=':
  78             self.symbol_table[sym] += ' ' + val
  79
  80     def _parse_line(self, line):
  81         """Parse a source list line."""
  82         # more lines to come
  83         if line and line[-1] == '\\':
  84             # spaces around "\\\n" are replaced by a single space
  85             if self.line_cont:
  86                 self.line_cont += line[:-1].strip() + ' '
  87             else:
  88                 self.line_cont = line[:-1].rstrip() + ' '
  89             return 0
  90
  91         # combine with previous lines
  92         if self.line_cont:
  93             line = self.line_cont + line.lstrip()
  94             self.line_cont = ''
  95
  96         if line:
  97             begins_with_tab = (line[0] == '\t')
  98
  99             line = line.lstrip()
 100             if line[0] != '#':
 101                 if begins_with_tab:
 102                     self._error('recipe line not supported')
 103                 else:
 104                     self._parse_definition(line)
 105
 106         return 1
 107
 108     def parse(self, filename):
 109         """Parse a source list file."""
 110         if self.filename != filename:
 111             fp = open(filename)
 112             lines = fp.read().splitlines()
 113             fp.close()
 114
 115             try:
 116                 self._reset(filename)
 117                 for line in lines:
 118                     self.line_no += self._parse_line(line)
 119             except:
 120                 self._reset()
 121                 raise
 122
 123         return self.symbol_table