讓我們做個簡單的直譯器（一） | Linux 中國

這個 Pascal 直譯器的實現語言會使用 Python，但你也可以用其他任何語言，因為這裡展示的思想不依賴任何特殊的實現語言。好，讓我們開始幹活。準備好了，出發！

你會從編寫一個簡單的算術運算式解析器，也就是常說的計算器，開始學習直譯器和編譯器。今天的標的非常簡單：讓你的計算器能處理兩個個位數相加，比如 3+5。下麵是你的計算器的原始碼——不好意思，是直譯器：

# 標記型別
#
# EOF （end-of-file 檔案末尾）標記是用來表示所有輸入都解析完成
INTEGER, PLUS, EOF = 'INTEGER', 'PLUS', 'EOF'
class Token(object):
    def __init__(self, type, value):
        # token 型別: INTEGER, PLUS, MINUS, or EOF
        self.type = type
        # token 值: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, '+', 或 None
        self.value = value
    def __str__(self):
        """String representation of the class instance.
        Examples:
            Token(INTEGER, 3)
            Token(PLUS '+')
        """
        return 'Token({type}, {value})'.format(
            type=self.type,
            value=repr(self.value)
        )
    def __repr__(self):
        return self.__str__()
class Interpreter(object):
    def __init__(self, text):
        # 使用者輸入字串, 例如 "3+5"
        self.text = text
        # self.pos 是 self.text 的索引
        self.pos = 0
        # 當前標記實體
        self.current_token = None
    def error(self):
        raise Exception('Error parsing input')
    def get_next_token(self):
        """詞法分析器（也說成掃描器或者標記器）
        該方法負責把一個句子分成若干個標記。每次處理一個標記
        """
        text = self.text
        # self.pos 索引到達了 self.text 的末尾嗎？
        # 如果到了，就傳回 EOF 標記，因為沒有更多的
        # 能轉換成標記的輸入了
        if self.pos > len(text) - 1:
            return Token(EOF, None)
        # 從 self.pos 位置獲取當前的字元，
        # 基於單個字元判斷要生成哪種標記
        current_char = text[self.pos]
        # 如果字元是一個數字，就把他轉換成一個整數，生成一個 INTEGER # 標記，累加 self.pos 索引，指向數字後面的下一個字元，
        # 並傳回 INTEGER 標記
        if current_char.isdigit():
            token = Token(INTEGER, int(current_char))
            self.pos += 1
            return token
        if current_char == '+':
            token = Token(PLUS, current_char)
            self.pos += 1
            return token
        self.error()
    def eat(self, token_type):
        # 將當前的標記型別與傳入的標記型別作比較，如果他們相匹配，就
        # “eat” 掉當前的標記並將下一個標記賦給 self.current_token，
        # 否則丟擲一個異常
        if self.current_token.type == token_type:
            self.current_token = self.get_next_token()
        else:
            self.error()
    def expr(self):
        """expr -> INTEGER PLUS INTEGER"""
        # 將輸入中的第一個標記設定成當前標記
        self.current_token = self.get_next_token()
        # 我們期望當前標記是個位數。
        left = self.current_token
        self.eat(INTEGER)
        # 期望當前標記是 ‘+’ 號
        op = self.current_token
        self.eat(PLUS)
        # 我們期望當前標記是個位數。
        right = self.current_token
        self.eat(INTEGER)
        # 上述操作完成後，self.current_token 被設成 EOF 標記
        # 這時成功找到 INTEGER PLUS INTEGER 標記序列
        # 這個方法就可以傳回兩個整數相加的結果了，
        # 即高效的解釋了使用者輸入
        result = left.value + right.value
        return result
def main():
    while True:
        try:
            # 要在 Python3 下執行，請把 ‘raw_input’ 換成 ‘input’
            text = raw_input('calc> ')
        except EOFError:
            break
        if not text:
            continue
        interpreter = Interpreter(text)
        result = interpreter.expr()
        print(result)
if __name__ == '__main__':
    main()

$ python calc1.py
calc> 3+4
7
calc> 3+5
8
calc> 3+9
12
calc>

>>> from calc1 import Interpreter
>>>
>>> interpreter = Interpreter('3+5')
>>> interpreter.get_next_token()
Token(INTEGER, 3)
>>>
>>> interpreter.get_next_token()
Token(PLUS, '+')
>>>
>>> interpreter.get_next_token()
Token(INTEGER, 5)
>>>
>>> interpreter.get_next_token()
Token(EOF, None)
>>>