토큰 어휘 분석(Lexical Analysis)은 소스 프로그램을 읽어 토큰이라는 의미 있는 문법 단위로 분리하는 행위이다. 이러한 어휘 분석을 담당하는 툴을 어휘 분석기, 혹은 스캐너(Scanner)라고 한다. 토큰이란 의미 있는 문법적 단위로 일반적으로 식별자(Identifier), 상수(Constant), 예약어(Keyword), 연산자(Operator), 구분자(Delimiter) 등이 토큰으로 이용된다. 언어 S의 각 토큰을 아래와 같이 정해보겠다. 예약어 언어에서 미리 그 의미와 용법이 지정되어 사용되는 단어로 예약어 / 키워드라고 한다. 괄호 안이 예약어에 해당되는 문자열이다. BOOL("bool"), TRUE("true"), FALSE("false"), IF("if"),THEN("the..