字句解析 とは？

ソースコードの文字の並びを、意味のある最小単位「トークン」に切り分ける処理だよ。たとえば「int x = 10;」なら「int」「x」「=」「10」「;」の5つのトークンに分けるんだ。

構文解析器が構文をチェックするとき、1文字ずつ見るのは大変だからだよ。あらかじめ「キーワード」「数値」「演算子」のように分類されたトークン列にしておくと、次の処理が楽になるんだ。

基本的にはこの段階で捨てられるよ。構文解析には不要だからね。ただしPythonのようにインデントが意味を持つ言語では、字句解析で特別なトークンを生成することもあるんだ。

正規表現や有限オートマトンを使うよ。たとえば「数字が1つ以上続いたら数値リテラル」「英字で始まって英数字が続いたら識別子」のようにパターンで判定するんだ。

あるよ。閉じ忘れた文字列リテラルや、言語で許可されていない文字が出てきたらエラーになるね。flexやre2cといった字句解析器生成ツールを使えば、正規表現からレキサーを自動生成することもできるんだ。