トークンの概要：インデックス
字句要素：インデックス への移動
このセクションでは、C++ トークンについて説明します。トークンは言語による認識の単位で、単語に似ています。コンパイラでは 6 種類のトークンを認識します。
トークンの正式な定義は以下のとおりです。
- キーワード
- 識別子
- 定数
- 演算子
- 区切り子
ソース コードがスキャンされるにつれて、文字の並びから可能な最長のトークンが選択されるようにトークンが抽出されます。たとえば、external は、キーワード extern の後に識別子 al が続くと解析されるのではなく、単一の識別子として解析されます。
トークンの連結についての詳細は、「## 演算子によるトークンの連結」を参照してください。