字句要素：インデックス
C++ 言語ガイド：インデックス への移動
このセクションには字句要素に関するトピックが含まれています。 これらのトピックでは C++ の字句要素の正式な定義を紹介します。 言語が認識する、単語のような単位（トークン）のさまざまな種類について説明します。
C++ ソース ファイル内のトークンは、コンパイラやコンパイラに組み込まれたプリプロセッサによりプログラムに対して実行される一連の演算で取り出されます。
プリプロセッサは、まずプログラム テキストをスキャンして、特別なプリプロセッサ指令を探します（詳細は、「プリプロセッサ指令：インデックス」トピックを参照）。 たとえば、#include <inc_file> という指令があると、コンパイル段階に入る前に、ファイル inc_file の内容がプログラムに追加（インクルード）されます。 プリプロセッサは、プログラムやインクルード ファイル内で見つかったマクロの展開も行います。
C++ プログラムは、適切なテキスト エディタ（IDE のエディタなど）を使って作られた、ソース コードを表す ASCII 文字のシーケンスとして始まります。 C++ の基本プログラム単位は、ソース ファイル（通常は名前に ".c" または ".cpp" が付いています）と、#include プリプロセッサ指令でインクルードされたすべてのヘッダー ファイルおよびソース ファイルです。 通常、ソース ファイルは名前に ".c" または ".cpp" が付いていることで、ヘッダー ファイルは ".h" または ".hpp" が付いていることで判別されます。
コンパイルのトークン化段階では、ソース コード ファイルがトークンとホワイトスペースに解析（つまり分解）されます。