トークン

トークンとは

トークンは、LLMが文章を処理するときの最小単位です。AIは文字を1文字ずつではなく「トークン」という塊に分解して扱います。

• 英語: 単語または単語の一部（例: "running" → "run" + "ning"）
• 日本語: 1文字が1〜2トークン程度になることが多い

なぜ重要か

LLMを使うとき、トークン数は以下の3つに直結します。

1. コンテキストウィンドウ: 一度に扱える最大トークン数（モデルごとに上限がある）
2. 料金: APIの課金は通常「入力トークン数＋出力トークン数」で計算
3. 速度: 処理するトークンが増えるほど応答時間も長くなる

実務での感覚値

トークン数はモデル・トークナイザーで変動しますが、日本語テキストの場合はおおよそ1文字あたり1〜2トークン前後の感覚で見積もられることが多いです（モデルによって差があります）。 具体的な対応トークン数はモデルごとに異なるため、利用するAPIのドキュメントで確認してください。

節約のコツ

• 不要な文字装飾・空白を削る
• 同じ内容を繰り返し入力しない
• プロンプトキャッシュ対応のAPIを使う（繰り返しのシステムプロンプト部分を割引できる）