トークンとは
トークンは、大規模言語モデル（LLM）がテキストを処理する際の最小単位です。モデルの入出力量や料金はトークン数で計算されます。
トークン数の目安
- 英語: 1単語 ≈ 1-1.5トークン
- 日本語: 1文字 ≈ 1-2トークン（漢字・ひらがなで異なる）
- 1,000トークン ≈ 日本語約500-700文字
コスト計算での重要性
AnthropicのClaude APIなど、LLMの利用料金は入力トークン数と出力トークン数に基づいて計算されます。Batch APIを使うと50%の割引が適用されます。
コンテキストウィンドウ
モデルが一度に処理できるトークン数の上限をコンテキストウィンドウと呼びます。Claude Opus 4は最大100万トークンのコンテキストに対応しています。