ChatGPTのトークン数とは?個人事業主が知っておくべき文字数の目安と対処法
「300字で書いて」と指定したのに出力が短かったり長かったりする。長文の会議メモや提案文をそのまま貼り付けたら、途中で返答が切れてしまった。ChatGPTを日常的に使っている個人事業主・フリーランスなら、一度はこうした経験があるのではないでしょうか。
答えを先に書きます。 原因は、生成AIが「文字数」ではなく「トークン数」という別の単位で入力・出力を数えているからです。そして日本語については、覚えて使えるほど確定した換算比率がありません。情報源によって幅があり、モデルの世代でも変わります。言えるのは「日本語は英語よりトークンを多く消費しやすい」という傾向までです。したがって実務上の答えは、目安の数字を暗記することではなく、長文を貼る前にチェッカーで概算トークン数を実測することになります。
ChatGPTを仕事で使っていて、出力の長さのズレや返答の途中切れの理由を知りたい人向けです。モデルごとの正確な上限値やAPIの課金額を調べたい人には向きません(どちらも仕様変更が頻繁で、公式情報を直接確認する必要があります)。
注意: 本記事で示す数値・傾向は、公式に一次情報として断定できるものではなく、一般的な目安・体感として紹介しています。正確な仕様(利用中のモデルの上限など)は、必ず利用しているサービスの公式情報をご確認ください。
トークンとは何か(文字数との違い)
ChatGPTなどのAIモデルは、私たちが入力した文章をそのまま「1文字」「2文字」という単位で数えているわけではありません。文章をいったん「トークン」という処理上の単位に分割してから扱っています。
ざっくりしたイメージとしては、次のように理解しておくと実務では困りません。
- 文字数: 人間が目で見て数える「文字」の数(ひらがな・漢字・英数字を問わず1文字=1)
- トークン数: AIが内部処理で使う単位。1文字がそのまま1トークンになるとは限らず、英語では概ね1単語が1トークン程度になりやすい一方、日本語は1文字が複数のトークンに分割されやすい
つまり「100文字」と「100トークン」は別物であり、この2つを同じものとして扱ってしまうと、「文字数を指定したのに出力の長さが合わない」「思ったより早く上限に達してしまった」といった疑問の答えが見えなくなります。まずは「文字数とトークン数は別の物差しである」という前提を押さえることが、この記事全体の出発点です。
なぜ日本語はトークンを多く消費するのか
同じ内容の文章でも、日本語は英語に比べてトークンを多く消費しやすい傾向があるとされています。背景として、次のような点が挙げられます。
- 多くのAIモデルは学習データに占める英語の割合が大きく、英語の単語や語句のまとまりを効率よく1トークンとして扱えるよう設計されやすい
- 日本語はひらがな・カタカナ・漢字という複数の文字種が混在し、語と語の間にスペースもないため、モデルが文章を細かく区切って処理せざるを得ない場面が多い
この結果、「英語なら1つのトークンで済む内容が、日本語だと複数のトークンに分かれてしまう」という状況が起こりやすく、体感として「日本語は英語よりトークン消費で不利になりやすい」と言われています。ただし、この差がどの程度になるかはモデルの種類や文章の内容によって幅があり、一律の倍率として断定できるものではない点には注意してください。
文字数の目安(体感値として使う分にとどめる)
冒頭で書いたとおり厳密な倍率は示せないので、実務上の体感値として次のように捉えてください。
- 短い箇条書きのメモ程度の文章であれば、体感として大きな心配は不要なことが多い
- 議事録や提案文のように数百字〜千字を超えるまとまった文章になると、思ったよりトークンを消費している場合がある
- 「このくらいの文字数なら大丈夫だろう」という感覚だけに頼らず、長文を貼り付ける前に一度実際のトークン数を確認する習慣を持つほうが安全
数値を丸暗記するよりも、「不安になったらそのつど確認する」という行動に落とし込むほうが実務では確実です。自分が書いたプロンプトの文字数・概算トークン数をその場で確認したい場合は、AIプロンプト文字数・トークン数チェッカーにテキストを貼り付けると、文字数と概算のトークン数をすぐに把握できます。目安の数字を覚えるより先に、実際の文章で一度試してみるほうが感覚がつかみやすいはずです。
上限を超えるとどうなるか・モデルによって上限が違う
生成AIには、一度に入力・出力できるトークン数の上限(よく「コンテキストの長さ」と呼ばれるもの)があります。この上限を超えたり近づいたりすると、実務上は次のような現象が起こることがあります。
- 長文を貼り付けた際に、エラーメッセージが表示されて送信できない
- 回答が途中で不自然に切れてしまい、続きを別途依頼する必要が生じる
- 長い会話を続けているうちに、会話の前のほうの内容をAIが踏まえなくなる(覚えていないような応答になる)
ここで注意したいのは、この上限の具体的な数値は、利用しているモデルの種類・世代やプラン(無料/有料)によって異なり、サービス側の仕様変更で頻繁に見直されているということです。本記事では特定の数値を断定せず、「モデルによって上限が違う」「その上限は変わりうる」という事実の紹介にとどめます。正確な上限値は、利用しているサービスの公式ヘルプ・料金ページなど一次情報で確認してください。
文字数指定がズレる理由と対処法
「300字程度で」「500字以内で」と文字数を指定しても、出力が指定どおりの文字数にぴったり収まらないことがあります。これは、AIが出力する分量を内部的にはトークン単位で調整しているためで、トークン数と文字数が完全には一致しないことに起因すると考えられます。
実務での対処法としては、次のような工夫が現実的です。
| 対処法 | 具体的なやり方 | 向いている場面 |
|---|---|---|
| 許容幅を持たせて指定する | 「300字ちょうど」ではなく「300〜350字程度」のように幅を持たせて依頼する | メールや提案文など、多少の増減が許容される文章 |
| 出力後に文字数を確認する | 出力された文章をコピーして文字数カウントツールに貼り付け、必要なら削る・足す指示を追加で出す | 文字数制限が厳格に決まっている場面(応募フォームの文字数上限など) |
| 分割して依頼する | 長い文章を一度に頼まず、見出しごと・段落ごとに分けて依頼する | そもそも長文で上限に達しそうな場合 |
| 事前にトークン数を把握しておく | 送る前にプロンプト自体の文字数・概算トークン数を確認しておく | 議事録や提案文など、長文プロンプトを毎回使う場面 |
「指定した文字数にならないのはAIの不具合では」と感じるかもしれませんが、多くの場合はトークン単位で処理しているという仕組み上の特性です。仕組みを理解した上で、許容幅を持たせる・事後に確認するという運用でカバーするのが現実的な対処法です。
実務でのチェック習慣(長文プロンプトを送る前に)
このサイトで紹介している会議メモ→議事録→タスク化→フォローアップメールの一気通貫フローや、見積書・提案文の運用プロンプトのように、会議の文字起こしや提案文の下書きなど、まとまった量のテキストをそのままChatGPTに貼り付ける場面は少なくありません。
こうした長文プロンプトを送る前に、次のような小さなチェック習慣を持っておくと、途中で回答が切れたりエラーになったりする事態を避けやすくなります。
- 貼り付ける予定のテキスト(会議メモ、提案文の下書きなど)を用意する
- 送信前に、AIプロンプト文字数・トークン数チェッカーにテキストを貼り付けて、文字数と概算のトークン数を確認する
- 想定より大幅に多い場合は、要点だけを抜き出す・複数回に分けて送るなどの調整をしてから本番のプロンプトに使う
「感覚で大丈夫だろうと送ってみて、エラーになってから対処する」のではなく、「送る前に一度確認する」という順番に変えるだけで、長文プロンプトを扱う際のやり直しの手間を減らせます。
まとめ・次に読むべき記事
ChatGPTが「文字数」ではなく「トークン数」で入力・出力を処理していることを押さえておくと、「文字数指定どおりに返ってこない」「長文プロンプトが途中で切れる」といった実務上の疑問の見通しがよくなります。具体的な上限値や換算比率はモデル・プランによって変わるため断定はできませんが、不安なときは実際の文章でトークン数を確認する習慣を持つことが、最も確実な対処法です。
- 会議メモ→議事録→タスク化→フォローアップメールをChatGPTで一気通貫化する運用フロー(議事録・タスク化・メール作成の長文プロンプト例)
- フリーランスの見積書・提案文をChatGPTで作る運用術|値引き交渉の言い回しまで使えるプロンプト集(提案文・値引き交渉メールの長文プロンプト例)
この2記事で紹介しているようなプロンプトを使う際は、ぜひAIプロンプト文字数・トークン数チェッカーもあわせて活用してみてください。
AI生成コンテンツに関する開示: 本記事はAIが生成・編集したコンテンツです。内容については編集担当による確認を行っていますが、実際の利用にあたっては各AIサービスの最新の公式情報をご確認ください。本サイトは広告・アフィリエイトリンクを含む場合があります。詳しくは免責事項をご確認ください。