正解：ウ
各選択肢の解説
ア文章を1文字ずつ区切った単位で、どの言語でも1トークンが1文字に当たる。
誤り。トークンは文字そのものではありません。よく使われる語は数文字をまとめて 1トークンに、まれな語は細かく分けて扱います。そのため同じ文字数でも、言語や モデルによってトークン数は変わります。「文字数＝トークン数」と思い込むのは よくある誤解です。
イ利用者が本人であることを示すために発行される、認証用の文字列。
誤り。これは情報セキュリティで使うアクセストークンなどの意味です。同じ 「トークン」という言葉なので混同しがちですが、生成AIの料金や入力上限で数える トークンは、文章を処理する単位のことです。何を数えているのかで区別します。
ウモデルが文章を扱うときの処理単位で、単語より短く区切られることもある。
正解。大規模言語モデルは入力された文章をトークンに区切ってから処理し、 出力もトークンを一つずつ生成します。そのため入力の上限や料金も トークンの数で数えられます。
エモデル内部で調整される値のことで、この数が多いほど大規模なモデルとされる。
誤り。これはパラメータ（重み）の説明です。「大規模言語モデル」の規模を表す 数として並べて語られるため取り違えやすいですが、パラメータはモデルの中身、 トークンはモデルに出し入れする文章の単位です。
理解を深めるために
文章を「ひとかたまり」ずつに切って読む
大規模言語モデルは、文章を1文字ずつ読んでいるわけでも、辞書どおりの単語で 区切っているわけでもありません。よく出てくる並びはひとまとめに、めったに 出てこない並びは細かく分けたトークンという単位に切ってから扱います。
回答を書くときも同じで、「次に来るトークン」を一つずつ選んで文章を 組み立てています。入力にも出力にもトークンが使われるので、 一度に扱える分量や利用料金もトークンの数で数えるのが自然なのです。
なぜ文字数と一致しないのか
- 区切り方は、モデルごとに学習データでの出現頻度をもとに決められている
- そのため同じ内容でも、言語によってトークン数が変わる。一般に日本語は 英語より、1トークンあたりの文字数が少なくなる傾向がある
- 換算の比率はモデルによって異なるため、「何文字で1トークン」と 固定して覚えるものではない
長い資料を丸ごと貼り付けて「入りきらない」と言われるのは、 文字数ではなくトークン数の上限に達しているからです。
混同しやすいものとの違い
| 用語 | 何のことか |
|---|---|
| トークン（生成AI） | モデルが文章を処理するときの区切りの単位 |
| 文字 | 文章を構成する1字。トークンとは一致しない |
| アクセストークン | 本人確認のために発行される認証用の文字列 |
| パラメータ（重み） | モデル内部で調整される値。規模の目安になる |
「入力の上限」「料金の単位」「文章の区切り」という文脈ならトークン、 「モデルの大きさ」ならパラメータと切り分けると迷いません。