生成AIやLLM(大規模言語モデル)の仕組みを調べていると、必ず出てくるのが「トークン」と「ベクトル」という言葉です。
どちらも文章をAIが扱えるように変換するための概念ですが、役割は別物です。
この記事では、AIが人間の書いた文章をどう処理しているのか、トークン化とベクトル化という2つの工程に分けて解説します。
そもそもAIは文章をそのまま読めない
一言で言うと、AIモデルの内部で扱えるのは数字だけなので、文章はいったん数字に変換する必要があるということです。
私たちが読む「猫が好きです」という文章は、AIにとってはただの文字の並びにすぎません。
コンピューターが計算できるのは数値だけなので、この文章を何らかの形で数字に変換しなければ、AIモデルは処理できません。
この変換のプロセスが、大きく分けて「トークン化」と「ベクトル化」という2つの段階に分かれています。
| トークン | ベクトル | |
|---|---|---|
| 正体 | 文章を分割した断片、または番号(ID) | 意味を表す数字の列 |
| 役割 | 文章を扱いやすい単位に区切る | 単語同士の意味の近さを計算できるようにする |
| 関係する場面 | 料金計算(従量課金の単位) | 意味の近さの検索(RAGなど) |
トークン化とは何か
一言で言うと、トークン化とは「文章を、AIが扱いやすい細かい単位(トークン)に分割する処理」のことです。
トークンとは、文章を分割した最小単位のことです。
単語そのものではなく、単語よりもさらに細かいサブワードという単位で分割されることが多くあります。
例えば「食べた」という単語は、「食べ」と「た」のように分割されることがあります。
なぜこう細かく分けるかというと、見たことのない単語が出てきても、細かい断片の組み合わせで対応できるようにするためです。
トークン化の結果、それぞれのトークンには辞書上の番号(トークンID)が割り振られます。
「猫」というトークンには1023、「が」には45、といった具合です。
この時点では、まだ意味を持った数字ではなく、単なる識別番号にすぎません。
ベクトル化(埋め込み)とは何か
一言で言うと、ベクトル化とは「トークンの識別番号を、意味を表す数字の列に変換する処理」のことです。
トークンIDだけでは、単語同士の意味的な近さを表現できません。
1023と1024が隣り合った番号だったとしても、その2つの単語の意味が近いとは限らないためです。
そこで、各トークンを、複数の数字を並べたベクトル(例:[0.2, -0.5, 0.8, …])に変換します。
この変換処理は、埋め込み(Embedding)とも呼ばれます。
ベクトルに変換すると、意味が近い単語同士は、数字の並びも近い位置に配置されます。
例えば「猫」と「犬」はベクトル空間上で近くに配置され、「猫」と「自動車」は遠くに配置されます。
AIモデルは、この数字の並び同士の距離や関係性を計算することで、単語同士の意味的なつながりを扱えるようになります。
文章全体が処理される流れ
ここまでの内容を、一つの流れとして整理します。
| ① 入力文章 「猫が好きです」 |
| ↓ トークン化 |
| ② トークン 「猫」「が」「好き」「です」 |
| ↓ ID化 |
| ③ トークンID 1023, 45, 892, 12 |
| ↓ ベクトル化(埋め込み) |
| ④ ベクトル [0.2, -0.5, 0.8, …] |
| ↓ AIモデルが計算・予測 |
| ⑤ 出力トークン → 文章に変換 → 回答として表示 |
この一連の流れが、チャットボットが回答を生成するたびに、裏側で高速に行われています。
実務で押さえておきたいポイント
トークンという概念は、Bedrockなどのサービスを実際に使うときにも関わってきます。
- 料金の計算方法:多くのAIサービスは、入力トークン数と出力トークン数に応じて課金されます。長い文章を渡したり、長い回答を生成させたりすると、その分コストが増えます。
- コンテキストウィンドウの制限:モデルには、一度に処理できるトークン数の上限があります。長い会話履歴や長文の資料をそのまま渡すと、上限に達してエラーになったり、古い部分が切り捨てられたりします。
- RAGとの関係:社内文書などを検索対象にする場合、文書をあらかじめベクトルに変換してデータベースに保存しておきます。質問が来たときに、その質問文もベクトル化し、意味的に近い文書を検索する仕組みで動いています。
まとめ
トークン化は、文章をAIが扱える最小単位に分割する処理で、ベクトル化はその単位を意味のある数字の列に変換する処理です。
この2つの工程を経ることで、AIモデルは人間の文章を計算可能な形に変換し、次に来る言葉を予測できるようになっています。
料金体系やコンテキストウィンドウの制限、RAGの仕組みも、すべてこのトークンとベクトルという基礎の上に成り立っています。
普段何気なく使っているAIチャットボットも、裏側ではこうした地道な変換処理が繰り返されています。
コメント