似ているようで違う、AI用語のひっかけ3つ

AWS AI Practitionerの模擬試験を進めています。今日は「似ているようで実は別物」という言葉に、何度も足を止められました。

今日つまずいたポイント

1つ目は、評価指標の話です。議事録を要約するモデルの精度を測る問題で、F1スコアを選んでしまいました。

F1スコアは、分類タスクで使う指標です。当たったか外れたかを見るもので、精度と再現率のバランスを測ります。

一方で、要約や文章生成の一致度を測るのはROUGEという指標です。人が作った要約と、AIが作った要約がどれくらい重なっているかを見ます。分類問題ならF1、要約問題ならROUGE。この結びつけを覚えておきたいです。

2つ目は、チャットボットに使うアルゴリズムの話です。CNNを選んでしまいましたが、これは画像認識で使われるアルゴリズムでした。

RNNは時系列データを扱う古めの仕組みで、文章を順番に処理できますが、長い文章になると弱くなる欠点があります。

今のLLMのほとんどは、トランスフォーマーという仕組みを採用しています。文章を扱うAIと聞いたら、まずトランスフォーマーを思い浮かべる。そう覚えることにしました。

3つ目は、セキュリティの話です。悪意のあるデータが紛れ込んで、モデルの信頼性が下がるリスクを問う問題でした。

プロンプトインジェクションは、モデルが完成した後、使っているときに起きる攻撃です。入力する質問文に悪意のある指示を仕込んで、その場のやり取りを乗っ取ります。

一方でポイズニングは、モデルを作っている最中、学習データの段階で起きる攻撃です。悪意のあるデータをこっそり学習データに混ぜ込み、モデル自体に歪んだ知識を持たせてしまいます。今回の問題は学習中の話だったので、正解はポイズニングでした。

模擬試験を解いていると、似た言葉ほど引っかかりやすいと感じます。意味は分かっているつもりでも、問題文がどのタイミングの話をしているのか、見落としてしまいます。

間違えた問題は、その場で理由まで整理しておく。そうすることで、次に似た問題が出たときに迷わなくなる気がしています。試験本番まで、こうした細かいつまずきを一つずつ潰していきたいと思います。