教師あり・なし学習、線形回帰、クラスタリングの位置づけ整理【AWS AI Practitioner】

AWS AI Practitionerの模擬試験を進めています。今日は個別の間違い探しというより、機械学習の基礎用語をあらためて整理し直す回になりました。

今日整理したポイント

1つ目は、『教師あり学習と教師なし学習の違い』です。

教師あり学習は、正解ラベルがついたデータを使って学習します。犬の写真に「犬」というラベル、猫の写真に「猫」というラベルをつけたデータを見せて、その正解付きのお手本から学ばせるイメージです。メールがスパムかどうかの判定や、価格の予測のように、正解が決まっている問題に使われます。

教師なし学習は、正解ラベルが一切ついていないデータを使います。大量の顧客データを渡されて「グループ分けしておいて」と言われるようなもので、AIが自分でデータの規則性を見つけ出します。顧客をいくつかのタイプに自動で分類したいときなど、そもそも正解が存在しない問題に向いています。「答え合わせができるかどうか」で見分けると区別しやすいと感じました。

2つ目は、『線形回帰』です。

線形回帰は、データの関係性を直線で表して、数値を予測する手法でした。部屋の広さと家賃の関係のように、点を散らばらせてみて、その真ん中を通るような直線を引く。その直線さえ引ければ、新しい広さが分かったときに家賃を予測できます。線形回帰は教師あり学習の代表的な手法の一つで、「はい/いいえ」の分類ではなく、株価や売上のように「いくつになるか」という連続した数字を当てたいときに使われます。

3つ目は、『クラスタリングの位置づけ』です。今日の問題で、「顧客のクラスタリング分析を行い、その結果に基づいてファインチューニングする」を選びましたが、不正解でした。

正解は、人による応答評価と、カスタムプロンプトデータセットを使った評価でした。クラスタリングは顧客をグループ分けする分析手法であって、チャットボットの応答そのものの質を評価する手法ではありません。「応答の質を評価したい」と問われたときに、データの性質を分析する手法(クラスタリング)と、評価そのものを行う手法(人による評価、専用データセットでの評価)を混同しないよう注意が必要だと分かりました。

今日は新しい間違いというより、これまで断片的に出てきた用語を、あらためて土台から見直す回になりました。教師あり・なし学習、線形回帰、クラスタリングは、それぞれ別々の場面で出てくる用語ですが、今回まとめて整理したことで、頭の中でのつながりが少しはっきりした気がします。