Bedrockの評価と学習率でつまずいた話

AWS AI Practitionerの模擬試験を進めています。今日は2つほど、頭の中で整理し直した論点がありました。どちらも知識としては知っていたはずなのに、問題文の言い回しでまんまと引っかかったパターンです。

今日つまずいたポイント

1つ目は、Amazon Bedrockのモデル評価についてです。Bedrockには評価の仕組みが用意されていて、自動で評価してくれるパターンと、人がチェックするパターンがあります。

ここで引っかかったのが、使えるデータセットの範囲でした。自動評価の場合は、あらかじめ用意されている組み込みのデータセットも、自分で用意したデータセットも、どちらも使うことができます。

一方で、人がチェックする評価の場合は違います。自分で用意したデータセットしか使えません。組み込みのデータセットは使えないという点が、地味に足元をすくってきました。

問題文に「ヒューマンワーカーによる評価」と書かれていたら、選べる範囲が狭くなる。そう覚えておくと、次からは迷わなそうです。

2つ目は、機械学習の学習率についてです。学習率が低すぎるとどうなるか、という問題でした。

これは山を下るイメージで考えると、すっと腹落ちしました。谷底が正解の状態だとして、そこに向かって一歩ずつ歩いていくとします。

学習率が低いというのは、この一歩の歩幅がとても小さい状態です。歩幅が小さいので、なかなか谷底にたどり着けません。誤差をうまく修正できないまま、少しずつしか前に進めない状態が続きます。結果として、学習の効率が悪くなってしまいます。

逆に、歩幅が大きすぎる場合は、また別の問題が起きます。谷底を通り過ぎて、反対側の斜面まで行ってしまうのです。これを繰り返すと、いつまでも谷底に落ち着かず、学習がどんどん不安定になっていきます。

模擬試験を解いていると、こういう細かい条件の違いを問う問題によく出会います。知識としては知っていても、問題文の言い回しによって答えを取り違えてしまう。そんなことが何度もありました。

間違えた問題は、その場で理由まで整理しておく。そうすることで、次に似た問題が出たときに迷わなくなる気がしています。試験本番まで、こうした細かいつまずきを一つずつ潰していきたいと思います。