おはようございます、YASUです。
AWS AI Practitioner(AIF)の試験まで、残り5日になりました。今日は追い込み期の学習ログとして、直近つまずいたポイントを記録しておこうと思います。特に「もう分かった」と思っていたところで足元をすくわれた話です。
結論
評価指標(Precision・Recall・Accuracy)は、AIF試験で最もひっかかりやすいポイントの一つです。計算式や分母の違いで理解しようとすると余計に混乱することもあるので、「問題文のキーワード」で判断する方法に切り替えたところ、一気に安定しました。
Precision(適合率)とRecall(再現率)、何度説明されても混乱した話
二値分類の評価指標は、頭では理解しているつもりでも、実際に問題として出されると「あれ、どっちだっけ」となりがちです。今回何度も立ち止まったのは、この2つの違いでした。
- Precision(適合率):AIが「陽性」と判定したものの中で、実際に当たっていた割合
- Recall(再現率):実際に陽性だったものの中で、AIが正しく拾えた割合
分母(何を基準に割合を出すか)が違う、という説明を受けても、正直その場では分かった気になっても、次の瞬間にはまた混同する、を繰り返しました。
結局、一番効いたのはキーワードで判断する方法
色々な説明を試した結果、一番実践的だったのはこのシンプルな対応表でした。
「見逃したくない」「見逃しを最小化」「取りこぼしたくない」 → Recall
「誤検知を減らしたい」「誤って陽性と判定するのを避けたい」 → Precision例えば「病気の見逃しを最小化したい医療診断」という問題文が出てきたら、計算式を思い出す前に「見逃し」というキーワードだけでRecallだと判断できます。理屈を毎回組み立て直すより、この2フレーズを丸暗記した方が本番では確実だと感じました。
3層フレームワークで整理する
今回の学習でも引き続き使っているのが、3層フレームワークでの整理です。
- 技術的仕組み層:RAG、推論パラメータ(Temperature、Top-K、Max Tokensなど)
- データ・学習層:過学習・汎化性能、バイアス
- 倫理・ガバナンス層:Guardrails、Explainability(説明可能性)
この3層に沿って知識を仕分けしておくと、問題文がどの層の話をしているのかが見えやすくなり、選択肢のひっかけにも気づきやすくなります。
実際に問題を解いてみた感触
サービスの見分け(SageMaker vs Comprehendなど)、推論パラメータ(Top-K vs Max Tokens)、責任あるAI(Explainabilityなど)は、繰り返し練習した甲斐もあって安定して正解できるようになってきました。一方でPrecision/Recallのような「似た概念のどちらが問われているか」を見分けるパターンは、まだ油断すると間違えます。ここは本番前にもう一度重点的に潰しておこうと思います。
まとめ
- Precision/Recallは計算式より、問題文のキーワードで判断する方が本番で確実
- 「見逃し系→Recall」「誤検知系→Precision」の2フレーズを丸暗記
- 3層フレームワーク(技術的仕組み/データ・学習/倫理・ガバナンス)で知識を仕分けると、選択肢のひっかけに気づきやすい
試験まで残り5日、ラストスパートで似た概念の見分けを重点的に潰していきます。それでは、また明日!
コメント