過学習
Overfitting
訓練データに適合しすぎて、未知データでの性能が落ちる現象。学習のしすぎで応用力が失われる状態。
過学習とは
過学習(Overfitting)は、AIモデルが訓練データに過度に適合してしまい、未知の新しいデータでの性能が落ちる現象です。"訓練データの答えを丸暗記している状態"と言い換えるとわかりやすいです。
過学習が起きると、開発時の精度は高いのに本番で使えないという事態になります。
なぜ起きるか
- 訓練データが少ない
- モデルが複雑すぎる(パラメータ数が多すぎ)
- 訓練データに偏りがある
- 学習回数が多すぎる
どう防ぐか
- データ量を増やす・データ拡張
- シンプルなモデルから試す
- 正則化(モデルの自由度を制限)
- 学習を早めに止める(Early Stopping)
- 検証データで評価を行い、過学習前に止める
士業業務との関係
直接AIを開発しない士業には技術的な話ですが、AIベンダー選定や業務特化AIを導入するときの評価観点として以下が重要です。
- デモの精度は当てにしない: デモ用の最適化されたデータかもしれない
- 自事務所のデータで試用: 実業務のデータで動くか確認
- 新しいパターンへの強さ: 想定外の案件で破綻しないか
「過学習していないか」は、AIの実力を見極める質問の一つになります。
