損失関数
Loss Function
モデルの予測と正解のズレを数値化する関数。この値を小さくする方向に学習を進めるのが機械学習の基本。
損失関数とは
損失関数（Loss Function）は、モデルの予測値と正解との「ズレ」を数値化する関数です。機械学習・ディープラーニングでは、この損失を小さくする方向にモデルを学習させるのが基本原則です。
損失関数は「モデルの出来の悪さ」を測るものさしであり、学習の羅針盤と言えます。
役割
- 評価: 現在のモデルがどれだけ正解から外れているかを計測
- 学習の指針: 勾配降下法により、この値を下げる方向にパラメータを更新
- タスクへの適合: タスク（分類・回帰など）に応じて適切な関数を選ぶ
代表的な損失関数
- 平均二乗誤差（MSE）: 回帰タスクで定番。予測と正解の差を2乗した平均
- クロスエントロピー: 分類タスクで定番。確率分布のズレを測る
- Hinge Loss: SVMで使われる
- KLダイバージェンス: 分布同士の距離を測る
タスクに合わない損失関数を使うと、学習がうまく進まないため、選択は重要です。
関連する概念
- 勾配降下法: 損失の勾配を使って、下る方向にパラメータを更新
- バックプロパゲーション: 損失の勾配を効率的に計算する仕組み
- 学習率: 一度にどれくらい動くか
「損失関数＝AIが何を目指して学習するかを決めるもの」と覚えると、モデル設計の全体像がつかみやすくなります。