勾配降下法

勾配降下法とは

勾配降下法（Gradient Descent）は、損失関数の値が小さくなる方向へ、モデルのパラメータを少しずつ更新していく最適化手法です。機械学習・ディープラーニングの学習プロセスの中核をなす考え方です。

損失関数を「山」に例えると、もっとも低い谷底（最適解）を探して、斜面を下っていくイメージです。

仕組み

• 勾配の計算: 現在のパラメータで損失関数の傾きを求める
• 逆方向への更新: 勾配とは逆向きに、パラメータを少しずらす
• 繰り返し: 損失が十分小さくなるまで反復する

この更新幅を決める重要な値が**学習率（Learning Rate）**です。大きすぎると谷を飛び越え、小さすぎると学習が進みません。

種類

• バッチ勾配降下法: 全データで勾配を計算（正確だが重い）
• 確率的勾配降下法（SGD）: 1サンプルごとに更新（軽いが不安定）
• ミニバッチ勾配降下法: 小さなまとまりで更新（実務での定番）
• Adam・RMSProp: 自動で学習率を調整する発展手法

実務ではAdamなど改良版が広く使われています。

他の概念との関係

• 損失関数: 下りる「山」そのもの
• バックプロパゲーション: 勾配を効率的に計算する仕組み
• 学習率: 一歩の大きさ

勾配降下法は、ニューラルネットが学習する仕組みの土台と覚えておくとよいでしょう。