Deep Learningを勉強すると、とにかく分からないバックプロパゲーション。 やっていることは、入力の値に重みやバイアスを掛けて構築されるニューラルネットワークの出力値が目標値に近づくように重みやバイアスを調整するいわゆる学習の工程ですが、行列の計算式や∑がつらつら出てくるので、ぜんぜん理解できない。。 しかし、下図のよく出てくるニューラルネットワークの図を見ていると、ｙの値は入力値ｘの値と未知数のｗ、ｂの値からなっており、出力値と目標値の差の二乗の合計の値が最小になるようにw,bの値を求めてやればいい。 この出力値と目標値の差の二乗の合計の値が最小になるにっていう響き、何か聞いたことがあるぞ！ そう最小二乗法！！！ 最小二乗法では二乗誤差の合計が最小となるように、二乗誤差の合計の式に関して 未知数の偏微分 ＝ ０ として、未知数を求めますが、同じようなノリで、二乗誤差の合計の式に
