ディープラーニングG検定の勉強中 その9(微分と関数値の近似、極大・極小)

書籍「最短コースでわかるディープラーニングの数学」の内容に沿って勉強しています。

今回は、まずは微分と関数値の近似についてです。

関数の直線について、2点(x, f(x))、(x+h, f(x+h))を結んだ関数の直線の傾きをグラフにすると、以下となります。

2-3-2-1.png

このとき、xに、x+hと微少の値を増やしたとき、f(x)の変化量との間には、以下の式が成り立ちます。

式1
2-4-3.png

例えば、f(x)=2 * x のとき、xが1でその増加量が、0.000000001のときには、
f(x)は、の増加量は0.000000002になるので、

2.000000002 ≅ 2 * 1.000000001 が成り立ちます。つまり、xの微量の増加によるf(x)の変化量は、hf '(x)と等しくなります。

接線についても、

2-3-2-2.png

dxがhと同様に微少の値が増加するときのf(x)の変化量は、f '(x)dxと等しくなり、式2が成立します。

式2
2-4-4.png

つまりは、式3が成立することになります。

式3
2-4-5.png

なお、上記の式から、f '(x)の値が0になるときには、f(x)の変化量も0となります。
そして、f '(x)=0となるxの地点(接線の傾き0)では、関数の形が山頂になっていたり、谷底になっていたりします。
関数の形が山頂のときには「極大」、谷底のときには「極小」といいます。

2-4-1.png

ただし、f '(x)=0のときに極大にも極小にもならない関数もあります。

2-4-2.png


なお、f '(x)=0のときに、極大または極小になるという原理は、ディープラーニングで用いられる「勾配降下法」に関連してくるとのことです。

ブログ気持玉

クリックして気持ちを伝えよう!

ログインしてクリックすれば、自分のブログへのリンクが付きます。

→ログインへ

なるほど(納得、参考になった、ヘー)
驚いた
面白い
ナイス
ガッツ(がんばれ!)
かわいい

気持玉数 : 0

この記事へのコメント