旧ｵﾘﾄｲﾂｷさんのイラストまとめ
@_MatchaChoco010Follow @_MatchaChoco010さんをフォローする
フォロー数：619 フォロワー数：631
146 件中 131〜140件を表示
Text Mesh Proで適当なテキストを表示してみました。07 ロゴたいぷゴシック、しねきゃぷしょん、x14y24pxHeadUpDaisyを利用しています。
0
3
次はAdaGrad。過去の勾配の二乗和を記録していってそれをもとに更新量を減衰させる。大きく更新したところは更新が少なくなる。この場合は非常に綺麗に更新されていっている。
0
0
Momentumは力の関係を取り入れたもの。勾配が緩やかなx方向でもずっと同じ方向に力がかかり続けるため速度が増して行くので、SGDに比べて学習率を小さく下にもかかわらずx軸方向へ早く近づくことができている。ちょっと行き過ぎてる？
0
0
