//=time() ?>
次はAdaGrad。過去の勾配の二乗和を記録していってそれをもとに更新量を減衰させる。大きく更新したところは更新が少なくなる。この場合は非常に綺麗に更新されていっている。
Momentumは力の関係を取り入れたもの。勾配が緩やかなx方向でもずっと同じ方向に力がかかり続けるため速度が増して行くので、SGDに比べて学習率を小さく下にもかかわらずx軸方向へ早く近づくことができている。ちょっと行き過ぎてる?
今回の絵はBlenderのfreestyleで線を出して、それをベースに線画を作りました。
このポーズは3Dで別角度から見るとかなり変な姿勢です。