birdManさんのイラストまとめ

Instruct-pix2pix試した
Imagicは15分程度の学習を必要としたが、こっちの手法ではzero-shotでの画像編集ができる
https://t.co/CV3PQZAD7L

@EmilyPhase すみません、seedが環境で違っちゃうのが原因だと思って上のコードを書いたのですが違いました。
上記のツイートは忘れてください。
単純に低VRAM環境ではfp16が使用されることが原因っぽいですね。
自分の環境でも強制的にfp16を利用するよう切り替えたら似たような現象を再現できました。

試した
面白いけどまだノウハウが蓄積されてなくてよくわからん

転載防止用の透かしを除去するAI作って遊んでたら思いのほかエグい精度が出たので晒します
（あまりに危険なのでモデルは公開しません）

引き続きHNの性能を検証中
img2imgを繰り返してこの辺が俺の限界だった
やはりキャラはDBで覚えさせて、画風をHNするのが10/18現在の最善手っぽい…？

何のキャラ出したかは見たら分かるので書かない

特定のキャラを出す実験、当てられますか？
1. waifu diffusion + VAE + hypernetwork
2. waifu diffusion + VAE
3. trinart + VAE + hypernetwork
4. trinart + VAE

おそらく1が一番似てる
やっぱhypernetworkはオブジェクトじゃなくて画風学習向きだな

なかなか強烈ですね、hypernetwork
ネットワークの構造がシンプルで軽いのと、自在に取り替えられる点がスマートで好き
他の手法と組み合わせたら更に進化しそうな予感がします

ただ誘導が強烈すぎるので、データセットには吟味が必要…

hypernetwork学習ちう、500stepだとまだまだ…
なんかクロスアテンションのkとvにいたずらするっぽいことは分かった
実装は追ってないので分からん