//=time() ?>
【ゆるぼ】機械学習くわしい人へ
こういう画像とこういう画像の組み合わせが1000組あります。
この二つを学習させて、左側の画像から右側を生成する方法はあるのでしょうか?
ダメ元でやってみたControlNet-llliteではダメでした。
最終的にはノーマルマップとcannyを紐づけたControlNet-llliteを作るのが目標なんだけど
ControlNet-llliteは(おそらく)データセット量が少ないと色合いがおかしくなるので、
補助としてノーマルマップ概念を学習させたLoRAが必要になると思うのだよね
1枚目から順番に
diffusers_xl_canny_full.safetensors(2.5 GB)
diffusers_xl_canny_mid.safetensors(545MB)
diffusers_xl_canny_small.safetensors(328MB)
所謂本家diffusersのControlNet。
fullはモデルサイズが大きいの以外目をつぶればよい感じ。
mid、smallは色合いが若干微妙かも?
https://t.co/FxsIX0UHhS
のSDXLの各種ControlNet(的なもの)を検証してみる。
まずはcannyから。読み込ませる線画はこちら。
生成AIのイラストを加工した線画になります。
次にControlNet。
1枚目:tile にラフ入れて、t2iで生成。
2枚目:tile にラフ、scribble に線画のみを入れた multi ControlNet で、t2iで生成。
3枚目:scribble に線画のみ入れて、雑色指定ラフを 高 Denoising Strength でi2i。
i2iよりはマシになってきた感はある…かな?絵は大分変わるけど。
Hantomin さんが色指定ラフからの i2i 試してるの見て、ControlNet 使ったらどうなるだろうと思って試してみました。
1枚目が雑色指定ラフ。
2枚目が形が崩れない限界までDenoising Strength を上げた i2i。
たしかに残念な感じになりますね。
ControlNetに続く→ https://t.co/yXbqhW3aOT
@kohya_tech 元の絵を目と眉と口以外、ほぼコピーするControlNet-LLLiteみたいなの作りたいんですけど、network_dimやcond_emb_dimをもうちょい上げた方が良いですかね?
職人の手作業で画像500枚作った顔を無くすControlNet-LLLite、動いた!!!!!!!!!
えええーーー実証できちゃったってことは品質上げる為に+500枚ってこと・・・
や、やだーーーーー!!!!!!!!!
あーーーー。333枚10epoch学習させたfacelessControlNet-LLLite、意味があるっちゃああるかも。
元画像:1枚目
facelessControlNet-LLLitあり:2枚目
facelessControlNet-LLLitなし:3枚目
これ(落書き)をこうして(ControlNet openpose)、こうやって(img2img Inpaint)、こうじゃ(頑張って極力手動で直す)!
疲れた・・・
#AIイラスト