//=time() ?>
1枚目から順番に
diffusers_xl_canny_full.safetensors(2.5 GB)
diffusers_xl_canny_mid.safetensors(545MB)
diffusers_xl_canny_small.safetensors(328MB)
所謂本家diffusersのControlNet。
fullはモデルサイズが大きいの以外目をつぶればよい感じ。
mid、smallは色合いが若干微妙かも?
https://t.co/FxsIX0UHhS
のSDXLの各種ControlNet(的なもの)を検証してみる。
まずはcannyから。読み込ませる線画はこちら。
生成AIのイラストを加工した線画になります。
次にControlNet。
1枚目:tile にラフ入れて、t2iで生成。
2枚目:tile にラフ、scribble に線画のみを入れた multi ControlNet で、t2iで生成。
3枚目:scribble に線画のみ入れて、雑色指定ラフを 高 Denoising Strength でi2i。
i2iよりはマシになってきた感はある…かな?絵は大分変わるけど。
Hantomin さんが色指定ラフからの i2i 試してるの見て、ControlNet 使ったらどうなるだろうと思って試してみました。
1枚目が雑色指定ラフ。
2枚目が形が崩れない限界までDenoising Strength を上げた i2i。
たしかに残念な感じになりますね。
ControlNetに続く→ https://t.co/yXbqhW3aOT
@kohya_tech 元の絵を目と眉と口以外、ほぼコピーするControlNet-LLLiteみたいなの作りたいんですけど、network_dimやcond_emb_dimをもうちょい上げた方が良いですかね?
職人の手作業で画像500枚作った顔を無くすControlNet-LLLite、動いた!!!!!!!!!
えええーーー実証できちゃったってことは品質上げる為に+500枚ってこと・・・
や、やだーーーーー!!!!!!!!!
あーーーー。333枚10epoch学習させたfacelessControlNet-LLLite、意味があるっちゃああるかも。
元画像:1枚目
facelessControlNet-LLLitあり:2枚目
facelessControlNet-LLLitなし:3枚目
これ(落書き)をこうして(ControlNet openpose)、こうやって(img2img Inpaint)、こうじゃ(頑張って極力手動で直す)!
疲れた・・・
#AIイラスト
ControlNet-LLLiteくん、微妙に絵柄も覚えて学習してしまうので、線画を無くすLoRAと喧嘩して従来のcannyでは線画を描画してしまっていた。
だが今は違う!
線画なし画像をベースに学習させることで線画なしの画像を生成するcannyが作れるのだ!!!
うおおおおおおお
線画を出さないControlNet-LLLiteのnoline_canny,完成したかも!!!!陰影だけAIにやらせる作戦!!!!
あとは細かい調整や!
This time I added bodies for depth, normal, and seg to the openpose bone for blender #stablediffusion #AIイラスト #AI #ControlNet