//=time() ?>
1枚目から順番に
diffusers_xl_canny_full.safetensors(2.5 GB)
diffusers_xl_canny_mid.safetensors(545MB)
diffusers_xl_canny_small.safetensors(328MB)
所謂本家diffusersのControlNet。
fullはモデルサイズが大きいの以外目をつぶればよい感じ。
mid、smallは色合いが若干微妙かも?
https://t.co/FxsIX0UHhS
のSDXLの各種ControlNet(的なもの)を検証してみる。
まずはcannyから。読み込ませる線画はこちら。
生成AIのイラストを加工した線画になります。
@kohya_tech あ、そういえばマスクを使った上でLoRAを使うと、なんか変な感じになる気がします・・・!!
1枚目:マスクなし
2枚目:マスクあり
(i2i元画像は真っ白な画像を使用しております
(あと元来のcannyに線画を消すLoRAで線画消せることに気付きました。できないと思い込んでいた・・・!
こっちは70epochカラー版線画なしcanny
見ての通り、グレスケをpromptで指定しているのに時々色つけちゃうから没にする予定のやつ
ううううううん、3枚目が全然言うこと聞かないな
既存のcannyでは線画を消すLoRAを使っても線画がでてしまい陰影のみを描画させるのは難しかったのですが(そしてマスクした筈の背景に何故か謎模様)(1枚目)、
線画を消した画像をimage_dirにしたところ、線画を描画しないcannyというニッチなものが作れました!!!(2枚目) https://t.co/wRNhglkZgi
ControlNet-LLLiteくん、微妙に絵柄も覚えて学習してしまうので、線画を無くすLoRAと喧嘩して従来のcannyでは線画を描画してしまっていた。
だが今は違う!
線画なし画像をベースに学習させることで線画なしの画像を生成するcannyが作れるのだ!!!
うおおおおおおお
線画を出さないControlNet-LLLiteのnoline_canny,完成したかも!!!!陰影だけAIにやらせる作戦!!!!
あとは細かい調整や!
お!!!controllllite_v01032064e_sdxl_canny_anime.safetensorくんで私のやりたいことできた!!!!
ただし無料コラボだとめちゃくちゃ時間かかる!!!!!!!!!!!!!!
AIに極力線画なしcannyで塗レイヤーのみ塗らせる方法確立できたかも!!!!
1枚目:canny
2枚目:色有り
3枚目:陰影のみ
道具に落とし込む希望がようやく見えてきた・・・!!!!
@kohya_tech cannyならそれっぽくできたのですが1時間10epochのモデルでは学習の成果が見えませんでした。
これはおそららく学習失敗していますよね?
ぐぬぬぬ・・・!44mbのsafetensorsでした