//=time() ?>
自分で描いた絵で線画抽出試してみる
微妙にニュアンス変わってるがな!!!!
sai_xl_canny_256lora [566f20af]
boldline-000010 [ec7321f9]
1枚目から
元線画
t2i-adapter_diffusers_xl_canny [6b0c1490]
sai_xl_canny_256lora [566f20af]
t2i-adapter_xl_canny [ff8b24b1]
おお!?!?
この手法で抽出した大量の線画を元にグレスケ絵を大量に生成することはできるようになった
t2i-adapter_diffusers_xl_canny [6b0c1490]がよさそう https://t.co/jOr0qSuPQW
イラスト出力した後cannyで改めて線画抽出できないかなとという実験
1枚目:元絵
2枚目:controllllite_v01032064e_sdxl_canny_anime [8eef53e1]
3枚目:controllllite_v01032064e_sdxl_canny [3fe2dbce]
4枚目:t2i-adapter_diffusers_xl_canny [6b0c1490]
t2i-adapter_diffusers_xl_cannyが良いか?
AIイラストから線画を抽出する手法考察
①test-nolineLoRAを使いながら、まず普通に生成する
②①をinformative-drawingsのcontour_styleモードで線画抽出
③②をベースにcanny(参照用画像は①)併用しつつi2i
④③をanime-face-detectorで線画抽出(続く
1枚目から順番に
t2i-adapter_diffusers_xl_canny(158 MB)
t2i-adapter_xl_canny.safetensors(155MB)
diffusersがついている方が好きかも
1枚目から順番に
sai_xl_canny_128lora.safetensors(396 MB)
sai_xl_canny_256lora.safetensors(774 MB)
ControlLoRAのモデルだと思われる?
128と256の違いがいまいちわからないや
1枚目から順番に
kohya_controllllite_xl_canny(46.2 MB)
kohya_controllllite_xl_canny_anime(46.2 MB)
我らが日本のkohyaさん(?)のcanny。
個人的にはアニメ用モデルじゃない方が色合いが好きかも?
ファイルのサイズは流石って感じ
1枚目から順番に
diffusers_xl_canny_full.safetensors(2.5 GB)
diffusers_xl_canny_mid.safetensors(545MB)
diffusers_xl_canny_small.safetensors(328MB)
所謂本家diffusersのControlNet。
fullはモデルサイズが大きいの以外目をつぶればよい感じ。
mid、smallは色合いが若干微妙かも?
https://t.co/FxsIX0UHhS
のSDXLの各種ControlNet(的なもの)を検証してみる。
まずはcannyから。読み込ませる線画はこちら。
生成AIのイラストを加工した線画になります。
@kohya_tech あ、そういえばマスクを使った上でLoRAを使うと、なんか変な感じになる気がします・・・!!
1枚目:マスクなし
2枚目:マスクあり
(i2i元画像は真っ白な画像を使用しております
(あと元来のcannyに線画を消すLoRAで線画消せることに気付きました。できないと思い込んでいた・・・!
こっちは70epochカラー版線画なしcanny
見ての通り、グレスケをpromptで指定しているのに時々色つけちゃうから没にする予定のやつ
ううううううん、3枚目が全然言うこと聞かないな