百日紅さんのイラストまとめ

とりあえずお試しLORA。学習率とか詰める必要はあると思うけどいい感じじゃない？
数ある中から良いのピックアップしただけで、若干崩れがちになるのが多いけど、それはnetwork_dimの値≒ファイルサイズ大きくするといいのかな。ちなみにこれは9.3MだからDBに比べると段違い。

学習中サンプル画像を出力出来るけど、サンプル画像あてにならない。ネガティブプロンプト指定できないからか、サンプラーが違うからか知らないけど、若干溶ける気がする。あくまで造形が再現出来てるか確認するだけに止めて、学習結果出来たモデルでいくつか出力してみないと分からないな。

ちなみに、教師画像をゲーム内スクリーンショット(リサイズのみ)と公式ページからのものにしても、それなりに学習出来ていた(2枚目)。DreamBooth使う場合、教師画像の背景削除はあんまりいらないっぽい？ただ今回は同じ画風で揃えられたからで、色々な画風を混ぜた場合にどうなるのかは分からない。

Data Path、Class Pathにある画像はこんな感じ。
教師画像(Data)の方はゲーム内画像や公式から背景削除したもの。
クラス画像(Class)は、元モデルで3枚目のプロンプトで出した画像(sd-dynamic-prompts使用)。デジたんと大きく外れないようにyoungとかsmallとか入れたけど、意味あったのか微妙。

Stable Tuner使ったDreamBoothがいい感じに出来たっぽいのでメモ。
背景潰さずにデジたんの着せ替えを目指して出来たものと学習結果は画像参照。
・教師画像13枚
・正則化画像2288枚
・学習率 5e-6、linear
・バッチサイズ 8
・1epoch = Max(13, 2288)/8 = 286 ステップ
・Warmup Step 143

ようやくコスプレしたデジたんっぽいキャラが描けるようになったか？以下全てちゃんと出そうとしたらかなりのseedガチャが必要そうだけど。プロンプトでどうにか出来る範囲ではあるかな。
・耳 ・左右の外はねの髪 ・尻尾
あと、やっぱり教師画像に画質が寄りすぎるのをどうにかしたい。過学習なのか？

dreamboothなんとかうまくやりたいと思って、まずは正則化画像を用意しようと"a girl"だけで画像作ってるけど、可愛い絵が沢山出来て幸せ。
生成された絵からおかしな絵を弾く作業は辛いけどｗ

うーん、年末駆け込みで学習させてたけど納得のいく感じにはならない。けどそれっぽい綺麗な？デジたんになってくれたかな。

ということで良いお年を。

色々準備せねば。。。

モデル混ぜ混ぜ、いい感じのりおさまっぽい絵が出来た。いやぁ、時間とディスク容量が吹っ飛ぶなぁ……

平仮名5文字(7トークン)にして学習させたら、約半分の学習ステップ数でいい感じになった。他のprompt盛っては試してないけど、instance promptのトークン数はある程度あった方が良い気がしてきた。