ネココさんのイラストまとめ

美少年を出力した絵をAIに1girlとうそついてi2iすると中性的になってすごくかわいいことに気づいた

比較用2・過去のAI絵リメイクi2i
1.PastelMix
2.Counterfeit + LoRA(PastelMix)

PastelMixは銀髪になる率高め、抽象的背景、蝶OK
Counterfeitは現実風な背景描いてくれる、コントラストが弱いような…左に目が慣れすぎたかな…

頭の上に1つの黒リボンカチューシャをAIが描けない問題
・服や目の色につられて色が青くなる
・ツーサイドアップにつられてリボンが2つになる
・蝶や花になる
・消える
・エプロンドレス=メイド的な発想なのかホワイトブリムになる

プロンプトで指示しても、追加学習しても、難しい

#aliceinailand

服の学習はできているし、そもそも記号的なアリス服である程度かけ離れてなければ大丈夫
髪型もツーサイドアップが表現できている
問題は…頭のリボン…

#aliceinailand

LoRAを学習するモデルは、適用先モデルに関係なく、追加学習に適しているとされるモデルがいいのかも
ACertaintyとか

#aliceinailand

結果ふしぎな現象が起こった
PastelMix独自の塗りが失われてアニメっぽいタッチになった
LoRAの強度を減らすと回復するので完全にこれが原因
学習素材みたいに3Dっぽい質感になるならわかるけどなぜアニメちっくになるのかナゾ

#aliceinailand

ハマりポイント
・xformersはインストールする
・Colabでaccelerate configすると操作不能になるので、0.14を上書きインストールするかlaunchするときにパラメータをまとめて指定する
・パラメータの1e-5やnetworks.loraなども文字列型っぽいのでクォーテーションで囲んで渡す

#aliceinailand

結局モデル差分からLoRAを取れなかったので、かつてDreamBoothにつかったデータセット(VRoidのスクショ24枚)を改良してfine-tuneしてLoRAをつくった

#aliceinailand