こんにちは、Einarです。
「星光の英雄たち」のキャラクターを生成するとき、すべてのイラストが思い通りにいくわけではありません。Stable Diffusionの構造上の問題（手…）は置いておいて、このモデルの仕組みから、以前に作ったイラストやこれから作るイラストとは少しずつ異なることがあります。つまり、一貫性の問題がよく起こります：シャツが一度は白で、次には赤になることもあり、まやちゃんが可愛いときもあれば、もっと可愛いときもあります（うーん！）、靴が違うこともあります。
一部のキャラクターにとってはこれが大きな問題ではないですが、まやちゃんの変身姿や武志さんのようなキャラクターにとっては、一貫した結果を得るのは非常に難しいです（特に武志さんは、高校生として生成されることもあれば、乙女ゲームの主人公として生成されることもあります）。
特に問題のあるイラストを生成しようと数時間費やした後、私はついに大きな一歩を踏み出すことを決めました… 私のキャラクターのLoRAを作成することです！そしてもちろん、一番可愛いキャラクターから始めなければならない：まやちゃん！
何が待ち受けているのか全く知らずに…
材料を集める：学習データ#
LoRAをトレーニングするためのガイドはネット上にたくさんありますが、実際のイラストではなくAIイラストを使ってモデルをトレーニングするという（おそらく非常にニッチな）ケースを扱うものはほとんどありません。だから、完全に独自の試みとは言えないものの、私にとってはかなり新しい挑戦でした。最初のステップは、適切な学習データを作成するために十分な画像を集めることでした。Distyさんとの会話で、確実を期すために100枚以上の画像を使うというアイデアが浮かびました。私の目標は以下の通りです：
- まやちゃんの画像をできるだけ多く集めること。ただし、重複しないようにする。
- まやちゃんを様々なポーズ、表情、服装で生成すること。彼女の通常の衣装も含む。
- 背景の要素や不要な詳細がトレーニングに干渉しないようにすること。
手動で十分な画像を生成するのは無理なので、dynamic prompts extensionという拡張機能を使うことにしました。そして、さまざまなポーズや服装の「ワイルドカード」（異なるバリエーションを含むテキストファイル）を準備しました。生成を始めると、ダイナミックプロンプトはこれらをランダムに選び、多数の異なる組み合わせを生成してくれます。
1girl, original, (solo:1.1), { straight-on | from above | from behind |
from side } , __extra/poses__, athletic, medium breasts,
intricate dark brown hair, blue eyes, (bob cut:1.1), (short hair:1.1),
(blunt ends:1.3), blunt bangs, left swept bangs, { completely nude |
serafuku, white sailor shirt, dark blue pleated skirt,
dark blue sailor collar, aqua neckerchief, short sleeves,
loafers, white socks | yellow t-shirt, denim shorts },
{ serious | smile | happy, enthusiastic, smile, open mouth | sad | angry }
(with a white background:1.2), simple background, great lighting,
perfect hands, detailed shadows, detailed body, anime artwork,
anime style, key visual, vibrant, studio anime, highly detailed,
newest, late, anime coloring, masterpiece, best quality,
very aesthetic, absurdres <lora:great_lighting:4> <lora:detail:0.8>
<lora:Difference_AnimeFace:1> <lora:white_1_0:1>
生成されたイラストのクオリティを向上させるために、いくつかのLoRAも追加しました（このことについてはこの記事で話しました）。特に「white」LoRAを追加して、白い背景が生成されるようにしました。
それはそんなことじゃないんですよ、詠子さん！モデルが裸のポーズをちゃんと描けるように（特に変身シーンなどのために）いくつかの裸のポーズが必要だったんです。うーん…続けましょう。次の問題は背景でした：masterpieceなどのタグを使うと奇妙な要素が現れますが、モデルがそれから学ばないように完全に白い背景が必要でした。このために、SD.Nextの便利な機能を使いました。これはイラストが生成された直後に実行できる内蔵の背景除去ツールです：
顔を改善するために、SD.Nextのもう一つの内蔵機能を使いました（便利な機能がたくさんあるので、ぜひチェックしてみてください）。これはADetailerのような顔の修復機能です。ADetailerを直接使えないのは、画像処理中に透明性が失われてしまうからです。
私のグラボもPaperspaceも、これらの画像を合理的な時間内に生成するにはあまりにも弱すぎたので、RunPodでグラボを借りて生成を始めました！すべての画像がハイクオリティというわけではなかったので、手動で調整を行い、最終的に500枚のうち300枚強の画像が残りました。
最終的には、以下のようなイラストをいくつか作成することができました：
トレーニング#
そのトレーニングじゃないよ、まやちゃん！うーん、さて、ここからがこの旅の最も難しい部分です… このデータでモデルをトレーニングするための正しい方法を見つけること。ネット上のガイドはさまざまなことを言っていて、それに反することもあり、しかもすぐに時代遅れになります。その上、ほとんどのガイドはSD 1.5向けで、私はSDXLとAnimagine XL 3.1をベースにしたかったのです…
何を使うべきかを見つけるために数日を費やしました。最終的に、Distyさんとの会話とこのガイド（英語）を読んだことで、パラメータを選ぶのに役立ちました。残っているのはトレーニングを実行することだけで、次に生成されたモデルをテストしなければなりませんでした。
そこから問題が始まった…
不愉快な驚きと衝撃の真実#
モデルのテストを始めたら、すべての生成が一見いいではあるものの、問題がありました。主に線が断裂していてノイズが多く、目が少し歪んでいて安定していませんでした。以下の例を見てください：
1週間半、モデルを作り直し、画像を追加し、原因を見つけることができませんでした。すべてがかなりひどく見えました。諦めかけていたときに、除去プロセスを試すことにしました：最もシンプルなプロンプトから始め、徐々に使っていたものを追加していきました。
最初のプロンプトはこんな感じで、問題は全くありませんでした：
しかし、通常のネガティブプロンプトを追加すると、また問題が発生しました。そして、その時に気づきました。プロンプトには常に何かが含まれていたのです…
私がAnimagine XL 3.0の時代から使っていたネガティブエンベディングが、クオリティの低下の原因でした！これを削除した瞬間、生成結果は再び素晴らしいものになりました。以下はその例です：
そして、さらに驚きの発見がありました… このLoRAを数日間使用した後も、問題は依然として存在していましたが、頻度は少なくなっていました。さらにテストを行い、私が使っていたもう一つのLoRAが原因であることが判明しました（これも私の他のすべての画像に影響を与えていましたが、全く気づきませんでした！）。これを削除すると、すべてが良くなりました：
終わりなのか？#
主な問題が解決した後は、サンプルイラストを作成し、モデルをCivitAIとHuggingFaceにアップするだけでした。生成パラメータとプロンプトを少し調整する必要がありましたが、最終的にLoRAはまやちゃんを私が望むほど可愛く生成してくれました！
もちろん、これで終わりというわけではありません。まやちゃんは最も簡単にLoRAを作成できるキャラクターでした。本当の挑戦はこれからです！次のキャラクター、ゆかちゃんのための画像集めをすでに始めています！
でもその話はまた今度にしましょう。また次回！
Einarでした。