テキストから画像を生成する AI ジェネレーターが苦労している唯一のことは、手です。画像は概して印象的ですが、手はそれほど印象的ではありません。余分な指、奇妙に曲がった関節、そして AI 側が手がどのように見えるべきかについて明らかに理解していないことが原因です。しかし、そうである必要はありません。新しい ControlNet 製品が、Stable Diffusion が完璧でリアルな手を作成できるように支援します。
ControlNet は、スケッチ、アウトライン、深度、法線マップを使用して、Stable Diffusion 1.5 に基づくニューロンをガイドできる新しいテクノロジです。つまり、適切なガイドがあれば、カスタム 1.5 モデルをほぼ完璧に操作できるようになります。ControlNet は、ユーザーがデザインを完全に制御できるようにする革新的なツールであると考えられます。
完璧な手を実現するには、ControlNet の A1111 拡張機能、特に Depth モジュールを使用します。次に、手のクローズアップの自撮り写真を数枚撮影し、ControlNet UI の txt2img タブにアップロードします。次に、「ファンタジー アート、手のクローズアップを見せているバイキングの男性」などのシンプルな夢のシェーパー プロンプトを作成し、ControlNet のパワーを試してください。Depth モジュール、A1111 拡張機能、ControlNet UI の txt2img タブを試せば、美しくリアルな手が完成します。
おすすめ記事: Shutterstock が生成 AI モデルに貢献するアーティストに報酬を与える
ControlNet 自体は、与えられた画像を深度、法線、またはスケッチに変換し、後でモデルとして使用できるようにします。もちろん、独自の深度マップやスケッチを直接アップロードすることもできます。これにより、3D シーンを作成するときに最大限の柔軟性が得られ、最終画像のスタイルと品質に集中できます。
Aitrepreneur が最近公開した優れた ControlNet チュートリアルを参照することを強くお勧めします。
ControlNetは、Stable Diffusionの画像間機能の制御を大幅に改善します。
Stable Diffusion はテキストから画像を作成できますが、テンプレートからグラフィックを作成することもできます。この画像から画像へのパイプラインは、生成された写真を強化したり、テンプレートを使用して最初から新しい画像を作成したりするためによく使用されます。
Stable Diffusion 2.0 では、画像の深度データをテンプレートとして使用する機能が提供されていますが、このプロセスの制御は非常に制限されています。このアプローチは、カスタム モデルの数が膨大であることなどの理由から、現在でも広く使用されている以前のバージョン 1.5 ではサポートされていません。
安定拡散からの各ブロックの重みは、ControlNet によってトレーニング可能なバリアントとロックされたバリアントにコピーされます。ブロックされたフォームは、生産準備が整った拡散モデルの機能を維持しますが、トレーニング可能なバリアントは、小さなデータ セットで微調整することで、画像合成の新しい条件を学習できます。
Stable Diffusion はすべての ControlNet モデルで動作し、生成 AI に対するより高度な制御を提供します。チームは、固定ポーズの人物のさまざまなバリエーションのサンプル、モデルの空間配置に基づいたさまざまな室内写真、鳥の画像のバリエーションを提供しています。
AI について詳しく読む:
XLM-V: 語彙ボトルネックの問題に対処しようとする多言語マスク言語モデルの新しい方法
Google マップは、これまでで最もリアルなメタバースをすぐに提供するかもしれない
安定した拡散 AI が VR とメタバースの夢の世界を創造
ControlNet は Stable Diffusion 1.5 で完璧なハンドを作るのに役立ちます という記事が最初に Metaverse Post に掲載されました。