A única coisa com a qual os geradores de IA de texto para imagem têm lutado são as mãos. Embora as imagens sejam geralmente impressionantes, as mãos nem tanto, com dedos supérfluos, articulações estranhamente dobradas e uma clara falta de compreensão de como as mãos deveriam ser por parte da IA. No entanto, este não precisa ser o caso, pois o novo produto ControlNet está aqui para ajudar o Stable Diffusion a criar mãos perfeitas e com aparência realista.
ControlNet é uma nova tecnologia que permite usar um esboço, contorno, profundidade ou mapa normal para guiar neurônios com base no Stable Diffusion 1.5. Isso significa que agora você pode ter mãos quase perfeitas em qualquer modelo 1.5 personalizado, desde que tenha a orientação correta. O ControlNet pode ser considerado uma ferramenta revolucionária, permitindo que os usuários tenham controle total sobre seus projetos.
Para obter mãos perfeitas, use a extensão A1111 com ControlNet, especificamente o módulo Depth. Em seguida, tire algumas selfies em close de suas mãos e carregue-as na guia txt2img da UI ControlNet. Em seguida, crie um prompt simples para modelar sonhos, como “arte de fantasia, homem viking mostrando mãos em close” e experimente o poder do ControlNet. A experimentação com o módulo Depth, a extensão A1111 e a guia txt2img da UI ControlNet resultará em mãos bonitas e de aparência realista.
Postagem recomendada: Shutterstock recompensa artistas que contribuem para modelos generativos de IA
O próprio ControlNet converte a imagem que lhe é dada em profundidade, normais ou esboço para que posteriormente possa ser usada como modelo. Mas, é claro, você pode enviar diretamente seu próprio mapa de profundidade ou esboços. Isto permite flexibilidade máxima ao criar uma cena 3D, permitindo que você se concentre no estilo e na qualidade da imagem final.
Sugerimos fortemente que você dê uma olhada no excelente tutorial do ControlNet que Aitrepreneur publicou recentemente.
ControlNet melhora muito o controle sobre os recursos imagem a imagem do Stable Diffusion
Embora o Stable Diffusion possa criar imagens a partir de texto, ele também pode criar gráficos a partir de modelos. Esse pipeline de imagem para imagem é frequentemente usado para aprimorar fotos geradas ou produzir novas imagens do zero usando modelos.
Embora o Stable Diffusion 2.0 ofereça a capacidade de usar dados de profundidade de uma imagem como modelo, o controle sobre esse processo é bastante restrito. Esta abordagem não é suportada pela versão anterior, 1.5, que ainda é comumente usada devido ao enorme número de modelos customizados, entre outros motivos.
Os pesos de cada bloco do Stable Diffusion são copiados pelo ControlNet em uma variante treinável e uma variante bloqueada. A forma bloqueada mantém as capacidades do modelo de difusão pronto para produção, enquanto a variante treinável pode aprender novas condições para síntese de imagens por meio do ajuste fino com pequenos conjuntos de dados.
O Stable Diffusion funciona com todos os modelos ControlNet e oferece consideravelmente mais controle sobre a IA generativa. A equipe fornece amostras de diversas variações de pessoas em poses fixas, bem como diversas fotos de interiores baseadas na disposição espacial do modelo e variações de imagens de pássaros.
Leia mais sobre IA:
XLM-V: um novo método de modelos de linguagem mascarada multilíngue que tenta resolver o problema do gargalo de vocabulário
O Google Maps poderá em breve oferecer o Metaverso mais realista de todos os tempos
Stable Diffusion AI cria mundos de sonho para VR e metaverso
A postagem ControlNet ajuda você a fazer mãos perfeitas com difusão estável 1.5 apareceu pela primeira vez no Metaverse Post.