La empresa de tecnología china Kuaishou Technology, conocida por su comunidad de contenido y plataforma social, presentó Kling AI, una nueva herramienta diseñada para generar videos altamente realistas a partir de mensajes de texto, lo que representa un competidor potencial para el modelo Sora de OpenAI.
Sora es un modelo de IA diseñado para generar escenas realistas y creativas basadas en entradas de texto. Un elemento central de las capacidades de generación de videos de Sora es un marco de aprendizaje profundo. El modelo aprende asociaciones entre palabras y frases con diversos elementos como objetos, acciones, entornos y matices estilísticos.
Mientras que el modelo Sora de OpenAI es capaz de generar vídeos de hasta un minuto de duración, Kling AI puede producir vídeos realistas de hasta dos minutos con una resolución de 1080p a 30 fotogramas por segundo. Admite múltiples relaciones de aspecto y logra un alto nivel de detalle a través de técnicas avanzadas de reconstrucción facial y corporal en 3D, lo que garantiza que sus videos generados por IA sean prácticamente indistinguibles del metraje real.
Kling AI utiliza un codificador automático variacional (VAE) 3D para reconstruir rostros y cuerpos, lo que permite generar expresiones detalladas y movimientos de extremidades a partir de una única imagen de cuerpo completo. Esta tecnología se ve reforzada por un mecanismo de atención conjunta espaciotemporal 3D, que mejora la capacidad del modelo para manejar escenas y movimientos complejos. Esto garantiza que el contenido generado mantenga la coherencia con las leyes de la física.
La aplicación adopta un enfoque de acceso abierto, aunque con limitaciones regionales. El modelo se encuentra actualmente funcionando en su fase de prueba.
Hace menos de 48 horas, el competidor de Sora, Kling, cayó.
La gente ya está obteniendo acceso y creando videos salvajes de IA. 
1. Comercial de cerveza MadMax realizado en 1 hora pic.twitter.com/CyKm2aI0It
– Min Choi (@minchoi) 8 de junio de 2024
Kuaishou Technology presenta el modelo de texto a imagen KwaiYii LLM y Kolors
Kuaishou Technology se encuentra entre varias empresas de tecnología chinas que compiten para introducir alternativas a Sora. La capacidad de texto a video representa su innovación de inteligencia artificial más reciente, luego de la introducción de su modelo de lenguaje grande (LLM) KwaiYii y el modelo de texto a imagen Kolors, que debutó en mayo.
Además, la función "AI Dancer", accesible desde la aplicación Kuaishou Technology y la aplicación de producción de video Kwaiying, permite a los usuarios cargar una foto estática y generar videos que muestran al personaje bailando con ritmos y movimientos específicos.
La publicación Kuaishou Technology presenta Kling AI, que permite a los usuarios crear videos mediante la generación de texto a video apareció por primera vez en Metaverse Post.
