Das chinesische Technologieunternehmen Kuaishou Technology, bekannt für seine Content-Community und soziale Plattform, stellte Kling AI vor, ein neues Tool zur Generierung hochrealistischer Videos aus Textaufforderungen und damit einen potenziellen Konkurrenten zum Sora-Modell von OpenAI.
Sora ist ein KI-Modell, das dazu entwickelt wurde, lebensechte und kreative Szenen auf der Grundlage von Texteingaben zu generieren. Ein zentraler Bestandteil von Soras Videogenerierungsfunktionen ist ein Deep-Learning-Framework. Das Modell lernt Assoziationen zwischen Wörtern und Phrasen mit verschiedenen Elementen wie Objekten, Aktionen, Umgebungen und stilistischen Nuancen.
Während das Sora-Modell von OpenAI Videos mit einer Länge von bis zu einer Minute erstellen kann, kann die Kling AI realistische Videos mit einer Länge von bis zu zwei Minuten und einer Auflösung von 1080p bei 30 Bildern pro Sekunde produzieren. Es unterstützt mehrere Seitenverhältnisse und erreicht durch fortschrittliche 3D-Gesichts- und Körperrekonstruktionstechniken ein hohes Maß an Detailgenauigkeit, wodurch sichergestellt wird, dass die von der KI generierten Videos praktisch nicht von echtem Filmmaterial zu unterscheiden sind.
Kling AI verwendet einen 3D-Variational Autoencoder (VAE) zur Rekonstruktion von Gesichtern und Körpern, wodurch die Generierung detaillierter Ausdrücke und Gliedmaßenbewegungen aus einem einzigen Ganzkörperbild möglich wird. Diese Technologie wird durch einen 3D-Raum-Zeit-Gelenkaufmerksamkeitsmechanismus ergänzt, der die Fähigkeit des Modells verbessert, komplexe Szenen und Bewegungen zu verarbeiten. Dadurch wird sichergestellt, dass der generierte Inhalt den Gesetzen der Physik entspricht.
Die Anwendung verfolgt einen Open-Access-Ansatz, allerdings mit regionalen Einschränkungen. Das Modell befindet sich derzeit in der Testphase.
Vor weniger als 48 Stunden ist Sora-Konkurrent Kling ausgestiegen.
Die Leute erhalten bereits Zugriff und erstellen wilde KI-Videos.
1. MadMax Beer-Werbespot in 1 Stunde gedrehtpic.twitter.com/CyKm2aI0It
– Min Choi (@minchoi) 8. Juni 2024
Kuaishou Technology stellt KwaiYii LLM und Kolors Text-to-Image-Modell vor
Kuaishou Technology ist eines von mehreren chinesischen Technologieunternehmen, die um Alternativen zu Sora konkurrieren. Die Text-zu-Video-Funktion ist die neueste KI-Innovation des Unternehmens, nach der Einführung des KwaiYii Large Language Model (LLM) und des Text-zu-Bild-Modells Kolors, das im Mai debütierte.
Darüber hinaus können Benutzer mit der Funktion „AI Dancer“, die in der Anwendung Kuaishou Technology und der Videoproduktionsanwendung Kwaiying verfügbar ist, ein statisches Foto hochladen und Videos erstellen, in denen die Figur zu festgelegten Rhythmen und Bewegungen tanzt.
Der Beitrag „Kuaishou Technology stellt Kling AI vor und ermöglicht Benutzern die Erstellung von Videos durch Text-zu-Video-Generierung“ erschien zuerst auf Metaverse Post.