La società tecnologica cinese Kuaishou Technology, nota per la sua community di contenuti e piattaforma social, ha presentato Kling AI, un nuovo strumento progettato per generare video altamente realistici da messaggi di testo, che rappresenta un potenziale concorrente del modello Sora di OpenAI.
Sora è un modello di intelligenza artificiale progettato per generare scene realistiche e creative basate su input testuali. Al centro delle capacità di generazione video di Sora c’è un framework di deep learning. Il modello apprende le associazioni tra parole e frasi con vari elementi come oggetti, azioni, ambienti e sfumature stilistiche.
Mentre il modello Sora di OpenAI è in grado di generare video della durata massima di un minuto, l'intelligenza artificiale Kling può produrre video realistici che raggiungono fino a due minuti con una risoluzione di 1080p a 30 fotogrammi al secondo. Supporta molteplici proporzioni e raggiunge un elevato livello di dettaglio attraverso tecniche avanzate di ricostruzione del viso e del corpo in 3D, garantendo che i video generati dall'intelligenza artificiale siano praticamente indistinguibili dalle riprese reali.
Kling AI utilizza un 3D Variational Autoencoder (VAE) per ricostruire volti e corpi, consentendo la generazione di espressioni dettagliate e movimenti degli arti da un'unica immagine di tutto il corpo. Questa tecnologia è potenziata da un meccanismo di attenzione congiunta spaziotemporale 3D, che migliora la capacità del modello di gestire scene e movimenti complessi. Ciò garantisce che il contenuto generato mantenga la coerenza con le leggi della fisica.
L'applicazione adotta un approccio ad accesso aperto, sebbene con limitazioni regionali in atto. Il modello è attualmente funzionante nella sua fase di prova.
Meno di 48 ore fa, il concorrente di Sora, Kling, è caduto.
Le persone stanno già ottenendo l'accesso e creando video selvaggi di intelligenza artificiale. 
1. Spot della birra MadMax realizzato in 1 ora pic.twitter.com/CyKm2aI0It
– Min Choi (@minchoi) 8 giugno 2024
Kuaishou Technology presenta KwaiYii LLM e il modello text-to-image di Kolors
Kuaishou Technology è tra le numerose aziende tecnologiche cinesi in competizione per introdurre alternative a Sora. La funzionalità text-to-video rappresenta la sua più recente innovazione AI, dopo l’introduzione del modello KwaiYii Large Language Model (LLM) e del modello text-to-image Kolors, che ha debuttato a maggio.
Inoltre, la funzione "AI Dancer", accessibile all'interno dell'applicazione Kuaishou Technology e dell'applicazione di produzione video Kwaiying, consente agli utenti di caricare una foto statica e generare video in cui il personaggio balla secondo ritmi e movimenti specifici.
Il post La tecnologia Kuaishou svela Kling AI, consentendo agli utenti di creare video tramite la generazione di testo in video, è apparso per la prima volta su Metaverse Post.