Compania chineză de tehnologie Kuaishou Technology, cunoscută pentru comunitatea sa de conținut și platforma socială, a dezvăluit Kling AI, un nou instrument conceput pentru a genera videoclipuri extrem de realiste din mesaje text, reprezentând un potențial competitor al modelului Sora de la OpenAI.
Sora este un model AI conceput pentru a genera scene realiste și creative bazate pe introducerea textului. Un cadru de învățare profundă este esențial pentru capacitățile de generare video ale Sora. Modelul învață asocieri între cuvinte și fraze cu diverse elemente, cum ar fi obiecte, acțiuni, medii și nuanțe stilistice.
În timp ce modelul Sora de la OpenAI este capabil să genereze videoclipuri de până la un minut, Kling AI poate produce videoclipuri realiste de până la două minute, cu o rezoluție de 1080p la 30 de cadre pe secundă. Acceptă raporturi de aspect multiple și atinge un nivel ridicat de detaliu prin tehnici avansate de reconstrucție a feței și a corpului 3D, asigurându-se că videoclipurile sale generate de inteligență artificială nu se pot distinge practic de filmările reale.
Kling AI utilizează un autocoder variațional 3D (VAE) pentru a reconstrui fețele și corpurile, permițând generarea de expresii detaliate și mișcări ale membrelor dintr-o singură imagine a corpului întreg. Această tehnologie este îmbunătățită de un mecanism de atenție articulară spațiotemporal 3D, sporind capacitatea modelului de a gestiona scene și mișcări complexe. Acest lucru asigură că conținutul generat menține consistența cu legile fizicii.
Aplicația adoptă o abordare cu acces deschis, deși cu limitări regionale. Modelul funcționează în prezent în faza sa de probă.
Cu mai puțin de 48 de ore în urmă, concurentul Sora Kling a căzut.
Oamenii obțin deja acces și creează videoclipuri AI sălbatice. 
1. Reclamă la bere MadMax realizată în 1 orăpic.twitter.com/CyKm2aI0It
— Min Choi (@minchoi) 8 iunie 2024
Tehnologia Kuaishou dezvăluie modelul KwaiYii LLM și Kolors text-to-image
Kuaishou Technology este printre mai multe companii de tehnologie chineză care concurează pentru a introduce alternative la Sora. Capacitatea text-to-video reprezintă cea mai recentă inovație AI, după introducerea modelului său de limbaj mare KwaiYii (LLM) și a modelului text-to-image Kolors, care a debutat în mai.
În plus, funcția „AI Dancer”, accesibilă în aplicația Kuaishou Technology și în aplicația de producție video Kwaiying, permite utilizatorilor să încarce o fotografie statică și să genereze videoclipuri în care personajul dansează pe ritmuri și mișcări specificate.
Postarea Tehnologia Kuaishou dezvăluie Kling AI, dând putere utilizatorilor să creeze videoclipuri prin generarea text-to-video a apărut mai întâi pe Metaverse Post.