Ķīnas tehnoloģiju uzņēmums Kuaishou Technology, kas pazīstams ar savu satura kopienu un sociālo platformu, atklāja Kling AI — jaunu rīku, kas paredzēts ļoti reālistisku videoklipu ģenerēšanai no teksta uzvednēm, kas ir potenciāls OpenAI Sora modeļa konkurents.
Sora ir mākslīgā intelekta modelis, kas izstrādāts, lai radītu reālistiskas un radošas ainas, pamatojoties uz teksta ievadi. Sora video ģenerēšanas iespēju centrālais elements ir padziļināta mācību sistēma. Modelis apgūst asociācijas starp vārdiem un frāzēm ar dažādiem elementiem, piemēram, objektiem, darbībām, vidi un stilistiskām niansēm.
Kamēr OpenAI Sora modelis spēj ģenerēt līdz vienai minūtei garus videoklipus, Kling AI var radīt reālistiskus videoklipus, kuru garums sasniedz līdz divām minūtēm ar 1080p izšķirtspēju ar ātrumu 30 kadri sekundē. Tas atbalsta vairākas malu attiecības un nodrošina augstu detalizācijas līmeni, izmantojot uzlabotas 3D sejas un ķermeņa rekonstrukcijas metodes, nodrošinot, ka tā AI ģenerētie videoklipi praktiski nav atšķirami no reāliem kadriem.
Kling AI izmanto 3D variāciju automātisko kodētāju (VAE), lai rekonstruētu sejas un ķermeņus, ļaujot ģenerēt detalizētas izteiksmes un ekstremitāšu kustības no viena visa ķermeņa attēla. Šī tehnoloģija ir uzlabota ar 3D spatiotemporal locītavu uzmanības mehānismu, uzlabojot modeļa spēju apstrādāt sarežģītas ainas un kustības. Tas nodrošina, ka ģenerētais saturs saglabā atbilstību fizikas likumiem.
Lietojumprogramma izmanto atvērtās piekļuves pieeju, lai gan ar reģionāliem ierobežojumiem. Modelis pašlaik darbojas izmēģinājuma posmā.
Mazāk nekā pirms 48 stundām Sora konkurents Klings krita.
Cilvēki jau iegūst piekļuvi un veido savvaļas AI videoklipus. 
1. MadMax Beer reklāma, kas tapusi 1 stundā pic.twitter.com/CyKm2aI0It
— Min Choi (@minchoi) 2024. gada 8. jūnijs
Kuaishou Technology iepazīstina ar KwaiYii LLM un Kolors teksta pārveidošanas modeli
Kuaishou Technology ir viens no vairākiem Ķīnas tehnoloģiju uzņēmumiem, kas sacenšas, lai ieviestu alternatīvas Sora. Teksta pārveides iespēja ir tās jaunākā AI inovācija pēc KwaiYii lielās valodas modeļa (LLM) un teksta pārveides attēla modeļa Kolors ieviešanas, kas debitēja maijā.
Turklāt funkcija “AI Dancer”, kas pieejama lietojumprogrammā Kuaishou Technology un video producēšanas lietojumprogrammā Kwaiying, ļauj lietotājiem augšupielādēt statisku fotoattēlu un ģenerēt videoklipus, kuros varonis dejo noteiktos ritmos un kustībās.
Post Kuaishou Technology atklāj Kling AI, kas ļauj lietotājiem izveidot videoklipus, izmantojot teksta pārveidošanu video, pirmo reizi parādījās Metaverse Post.