Meta unveils AI models that create photorealistic movies with sound

Cointelegraph · 2024-10-04T16:38:30.000Z

Meta debuted a suite of artificial intelligence models called “Movie Gen” on Oct. 4 capable of generating photorealistic movies up to 16-seconds long complete with sound effects and backing music tracks. Movie Gen isn’t the first multimodal AI model capable of generating video and audio from simple text prompts, but it appears to demonstrate state-of-the-art capabilities. The researchers responsible for the application’s development claim it outperformed rival systems in human testing. A still image taken from a movie generated by Meta Movie Gen. Source: Meta Movie Gen According to a blog post from Meta, Movie Gen is currently capable of outputting movies up to 16-seconds long at a frame rate of 16 frames per second (FPS). To put this into perspective, Hollywood films prior to the digital age were traditionally shot at 24 FPS to achieve what’s called the “film look.” While higher FPS rates are considered better in gaming and other graphical applications, Meta’s 16 FPS isn’t far off from what would be considered professional quality movie imagery. The Movie Gen models can generate completely novel movies based on simple text prompts or modify existing images or videos to replace or modify objects and backgrounds. Still images from an uploaded movie edited three different ways. Source: Meta Its most advanced contribution, however, may be the AI suite’s ability to generate up to 45-seconds of audio featuring sound effects and background music. According to Meta, Movie Gen integrates and syncs the audio to the motion in the generated videos. Research only Meta is keeping the foundation models behind Movie Gen under wraps for the time being. The company hasn’t given a timeframe for the product’s launch and says it will require further safety testing before deployment. Per a research paper from Meta’s AI team: “The Movie Gen cast of foundation models were developed for research purposes and need multiple improvements before deploying them … when we do deploy these models, we will incorporate safety models that can reject input prompts or generations that violate our policies to prevent misuse.” Magazine: Anti-aging tycoon Bryan Johnson almost devoted his life to crypto

Meta a debutat pe 4 octombrie cu o suită de modele de inteligență artificială numită „Movie Gen”, capabilă să genereze filme fotorealiste de până la 16 secunde, cu efecte sonore și melodii de suport. 
Movie Gen nu este primul model AI multimodal capabil să genereze video și audio din simple mesaje text, dar pare să demonstreze capabilități de ultimă generație. Cercetătorii responsabili pentru dezvoltarea aplicației susțin că a depășit sistemele rivale în testarea umană. 
O imagine statică luată dintr-un film generat de Meta Movie Gen. Sursa: Meta
Film Gen
Potrivit unei postări pe blog de la Meta, Movie Gen este capabilă în prezent să scoată filme cu o durată de până la 16 secunde la o rată de cadre de 16 cadre pe secundă (FPS). Pentru a pune acest lucru în perspectivă, filmele de la Hollywood înainte de era digitală erau în mod tradițional filmate la 24 FPS pentru a obține ceea ce se numește „aspect de film”. 
În timp ce ratele FPS mai mari sunt considerate mai bune în jocuri și alte aplicații grafice, 16 FPS de la Meta nu este departe de ceea ce ar fi considerat imagini de film de calitate profesională. 
Modelele Movie Gen pot genera filme complet noi pe baza unor simple solicitări de text sau pot modifica imagini sau videoclipuri existente pentru a înlocui sau modifica obiecte și fundaluri. 
Imaginile statice dintr-un film încărcat au fost editate în trei moduri diferite. Sursa: Meta
Cu toate acestea, cea mai avansată contribuție a acesteia ar putea fi capacitatea suitei AI de a genera până la 45 de secunde de sunet cu efecte sonore și muzică de fundal. Potrivit Meta, Movie Gen integrează și sincronizează sunetul cu mișcarea din videoclipurile generate. 
Doar cercetare 
Meta ține sub secret modelele de fundație din spatele Movie Gen pentru moment. Compania nu a dat un interval de timp pentru lansarea produsului și spune că va necesita teste suplimentare de siguranță înainte de implementare.
Conform unei lucrări de cercetare a echipei Meta AI:
„Grupul de modele de fundație Movie Gen a fost dezvoltat în scopuri de cercetare și au nevoie de mai multe îmbunătățiri înainte de a le implementa... când vom implementa aceste modele, vom încorpora modele de siguranță care pot respinge solicitările de intrare sau generațiile care încalcă politicile noastre pentru a preveni utilizarea greșită.”
Magazine: Magnatul anti-îmbătrânire Bryan Johnson aproape că și-a dedicat viața cripto-ului

Explorați mai multe de la acest creator

Ultimele știri