Selon Cointelegraph, Meta a présenté le 4 octobre une nouvelle suite de modèles d'intelligence artificielle baptisée « Movie Gen », capable de générer des films photoréalistes d'une durée maximale de 16 secondes, accompagnés d'effets sonores et de pistes musicales. Bien qu'il ne s'agisse pas du premier modèle d'IA multimodal à générer de la vidéo et de l'audio à partir d'invites textuelles, Movie Gen semble démontrer des capacités de pointe. Les chercheurs affirment qu'il a surpassé les systèmes concurrents lors des tests sur l'homme.

Le blog de Meta révèle que Movie Gen peut produire des films à une fréquence d'images de 16 images par seconde (FPS). Pour rappel, les films hollywoodiens traditionnels ont été tournés à 24 FPS pour obtenir le « look cinématographique ». Bien que des fréquences d'images plus élevées soient préférées dans les jeux et autres applications graphiques, les 16 FPS de Meta sont proches de l'imagerie cinématographique de qualité professionnelle. Les modèles peuvent générer des films entièrement nouveaux à partir de simples invites de texte ou modifier des images ou des vidéos existantes pour remplacer ou modifier des objets et des arrière-plans.

L'une des fonctionnalités les plus avancées de Movie Gen est sa capacité à générer jusqu'à 45 secondes d'audio, y compris des effets sonores et une musique de fond, qui sont intégrés et synchronisés avec le mouvement dans les vidéos générées. Malgré ces avancées, Meta garde pour l'instant les modèles de base derrière Movie Gen secrets. La société n'a pas fourni de calendrier pour le lancement du produit, affirmant que des tests de sécurité supplémentaires sont nécessaires avant le déploiement.

Un article de recherche de l'équipe d'IA de Meta indique que les modèles Movie Gen ont été développés à des fins de recherche et nécessitent de nombreuses améliorations avant d'être déployés. L'entreprise prévoit d'intégrer des modèles de sécurité pour rejeter les invites de saisie ou les générations qui enfreignent ses politiques afin d'éviter toute utilisation abusive.