Selon Foresight News, le PDG de Nvidia, Jensen Huang, a annoncé le lancement d'une série complète de modèles basés sur Llama, utilisant le modèle de base du langage NVIDIA Llama Nemo Tron, appelé Nemotron. De plus, Nvidia a présenté NVIDIA Cosmos, un modèle fondamental conçu pour comprendre des scénarios du monde réel, utilisant également le modèle de base du langage NVIDIA Llama Nemo Tron.
Le modèle Cosmos est capable de traiter des messages sous forme de texte, d’images ou de vidéos pour générer des états du monde virtuel, qui servent de sorties vidéo adaptées aux exigences uniques des applications de conduite autonome et de robotique. Les développeurs peuvent exploiter Cosmos pour produire des retours d’information sur l’IA pour l’apprentissage par renforcement, améliorant ainsi les modèles de stratégie et les performances des tests dans divers scénarios. Nvidia collabore avec l’écosystème mondial des développeurs pour faire progresser la prochaine vague d’IA physique.
Cosmos est le premier modèle fondamental au monde formé sur 20 millions d'heures de vidéo, mettant l'accent sur la dynamique physique et l'interaction humaine.