Anthropic, Google, Microsoft et OpenAI ont nommé Chris Meserole comme premier directeur exécutif du Frontier Model Forum. Le consortium industriel se consacre à promouvoir la progression sécurisée et éthique des modèles d’IA de pointe à l’échelle mondiale. Simultanément, Forum a introduit un fonds pour la sécurité de l'IA de plus de 10 millions de dollars. L’objectif du fonds est de faire progresser la recherche sur la sécurité de l’IA.

Le directeur exécutif Chris Meserole apporte une vaste expérience en politique technologique et en gouvernance des technologies émergentes. Avant sa nomination, il a été directeur de l'Initiative sur l'intelligence artificielle et les technologies émergentes à la Brookings Institution. Dans ses nouvelles fonctions, Meserole dirigera les efforts visant à faire progresser la recherche sur la sécurité de l'IA, à identifier les meilleures pratiques pour le développement de modèles d'IA sécurisés, à diffuser les connaissances aux parties prenantes et à soutenir les initiatives qui exploitent l'IA pour relever les défis sociétaux.

« Les modèles d’IA les plus puissants sont extrêmement prometteurs pour la société, mais pour réaliser leur potentiel, nous devons mieux comprendre comment les développer et les évaluer en toute sécurité. Je suis ravi de relever ce défi avec le Frontier Model Forum »,

dit Méserole.

L’AI Safety Fund a vu le jour en réponse à la progression rapide des capacités de l’IA au cours de l’année écoulée, nécessitant des recherches universitaires plus approfondies sur la sécurité de l’IA. Ce fonds, une collaboration entre le Frontier Model Forum et des partenaires philanthropiques, apportera un soutien aux chercheurs indépendants du monde entier affiliés à des institutions universitaires, des organismes de recherche et des startups. 

Les principaux contributeurs à cette initiative sont Anthropic, Google, Microsoft et OpenAI, ainsi que des organisations philanthropiques telles que la Fondation Patrick J. McGovern, la Fondation David et Lucile Packard, Eric Schmidt et Jaan Tallinn. Leurs contributions combinées dépassent les 10 millions de dollars, avec l'anticipation de dons supplémentaires d'autres partenaires.

Plus tôt cette année, les membres du Forum ont pris des engagements volontaires à la Maison Blanche, notamment en permettant à des tiers de découvrir et de signaler les vulnérabilités de leurs systèmes d'IA. L’AI Safety Fund s’aligne sur cet engagement en offrant un financement aux communautés externes pour examiner les systèmes d’IA de pointe. Une diversité de voix et de perspectives enrichira le discours mondial sur la sécurité de l’IA et élargira la base de connaissances générale sur l’IA.

Renforcer la sécurité et la collaboration de l'IA

L’AI Safety Fund se concentre principalement sur le soutien au développement de nouvelles techniques d’évaluation et d’approches d’équipe rouge pour les modèles d’IA, dans le but de découvrir les dangers potentiels. L'équipe rouge est un processus structuré permettant d'examiner les systèmes d'IA afin d'identifier les capacités, les résultats ou les menaces infrastructurelles nuisibles. Un financement accru dans ce domaine pourrait élever les normes de sûreté et de sécurité et fournir des informations précieuses sur l’atténuation des défis posés par les systèmes d’IA.

De plus, le Fonds sollicitera prochainement des propositions de recherche et sera géré par le Meridian Institute avec les conseils d'un comité consultatif composé d'experts indépendants, de professionnels de l'IA et d'experts en matière d'octroi de subventions.

Un processus de divulgation responsable est en cours, permettant aux laboratoires Frontier AI de partager des informations sur les vulnérabilités et les capacités dangereuses des modèles Frontier AI, ainsi que leurs solutions. Certaines sociétés du Forum ont déjà identifié de tels problèmes dans le contexte de la sécurité nationale, servant d'études de cas pour guider d'autres laboratoires dans la mise en œuvre de procédures de divulgation responsable.

Pour l’avenir, le Frontier Model Forum prévoit de créer un conseil consultatif dans les mois à venir, chargé de piloter ses priorités stratégiques et de représenter diverses expertises et perspectives. Le Forum publiera régulièrement des mises à jour, y compris l'ajout de nouveaux membres. Simultanément, l’AI Safety Fund lancera son premier appel à propositions, avec des subventions accordées peu de temps après. De plus, le Forum continuera de publier les conclusions techniques dès qu'elles seront disponibles.

L’objectif primordial du Forum est de collaborer avec Chris Meserole et d’élargir l’engagement avec la communauté de recherche au sens large. Cela inclut des partenariats avec des organisations telles que le Partenariat sur l'IA, MLCommons et d'autres ONG, entités gouvernementales et organisations multinationales de premier plan. Ensemble, ils visent à exploiter le potentiel de l’IA tout en garantissant son développement et son utilisation sûrs et éthiques.

Connexes : 5 informations clés sur l'avenir de l'IA et des LLM de Dario Amodei, PDG d'Anthropic

L'article Anthropic, Google, Microsoft et OpenAI nomment un directeur exécutif du Frontier Model Forum et dévoilent un fonds de sécurité pour l'IA de 10 millions de dollars apparaît en premier sur Metaverse Post.