TL;DR Décomposition
OpenAI sensibilise aux risques de la superintelligence de l’IA et forme une équipe dédiée pour répondre à ces préoccupations.
L’entreprise met l’accent sur l’alignement de la superintelligence avec les valeurs et les intentions humaines et sur l’établissement de nouvelles institutions de gouvernance.
OpenAI reconnaît que l’alignement de l’AGI présente des risques importants et peut nécessiter un effort collectif de la part de l’humanité.
Le PDG d’OpenAI, Sam Altman, s’est lancé dans une campagne mondiale pour sensibiliser aux dangers potentiels de la superintelligence de l’IA, où les machines surpassent l’intelligence humaine et pourraient devenir incontrôlables.
En réponse à ces préoccupations, OpenAI a récemment annoncé la formation d’une équipe dédiée chargée de développer des méthodes pour faire face aux risques associés à la superintelligence, qui pourraient émerger au cours de cette décennie.
L’entreprise souligne que pour gérer efficacement la superintelligence, il faut établir de nouvelles institutions de gouvernance et résoudre le défi crucial d’aligner la superintelligence sur les valeurs et les intentions humaines.
OpenAI reconnaît que l’alignement de l’AGI (Intelligence Artificielle Générale) présente des risques importants pour l’humanité et peut nécessiter un effort collectif de toute l’humanité, comme indiqué dans un article de blog publié l’année dernière.
Baptisée « Superalignment », cette nouvelle équipe est composée de chercheurs et d’ingénieurs de haut niveau en apprentissage automatique. Ilya Sutskever, cofondateur et scientifique en chef d’OpenAI, et Jan Leike, responsable de l’alignement, dirigent cette initiative.
Pour relever les principaux défis techniques liés à l’alignement de la superintelligence, OpenAI s’est engagé à consacrer 20 % de ses ressources informatiques acquises jusqu’à présent au problème d’alignement. L’entreprise prévoit de résoudre ces défis d’ici quatre ans.
L'objectif principal de l'équipe de superalignement est de développer un chercheur en alignement automatisé de niveau humain. Cela implique la création de systèmes d'IA capables d'aligner efficacement des systèmes d'IA superintelligents, surpassant les humains en termes de vitesse et de précision.
Pour atteindre cette étape, l’équipe se concentrera sur le développement d’une méthode de formation évolutive qui utilise des systèmes d’IA pour évaluer d’autres systèmes d’IA. Ils valideront leur modèle résultant en automatisant la recherche de comportements potentiellement problématiques. Le pipeline d’alignement sera également soumis à des tests de résistance rigoureux en entraînant délibérément des modèles mal alignés pour évaluer leur détectabilité.
Les efforts d’OpenAI pour faire face aux risques liés à la superintelligence marquent une avancée significative dans la poursuite d’un développement responsable et cohérent de l’IA. En réunissant une équipe de chercheurs de haut niveau et en engageant des ressources informatiques substantielles, l’entreprise démontre son engagement à atténuer de manière proactive les risques potentiels associés à l’avènement de la superintelligence. En se lançant dans cette aventure ambitieuse, OpenAI établit un précédent en matière de collaboration et d’unité pour préserver l’avenir de l’humanité à l’ère de l’IA.