Ilya Sutskever, co-fondateur et ancien scientifique en chef d'OpenAI, ainsi que l'ancien ingénieur OpenAI Daniel Levy et l'investisseur Daniel Gross, auparavant partenaire de l'accélérateur de startups Y Combinator, ont lancé Safe Superintelligence, Inc. (SSI). L'entreprise, dont le siège est à Palo Alto et à Tel Aviv, vise à faire progresser l'intelligence artificielle (IA) en donnant la priorité à la sécurité et aux capacités. Dans une annonce en ligne le 19 juin, les fondateurs ont souligné leur engagement :
« Dès le départ, nous restons inébranlables sur la sécurité et les capacités de l’IA. Cette orientation unique garantit que nous ne sommes pas distraits par les frais généraux de gestion ou les cycles de produits, tandis que notre modèle commercial protège la sûreté, la sécurité et le progrès des pressions commerciales à court terme.
Sutskever et Gross défendent depuis longtemps la sécurité de l’IA.
Sutskever a quitté OpenAI le 14 mai, suite à son implication dans le licenciement du PDG Sam Altman. Son rôle au sein de l’entreprise est devenu ambigu après sa démission du conseil d’administration au retour d’Altman. Peu de temps après le départ de Sutskever, Daniel Levy, ainsi que plusieurs autres chercheurs, ont également quitté OpenAI.
Sutskever et Jan Leike ont codirigé l’équipe Superalignment d’OpenAI, formée en juillet 2023 pour explorer des méthodes de guidage et de gestion de systèmes d’IA plus intelligents que les humains, connues sous le nom d’intelligence artificielle générale (AGI). Lors de sa création, OpenAI a alloué 20 % de ses ressources informatiques au support de l'équipe Superalignment.
En mai, Leike a également quitté OpenAI pour diriger une équipe chez Anthropic, une startup d'IA soutenue par Amazon. Suite au départ de ses principaux chercheurs, OpenAI a dissous l'équipe Superalignment. Greg Brockman, le président de l'entreprise, a défendu ses protocoles de sécurité dans un article détaillé sur X.
D’autres personnalités du secteur technologique partagent également leurs inquiétudes.
D’anciens chercheurs d’OpenAI, ainsi que de nombreux scientifiques, expriment de profondes inquiétudes quant à la trajectoire future de l’IA. Vitalik Buterin, co-fondateur d'Ethereum, a qualifié AGI de « risqué » au milieu des récents changements de personnel chez OpenAI. Cependant, il a également noté que « de tels modèles présentent des risques de catastrophe bien moindres que la mégalomanie des entreprises et les applications militaires ».
Source : Ilya Sutskever
Le PDG de Tesla, Elon Musk, ancien partisan d'OpenAI, et le co-fondateur d'Apple, Steve Wozniak, se sont joints à plus de 2 600 leaders technologiques et chercheurs pour appeler à une pause de six mois dans la formation des systèmes d'IA. Ils ont souligné la nécessité pour l’humanité de réfléchir aux « risques profonds » posés par ces technologies.
Le message Ilya Sutskever, ancien scientifique d'OpenAI, lance SSI pour la sécurité de l'IA apparaît en premier sur Baffic.