William Saunders, ancien employé d'OpenAI et membre de « l'équipe de superalignement » de l'entreprise, a récemment révélé qu'il avait quitté l'entreprise parce qu'il sentait qu'elle était sur le point de se heurter à une tragédie, un peu comme l'infortuné R.M.S. Titanic en 1912.
Comme l'a repéré Business Insider, Saunders a fait son commentaire lors d'un épisode du podcast du journaliste technologique Alex Kantrowitz.
Saunders a déclaré à Kantrowitz qu'au cours de ses trois années chez OpenAI, il se demandait parfois si l'entreprise était sur une voie qui ressemblait « plus au programme Apollo ou plus au Titanic ».
Son raisonnement semble être que, grâce à un effort scientifique prudent, le programme spatial Apollo a été un succès, malgré ses revers, là où le Titanic a été un échec malgré ses succès.
Par Saunders :
« Beaucoup de travail a été réalisé pour sécuriser le navire et construire des compartiments étanches afin qu'ils puissent dire qu'il était insubmersible. Mais en même temps, il n’y avait pas assez de canots de sauvetage pour tout le monde.»
OpenAI comme le Titanic
Saunders décrit la philosophie générale de l’entreprise comme étant celle qui accorde une priorité plus élevée au développement de produits qu’à la mise en œuvre de précautions de sécurité raisonnables.
Il dresse le portrait d'un bureau où les employés qui soulèvent des problèmes de sécurité sont punis et où les dirigeants se concentrent sur le profit.
"Au fil du temps", a déclaré Saunders, "on a commencé à avoir vraiment l'impression que les décisions prises par les dirigeants ressemblaient davantage à celles de la White Star Line construisant le Titanic."
L'iceberg
Saunders n’est pas la première personne à être en désaccord avec la façon dont OpenAI mènerait ses activités. Elon Musk, l’un des cofondateurs de l’entreprise, l’a récemment poursuivi en justice pour avoir affirmé qu’elle s’était trop éloignée de sa mission initiale. Ceci, malgré le fait que Musk n’a eu aucune implication dans OpenAI depuis des années et exploite actuellement son propre concurrent direct, xAI. La poursuite a ensuite été retirée.
La société rivale d'IA, Anthropic, a été fondée en 2021 par d'anciens employés et cofondateurs d'OpenAI, craignant qu'OpenAI ne se concentre pas suffisamment sur la confiance et la sécurité.
D'un autre côté, Ilya Sutskever, un autre cofondateur désormais séparé et ancien scientifique en chef, qui a quitté l'entreprise en mai 2024 pour créer sa propre entreprise, a écrit à l'époque qu'il était « confiant » que l'équipe OpenAI serait en mesure de créer en toute sécurité. atteindre ses objectifs.
Avec autant d’employés qui quittent le navire et l’analogie avec le Titanic évoquée par au moins un d’entre eux, la question qui se pose est : qui ou qu’est-ce que l’iceberg ?
Si les passagers de l’analogie sont nous – toute l’humanité – alors l’iceberg représente la menace existentielle que ChatGPT et les systèmes similaires représentent pour une société non préparée. Si l’IA devient plus intelligente et plus performante que nous, et que nous ne disposons pas de suffisamment de « canots de sauvetage » pour protéger tout le monde de son potentiel de danger, alors nous pourrions nous diriger vers une tragédie.
Mais si les passagers sont des actionnaires et des parties prenantes qui attendent qu’OpenAI crée une IA aussi intelligente que les humains, et que cela n’arrive jamais, alors peut-être que l’iceberg représente l’éclatement de la bulle de l’IA générative.
Related: Big Tech fait face à des comptes financiers si l’IA au niveau humain n’arrive pas bientôt