Cointelegraphによると、ChatGPTの背後にある人工知能（AI）研究・展開企業OpenAIは、AIに起因する潜在的な壊滅的リスクの追跡、評価、予測、防御に特化した新チームの設立を発表した。「Preparedness」と呼ばれるこの新部門は、化学、生物、放射線、核の脅威、個別説得、サイバーセキュリティ、自律複製と適応に関連するAIの脅威に焦点を当てる。

アレクサンダー・マドリ氏が率いる準備チームは、最先端の AI システムが悪用された場合にどれほど危険か、悪意のある人物が盗んだ AI モデルの重みを展開できるかどうかなどの疑問に答えようとします。OpenAI は、最先端の AI モデルが人類に利益をもたらす可能性がある一方で、ますます深刻なリスクも引き起こしていることを認識しています。同社は、現在のシステムから超知能の極限まで、AI に関連するあらゆる安全リスクに対処することに尽力しています。

OpenAIは現在、新しい準備チームのためにさまざまな技術的背景を持つ人材を求めており、壊滅的な誤用防止のためのAI準備チャレンジを開始し、上位10件の応募に25,000ドルのAPIクレジットを提供しています。人工知能に関連するリスクは頻繁に強調されており、AIが人間よりも賢くなる可能性があるという懸念があります。これらのリスクにもかかわらず、OpenAIなどの企業は新しいAIテクノロジーの開発を続けており、さらなる懸念を引き起こしています。2023年5月、非営利団体のCenter for AI SafetyはAIリスクに関する公開書簡を発表し、パンデミックや核戦争などの他の社会的規模のリスクと並んで、AIによる絶滅のリスクを世界的な優先事項として軽減するようコミュニティに促しました。