TL;DR 内訳

  • OpenAI は、AI スーパーインテリジェンスのリスクについての認識を高め、これらの懸念に対処するための専門チームを結成しています。

  • 同社は、スーパーインテリジェンスを人間の価値観や意図と一致させ、新たなガバナンス機関を確立することに重点を置いています。

  • OpenAI は、AGI の調整には大きなリスクが伴い、人類全体の努力が必要になる可能性があることを認識しています。

OpenAIのCEOサム・アルトマン氏は、機械が人間の知能を超え、制御不能になる可能性のあるAI超知能の潜在的な危険性について認識を高める世界的なキャンペーンを開始した。

こうした懸念に応えて、OpenAI は最近、この 10 年以内に出現する可能性のある超知能に関連するリスクに対処する方法の開発を任務とする専門チームの結成を発表した。

同社は、スーパーインテリジェンスを効果的に管理するには、新たなガバナンス機関を設立し、スーパーインテリジェンスを人間の価値観や意図に合わせるという重要な課題を解決する必要があることを強調しています。

OpenAI は、昨年公開されたブログ投稿で述べたように、AGI (人工汎用知能) の調整は人類に重大なリスクをもたらし、全人類の共同の取り組みが必要になる可能性があることを認めています。

「スーパーアライメント」と名付けられたこの新しく結成されたチームは、機械学習のトップクラスの研究者とエンジニアで構成されています。OpenAIの共同創設者兼主任科学者であるイリヤ・スツケバー氏と、アライメント責任者のヤン・ライケ氏がこの取り組みを指揮しています。

スーパーインテリジェンスのアラインメントという中核的な技術的課題に取り組むため、OpenAI はこれまでに獲得した計算リソースの 20% をアラインメント問題に充てることにコミットしています。同社は 4 年以内にこれらの課題を解決できると予想しています。

スーパーアライメント チームの主な目的は、人間レベルの自動アライメント研究者を開発することです。これには、速度と精度で人間を上回る、超知能 AI システムを効果的にアライメントできる AI システムの作成が含まれます。

このマイルストーンを達成するために、チームは AI システムを利用して他の AI システムを評価するスケーラブルなトレーニング方法の開発に注力します。チームは、問題となる可能性のある動作の検索を自動化することで、結果として得られるモデルを検証します。また、アライメント パイプラインは、不整合モデルを意図的にトレーニングして検出可能性を測定することにより、厳格なストレス テストを受けます。

OpenAI のスーパーインテリジェンスリスクへの取り組みは、責任ある AI 開発の追求において大きな前進となります。トップクラスの研究者チームを編成し、膨大な計算リソースを投入することで、同社はスーパーインテリジェンスの出現に伴う潜在的なリスクを積極的に軽減するというコミットメントを示しています。この野心的な旅に乗り出すことで、OpenAI は AI 時代における人類の未来を守るための協力と団結の先例を確立します。