TL;DR 細分
OpenAI 正在提高人們對人工智能超級智能風險的認識，並組建專門的團隊來解決這些問題。
該公司強調將超級智能與人類價值觀和意圖相結合並建立新的治理機構。
OpenAI 承認，協調 AGI 存在重大風險，可能需要人類的共同努力。
OpenAI 首席執行官 Sam Altman 發起了一項全球活動，以提高人們對人工智能超級智能潛在危險的認識，即機器超越人類智能並可能變得無法控制。
爲了應對這些擔憂，OpenAI 最近宣佈成立一個專門的團隊，負責開發方法應對可能在未來十年內出現的超級智能相關風險。
該公司強調，有效管理超級智能需要建立新的治理機構，並解決使超級智能與人類價值觀和意圖保持一致的關鍵挑戰。
OpenAI 在去年發佈的一篇博客文章中表示，承認 AGI（通用人工智能）對人類構成重大風險，可能需要全人類的共同努力。
這個新成立的團隊被稱爲“超級對齊”，由機器學習領域的頂級研究人員和工程師組成。OpenAI 聯合創始人兼首席科學家 Ilya Sutskever 和對齊負責人 Jan Leike 正在指導這項工作。
爲了解決超級智能對齊的核心技術難題，OpenAI 承諾將把目前獲得的 20% 計算資源用於對齊問題。該公司預計在四年內解決這些挑戰。
超級對齊團隊的主要目標是開發人類級別的自動對齊研究員。這需要創建能夠有效對齊超級智能 AI 系統的 AI 系統，在速度和精度上超越人類。
爲了實現這一里程碑，該團隊將專注於開發一種可擴展的訓練方法，利用人工智能系統來評估其他人工智能系統。他們將通過自動搜索潛在問題行爲來驗證其生成的模型。對齊管道還將通過刻意訓練未對齊的模型來評估其可檢測性，從而進行嚴格的壓力測試。
OpenAI 應對超級智能風險的努力標誌着其在追求負責任和協調一致的人工智能發展方面邁出了重要一步。通過組建一支頂尖研究人員團隊並投入大量計算資源，該公司展示了其積極降低超級智能出現帶來的潛在風險的承諾。在踏上這一雄心勃勃的旅程時，OpenAI 爲在人工智能時代保障人類未來的合作和團結開創了先例。
