OpenAI 正在開發災難性風險防範方法，以應對前沿人工智能技術的潛在危險。
爲了積極應對前沿人工智能技術帶來的潛在災難性風險，OpenAI 正在制定風險準備方法，其特點是成立新團隊併發起挑戰。
正如 OpenAI於 2023 年 10 月報道的那樣，該計劃與其通過解決與人工智能相關的廣泛安全風險來構建安全通用人工智能 (AGI) 的使命相一致。
OpenAI 的基本信念是，前沿人工智能模型（未來技術超越當前可用的頂級模型的能力）有潛力爲人類帶來無數好處。
然而，OpenAI 意識到這些模型可能帶來越來越嚴重的風險。目標是通過了解前沿人工智能系統在現在和未來被濫用時的潛在危險，並建立一個強大的框架來監控、評估、預測和防範其危險功能，從而管理這些風險。
OpenAI 正在組建一個名爲“準備”的新團隊，作爲其風險緩解策略的一部分。根據 OpenAI 的報告，該團隊將由 Aleksander Madry 領導，重點關注能力評估、內部紅隊和前沿模型評估。
其工作範圍將從近期開發的模型到具有 AGI 級別功能的模型。準備團隊的任務將包括跟蹤、評估和預測，以及防範多個類別的災難性風險，包括個性化說服、網絡安全以及化學、生物、放射性和核（CBRN）性質的威脅，以及自主複製和適應（ARA）。
此外，準備團隊的職責包括制定和維護風險知情發展政策（RDP）。該政策將詳細介紹 OpenAI 制定嚴格評估和監控前沿模型能力、創建一系列保護行動以及建立整個開發過程的問責和監督治理結構的方法。
RDP 旨在擴展 OpenAI 現有的風險緩解工作，有助於新系統部署前後的安全性和一致性。
OpenAI 還尋求通過發起 AI 準備挑戰來加強其準備團隊，以預防災難性的誤用。該挑戰旨在識別不太明顯的潛在關注領域並建立團隊。
它將向最多 10 名頂級提交者提供 25,000 美元的 API 積分，發佈新穎的想法和條目，並在挑戰的頂級競爭者中尋找準備候選人。
隨着前沿人工智能技術的發展，OpenAI 的舉措強調了人工智能領域嚴格風險管理策略的必要性，凸顯了在面對這些強大工具可能發生的災難性濫用時做好準備的重要性。#人工智能 #OpenAI
