美國人工智能安全研究所是美國商務部下屬國家標準與技術研究所 (NIST) 的一部分，該研究所宣佈了旨在加強人工智能安全研究和評估的新協議。這些協議通過諒解備忘錄 (MOU) 正式確定，與兩家領先的人工智能公司 Anthropic 和 OpenAI 建立了合作框架。這些合作旨在方便獲取兩家公司的新人工智能模型，使該研究所能夠在這些模型公開發布之前和之後進行徹底的評估。
該諒解備忘錄使美國人工智慧安全研究所能夠與 Anthropic 和 OpenAI 開展合作研究，重點關注人工智慧能力評估和安全風險識別。此次合作預計將推動減輕與先進人工智慧系統相關的潛在風險的方法。美國人工智慧安全研究所所長伊麗莎白凱利強調，安全是技術創新的重要組成部分，並對未來與這些人工智慧企業的技術合作表示期待。她指出，這些協議是該研究所持續努力指導人工智慧負責任發展的一個重要里程碑。
除了這些合作之外，美國人工智慧安全研究所還將向 Anthropic 和 OpenAI 提供有關其模型可能的安全改進的回饋。這項工作將與英國人工智慧安全研究所密切合作進行，反映出國際社會為確保人工智慧技術的安全和值得信賴的發展而做出的更廣泛的努力。
美國人工智慧安全研究所的努力植根於 NIST 推進測量科學、技術和標準的悠久歷史。根據這些協議進行的評估將有助於 NIST 更廣泛的人工智慧計劃，這些計劃與拜登-哈里斯政府的人工智慧行政命令保持一致。其目標是在領先的人工智慧開發人員向政府做出的自願承諾的基礎上，支持人工智慧系統的安全、可靠和值得信賴的開發。
根據路透社報道，週三，加州立法者批准了一項有爭議的人工智慧安全法案，目前正在等待州長加文紐瑟姆 (Gavin Newsom) 的決定。民主黨人紐瑟姆必須在 9 月 30 日之前否決該法案或簽署為法律。該立法要求對超過一定成本或運算能力的人工智慧模型進行安全測試和其他保障措施，一些科技公司認為這項措施可能會阻礙創新。
精選圖片來自Pixabay
