OpenAI 正在开发灾难性风险防范方法，以应对前沿人工智能技术的潜在危险。
为了积极应对前沿人工智能技术带来的潜在灾难性风险，OpenAI 正在制定风险准备方法，其特点是成立新团队并发起挑战。
正如 OpenAI于 2023 年 10 月报道的那样，该计划与其通过解决与人工智能相关的广泛安全风险来构建安全通用人工智能 (AGI) 的使命相一致。
OpenAI 的基本信念是，前沿人工智能模型（未来技术超越当前可用的顶级模型的能力）有潜力为人类带来无数好处。
然而，OpenAI 意识到这些模型可能带来越来越严重的风险。目标是通过了解前沿人工智能系统在现在和未来被滥用时的潜在危险，并建立一个强大的框架来监控、评估、预测和防范其危险功能，从而管理这些风险。
OpenAI 正在组建一个名为“准备”的新团队，作为其风险缓解策略的一部分。根据 OpenAI 的报告，该团队将由 Aleksander Madry 领导，重点关注能力评估、内部红队和前沿模型评估。
其工作范围将从近期开发的模型到具有 AGI 级别功能的模型。准备团队的任务将包括跟踪、评估和预测，以及防范多个类别的灾难性风险，包括个性化说服、网络安全以及化学、生物、放射性和核（CBRN）性质的威胁，以及自主复制和适应（ARA）。
此外，准备团队的职责包括制定和维护风险知情发展政策（RDP）。该政策将详细介绍 OpenAI 制定严格评估和监控前沿模型能力、创建一系列保护行动以及建立整个开发过程的问责和监督治理结构的方法。
RDP 旨在扩展 OpenAI 现有的风险缓解工作，有助于新系统部署前后的安全性和一致性。
OpenAI 还寻求通过发起 AI 准备挑战来加强其准备团队，以预防灾难性的误用。该挑战旨在识别不太明显的潜在关注领域并建立团队。
它将向最多 10 名顶级提交者提供 25,000 美元的 API 积分，发布新颖的想法和条目，并在挑战的顶级竞争者中寻找准备候选人。
随着前沿人工智能技术的发展，OpenAI 的举措强调了人工智能领域严格风险管理策略的必要性，凸显了在面对这些强大工具可能发生的灾难性滥用时做好准备的重要性。#人工智能 #OpenAI