总长DR

  • 前 OpenAI 员工 William Saunders 因对公司人工智能安全方法的担忧而辞职。

  • 桑德斯将 OpenAI 的轨迹与泰坦尼克号的轨迹进行了比较，优先考虑新产品而不是安全措施。

  • 他对 OpenAI 专注于实现通用人工智能的同时也发布商业产品表示担忧。

  • 桑德斯曾是 OpenAI 超级对齐团队的成员，该团队后来解散了。

  • OpenAI 的其他前员工也已离职并创办专注于人工智能安全的公司。

OpenAI 超级对齐团队的前成员 William Saunders 公开表达了他在三年后离开公司的决定。

致力于理解人工智慧语言模型行为的桑德斯表示，他辞职是因为他觉得 OpenAI 优先考虑的是产品开发而不是实施足够的安全措施。

在最近的访谈中，桑德斯将 OpenAI 的发展轨迹与泰坦尼克号的发展轨迹进行了比较，表明该公司正在建立令人印象深刻的技术，但没有足够的保障措施。

「我真的不想最终为人工智慧的泰坦尼克号工作，所以这就是我辞职的原因，」桑德斯在播客采访中表示。

Saunders 对 OpenAI 的双重关注表示担忧：实现通用人工智慧 (AGI)（人工智慧可以自学），同时发布商业产品。

他认为这种组合可能会导致仓促的开发和安全预防措施的不足。

「他们正走在改变世界的轨道上，但当他们发布产品时，他们的首要任务更像是一家产品公司，」桑德斯解释道。

他补充说，虽然 OpenAI 的员工在理解和预防风险方面做得很好，但他认为这项工作没有得到足够的优先事项。

这位前员工的担忧延伸到了更广泛的人工智慧产业。 Saunders 是 OpenAI 和 Google DeepMind 的 13 名前任和现任员工之一，他们签署了一封题为「警告权」的公开信。

这封信强调了允许人工智慧社群内的人们说出他们对快速发展的技术的担忧的重要性。

Saunders 离开 OpenAI 并不是一个孤立事件。其他知名人士也因类似担忧离开了该公司。

例如，竞争对手 AI 公司 Anthropic 由前 OpenAI 员工于 2021 年创立，他们认为该公司对信任和安全性不够重视。

最近，OpenAI 联合创始人兼前首席科学家 Ilya Sutskever 于 2024 年 6 月离职，创办了 Safe Superintelligence Inc.，该公司致力于研究人工智慧，同时确保「安全始终领先」。

OpenAI 因其人工智慧开发方法而面临批评和内部动荡。 2023 年 11 月，董事会以失去信任为由，短暂解除了执行长萨姆·奥尔特曼 (Sam Altman) 的职务。

尽管奥特曼几天后复职，但这起事件凸显了公司内部持续的紧张局势。

尽管有这些担忧，OpenAI 仍继续推动其人工智慧开发。该公司最近解散了其超级对齐团队，桑德斯所属的团队负责控制人工智慧系统，有一天可能会比人类更聪明。

前 OpenAI 员工对 AI 安全实践提出担忧的贴文首先出现在 Blockonomi 上。