OpenAI 联合创始人兼前首席科学家 Ilya Sutskever 与前 OpenAI 工程师 Daniel Levy 和投资者 Daniel Gross（曾是创业加速器 Y Combinator 的合伙人）共同创立了 Safe Superintelligence, Inc. (SSI)。该公司总部位于帕洛阿尔托和特拉维夫，旨在通过优先考虑安全性和能力来推动人工智能 (AI) 的发展。在 6 月 19 日的在线公告中，创始人强调了他们的承诺：

“从一开始，我们的重点就始终坚定不移地放在人工智能的安全性和能力上。这种单一的关注确保我们不会被管理费用或产品周期所分散注意力，同时我们的商业模式可以保护安全性、保障性和进步免受短期商业压力的影响。”

苏茨克弗和格罗斯长期以来一直是人工智能安全的倡导者。

5 月 14 日，Sutskever 因参与解雇首席执行官 Sam Altman 而离开 OpenAI。Altman 回归后，Sutskever 从董事会辞职，他在公司的角色也变得模糊不清。Sutskever 离开后不久，Daniel Levy 和其他几位研究人员也离开了 OpenAI。

Sutskever 和 Jan Leike 共同领导了 OpenAI 的超级对齐团队，该团队成立于 2023 年 7 月，旨在探索引导和管理比人类更智能的人工智能系统（即通用人工智能 (AGI)）的方法。在成立之初，OpenAI 分配了 20% 的计算资源来支持超级对齐团队。

今年 5 月，Leike 还离开了 OpenAI，前往亚马逊支持的 AI 初创公司 Anthropic 领导一个团队。在其核心研究人员离职后，OpenAI 解散了 Superalignment 团队。该公司总裁 Greg Brockman 在 X 上的一篇详细帖子中为其安全协议进行了辩护。

科技行业的其他知名人士也表达了担忧

OpenAI 前研究员和众多科学家都对人工智能的未来发展方向深表担忧。以太坊联合创始人 Vitalik Buterin 在 OpenAI 最近的人员变动中将 AGI 称为“危险的”。不过，他也指出，“与企业狂妄自大和军事应用相比，这种模型的毁灭风险要低得多。”

来源：Ilya Sutskever

特斯拉首席执行官埃隆·马斯克（曾是 OpenAI 的支持者）和苹果联合创始人史蒂夫·沃兹尼亚克与 2,600 多名科技领袖和研究人员一起呼吁暂停人工智能系统的训练六个月。他们强调，人类需要反思这些技术带来的“深远风险”。

前 OpenAI 科学家 Ilya Sutskever 创办 SSI 以保障 AI 安全一文最先出现在 Baffic 上。