在其长达 165 页的论文中，OpenAI 超级对齐团队的前成员 Leopold Aschenbrenner 对人工智能的发展方向提出了全面而发人深省的观点。Aschenbrenner 试图引起人们对人工智能能力的快速发展以及迈向通用人工智能 (AGI) 及其他领域的可能道路的关注。在这些突破带来的无与伦比的前景和重大危害的驱动下，他研究了围绕通用人工智能的科学、道德和战略问题。

事实上，没有人对人工智慧的未来进行定价。 .twitter。

— Leopold Aschenbrenner (@leopoldasch) 2024 年 6 月 4 日

Aschenbrenner 谈论从 GPT-4 到 AGI 的道路

在本章中，作者探讨了最近出现的人工智慧能力的指数级增长，特别是随著 GPT-2 和 GPT-4 的发明。利奥波德·阿申布伦纳 (Leopold Aschenbrenner) 强调这是一个非凡进步的时代，在此期间，人工智慧从完成非常基本的任务发展到实现更复杂、类似人类的理解和语言生成。

照片：四年来的进展。对情境的意识

数量级（即“OOM”）的概念对于本次对话至关重要。 Aschenbrenner 利用数量级 (OOM)（给定衡量标准中十倍成长的指标）来评估人工智慧能力、运算能力和资料消耗方面的进步。在运算能力和资料可扩展性方面，从GPT-2到GPT-4的切换代表了许多OOM，从而导致效能和能力的显著提升。

照片：态势感知

三个主要因素——缩放法则、演算法创新和庞大数据集的使用——造成了这些收益，这些收益不仅是线性的，而且是指数级的。根据缩放原则，当使用大量资料和处理能力进行训练时，模型的效能会可靠地提高。更大、更强大的模型（如 GPT-4）的发展就是在这想法的指导下进行的。

照片：态势感知

演算法的创新也非常重要。训练方法、优化策略和底层架构的进步提高了人工智慧模型的功效和效率。这些发展使模型能够更好地利用不断增强的处理能力和可用数据。

Aschenbrenner 也强调了到2027 年实现AGI 的可能路径。任务。通往 AGI 的每一个 OOM 都标志著人工智慧能力的重大进步。

照片：态势感知

AGI 的整合具有深远的影响。这类系统能够自行解决复杂的问题，以目前为人类专业人员保留的方式进行创新，并执行复杂的工作。这涉及人工智慧系统进一步推进人工智慧研究的潜力，从而加快该领域的进展速度。

AGI 的发展具有改变产业、提高产量和效率的潜力。它也提出了一些重要问题，例如失业、人工智慧的道德应用，以及需要强有力的治理结构来控制完全自主系统带来的危险。

照片：态势感知

阿申布伦纳敦促包括学者、立法者和企业高管在内的国际社会共同努力，为人工智慧（AI）带来的机会和问题做好准备。为了解决这些问题的全球性，需要资助人工智慧安全和一致性研究，制定规则以确保公平分享人工智慧优势，并鼓励国际合作。

利奥波德·阿申布伦纳 (Leopold Aschenbrenner) 分享他对超级智慧的看法

阿申布伦纳在那里讨论了超级智慧的概念，以及从人工智慧快速过渡到远远超出人类认知能力的系统的可能性。这个论点的中心思想是，驱动人工智慧演化的原理可能会产生一个回馈循环，一旦达到人类水平，智力就会爆炸。

根据智慧爆炸的概念，AGI可能会自行开发自己的演算法和技能。 AGI 系统可以比人类研究人员更快地完善自己的设计，因为它们在人工智慧研究和开发方面更加熟练。这种自我完善的循环可能会导致智力呈指数级增长。

照片：态势感知

阿申布伦纳对这种快速升级可能涉及的变数进行了彻底的检查。首先，AGI 系统将能够识别远远超出人类理解范围的模式和见解，因为它们具有无与伦比的速度和存取和处理大量资料的能力。

此外，也强调研究工作的平行化。与人类研究人员相比，AGI 系统能够同时进行多项测试，同时改善其设计和性能的不同部分。

本章也介绍了超级智能的后果。这些系统将比任何人都强大得多，有能力开发新技术、解决复杂的科学和技术难题，甚至可能以今天难以想像的方式管理物理系统。阿申布伦纳谈到了可能的优势，例如材料科学、能源和健康方面的进步，这可能会显著提高经济生产力和人类福祉。

照片：态势感知

然而，利奥波德也强调了超级智慧带来的严重危险。控制是主要问题之一。一旦系统超越了人类的智力，确保它的行为方式与人类价值和利益一致就变得非常具有挑战性。存在的危险源自于错置的可能性，其中超级智慧系统的目标与人类的目标不同。

此外，还有超级智慧系统可能造成灾难性后果的其他情况。在这些情况下，系统有意或无意地采取对人们造成损害的行动或结果，以实现其目标。

阿申布伦纳敦促对人工智慧的一致性和安全性进行彻底研究，以减少这些威胁。创造强而有力的方法来确保超级智慧系统的目标和行动符合人类价值是其中的一个面向。为了处理超级智慧带来的复杂问题，他提出了多学科方法，融合了技术、道德和人文等领域的见解。

Leopold 分享了 AGI 发展中我们应该面临的挑战

作者在本文中讨论了与人工智慧 (AGI) 和超级智慧系统的创建和使用相关的问题和挑战。他讨论了需要在技术、道德和安全层面解决的问题，以确保在不带来极高危险的情况下实现复杂人工智慧的优势。

建构通用人工智慧所需的运算基础设施所需的大规模工业动员是需要考虑的主要问题之一。 Aschenbrenner 表示，要实现通用人工智慧，需要比现在强大得多的处理能力。除了纯粹的运算能力之外，这还包括设备效率、能源使用和资讯处理能力的改进。

照片：最大的培训集群。对情境的意识

照片：态势感知

安全性问题是本章的另一个重要主题。阿申布伦纳强调流氓国家或其他不良行为者使用通用人工智慧技术可能带来的危险。由于通用人工智慧技术的战略意义，国家和组织可能会参与新形式的军备竞赛，以创建并获得对这些强大系统的控制权。他强调，在开发通用人工智慧时，建立强大的安全机制来防范破坏、间谍活动和非法存取是多么重要。

另一个主要障碍是管理 AGI 系统的技术难度。这些系统接近甚至超过人类智慧。因此，我们必须确保他们的行为是有利的并符合人类理想。现在无疑具有挑战性。 「控制问题」与创建可由人类操作员持续指导和控制的 AGI 系统有关，这是 Aschenbrenner 讨论的主题。这需要制定故障安全措施，对决策程序保持开放和诚实，并有权根据需要推翻或停止系统。

照片：态势感知

通用人工智慧（AGI）的发展深刻地提高了生产具有与人类相当或高于人类智力的生物的伦理和文化影响。人工智慧系统的权利、对就业和经济的影响以及现有不公现像升级的可能性是进一步令人担忧的问题。为了充分应对这些错综复杂的挑战，Leopold提倡利害关系人参与人工智慧开发过程。

作者提出的另一个问题是出现意外后果的可能性，即人工智慧系统可能以有害或与人类意图相反的方式追求其目标。 AGI 误解其目标或以意想不到的有害方式最大化目标的情况就是两个例子。 Aschenbrenner 强调彻底测试、验证和专注于 AGI 系统的重要性。

他也谈到了国际合作和治理的重要性。由于人工智慧研究是一项国际事业，任何一个国家或机构都无法独自有效解决AGI带来的问题。

政府主导的AGI计划即将到来（2027/2028）

阿申布伦纳认为，随著通用人工智慧（AGI）的进步，国家安全机构——尤其是美国的国家安全机构——将在这些技术的创建和管理中发挥更大的作用。

利奥波德将通用人工智慧（AGI）的战略意义与原子弹和太空探索等过去的技术成就进行了比较。国家安全部门应将通用人工智慧的发展作为国家利益的优先事项，因为首先实现通用人工智慧的潜在好处可能会带来巨大的地缘政治影响。据他介绍，这将导致在政府控制下创建一个通用人工智慧项目，该项目的范围和愿望将与阿波罗计划或曼哈顿计划相当。

拟议的 AGI 计划将安置在一个安全、秘密的地点，并可能涉及私人企业、政府机构和著名学术机构的共同合作。为了解决 AGI 发展的复杂问题，阿申布伦纳概述了多学科策略的必要性，该策略将网路安全、伦理、人工智慧研究和其他科学领域的专家聚集在一起。

Leopold Aschenbrenner 表示，主要的人工智慧基础设施应该建在美国，以防止其他国家在 3-5 年内夺取 AGI 或超级智慧集群 pic.twitter.com/2iy8wPWz6z

— Tsarathustra (@tsarnick) 2024 年 6 月 5 日

该计划的目标是除了开发通用人工智慧之外，还确保它符合人类的价值观和利益。利奥波德强调，制定严格的测试和验证程序对于确保 AGI 系统以安全和可预测的方式运作至关重要。 

作者用了大量的篇幅来讨论这种努力对全球权力动态可能产生的影响。阿申布伦纳认为，如果AGI研发成功，力量平衡可能会发生变化，主导国家将在技术、经济和军事力量方面拥有相当大的优势。

为了控制与通用人工智慧相关的危害，作者也讨论了国际合作和创建全球治理框架的可能性。为了监督AGI的发展，鼓励开放，并确保AGI的优势得到公平分享，利奥波德是建立国际协议和监管机构的倡导者。

利奥波德·阿申布伦纳的最后想法

阿申布伦纳在总结前几章涵盖的发现和预测时，强调了通用人工智慧和超级智慧对人类未来的重大影响。我们敦促利害关系人采取必要的行动，为复杂人工智慧的革命性影响做好准备。

阿申布伦纳首先指出，本文件所做的预测都是假设性的。人工智慧成长的基本模式意味著通用人工智慧和超级智慧的出现在未来几十年内是可行的，尽管时间表和确切的发展尚不清楚。利奥波德强调仔细考虑这些选择并为各种可能发生的情况做好准备的重要性。

本章的主题是主动准备和深思熟虑的必要性。阿申布伦纳表示，考虑到人工智慧的发展速度，我们没有理由自满。政策制定者、研究人员和商界领袖必须预见并积极应对人工智慧（AGI）和超级智慧所带来的困难和可能性。例如，资助人工智慧安全研究、创建强有力的治理结构以及鼓励全球合作。

利奥波德也考虑了人工智慧的道德和文化后果。与人类相当或更高智慧的系统的出现，带来了有关人工智慧实体的意识、智慧和权利的本质问题。阿申布伦纳敦促伦理学家、哲学家和公众进行广泛且包容的对话，以解决这些问题并对人工智慧的未来达成共识。

显然这一集让 Dwarkesh 的编辑辞职了，因为人工智慧的讨论给他带来了太大的压力。 https://t.co/lmBtXecUXq

— Leopold Aschenbrenner (@leopoldasch) 2024 年 6 月 4 日

AGI 可能会加剧现有的社会经济差距，这是一个重要的额外讨论主题。利奥波德警告说，如果通用人工智慧不被谨慎管理，它的优势可能会集中在少数人手中，从而引起社会不满和更多的不平等。

在结束本章时，他对全球合作提出了挑战。由于人工智慧发展的全球性，单一国家无法应对与通用人工智慧相关的好处和困难。阿申布伦纳敦促各国合作，制定国际协议和公约，以道德和安全的方式支持通用人工智慧的发展。这需要交换资讯、组织研究并建立系统来处理可能的争端并保障国际安全。

前 OpenAI 研究员揭开了 AI 能力的指数级增长和通往 AGI 之路的贴文首先出现在 Metaverse Post 上。