在其長達 165 頁的論文中，OpenAI 超級對齊團隊的前成員 Leopold Aschenbrenner 對人工智能的發展方向提出了全面而發人深省的觀點。Aschenbrenner 試圖引起人們對人工智能能力的快速發展以及邁向通用人工智能 (AGI) 及其他領域的可能道路的關注。在這些突破帶來的無與倫比的前景和重大危害的驅動下，他研究了圍繞通用人工智能的科學、道德和戰略問題。

事實上，沒有人對人工智慧的未來進行定價。 .twitter。

— Leopold Aschenbrenner (@leopoldasch) 2024 年 6 月 4 日

Aschenbrenner 談論從 GPT-4 到 AGI 的道路

在本章中，作者探討了最近出現的人工智慧能力的指數級增長，特別是隨著 GPT-2 和 GPT-4 的發明。利奧波德·阿申布倫納 (Leopold Aschenbrenner) 強調這是一個非凡進步的時代，在此期間，人工智慧從完成非常基本的任務發展到實現更複雜、類似人類的理解和語言生成。

照片：四年來的進展。對情境的意識

數量級（即“OOM”）的概念對於本次對話至關重要。 Aschenbrenner 利用數量級 (OOM)（給定衡量標準中十倍成長的指標）來評估人工智慧能力、運算能力和資料消耗方面的進步。在運算能力和資料可擴展性方面，從GPT-2到GPT-4的切換代表了許多OOM，從而導致效能和能力的顯著提升。

照片：態勢感知

三個主要因素——縮放法則、演算法創新和龐大數據集的使用——造成了這些收益，這些收益不僅是線性的，而且是指數級的。根據縮放原則，當使用大量資料和處理能力進行訓練時，模型的效能會可靠地提高。更大、更強大的模型（如 GPT-4）的發展就是在這想法的指導下進行的。

照片：態勢感知

演算法的創新也非常重要。訓練方法、優化策略和底層架構的進步提高了人工智慧模型的功效和效率。這些發展使模型能夠更好地利用不斷增強的處理能力和可用數據。

Aschenbrenner 也強調了到2027 年實現AGI 的可能路徑。任務。通往 AGI 的每一個 OOM 都標誌著人工智慧能力的重大進步。

照片：態勢感知

AGI 的整合具有深遠的影響。這類系統能夠自行解決複雜的問題，以目前為人類專業人員保留的方式進行創新，並執行複雜的工作。這涉及人工智慧系統進一步推進人工智慧研究的潛力，從而加快該領域的進展速度。

AGI 的發展具有改變產業、提高產量和效率的潛力。它也提出了一些重要問題，例如失業、人工智慧的道德應用，以及需要強有力的治理結構來控製完全自主系統帶來的危險。

照片：態勢感知

阿申布倫納敦促包括學者、立法者和企業高管在內的國際社會共同努力，為人工智慧（AI）帶來的機會和問題做好準備。為了解決這些問題的全球性，需要資助人工智慧安全和一致性研究，制定規則以確保公平分享人工智慧優勢，並鼓勵國際合作。

利奧波德·阿申布倫納 (Leopold Aschenbrenner) 分享他對超級智慧的看法

阿申布倫納在那裡討論了超級智慧的概念，以及從人工智慧快速過渡到遠遠超出人類認知能力的系統的可能性。這個論點的中心思想是，驅動人工智慧演化的原理可能會產生一個回饋循環，一旦達到人類水平，智力就會爆炸。

根據智慧爆炸的概念，AGI可能會自行開發自己的演算法和技能。 AGI 系統可以比人類研究人員更快地完善自己的設計，因為它們在人工智慧研究和開發方面更加熟練。這種自我完善的循環可能會導致智力呈指數級增長。

照片：態勢感知

阿申布倫納對這種快速升級可能涉及的變數進行了徹底的檢查。首先，AGI 系統將能夠識別遠遠超出人類理解範圍的模式和見解，因為它們具有無與倫比的速度和存取和處理大量資料的能力。

此外，也強調研究工作的平行化。與人類研究人員相比，AGI 系統能夠同時進行多項測試，同時改善其設計和性能的不同部分。

本章也介紹了超級智能的後果。這些系統將比任何人都強大得多，有能力開發新技術、解決複雜的科學和技術難題，甚至可能以今天難以想像的方式管理物理系統。阿申布倫納談到了可能的優勢，例如材料科學、能源和健康方面的進步，這可能會顯著提高經濟生產力和人類福祉。

照片：態勢感知

然而，利奧波德也強調了超級智慧帶來的嚴重危險。控制是主要問題之一。一旦系統超越了人類的智力，確保它的行為方式與人類價值和利益一致就變得非常具有挑戰性。存在的危險源自於錯置的可能性，其中超級智慧系統的目標與人類的目標不同。

此外，還有超級智慧系統可能造成災難性後果的其他情況。在這些情況下，系統有意或無意地採取對人們造成損害的行動或結果，以實現其目標。

阿申布倫納敦促對人工智慧的一致性和安全性進行徹底研究，以減少這些威脅。創造強而有力的方法來確保超級智慧系統的目標和行動符合人類價值是其中的一個面向。為了處理超級智慧帶來的複雜問題，他提出了多學科方法，融合了技術、道德和人文等領域的見解。

Leopold 分享了 AGI 發展中我們應該面臨的挑戰

作者在本文中討論了與人工智慧 (AGI) 和超級智慧系統的創建和使用相關的問題和挑戰。他討論了需要在技術、道德和安全層面解決的問題，以確保在不帶來極高危險的情況下實現複雜人工智慧的優勢。

建構通用人工智慧所需的運算基礎設施所需的大規模工業動員是需要考慮的主要問題之一。 Aschenbrenner 表示，要實現通用人工智慧，需要比現在強大得多的處理能力。除了純粹的運算能力之外，這還包括設備效率、能源使用和資訊處理能力的改進。

照片：最大的培訓集群。對情境的意識

照片：態勢感知

安全性問題是本章的另一個重要主題。阿申布倫納強調流氓國家或其他不良行為者使用通用人工智慧技術可能帶來的危險。由於通用人工智慧技術的戰略意義，國家和組織可能會參與新形式的軍備競賽，以創建並獲得對這些強大系統的控制權。他強調，在開發通用人工智慧時，建立強大的安全機制來防範破壞、間諜活動和非法存取是多麼重要。

另一個主要障礙是管理 AGI 系統的技術難度。這些系統接近甚至超過人類智慧。因此，我們必須確保他們的行為是有利的並符合人類理想。現在無疑具有挑戰性。 「控制問題」與創建可由人類操作員持續指導和控制的 AGI 系統有關，這是 Aschenbrenner 討論的主題。這需要製定故障安全措施，對決策程序保持開放和誠實，並有權根據需要推翻或停止系統。

照片：態勢感知

通用人工智慧（AGI）的發展深刻地提高了生產具有與人類相當或高於人類智力的生物的倫理和文化影響。人工智慧系統的權利、對就業和經濟的影響以及現有不公現像升級的可能性是進一步令人擔憂的問題。為了充分應對這些錯綜複雜的挑戰，Leopold提倡利害關係人參與人工智慧開發過程。

作者提出的另一個問題是出現意外後果的可能性，即人工智慧系統可能以有害或與人類意圖相反的方式追求其目標。 AGI 誤解其目標或以意想不到的有害方式最大化目標的情況就是兩個例子。 Aschenbrenner 強調徹底測試、驗證和專注於 AGI 系統的重要性。

他也談到了國際合作和治理的重要性。由於人工智慧研究是一項國際事業，任何一個國家或機構都無法獨自有效解決AGI帶來的問題。

政府主導的AGI計畫即將到來（2027/2028）

阿申布倫納認為，隨著通用人工智慧（AGI）的進步，國家安全機構——尤其是美國的國家安全機構——將在這些技術的創建和管理中發揮更大的作用。

利奧波德將通用人工智慧（AGI）的戰略意義與原子彈和太空探索等過去的技術成就進行了比較。國家安全部門應將通用人工智慧的發展作為國家利益的優先事項，因為首先實現通用人工智慧的潛在好處可能會帶來巨大的地緣政治影響。據他介紹，這將導致在政府控制下創建一個通用人工智慧項目，該項目的範圍和願望將與阿波羅計畫或曼哈頓計畫相當。

擬議的 AGI 計畫將安置在一個安全、秘密的地點，並可能涉及私人企業、政府機構和著名學術機構的共同合作。為了解決 AGI 發展的複雜問題，阿申布倫納概述了多學科策略的必要性，該策略將網路安全、倫理、人工智慧研究和其他科學領域的專家聚集在一起。

Leopold Aschenbrenner 表示，主要的人工智慧基礎設施應該建在美國，以防止其他國家在 3-5 年內奪取 AGI 或超級智慧集群 pic.twitter.com/2iy8wPWz6z

— Tsarathustra (@tsarnick) 2024 年 6 月 5 日

該計畫的目標是除了開發通用人工智慧之外，還確保它符合人類的價值觀和利益。利奧波德強調，制定嚴格的測試和驗證程序對於確保 AGI 系統以安全和可預測的方式運作至關重要。 

作者用了大量的篇幅來討論這種努力對全球權力動態可能產生的影響。阿申布倫納認為，如果AGI研發成功，力量平衡可能會發生變化，主導國家將在技術、經濟和軍事力量方面擁有相當大的優勢。

為了控制與通用人工智慧相關的危害，作者也討論了國際合作和創建全球治理框架的可能性。為了監督AGI的發展，鼓勵開放，並確保AGI的優勢得到公平分享，利奧波德是建立國際協議和監管機構的倡導者。

利奧波德·阿申布倫納的最後想法

阿申布倫納在總結前幾章涵蓋的發現和預測時，強調了通用人工智慧和超級智慧對人類未來的重大影響。我們敦促利害關係人採取必要的行動，為複雜人工智慧的革命性影響做好準備。

阿申布倫納首先指出，本文件所做的預測都是假設性的。人工智慧成長的基本模式意味著通用人工智慧和超級智慧的出現在未來幾十年內是可行的，儘管時間表和確切的發展尚不清楚。利奧波德強調仔細考慮這些選擇並為各種可能發生的情況做好準備的重要性。

本章的主題是主動準備和深思熟慮的必要性。阿申布倫納表示，考慮到人工智慧的發展速度，我們沒有理由自滿。政策制定者、研究人員和商界領袖必須預見並積極應對人工智慧（AGI）和超級智慧所帶來的困難和可能性。例如，資助人工智慧安全研究、創建強有力的治理結構以及鼓勵全球合作。

利奧波德也考慮了人工智慧的道德和文化後果。與人類相當或更高智慧的系統的出現，帶來了有關人工智慧實體的意識、智慧和權利的本質問題。阿申布倫納敦促倫理學家、哲學家和公眾進行廣泛且包容的對話，以解決這些問題並對人工智慧的未來達成共識。

顯然這一集讓 Dwarkesh 的編輯辭職了，因為人工智慧的討論給他帶來了太大的壓力。 https://t.co/lmBtXecUXq

— Leopold Aschenbrenner (@leopoldasch) 2024 年 6 月 4 日

AGI 可能會加劇現有的社會經濟差距，這是一個重要的額外討論主題。利奧波德警告說，如果通用人工智慧不被謹慎管理，它的優勢可能會集中在少數人手中，從而引起社會不滿和更多的不平等。

在結束本章時，他對全球合作提出了挑戰。由於人工智慧發展的全球性，單一國家無法應對與通用人工智慧相關的好處和困難。阿申布倫納敦促各國合作，制定國際協議和公約，以道德和安全的方式支持通用人工智慧的發展。這需要交換資訊、組織研究並建立系統來處理可能的爭端並保障國際安全。

前 OpenAI 研究員揭開了 AI 能力的指數級增長和通往 AGI 之路的貼文首先出現在 Metaverse Post 上。