在人工智慧領域，信仰與技術的交匯形成了一場激烈的辯論，圍繞著「擴展法則」的有效性與未來發展展開。本文探討了這一「苦澀宗教」的興起、分歧以及可能的影響，揭示了信仰與科學之間的複雜關係。人工智慧社群陷入了一場關於其未來以及是否有足夠的規模來創造上帝的教義之爭。本文源自 Mario Gabriele 所著文章，由 Block unicorn 整理、編譯。 （前情提要： 馬斯克的xAI完成60億美元C輪融資，輝達、貝萊德、a16z…一眾行業大咖參投） （背景補充： 輝達明年推出人形機器人運算平台「Jetson Thor」物理AI的ChatGPT時刻降臨？）   人工智慧的聖戰 我寧願把我的一生過得像有上帝一樣，等到死才發現上帝是不存在的，也不願意過得像沒有上帝一樣，等到死才發現上帝是存在的。—— 布萊茲・帕斯卡 宗教是一件有趣的事情。可能因為它在任何方向上都是完全無法證明的，也可能就像我最喜歡的一句話：「你不能用事實來對抗感情。」 宗教信仰的特點是，在信仰上升的過程中，它們以一種難以置信的速度加速發展，以至於幾乎無法懷疑上帝的存在。當你周圍的人越來越相信它時，你怎麼能懷疑一個神聖的存在呢？當世界圍繞一個教義重新排列自己時，哪裡還有異端的立足之地？當寺廟和大教堂、法律和規範都按照一種新的、不可動搖的福音來安排時，哪裡還有反對的空間呢？ 當亞伯拉罕宗教首次出現並傳播到各大洲時，或者佛教從印度傳播到整個亞洲時，信仰的巨大動能創造了一個自我強化的迴圈。隨著更多的人皈依，並圍繞這些信仰建立了複雜的神學體系和儀式，質疑這些基本前提變得越來越困難。在一片輕信的海洋中，成為異端並不容易。宏偉的教堂、複雜的宗教經文以及繁榮的修道院，都作為神聖存在的物理證據。 但宗教的歷史也告訴我們，這樣的結構是多麼容易崩潰。隨著基督教傳播到斯堪的納維亞半島，古老的北歐信仰在僅僅幾代人的時間裡就崩潰了。古埃及的宗教體系持續了數千年，最終在新的、更持久的信仰崛起並在更大的權力結構出現時消失了。即便是在同一種宗教內部，我們也看到了戲劇性的分裂 —— 宗教改革撕裂了西方基督教，而大分裂則導致了東西教會的分裂。這些分裂往往從看似微不足道的教義分歧開始，逐漸演變成完全不同的信仰體系。 聖典 上帝是超越所有智力思維層次的隱喻。就是這麼簡單。—— 約瑟夫・坎貝爾 簡單地說，相信上帝就是宗教。也許創造上帝也沒什麼不同。 自誕生以來，樂觀的人工智慧研究人員就將他們的工作想像成神創論 —— 即上帝的創造。在過去幾年中，大型語言模型 (LLMs) 的爆炸式發展，進一步的堅定了信徒們的信念，認為我們正走在一條神聖的道路上。 它也證實了 2019 年寫的一篇部落格文章。儘管在人工智慧領域外的人們直到最近才知道它，但加拿大電腦科學家理查德・薩頓的《苦澀的教訓》已成為社群中越來越重要的文字，從隱祕的知識逐漸演變成一種新的、包羅永珍的宗教基礎。 在 1,113 個字中（每個宗教都需要神聖的數位），薩頓總結了一項技術觀察：「從 70 年的人工智慧研究中可以學到的最大教訓是，利用計算的通用方法最終是最有效的，而且是巨大的優勢。」人工智慧模型的進步得益於計算資源的指數級增加，乘著摩爾定律的巨大波浪。 與此同時，薩頓指出，人工智慧研究中許多工作集中在通過專門的技術來優化效能 —— 增加人類知識或狹窄的工具。儘管這些優化可能在短期內有所幫助，但在薩頓看來，它們最終是浪費時間和資源的，猶如在一個巨大的浪潮到來時，去調節衝浪板的鰭或嘗試新的蠟。 這就是我們所謂的「苦澀宗教」的基礎。它只有一條戒律，社群中通常稱之為「擴展套件法則」：指數級增長的計算推動效能；其餘都是愚蠢的。 苦澀宗教從大型語言模型（LLMs）擴展套件到世界模型，現在正通過生物學、化學和具身智慧（機器人學和自動駕駛車輛）這些未被轉化的聖殿迅速傳播。 然而，隨著薩頓學說的傳播，定義也開始發生變化。這是所有活躍而充滿生命力的宗教的標誌 —— 爭論、延伸、註釋。「擴展套件法則」不再僅僅意味著擴展套件計算（方舟不只是一艘船），它現在指的是各種旨在提升變壓器和計算效能的方法，其中還帶有一些技巧。 現在，經典囊括了優化 AI 堆疊每個部分的嘗試，從應用於核心模型本身的技巧（合並模型、專家混合 (MoE) 和知識提煉）一直到生成合成資料來餵養這些永遠飢餓的神，其間還進行了大量的實驗。 交戰的教派 最近，人工智慧社群中掀起的一個問題，帶有聖戰的氣息，就是「苦澀的宗教」是否仍然正確。 本週，哈佛大學、斯坦福大學和麻省理工學院發表了一篇名為《精度的擴展套件法則》的新論文，引發了這場衝突。該論文討論了量化技術效率增益的終結，量化是一系列改善人工智慧模型效能並對開源生態系統大有裨益的技術。艾倫人工智慧研究所的研究科學家 Tim Dettmers 在下面的帖子中概述了它的重要性，稱其為「很長一段時間以來最重要的論文」。它代表了過去幾周不斷升溫的對話的延續，並揭示了一個值得注意的趨勢：兩個宗教的日益鞏固。 OpenAI 執行長 Sam Altman 和 Anthropic 執行長 Dario Amodei 屬於同一個教派。兩人都自信滿滿地表示，我們將在未來大約 2-3 年內實現通用型人工智慧 (AGI)。Altman 和 Amodei 都可以說是最依賴「苦澀宗教」神聖性的兩位人物。他們的所有激勵措施都傾向於過度承諾，製造最大的炒作，以在這個幾乎完全由規模經濟主導的遊戲中積累資本。如果擴展套件法則不是「阿爾法與歐米伽」，最初和最後、開始和結束，那麼你需要 220 億美元做什麼？ 前 OpenAI 首席科學家 Ilya Sutskever 堅持不同的一套原則。他與其他研究人員（包括許多來自 OpenAI 內部的研究人員，根據最近洩密的資訊）一起認為，擴展套件正在接近上限。這個團體認為，要維持進展並將 AGI 帶入現實世界，必然需要新的科學和研究。 Sutskever 派合理地指出，Altman 派的持續擴展套件理念在經濟上是不可行的。正如人工...

#AI