Folding@home 在疫情期間曾透過群眾募資計算推動 COVID 研究，本文探討如何將該模式應用於深度學習，分析去中心化訓練的潛力與面臨的挑戰。本文源自 Jeff Amico 所著文章，由 深潮 TechFlow 整理、編譯。 （前情提要： 最強AI家教來了？OpenAI 傳 9/24 發佈 ChatGPT 高級語音模式） （背景補充： 貝萊德攜手微軟推「1千億美元」新AI基金，黃仁勳：NVIDIA全力支持）   在 新冠疫情期間，Folding@home 取得了一個重大里程碑。該研究專案獲得了 2.4 exaFLOPS 的計算能力，由全球 200 萬台志願者裝置提供。 這代表了當時世界上最大超級電腦的十五倍處理能力，使科學家能夠大規模模擬 COVID 蛋白質動態。他們的工作推動了我們對病毒及其病理機制的理解，尤其是在疫情初期。 Folding@home 使用者的全球分佈，2021 通過群眾募資計算資源來解決問題 Folding@home 基於志願計算的悠久歷史，專案通過群眾募資計算資源來解決大規模問題。這個想法在 1990 年代的 SETI@home 中得到了廣泛關注，該專案已彙集了超過 500 萬台志願者電腦以尋找外星生命。 此後，這一理念已被應用於多個領域，包括天體物理學、分子生物學、數學、密碼學和遊戲。在每種情況下，集體力量增強了單個專案的能力，遠遠超出了他們單獨能夠實現的範圍。這推動了進步，使研究能夠以更開放和合作的方式進行。 眾籌模式可用於深度學習？ 許多人想知道我們是否可以將這一群眾募資模型應用於深度學習。換句話說，我們能否在大眾中訓練一個大型神經網路？前端模型訓練是人類歷史上計算最密集的任務之一。與許多 @home 專案一樣，目前的成本超出了只有最大參與者才能承擔的範圍。 這可能會阻礙未來的進展，因為我們依賴於越來越少的公司來尋找新的突破。這也將我們的 AI 系統的控制權集中在少數人手中。無論你對這項技術的看法如何，這都是一個值得關注的未來。 大多數批評者駁斥了去中心化訓練的想法，認為與當前的訓練技術不相容。然而，這種觀點已經越來越過時。新的技術已經出現，能夠減少節點間的通訊需求，從而允許在網路連線不佳的裝置上高效訓練。 這些技術包括 DiLoCo、SWARM Parallelism、lo-fi 和異構環境中基礎模型的分散訓練等多個技術。其中許多具有容錯性，並支援異構計算。還有一些新架構專為去中心化網路設計，包括 DiPaCo 和去中心化混合專家模型。 我們還看到各種加密原語開始成熟，使得網路能夠在全球範圍內協調資源。這些技術支援數位貨幣、跨境支付和預測市場等應用場景。與早期的志願專案不同，這些網路能夠匯聚驚人的計算能力，通常比目前設想的最大雲訓練叢集大幾個數量級。 這些要素共同構成了新的模型訓練正規化。這種正規化充分利用全球的計算資源，包括如果連線在一起可以使用的大量邊緣裝置。這將通過引入新的競爭機制來降低大多數訓練工作負載的成本。它還可以解鎖新的訓練形式，使得模型開發變得協作和模組化，而不是孤立和單一的方式。 模型可以從大眾中獲取計算和資料，即時學習。個人可以擁有他們所建立模型的一部分。研究人員也可以重新公開分享新穎的研究成果，無需通過貨幣化他們的發現來彌補高昂的計算預算。 本報告考察了大型模型訓練的現狀及相關成本。它回顧了以往的分散式計算努力 —— 從 SETI 到 Folding 再到 BOINC—— 以此為靈感探索替代路徑。報告討論了去中心化訓練的歷史挑戰，並轉向可能有助於克服這些挑戰的最新突破。最後，它總結了未來的機遇與挑戰。 前端模型訓練的現狀 前端模型訓練的成本對非大型參與者而言已經不可承受。這個趨勢並不新鮮，但根據實際情況，情況正在變得更加嚴重，因為前端實驗室不斷挑戰擴展套件假設。 據報導，OpenAI 今年在訓練方面花費超過 30 億美元。Anthropic 預測到 2025 年，我們將開始進行 100 億美元的訓練，而 1000 億美元的模型也不會太遠。 這一趨勢導致行業的集中化，因為只有少數幾家公司能夠承擔參與的費用。這引發了未來的核心政策問題 —— 我們是否能接受所有領先的 AI 系統由一兩家公司控制的局面？這也限制了進展速度，這一點在研究社群中顯而易見，因為較小的實驗室無法承擔擴展套件實驗所需的計算資源。 行業領導者們也多次提到這一點： Meta 的 Joe Spisak： 要真正理解 [模型] 架構的能力，你必須在規模上進行探索，我認為這正是當前生態系統中所缺失的。如果你看看學術界 —— 學術界有很多傑出的人才，但他們缺乏計算資源的訪問，這就成了一個問題，因為他們有這些偉大的想法，卻沒有真正以所需水平實現這些想法的途徑。 Together 的 Max Ryabinin： 對昂貴硬體的需求給研究社群帶來了很大壓力。大多數研究人員無法參與大型神經網路開發，因為進行必要的實驗對他們而言成本過高。如果我們繼續通過擴大模型規模來增加其大小，最終能夠進行開發。 Google 的 Francois Chollet： 我們知道大語言模型 ( LLMs ) 尚未實現通用人工智慧 ( AGI )。與此同時，朝 AGI 發展的進展已經停滯。我們在大語言模型上所面臨的侷限性與五年前面臨的侷限性完全相同。我們需要新的想法和突破。 我認為下一個突破很可能來自外部團隊，而所有大型實驗室則忙於訓練更大的大語言模型。 一些人對這些擔憂持懷疑態度，認為硬體改進和雲端計算資本支出將解決這個問題。 但這似乎不太現實。一方面，到本十年末，新一代 Nvidia 晶片的 FLOP 數量將大幅增加，可能達到今天 H100 的 10 倍。這將使每 FLOP 的價格下降 80-90%。 同樣，預計到未來十年後，總 FLOP 供應將增加約 20 倍，同時改善網路和相關基礎設施。所有這些都將提高每美元的訓練效率。 來源：SemiAnalysis AI Cloud TCO 模型 與此同時，總 FLOP ...