儘管公司正在向大型語言模型(LLM)投入資金,但一些AI行業專家認為小型語言模型(SLM)將成為下一個重大趨勢。
隨著行業活動隨著節日季節的到來而持續增長,科技公司投入更多資金開發其技術。
未來在小型語言模型中
由億萬富翁Elon Musk運營的xAI成功從Andreessen Horowitz、卡塔爾投資局、紅杉資本和Valor Equity Partners籌集了額外的50億美元,而亞馬遜則向OpenAI的競爭對手Anthropic投資了額外的40億美元。
雖然這些大型科技公司和其他公司正在投資數十億美元專注於開發大型LLM以處理許多不同的任務,但AI的現實是並沒有一種通用的解決方案,因為企業需要特定任務的模型。
根據AWS首席執行官Matt Garman在擴展合作夥伴關係和投資的聲明中,AWS客戶對開發由Anthropic提供支持的生成式AI的反響已經非常熱烈。
對於大多數公司來說,LLM仍然是某些項目的首選,但對於其他項目來說,這一選擇可能在成本、能源和計算資源上非常昂貴。
Teradata的總裁兼首席執行官Steven McMillan對一些企業提供了替代路徑,並且對未來的SLM持積極態度。
“當我們展望未來時,我們認為小型和中型語言模型以及受控環境(例如領域特定的LLM)將提供更好的解決方案。”
~ McMillan
SLM在特定類型數據上生成定制輸出,因為語言模型專門訓練以達成此目的。由於SLM生成的數據保留在內部,因此語言模型因此在潛在敏感數據上進行訓練。
由於LLM消耗大量能源,小型語言版本經過訓練以根據項目的實際需求來調整計算和能源使用。經過這樣的調整,意味著SLM在成本上比當前大型模型更具效率。
對於希望使用AI獲得特定知識的用戶來說,領域特定的LLM是選擇之一,因為它們不提供廣泛的知識。它專門訓練以深入理解僅一個信息類別並更準確地回應,例如CMO與CFO之間的區別。
為什麼SLM是首選方案
根據數據科學家協會(ADaSci),為一百萬用戶完全開發一個擁有70億參數的SLM僅需55.1MWh(兆瓦時)。
ADaSci發現,用1750億個參數訓練GPT-3估計消耗了1287MWh的電力,且這一電力消耗不包括它正式投入公眾使用時的情況。因此,SLM的能耗大約是訓練LLM所消耗能量的5%。
大型模型通常在雲端計算機上運行,因為它們使用的計算能力超過個別設備的可用能力。這使公司面臨複雜情況,因為當信息轉移到雲端時,它們失去了對信息的控制,並且在互聯網上傳遞時響應緩慢。
展望未來,企業對AI的採用將不再是一刀切,因為效率和選擇最優且最便宜的工具來完成任務將成為重點,這意味著為每個項目選擇合適大小的模型。
這將適用於所有模型,無論是通用LLM,還是較小的領域特定LLM,具體取決於哪種模型能提供更好的結果、需要更少的資源,並減少將數據遷移到雲端的需求。
在下一個階段,AI將對商業決策至關重要,因為公眾對AI生成的答案有很高的信心。
“當你想到訓練AI模型時,必須建立在優質數據的基礎上。”
~ McMillan
“這就是我們的宗旨,提供可信的數據集,然後提供能力和分析能力,使客戶及其客戶能夠相信輸出結果,”McMillan補充道。
在效率和準確性在世界上需求高漲的情況下,更小且特定領域的LLM為公司和更廣泛的公眾提供了另一種可靠的結果選擇。
一步一步的系統以在90天內啟動您的Web3職業並獲得高薪的加密工作。