Titolo originale: "Prime Intellect: Making Magic to Scale AI Training"
Autore originale: Teng Yan
Traduzione originale: Siweiguai
Nota del traduttore: con il valore di mercato di Nvidia che ha superato i 3 trilioni di dollari a metà anno, il leasing di potenza di calcolo GPU è diventato il percorso più in voga nel campo dell'intelligenza artificiale crittografata nel 2024. Tuttavia, la maggior parte dei progetti rimane solo alla fase di aggregazione delle risorse di potenza di calcolo e non riesce a risolvere il problema fondamentale dell'addestramento del modello di addestramento AI decentralizzato su cluster GPU distribuiti. Il progetto all'avanguardia Prime Intellect sta cercando di superare questo collo di bottiglia. Il ricercatore di crittografia Teng Yan ha scritto un articolo per esplorare le soluzioni innovative di Prime Intellect e come si prevede che guiderà il futuro dell'addestramento AI decentralizzato.
La maggior parte del mercato delle GPU è mediocre: spesso si limita a ripetere la stessa esperienza di prodotto, sovvenzionandone i costi aggiungendo solo un token.
Ma la formazione decentralizzata dell'AI è un gioco completamente nuovo con potenziale trasformativo. Prime Intellect sta costruendo un'infrastruttura critica per la formazione decentralizzata dell'AI su larga scala.
Ecco perché vanno oltre il progetto DePIN medio:
Il grande progetto di Prime Intellect è composto da quattro parti:
1. Integrare le risorse informatiche globali
2. Sviluppare un framework di formazione distribuito per lo sviluppo di modelli collaborativi
3. Addestrare in modo collaborativo modelli di intelligenza artificiale open source
4. Abilitare la proprietà collettiva dei modelli di intelligenza artificiale
Aggregatore di mercato GPU
Il 1° luglio hanno lanciato la prima fase lanciando il GPU Marketplace, che integra risorse di elaborazione dai principali fornitori di GPU centralizzati e decentralizzati, tra cui Akash Network, io.net, Vast.ai, Lambda Cloud e altri. L'obiettivo è quello di fornire agli utenti i migliori prezzi di noleggio aggregando le risorse dei fornitori e fornendo strumenti convenienti. Gli utenti possono utilizzare direttamente la piattaforma Prime Intellect senza dover visitare Akash o io.net uno alla volta per confrontare i prezzi.
La loro piattaforma di test online è intuitiva e facile da usare. Gli utenti possono avviare un cluster in pochi minuti, senza KYC. Puoi scegliere dove noleggiare le GPU e il livello di sicurezza della rete (come cloud sicuro o cloud comunitario), ed è disponibile anche un'opzione "prezzo più basso".
Offrono una varietà di opzioni GPU, dalla top H100 alle serie RTX3000 e 4000. L'attuale dimensione del cluster è limitata a 8 GPU e Prime Intellect sta lavorando per espanderla a 16-128.
Formazione decentralizzata su larga scala
La seconda parte del loro progetto, ovvero lo sviluppo di un framework di formazione per l'intelligenza artificiale distribuita, è la più accattivante.
La situazione attuale è che l'addestramento di modelli di IA di base su larga scala richiede solitamente data center autocostruiti. Ciò implica reti ad alta velocità, archiviazione dati personalizzata, protezione della privacy e ottimizzazione dell'efficienza, che sono difficili da ottenere semplicemente noleggiando più GPU. Quindi non sorprende che giganti come Microsoft, Google e OpenAI dominino questo campo e che i piccoli player non abbiano le risorse necessarie.
Prime Intellect consentirà l'addestramento dei modelli su più cluster GPU distribuiti.
La formazione decentralizzata deve affrontare molteplici sfide:
· Ottimizzazione della latenza di comunicazione e della larghezza di banda tra i nodi in tutto il mondo
· Accogliere diversi tipi di GPU in queste reti
· Tolleranza ai guasti: il processo di formazione deve essere in grado di adattarsi ai cambiamenti nella disponibilità dei cluster GPU, poiché questi cluster possono unirsi o andarsene in qualsiasi momento
Ciò richiede la traduzione della ricerca all'avanguardia in sistemi di produzione reali:
· Distributed Low Communication Training (DiLoCo): un metodo per l'addestramento parallelo dei dati su dispositivi scarsamente connessi che sincronizza i gradienti ogni 500 passaggi anziché a ogni passaggio.
· Prime Intellect ha recentemente reso open source un framework che supporta lo sviluppo di modelli collaborativi su GPU distribuite a livello globale, rendendo il codice disponibile a chiunque.
· Hanno riprodotto l'esperimento DiLoCo di Google DeepMind, addestrando modelli in 3 paesi con un utilizzo di calcolo del 90-95%. Hanno anche scalato fino a 3 volte il lavoro originale, dimostrandone l'efficacia su un modello da miliardi di parametri.
Se Prime Intellect riuscisse a risolvere questi problemi, ciò avrebbe un impatto significativo sul metodo di addestramento del modello e sull'efficienza nell'utilizzo delle risorse.
L'ultima funzionalità che Prime Intellect sta sviluppando è un protocollo per premiare i partecipanti che contribuiscono con potenza di calcolo, codice e fondi e per raggiungere una governance collettiva dei modelli di IA. Ciò si adatta al concetto di IA decentralizzata e incoraggia gli utenti a partecipare. Si prevede che possano utilizzare la criptovaluta come mezzo di transazione e proprietà.
La mia opinione
· L'attuale mercato GPU è altamente omogeneizzato e privo di attrattiva. Sebbene alcuni mercati abbiano aggregato l'offerta tramite incentivi token, il lato della domanda rimane debole a causa delle sfide della formazione decentralizzata.
· Il mercato globale delle GPU decentralizzate è altamente competitivo. (Ecco un confronto dei prezzi di diversi fornitori di GPU:)
· Se Prime Intellect riuscisse a migliorare l'efficienza dell'addestramento decentralizzato dell'intelligenza artificiale, aprirebbe le porte alla domanda di GPU.
· Prime Intellect può contare sul sostegno di noti investitori, come Clem Delangue (co-fondatore e CEO di Hugging Face), Erik Voorhees (fondatore e CEO di Shapeshift) e Andrew Kang (co-fondatore e partner di Mechanism Capital).