Autor: Teng Yan, Chain of Thought; Traducere: Xiaozou de la Golden Finance
Am o mare regrete care mă chinuie, pentru oricine care se preocupă de ea, este fără îndoială cea mai evidentă oportunitate de investiție, dar nu am investit un cent. Nu, nu mă refer la următorul killer Solana, nici la un meme coin cu un câine cu pălărie amuzantă.
Ci … NVIDIA.
În doar un an, valoarea de piață a NVDA a crescut de la 1 trilion de dolari la 3 trilioane de dolari, crescând de 3 ori, chiar depășind bitcoinul în aceeași perioadă.
Desigur, nu lipsește hype-ul din jurul inteligenței artificiale, dar o mare parte este bazată pe realitate. NVIDIA a raportat venituri de 60 de miliarde de dolari în anul fiscal 2024, o creștere de 126% față de anul fiscal 2023, cu o performanță uimitoare.
Atunci, de ce am ratat?
În ultimii doi ani, m-am concentrat pe domeniul cripto, fără a privi afară, fără a observa ce se întâmplă în domeniul inteligenței artificiale. Am făcut o mare greșeală, care mă preocupă încă.
Dar nu voi mai face aceeași greșeală.
Astăzi, Crypto AI se simte foarte similar. Suntem la marginea unei explozie de inovație. Este prea similar cu goana după aur din California de la mijlocul secolului XIX, greu de ignorat - industriile și orașele au apărut peste noapte, infrastructura s-a dezvoltat rapid, iar averea a fost creată de cei îndrăzneți.
La fel ca NVIDIA la început, în retrospectivă, Crypto AI va fi, de asemenea, o oportunitate evidentă.
În prima parte a acestui articol, voi explica de ce Crypto AI reprezintă cea mai interesantă oportunitate de investiție pentru investitori și constructori în zilele noastre.
O scurtă prezentare generală este următoarea:
Mulți oameni încă îl consideră o fantezie.
Crypto AI este încă în stadiu incipient, la 1-2 ani distanță de vârful hype-ului.
Acest domeniu oferă oportunități de creștere de peste 230 de miliarde de dolari.
În esență, Crypto AI este un AI bazat pe infrastructură criptografică. Acest lucru înseamnă că este mai probabil să urmeze o traiectorie de creștere exponențială a inteligenței artificiale, mai degrabă decât a pieței cripto mai largi. Prin urmare, pentru a nu rămâne în urmă, trebuie să rămânem atenți la cele mai recente cercetări în inteligența artificială de pe Arxiv și să discutăm cu cei care cred că creează următoarele produse și servicii extraordinare.
În a doua parte a acestui articol, voi explora cele patru subdomenii cele mai promițătoare din Crypto AI:
Calcul descentralizat: Antrenare, inferență și piața GPU
Rețea de date
AI verificabil
Agenti AI care rulează pe blockchain
Pentru a redacta acest articol, am petrecut câteva săptămâni în cercetări aprofundate, discutând cu fondatori și echipe din domeniul Crypto AI, iar acest articol este rezultatul acestor eforturi. Acest articol nu va intra în detalii exhaustive despre fiecare domeniu, ci poate fi considerat o foaie de parcurs la un nivel înalt, menită să îți stârnească curiozitatea, să îți îmbunătățească nivelul de cercetare și să îți ghideze gândirea de investiții.
1. Peisajul Crypto AI
Îmi imaginez stiva de inteligență artificială descentralizată ca un ecosistem cu mai multe niveluri: un capăt începe cu calculul descentralizat și rețelele de date deschise, susținând antrenamentul modelului de inteligență artificială descentralizat.
Apoi, folosind criptografie, mecanisme de stimulare economică și rețele de evaluare pentru a verifica fiecare inferență - atât intrările, cât și ieșirile. Aceste ieșiri verificate ajung la agenți AI care pot rula autonom pe blockchain, precum și la aplicații AI pentru consumatori și întreprinderi în care utilizatorii pot avea încredere.
Rețelele de coordonare leagă totul împreună, realizând o comunicare și colaborare fără cusur în întregul ecosistem.
În această viziune, oricine construiește inteligență artificială poate utiliza un nivel sau mai multe niveluri ale acestei stive, în funcție de nevoile lor specifice. Fie că utilizează calculul descentralizat pentru antrenarea modelului sau folosește o rețea de evaluare pentru a asigura o ieșire de înaltă calitate, această stivă oferă o gamă de opțiuni.
Datorită naturii combinate a blockchain-ului, cred că ne îndreptăm natural spre un viitor modular. Fiecare nivel devine din ce în ce mai specializat, iar protocoalele sunt optimizate pentru funcții diferite, în loc să adopte o abordare integrată.
La fiecare nivel al stivei de inteligență artificială descentralizată se adună un număr mare de startup-uri, majoritatea fiind înființate în ultimii 1-3 ani. Este evident că acest domeniu se află încă în stadiu incipient.
Cea mai cuprinzătoare și actualizată hartă de startup-uri Crypto AI pe care am văzut-o este întreținută de Casey și echipa sa pe topology.vc. Aceasta este o resursă inestimabilă pentru oricine urmărește acest domeniu.
Pe măsură ce cercetez profund subdomeniul Crypto AI, mă întreb constant: cât de mari sunt oportunitățile? Nu mă interesează micile jocuri - caut piețe care vor atinge sute de miliarde de dolari.
(1) Dimensiunea pieței
Să ne uităm mai întâi la dimensiunea pieței. Atunci când evaluez un subdomeniu, mă întreb: creează un nou market sau distruge un market existent?
Luând calculul descentralizat ca exemplu. Aceasta este o categorie perturbatoare, al cărei potențial poate fi evaluat prin observarea pieței existente de cloud computing, care are în prezent o valoare de aproximativ 6800 de miliarde de dolari și se preconizează că va ajunge la 2.5 trilioane de dolari până în 2032.
Piețe complet noi fără precedent, cum ar fi agenții AI, sunt și mai greu de cuantificat. Fără date istorice, evaluările lor trebuie să se bazeze pe presupuneri și pe evaluarea problemelor pe care le rezolvă. Este important de menționat că, uneori, ceea ce pare a fi un nou market este, de fapt, doar o încercare de a găsi o soluție la o problemă.
(2) Momentul
Momentul este totul. De-a lungul timpului, tehnologia tinde să se îmbunătățească și să devină mai ieftină, dar viteza de dezvoltare variază.
Cât de matură este tehnologia într-un anumit segment de piață? Este pregătită să fie adoptată la scară sau se află încă în stadiul de cercetare, iar aplicarea reală mai are nevoie de câțiva ani? Momentul determină dacă un sector merită atenție imediată sau să fie urmărit.
De exemplu, criptografia cu omomorfism complet (FHE): potențialul său este indiscutabil, dar dezvoltarea sa este încă prea lentă pentru a fi adoptată pe scară largă. Ar putea dura încă câțiva ani pentru a-i vedea acceptarea în rândul utilizatorilor obișnuiți. Concentrarea pe domenii mai aproape de scalare poate permite investirea timpului și energiei în domenii care acumulează avansuri și oportunități.
Dacă aș trebui să mappez aceste categorii pe un grafic de scală și timp, ar arăta astfel. Rețineți că acesta este un grafic conceptual, nu un ghid rigid. Există multe nuanțe - de exemplu, în inferența verificabilă, diferitele metode (cum ar fi zkML și opML) au niveluri de pregătire diferite.
Cu alte cuvinte, cred că scala inteligenței artificiale va fi atât de mare încât chiar și domeniile care par "de nișă" astăzi ar putea evolua într-o piață semnificativă.
De asemenea, este important de menționat că progresul tehnologic nu avansează întotdeauna pe o linie dreaptă - este adesea exploziv. Atunci când explodează, părerea mea despre moment și dimensiunea pieței se va schimba.
Având acest cadru, să ne concentrăm pe fiecare subdomeniu în mod concret.
2. Domeniul 1: Calcul descentralizat
Calculul descentralizat este pilonul inteligenței artificiale descentralizate.
Piața GPU, antrenamentul descentralizat și inferența descentralizată sunt strâns interconectate.
Partea de ofertă provine de obicei din centre de date mici și mijlocii și din GPU-uri consumator.
Deși cererea este mică, ea continuă să crească. Astăzi, provine din utilizatori sensibili la preț, dar nesensibili la întârziere și din startup-uri mici de inteligență artificială.
Principala provocare cu care se confruntă în prezent piața GPU din Web3 este cum să le facă să funcționeze corect.
Coordonarea GPU-urilor pe rețele descentralizate necesită tehnologie inginerie avansată și o arhitectură de rețea bine proiectată și fiabilă.
2.1 Piața GPU / Rețea de calcul
Mai multe echipe Crypto AI construiesc rețele descentralizate pentru a aborda problema deficitului de GPU care nu poate fi satisfăcut. Acestea profită de puterea de calcul potențială globală.
Propoziția de valoare centrală a pieței GPU are 3 aspecte:
Puteți accesa calculul la un preț "cu 90% mai mic" decât AWS, deoarece nu există intermediari și oferta este deschisă. În esență, aceste piețe vă permit să profitați de cele mai mici costuri marginale de calcul din lume.
Flexibilitate mai mare: fără contracte de blocare, fără procese KYC, fără timpi de așteptare.
Rezistență la cenzură
Pentru a aborda problema de pe partea ofertei de piață, puterea de calcul provine din:
Dificil de găsit cererea pentru GPU-uri de nivel enterprise în centrele de date mici, cum ar fi A100, H100, sau pentru minerii de bitcoin care caută diversificare. Știu, de asemenea, câteva echipe care lucrează la proiecte de infrastructură mari finanțate de guvern, în care centrele de date au fost deja construite ca parte a programelor de creștere tehnologică. Acești furnizori de GPU sunt adesea stimulați să își păstreze GPU-urile în rețea, ceea ce le ajută să compenseze costurile de amortizare ale GPU-urilor.
GPU-uri de consum pentru milioane de jucători și utilizatori de acasă, care își conectează computerele la rețea în schimbul recompenselor în token-uri.
Pe de altă parte, cererea de astăzi pentru calcul descentralizat provine din:
Utilizatori sensibili la preț, dar nesensibili la întârziere. Acest segment de piață prioritizează prețul în detrimentul vitezei. Gândiți-vă la cercetătorii care explorează domenii noi, dezvoltatorii AI independenți și alți utilizatori conștienți de costuri care nu au nevoie de procesare în timp real. Deși sunt constrânși de buget, mulți dintre ei ar putea fi nemulțumiți de serverele tradiționale de tip ultra-scalat (cum ar fi AWS sau Azure). Datorită dispersiei lor în populație, marketingul de țintă este esențial pentru a atrage acest grup.
Startup-uri mici în inteligența artificială care se confruntă cu provocarea de a obține resurse de calcul flexibile și scalabile fără a semna contracte pe termen lung cu marii furnizori de cloud. Dezvoltarea afacerii este esențială pentru a atrage acest segment de piață, deoarece caută activ alternative la blocarea ultra-scalată.
Startup-uri Crypto AI care construiesc produse de inteligență artificială descentralizată, dar care nu au propriul furnizor de putere de calcul, vor trebui să profite de resursele uneia dintre aceste rețele.
Gaming în cloud: Deși nu este direct condus de AI, cererea pentru resurse GPU în gaming în cloud crește constant.
Un punct cheie de reținut este că dezvoltatorii prioritizează întotdeauna costurile și fiabilitatea.
Provocarea reală stă în cerere, nu în ofertă.
Startup-urile din acest domeniu își măsoară adesea succesul în funcție de dimensiunea rețelei lor de aprovizionare GPU. Dar aceasta este o capcană - este, în cel mai bun caz, o măsură de vanitate.
Factoul cu adevărat limitativ nu este oferta, ci cererea. Indicatorii cheie urmăriți nu sunt numărul de GPU-uri disponibile, ci utilizarea și numărul real de GPU-uri închiriate.
Token-urile se descurcă excelent în ghidarea ofertei, creând stimulentele necesare pentru a scala rapid. Totuși, ele nu rezolvă esențial problema cererii. Provocarea reală este de a aduce produsul la un nivel suficient de bun pentru a realiza cererea potențială.
În această privință, Haseeb Qureshi (Dragonfly) a spus bine:
Făcând ca rețeaua de calcul să funcționeze cu adevărat
Contrar opiniei populare, cea mai mare barieră cu care se confruntă în prezent piața GPU distribuită din web3 este să le facă să funcționeze corect.
Aceasta nu este o problemă neglijabilă.
Coordinarea GPU-urilor într-o rețea distribuită este extrem de complexă, fiind plină de multe provocări - alocarea resurselor, scalarea dinamică a sarcinilor de lucru, echilibrarea sarcinilor între noduri și GPU-uri, gestionarea întârzierilor, transferul de date, toleranța la erori și gestionarea diverselor hardware dispersate pe diferite locații geografice. Aș putea continua.
Realizarea acestui lucru necesită o proiectare ingineriască bine gândită și o arhitectură de rețea fiabilă și bine concepută.
Pentru a înțelege mai bine, gândiți-vă la Kubernetes de la Google. Este considerat standardul de aur pentru orchestrarea containerelor, automatizând procese precum echilibrarea sarcinilor și scalarea în medii distribuite, ceea ce se potrivește foarte bine provocărilor cu care se confruntă rețelele GPU distribuite. Kubernetes în sine este construit pe baza a peste un deceniu de experiență de la Google, iar chiar și atunci a necesitat ani de iterații neobosite pentru a funcționa bine.
Unele piețe de calcul GPU care sunt deja disponibile pot gestiona sarcini de lucru de mică amploare, dar odată ce încearcă să se scaleze, apar probleme. Mă îndoiesc că acest lucru se datorează proiectării fundamentale proaste a arhitecturii lor.
O altă provocare/oportunitate a rețelei de calcul descentralizată este asigurarea credibilității: verificarea fiecărui nod pentru a confirma că oferă cu adevărat puterea de calcul promisă. În prezent, aceasta depinde de reputația rețelei, iar în unele cazuri, furnizorii de putere de calcul sunt clasificați în funcție de scorul de reputație. Blockchain-ul pare să fie potrivit pentru un sistem de verificare fără încredere. Startup-uri precum Gensyn și Spheron încearcă să abordeze această problemă folosind o metodă fără încredere.
Astăzi, multe echipe din web3 se confruntă cu aceste provocări, ceea ce înseamnă că ușa oportunității este deschisă.
Dimensiunea pieței de calcul descentralizat
Cât de mare este piața rețelei de calcul descentralizată?
Astăzi, ar putea fi doar o mică parte dintr-o industrie de cloud computing evaluată la 6800 de miliarde până la 2.5 trilioane de dolari. Cu toate acestea, deși a crescut frecvența utilizatorilor, va exista întotdeauna cerere atâta timp cât costurile sunt mai mici decât ale furnizorilor tradiționali.
Cred că, datorită subsidierii cu token-uri și eliberării ofertei pentru utilizatorii nesensibili la preț, costurile se vor menține la un nivel scăzut pe termen scurt și mediu (de exemplu, dacă pot închiria laptopul meu de gaming pentru a câștiga bani în plus, fie că sunt 20 de dolari sau 50 de dolari pe lună, voi fi foarte bucuros).
Dar adevăratul potențial de creștere al rețelelor de calcul descentralizate - și adevărata extindere a TAM-ului lor - va apărea în următoarele condiții:
Antrenamentul descentralizat al modelului AI devine practic.
Cererea de inferență explodează, iar centrele de date existente nu pot satisface această cerere. Această situație a început deja să se manifeste. Jensen Huang a afirmat că cererea de inferență va crește cu "un miliard de ori".
Nivelurile corespunzătoare de servicii (SLA) devin disponibile, rezolvând un obstacol major în adoptarea de către întreprinderi. În prezent, funcționarea calculului descentralizat oferă utilizatorilor experiențe variate de calitate a serviciului (de exemplu, timpul de funcționare). Cu SLA, aceste rețele pot oferi fiabilitate și indicatori de performanță standardizați, făcând calculul descentralizat o alternativă viabilă la furnizorii tradiționali de cloud.
Calculul descentralizat fără permisiune este stratul de bază al ecosistemului de inteligență artificială descentralizată - infrastructura.
Deși lanțul de aprovizionare GPU se extinde constant, cred că suntem încă la începutul erei inteligenței umane. Cererea de calcul va fi imposibil de satisfăcut.
Trebuie să ne concentrăm asupra posibilelor puncte de inflexi care ar putea reevalua întregul piața GPU dincolo de limitele actuale, care ar putea apărea în curând.
Alte considerații:
Piața pură a GPU-urilor este aglomerată, competiția între platformele descentralizate este acerbă, iar serviciile emergente de cloud AI din web2 (cum ar fi ascensiunea Vast.ai și Lambda) sunt în creștere.
Cererea pentru noduri mici (de exemplu, 4 x H100) nu este foarte mare, deoarece utilizarea lor este limitată, dar îți doresc succes în a găsi pe cineva care să vândă clustere mari - acestea au totuși o cerere considerabilă.
Un jucător dominant va agrega toată puterea de calcul pentru protocoalele descentralizate sau va menține puterea de calcul dispersată pe mai multe piețe? Eu tind să cred în prima variantă, deoarece integrarea îmbunătățește de obicei eficiența infrastructurii. Dar asta necesită timp, iar în același timp, divizarea și haosul continuă.
Dezvoltatorii doresc să se concentreze pe dezvoltarea aplicațiilor, nu pe gestionarea implementării și configurării. Piața trebuie să abstractizeze aceste complexități, făcând accesul la calcul cât mai puțin frictionat.
2.2 Antrenament descentralizat
Dacă legea scalării se dovedește adevărată, atunci antrenarea modelelor de inteligență artificială de vârf într-un singur centru de date va deveni imposibilă într-o zi.
Antrenarea modelelor AI necesită transferul de cantități mari de date între GPU-uri. Vitezele de transfer mai scăzute (interconectare) între GPU-urile distribuite sunt adesea cel mai mare obstacol.
Cercetătorii explorează simultan multiple metode și fac progrese (de exemplu Open DiLoCo, DisTrO). Aceste avansuri se vor acumula, accelerând progresul în acest domeniu.
Viitorul antrenamentului descentralizat ar putea depinde de proiectarea de modele mici dedicate pentru aplicații de nișă, mai degrabă decât de modele de vârf centrate pe AGI.
Odată cu tranziția către modele precum OpenAI o1, cererea de inferență va exploda, creând oportunități pentru rețelele de inferență descentralizate.
Imaginați-vă: un model de inteligență artificială gigantic, care schimbă lumea, nu este dezvoltat în laboratoare secrete de elită, ci este modelat de milioane de oameni obișnuiți. GPU-urile jucătorilor creează adesea scene explozive în stilul Call of Duty, iar acum își împrumută hardware-ul pentru ceva mai grandios - un model de inteligență artificială open-source, deținut colectiv, fără un gardian central.
Într-un astfel de viitor, modelele de dimensiuni mari nu vor fi restricționate doar la laboratoarele de inteligență artificială de top.
Dar să ne ancorăm viziunea în realitatea actuală. În prezent, greutatea antrenamentului AI de mari dimensiuni este încă concentrată în centrele de date centralizate, ceea ce ar putea rămâne o normă pentru o vreme.
Companii precum OpenAI își extind clusterele uriașe. Elon Musk a anunțat recent că xAI va construi un centru de date echivalent cu 200.000 GPU H100.
Dar nu este vorba doar despre numărul brut de GPU-uri. Rata de utilizare a FLOPS-urilor modelului (MFU) este un indicator propus de Google în articolul său de cercetare PaLM din 2022, care urmărește eficiența utilizării capacității maxime a GPU-ului. Surprinzător, MFU oscilează de obicei între 35-40%.
De ce este atât de scăzut? Conform legii lui Moore, performanța GPU-urilor a crescut brusc în ultimii ani, dar îmbunătățirile în rețea, memorie și stocare au rămas semnificativ în urmă, creând un blocaj. Prin urmare, GPU-urile sunt adesea în așteptare, așteptând date.
Antrenamentele AI de astăzi sunt încă foarte centralizate, dintr-un singur motiv - eficiență.
Antrenarea modelelor mari depinde de următoarele tehnologii:
Paralelism de date: Împărțirea seturilor de date pe mai multe GPU-uri și executarea operațiunilor în paralel pentru a accelera procesul de antrenament.
Paralelism de model: Distribuirea diferitelor părți ale modelului între mai multe GPU-uri pentru a ocoli constrângerile de memorie.
Aceste metode necesită ca GPU-urile să schimbe constant date, iar viteza de interconectare - rata la care datele sunt transferate între computere în rețea - devine esențială.
Întrucât costul antrenării modelului de inteligență artificială de vârf depășește 1 miliard de dolari, fiecare îmbunătățire a eficienței devine crucială.
Prin interconectare rapidă, centrele de date centralizate pot transfera rapid date între GPU-uri și economisi costuri semnificative în timpul antrenării, ceea ce nu poate fi egalat de mediile descentralizate.
Depășirea vitezelor de interconectare lente
Dacă vorbești cu lucrătorii din domeniul inteligenței artificiale, mulți îți vor spune că antrenamentul descentralizat pur și simplu nu funcționează.
Într-un cadru descentralizat, clusterele GPU nu coexistă fizic, astfel că transferul de date între ele este mult mai lent, devenind un blocaj. Antrenamentul necesită ca GPU-urile să sincronizeze și să schimbe date la fiecare pas. Cu cât sunt mai îndepărtate, cu atât întârzierile sunt mai mari. Întârzierile mai mari înseamnă o viteză de antrenament mai lentă și costuri mai mari.
Într-un centru de date centralizat, aceasta ar necesita câteva zile, în timp ce într-un centru de date descentralizat ar putea dura până la două săptămâni și costurile ar fi, de asemenea, mai mari. Acest lucru pur și simplu nu este fezabil.
Dar acest lucru se va schimba în curând.
Vești bune: interesul pentru cercetările în antrenamentul distribuit a crescut semnificativ. Cercetătorii explorează simultan mai multe metode, iar o cantitate mare de cercetări și lucrări publicate demonstrează acest lucru. Aceste progrese se vor acumula și vor accelera avansul în acest domeniu.
De asemenea, se referă la testarea în medii de producție, pentru a vedea în ce măsură putem depăși limitele.
Unele tehnici de antrenament descentralizat pot gestiona deja modele mai mici în medii cu interconectare lentă. Acum, cercetarea de vârf își propune să extindă aceste metode la modele mari.
De exemplu, articolul open-source DiCoLo de la Prime Intellect demonstrează o metodă practică, implicând "insule" GPU, care efectuează 500 de pași locali înainte de sincronizare, reducând cerințele de bandă cu 500 de ori. De la cercetările Google DeepMind asupra modelelor mici, s-a extins în noiembrie pentru a antrena modele cu 10 miliarde de parametri și acum este complet open-source.
Nous Research îmbunătățește standardele prin cadrul său DisTrO, care utilizează optimizatori pentru a reduce cerințele de comunicare între GPU-uri cu 10.000 de ori în timpul antrenării modelului cu 1,2B parametri, ceea ce este impresionant.
Și acest impuls continuă să crească. În decembrie anul trecut, Nous a anunțat un model de 15B parametri pre-antrenat, având o curbă de pierdere (cum scade eroarea modelului în timp) și o rată de convergență (viteza de stabilizare a performanței modelului) care se aliniază sau chiar depășește rezultatele tipice ale antrenamentului centralizat. Da, este mai bun decât centralizat.
Paralelismul SWARM și DTFMHE sunt alte metode diferite pentru a antrena modele AI mari pe diferite tipuri de dispozitive, chiar și atunci când aceste dispozitive au viteze și niveluri de conectare diferite.
Gestionarea diverselor tipuri de hardware GPU este o altă mare provocare, inclusiv GPU-uri de consum cu memorie limitată, tipice pentru rețelele descentralizate. Tehnici precum paralelismul modelului (împărțirea straturilor modelului între dispozitive) pot ajuta la realizarea acestui lucru.
Viitorul antrenamentului descentralizat
În prezent, dimensiunea modelului metodelor de antrenament descentralizate este încă departe de modelul de vârf (se raportează că parametrii GPT-4 se apropie de un trilion, de 100 de ori mai mari decât modelul de 10B Prime Intellect). Pentru a realiza o scalare reală, avem nevoie de progrese în arhitectura modelului, infrastructura de rețea mai bună și alocarea mai inteligentă a sarcinilor între dispozitive.
Putem avea vise mărețe. Imaginați-vă o lume în care puterea de calcul GPU adunată prin antrenamentul descentralizat depășește chiar și cea mai mare capacitate a centrelor de date centralizate.
Pluralis Research (o echipă de elită concentrată pe antrenamentul descentralizat, merită urmărită îndeaproape) consideră că aceasta nu este doar posibilă, ci inevitabilă. Centrele de date centralizate sunt limitate de condiții fizice precum disponibilitatea spațiului și a energiei, în timp ce rețelele descentralizate pot profita de un adevărat rezervor global de resurse nelimitate.
Chiar și Jensen Huang de la NVIDIA a recunoscut că antrenamentul descentralizat asincron poate debloca adevăratul potențial de scalare al inteligenței artificiale. Rețelele de antrenament distribuit sunt, de asemenea, mai rezistente la erori.
Astfel, într-o lume viitoare posibilă, cele mai puternice modele de inteligență artificială vor fi antrenate într-un mod descentralizat.
Aceasta este o perspectivă interesantă, dar momentan nu sunt complet convins. Avem nevoie de dovezi mai concludente pentru a demonstra că antrenamentul descentralizat al celor mai mari modele este fezabil din punct de vedere tehnic și economic.
Văd o mare speranță în acest sens: cel mai bun aspect al antrenamentului descentralizat ar putea fi designul de modele open-source mici dedicate pentru cazuri de utilizare specifice, mai degrabă decât competiția cu modelele ultra-mari centrate pe AGI. Anumite arhitecturi, în special modelele non-transformer, s-au dovedit foarte potrivite pentru setările descentralizate.
Această enigmă are o altă parte: token-uri. Odată ce antrenamentul descentralizat devine viabil la scară, token-urile pot juca un rol crucial în stimularea și recompensarea contribuabililor, ghidând eficient aceste rețele.
Drumul către realizarea acestei viziuni este încă lung, dar progresele sunt încurajatoare. Deoarece dimensiunile viitoare ale modelului vor depăși capacitatea unui singur centru de date, progresele în antrenamentul descentralizat vor beneficia pe toată lumea, inclusiv marii jucători din tehnologie și laboratoarele de cercetare de top în inteligența artificială.
Viitorul este distribuit. Când o tehnologie are un potențial atât de larg, istoria arată că este întotdeauna mai bună și mai rapidă decât se așteaptă toată lumea.
2.3. Inferență descentralizată
În prezent, majoritatea puterii de calcul AI se concentrează pe antrenarea modelor de mari dimensiuni. Laboratoarele de inteligență artificială de top se află într-o competiție pentru a dezvolta modelul de bază cel mai bun și, în cele din urmă, pentru a realiza AGI.
Dar părerea mea este că, în următorii câțiva ani, acest calcul axat pe antrenament se va transforma în inferență. Pe măsură ce inteligența artificială este integrată tot mai mult în aplicațiile pe care le folosim zilnic - de la sănătate la divertisment - cantitatea de resurse de calcul necesare pentru a susține inferența va fi copleșitoare.
Aceasta nu este doar o presupunere. Scalarea timpului de calcul pentru inferență este cea mai recentă modă din domeniul inteligenței artificiale. OpenAI a lansat recent o previzualizare a celui mai recent model al său 01 (codenom: Strawberry) - este aceasta o schimbare semnificativă? Este necesar să ne gândim la pașii pe care trebuie să îi facem pentru a răspunde acestei întrebări, apoi să procedăm gradual.
Acest model este conceput pentru sarcini mai complexe care necesită multă planificare, cum ar fi jocurile de cuvinte, și pentru probleme care necesită raționamente mai profunde. Vei observa că devine mai lent, necesită mai mult timp pentru a genera răspunsuri, dar rezultatul este mai bine gândit și detaliat. De asemenea, costul său de operare este mult mai mare (de 25 de ori mai mare decât GPT-4).
Schimbarea centrului de greutate este evidentă: următorul salt în performanța AI nu va proveni doar din antrenarea unor modele mai mari, ci și din extinderea aplicațiilor de calcul în timpul inferenței.
Dacă doriți să aflați mai multe, unele studii arată:
Extinderea calculului inferenței prin re-eșantionare poate duce la îmbunătățiri semnificative între diverse sarcini.
Există, de asemenea, o lege a extinderii pentru inferență.
Odată ce modelele puternice sunt antrenate, sarcinile lor de inferență - ceea ce face modelul - pot fi transferate pe rețelele de calcul descentralizate. Acest lucru are sens, deoarece:
Resursele necesare pentru inferență sunt mult mai mici decât cele necesare pentru antrenament. După antrenare, modelele pot fi comprimate și optimizate folosind tehnici precum cuantificarea, tăierea sau distilarea. Acestea pot fi chiar desfășurate pe dispozitive de consum. Nu ai nevoie de GPU-uri de vârf pentru a susține inferența.
Acest lucru s-a întâmplat deja. Exo Labs a găsit o metodă de a rula modelul Llama3 cu 450B parametri pe hardware de consum, cum ar fi MacBook și Mac Mini. Inferența distribuită pe mai multe dispozitive poate gestiona sarcini de lucru mari eficient și economic.
O experiență mai bună pentru utilizatori. Rularea calculului mai aproape de utilizatori poate reduce întârzierile, ceea ce este crucial pentru aplicații în timp real, cum ar fi jocurile, AR sau mașinile autonome. Fiecare milisecundă contează.
Imaginați-vă inferența descentralizată ca un CDN (rețea de distribuție a conținutului) pentru inteligența artificială: inferența descentralizată utilizează capacitatea de calcul local pentru a oferi răspunsuri AI într-un timp record, în loc să se bazeze pe conectarea la servere din apropiere pentru a livra rapid site-uri web. Prin adoptarea inferenței descentralizate, aplicațiile de inteligență artificială devin mai eficiente, mai rapide și mai fiabile.
Tendința este evidentă. Noul chip M4 Pro de la Apple concurează cu RTX 3070 Ti de la NVIDIA, care, până recent, era teritoriul gamerilor hardcore. Hardware-ul nostru devine din ce în ce mai capabil să gestioneze sarcini de lucru avansate de inteligență artificială.
Valoarea adăugată a Crypto
Pentru ca rețelele de inferență descentralizate să aibă succes, trebuie să existe stimulente economice convingătoare. Nodurile din rețea trebuie să fie compensate pentru contribuțiile lor de putere de calcul. Sistemul trebuie să asigure o distribuție corectă și eficientă a recompenselor. Diversitatea geografică este necesară pentru a reduce întârzierile în sarcinile de inferență și a îmbunătăți toleranța la erori.
Care este cea mai bună modalitate de a construi o rețea descentralizată? Crypto.
Token-urile oferă un mecanism puternic pentru a coordona interesele participanților, asigurându-se că toți lucrează spre același obiectiv: extinderea rețelei și creșterea valorii token-ului.
Token-urile au accelerat, de asemenea, creșterea rețelei. Ele au ajutat la soluționarea problemei clasice a găinii și a oului, care a împiedicat dezvoltarea majorității rețelelor, recompensând adoptatorii timpurii și promovând implicarea încă din prima zi.
Succesul Bitcoin și Ethereum dovedește acest lucru - au adunat cea mai mare bază de putere de calcul de pe Pământ.
Rețelele de inferență descentralizate vor fi următoarele. Datorită diversității geografice, acestea reduc întârzierile, îmbunătățesc toleranța la erori și apropie inteligența artificială de utilizatori. Sub stimulentele cripto, acestea se vor extinde mai rapid și mai bine decât rețelele tradiționale.
(Continuare în curând, rămâneți pe fază)