Clona e4eeb3, aprobată de comunitate, în propunerea 13094 completează piatra de hotar Cyclotron din foaia de parcurs ICP.

Scopul acestei etape este de a permite inferența în lanț a modelelor AI cu milioane de parametri, care este primul pas către obiectivul mai ambițios de instruire în lanț și deducere a modelelor AI la scară largă.

După cum știm cu toții, sarcinile de lucru AI sunt intense din punct de vedere computațional, iar inferența asupra modelelor AI cu milioane de parametri necesită miliarde de operații aritmetice, cum ar fi înmulțirea și adăugarea, ceea ce înseamnă că, pentru a sprijini inferența în lanț, blockchain-ul are nevoie de capacitatea de a procesează miliarde de operații pe secundă.

Etapa Cyclotron crește puterea de calcul a ICP cu un ordin de mărime (~10x), făcându-l singurul blockchain care are un exemplu funcțional de contract inteligent care realizează recunoașterea facială în întregime în lanț, precum și alte cazuri de utilizare, cum ar fi clasificarea imaginilor și execuția GPT2 (dezvoltat de DecideAI).

Vedeți videoclipul demonstrativ al recunoașterii faciale a lui Dominic Williams la începutul acestui articol.

Fundamentul calculului cu inteligență artificială în lanț

Mașina virtuală face parte din blockchain și este crucială pentru calculele AI, deoarece poate executa codul contractelor inteligente. Funcțiile și performanța mașinii virtuale afectează în mod direct cât de multe calcule AI poate efectua contractul inteligent.

De exemplu, EVM este mașina virtuală a lui Ethereum. Este adaptată pentru contractele inteligente DeFi și nu are funcții, cum ar fi operațiunile în virgulă mobilă, necesare pentru calculele AI. Și proiectat de la zero pentru performanțe aproape native.

Ideea din spatele reperului Cyclotron este de a stoarce cât mai mult posibil performanță în virgulă mobilă din mașina virtuală ICP.

Optimizare 1: Operații deterministe în virgulă mobilă

Majoritatea bibliotecilor și cadrelor AI se bazează pe operațiuni în virgulă mobilă, iar în contextul ICP, operațiunile în virgulă mobilă trebuie să fie deterministe, ceea ce înseamnă că ar trebui să producă aceleași rezultate previzibile folosind aceiași operanzi de intrare.

Această proprietate deterministă este importantă deoarece ICP execută același cod pe mai multe noduri și apoi rulează algoritmul său de consens pentru a stabili rezultatul corect. Dacă operația în virgulă mobilă nu este deterministă, nodurile pot fi în dezacord, împiedicând progresul blockchain-ului.

Inginerii DFINITY au găsit o modalitate de a face operațiunile deterministe în virgulă mobilă mai rapide într-o implementare a mașinii virtuale WebAssembly numită Wasmtime, o optimizare a compilatorului de nivel scăzut care produce cod mai rapid care beneficiază mai mult decât ICP, beneficiind și de alte platforme și blockchain-uri care utilizează Wasmtime.

Optimizare 2: o singură instrucțiune, date multiple (SIMD)

SIMD este o tehnologie acceptată de toate procesoarele moderne care permite procesorului să efectueze mai multe operații aritmetice folosind o singură instrucțiune.

WebAssembly SIMD poate gestiona și numere întregi, de exemplu, poate efectua 16 operații aritmetice paralele pe numere întregi mici de 8 biți, potențial îmbunătățind performanța de 4x până la 16x, în funcție de tipul de numere și operații.

Contractele inteligente care rulează pe ICP pot folosi acum instrucțiuni SIMD deterministe și pot beneficia de calculul paralel Aflați cum să compilați contracte inteligente folosind SIMD:

• github.com/dfinity/examples/tree/master/rust/simd

Optimizare 3: suport SIMD în motorul de inferență AI

Ultima piesă a puzzle-ului Cyclotron este adăugarea suportului WebAssembly SIMD la biblioteca AI, inginerii DFINITY contribuind cu o implementare WebAssembly SIMD la motorul de inferență open source Sonos Tract.

Noul cod folosește instrucțiuni SIMD pentru a implementa multiplicarea matricei și alți algoritmi numerici, similar primelor optimizări din Wasmtime, o contribuție care beneficiază nu numai ICP, ci și comunitatea mai largă de dezvoltatori.

rezultat

Împreună, aceste optimizări îmbunătățesc testarea microbenchmark-ului numeric de 28x, cu îmbunătățiri observate variind de la 5x la 19x, în funcție de model, în sarcinile de lucru de inferență AI end-to-end, așa cum se arată în figura de mai jos.

Codul sursă pentru contractele inteligente care conțin aceste modele AI este disponibil pe GitHub, astfel încât oricine poate reproduce și verifica rezultatele:

• Clasificarea imaginilor: Acesta este un model MobileNet care clasifică o imagine de intrare și returnează cea mai probabilă etichetă din 1000 de etichete cunoscute, reducând numărul de instrucțiuni Wasm necesare pentru a rula o singură inferență de la 24,7 miliarde la 3,7 miliarde.

• Detectarea feței: Acesta este un model Ultraface care poate găsi caseta de delimitare a unei fețe într-o imagine de intrare, reducând numărul de instrucțiuni Wasm necesare pentru a rula o singură inferență de la 6,1 miliarde la 1,2 miliarde.

• Recunoaștere facială: acesta este un model care calculează încorporarea vectorului de imagini de intrare a feței înseamnă că recunoașterea anterioară a feței nu poate rula pe rețeaua principală și poate rula doar local pe replicile corelate.

• GPT2: Acesta este un model GPT2 pe care DecideAI l-a convertit în contracte inteligente folosind cadrul său rust-connect-py-ai-to-ic, iar detaliile benchmark-ului sunt descrise pe GitHub.

Benchmark-urile au fost rulate în versiunea dfx 0.20.1 (Baseline) și versiunea 0.22.0-beta.0 (Cyclotron).

în concluzie

Etapa Cyclotron aduce performanța de calcul AI pe ICP aproape de performanța CPU nativă prin optimizarea operațiunilor în virgulă mobilă și prin activarea instrucțiunilor SIMD WebAssembly. Acceptă procesarea în lanț a modelelor cu milioane de parametri, cum ar fi clasificarea imaginilor, recunoașterea feței și GPT2. Raționamentul AI.

Acesta este primul pas către rularea completă a modelelor AI la scară largă în lanț pentru a rezolva problema de încredere în AI. Următorul pas în foaia de parcurs ICP urmărește să depășească limitările CPU pentru a realiza inferența AI și modelul la scară largă antrenament în lanț, contractele inteligente necesită O metodă de rulare a calculelor de calcul și de memorie intensivă pe hardware specializat, cum ar fi GPU-urile.

Rămâneți la curent cu reperele Gyrotron.

#AI模型 #DEAI🤖🤖🤖 #gpt4 $BTC $ETH $ICP

Conținutul IC la care îți pasă

Progresul tehnologiei |. Informații despre proiect |

Colectați și urmăriți canalul IC Binance

Fiți la curent cu cele mai recente informații