Sabiedrības apstiprinātais klons e4eeb3 priekšlikumā 13094 pabeidz Cyclotron atskaites punktu ICP ceļvedī.

Šī pavērsiena mērķis ir ļaut secināt AI modeļus ar miljoniem parametru, kas ir pirmais solis ceļā uz vērienīgāku mērķi — apmācību ķēdē un liela mēroga AI modeļu secinājumus.

Kā mēs visi zinām, AI darba slodze ir skaitļošanas ziņā intensīva, un, lai secinātu par AI modeļiem ar miljoniem parametru, ir jāveic miljardiem aritmētisko darbību, piemēram, reizināšanas un saskaitīšanas, kas nozīmē, ka, lai atbalstītu secināšanu ķēdē, blokķēdei ir nepieciešama spēja apstrādā miljardus operāciju sekundē.

Cyclotron pagrieziena punkts palielina ICP skaitļošanas jaudu par lielumu (~ 10x), padarot to par vienīgo blokķēdi, kam ir funkcionāls viedā līguma piemērs, kas pilnībā veic sejas atpazīšanu ķēdē, kā arī citus lietošanas gadījumus, piemēram, attēlu klasifikāciju. un izpilde GPT2 (izstrādāja DecideAI).

Skatiet Dominika Viljamsa sejas atpazīšanas demonstrācijas video šī raksta sākumā.

Ķēdes mākslīgā intelekta skaitļošanas pamats

Virtuālā mašīna ir daļa no blokķēdes un ir ļoti svarīga AI aprēķinos, jo tā var izpildīt viedo līgumu kodu. Virtuālās mašīnas funkcijas un veiktspēja tieši ietekmē to, cik daudz AI aprēķinu var veikt viedais līgums.

Piemēram, EVM ir Ethereum virtuālā mašīna, kas ir īpaši izstrādāta DeFi viedajiem līgumiem un tai trūkst tādu funkciju kā AI aprēķiniem nepieciešamās operācijas. Turpretim ICP izmanto WebAssembly kā virtuālo mašīnu, un WebAssembly atbalsta peldošā komata skaitļus. Un jau no paša sākuma izstrādāts gandrīz vietējai veiktspējai.

Cyclotron pavērsiena ideja ir izspiest pēc iespējas vairāk peldošā komata veiktspējas no ICP virtuālās mašīnas.

Optimizācija 1: Deterministiskas peldošā komata darbības

Lielākā daļa AI bibliotēku un ietvaru balstās uz peldošā komata operācijām, un ICP kontekstā peldošā komata operācijām ir jābūt deterministiskām, kas nozīmē, ka tām jārada tādi paši paredzami rezultāti, izmantojot vienus un tos pašus ievades operandus.

Šī deterministiskā īpašība ir svarīga, jo ICP izpilda vienu un to pašu kodu vairākos mezglos un pēc tam izpilda savu konsensa algoritmu, lai noteiktu pareizo rezultātu.

DFINITY inženieri atrada veidu, kā padarīt deterministiskas peldošā komata darbības ātrākas WebAssembly virtuālās mašīnas ieviešanā ar nosaukumu Wasmtime — zema līmeņa kompilatora optimizācijā, kas rada ātrāku kodu, kas sniedz ne tikai ICP labumu, bet arī citas platformas un blokķēdes, izmantojot Wasmtime.

2. optimizācija: viena instrukcija, vairāki dati (SIMD)

SIMD ir tehnoloģija, ko atbalsta visi mūsdienu CPU, kas ļauj CPU veikt vairākas aritmētiskas darbības, izmantojot vienu instrukciju Piemēram, WebAssembly var veikt četrus paralēlus peldošā komata papildinājumus, izmantojot vienu instrukciju, kā parādīts attēlā.

WebAssembly SIMD var apstrādāt arī veselus skaitļus, piemēram, tas var veikt 16 paralēlas aritmētiskas darbības ar maziem 8 bitu veseliem skaitļiem, potenciāli uzlabojot veiktspēju 4x līdz 16x atkarībā no skaitļu un darbību veida.

Viedie līgumi, kas darbojas, izmantojot ICP, tagad var izmantot deterministiskas SIMD instrukcijas un gūt labumu no paralēlās skaitļošanas Uzziniet, kā apkopot viedos līgumus, izmantojot SIMD.

• github.com/dfinity/examples/tree/master/rust/simd

3. optimizācija: SIMD atbalsts AI secinājumu dzinējā

Pēdējā Cyclotron mīklas daļa ir WebAssembly SIMD atbalsta pievienošana AI bibliotēkai, un DFINITY inženieri nodrošina WebAssembly SIMD ieviešanu atvērtā koda Sonos Tract secinājumu dzinējā.

Jaunajā kodā tiek izmantotas SIMD instrukcijas, lai ieviestu matricas reizināšanu un citus skaitliskos algoritmus, līdzīgi kā pirmajām Wasmtime optimizācijām, kas sniedz labumu ne tikai ICP, bet arī plašākai izstrādātāju kopienai.

rezultāts

Kopā šīs optimizācijas uzlabo skaitliskos mikrosalīdzinājumus par 28 reizēm, un novērotie uzlabojumi ir no 5 x līdz 19 reizēm atkarībā no modeļa pilnīgas AI secinājumu darba slodzēs, kā parādīts tālāk esošajā attēlā.

Viedo līgumu pirmkods, kas satur šos AI modeļus, ir pieejams vietnē GitHub, lai ikviens varētu reproducēt un pārbaudīt rezultātus:

• Attēlu klasifikācija: šis ir MobileNet modelis, kas klasificē ievades attēlu un atgriež visticamāko etiķeti no 1000 zināmajām etiķetēm, samazinot Wasm instrukciju skaitu, kas nepieciešamas viena secinājuma izpildei no 24,7 miljardiem līdz 3,7 miljardiem.

• Sejas noteikšana: šis ir Ultraface modelis, kas ievades attēlā var atrast sejas robežlodziņu, samazinot Wasm instrukciju skaitu, kas nepieciešamas viena secinājuma izpildei no 6,1 miljarda līdz 1,2 miljardiem.

• Seju atpazīšana: šis ir modelis, kas aprēķina seju ievades attēlu vektoru iegulšanu. Viena secinājuma izpildei nepieciešamo Wasm instrukciju skaits ir samazināts no 77 miljardiem līdz 9 miljardiem galvenajā tīklā. Šis ir 40 miljardi instrukciju nozīmē, ka iepriekšējā sejas atpazīšana nevar darboties galvenajā tīklā un var darboties tikai lokāli uz labotām replikām.

• GPT2: šis ir GPT2 modelis, ko DecideAI pārveidoja viedos līgumos, izmantojot savu rust-connect-py-ai-to-ic sistēmu, un etalona detaļas ir aprakstītas vietnē GitHub.

Etaloni tika veikti dfx versijā 0.20.1 (Baseline) un versijā 0.22.0-beta.0 (Cyclotron).

noslēgumā

Cyclotron pagrieziena punkts pietuvina AI skaitļošanas veiktspēju ICP, optimizējot peldošā komata darbības un iespējojot WebAssembly SIMD instrukcijas. Tas atbalsta modeļu apstrādi ķēdē ar miljoniem parametru, piemēram, attēlu klasifikāciju, sejas atpazīšanu un GPT2. AI argumentācija.

Šis ir pirmais solis ceļā uz lielapjoma AI modeļu darbību, lai atrisinātu AI uzticības problēmu. Nākamais AI pavērsiens ICP ceļvedī ir paredzēts, lai pārvarētu CPU ierobežojumus, lai veiktu AI secinājumus un liela mēroga modeli Apmācība ķēdē, viedie līgumi prasa Metode skaitļošanas un atmiņas ietilpīgu aprēķinu veikšanai specializētā aparatūrā, piemēram, GPU.

Sekojiet līdzi Gyrotron pavērsieniem.

#AI模型 #DEAI🤖🤖🤖 #gpt4 $BTC $ETH $ICP

IC saturs, kas jums rūp

Tehnoloģiju attīstība |. Informācija par projektu |

Apkopojiet un sekojiet IC Binance kanālam

Esiet informēts par jaunāko informāciju