Komunitou schválený klon e4eeb3 v návrhu 13094 dokončuje milník Cyclotron v cestovní mapě ICP.

Cílem tohoto milníku je umožnit on-chain inference modelů AI s miliony parametrů, což je první krok k ambicióznějšímu cíli on-chain školení a inference velkých modelů AI.

Jak všichni víme, pracovní zátěž AI je výpočetně náročná a odvození z modelů AI s miliony parametrů vyžaduje miliardy aritmetických operací, jako je násobení a sčítání, což znamená, že pro podporu on-chain inference potřebuje blockchain schopnost zpracovat miliardy operací za sekundu.

Cyklotronový milník zvyšuje výpočetní výkon ICP o řád (~ 10x), což z něj dělá jediný blockchain, který má fungující příklad chytré smlouvy, která provádí rozpoznávání obličejů zcela v řetězci, stejně jako další případy použití, jako je klasifikace obrázků. a provedení GPT2 (vyvinutý společností DecideAI).

Podívejte se na ukázkové video Dominica Williamse s rozpoznáváním obličeje na začátku tohoto článku.

Základ výpočetní techniky s umělou inteligencí v řetězci

Virtuální stroj je součástí blockchainu a je zásadní pro výpočty AI, protože může provádět kód inteligentních kontraktů Funkce a výkon virtuálního stroje přímo ovlivňují, kolik výpočtů AI může inteligentní kontrakt provádět.

Například EVM je virtuální stroj Ethereum, je šitý na míru pro chytré smlouvy DeFi a postrádá funkce, jako jsou operace s pohyblivou řádovou čárkou potřebné pro výpočty AI. Naproti tomu ICP používá WebAssembly jako virtuální stroj a WebAssembly podporuje čísla s pohyblivou řádovou čárkou A od základu navržený pro téměř přirozený výkon.

Myšlenkou milníku Cyclotronu je vymáčknout z virtuálního stroje ICP co nejvíce výkonu s pohyblivou řádovou čárkou.

Optimalizace 1: Deterministické operace s pohyblivou řádovou čárkou

Většina knihoven a rámců umělé inteligence spoléhá na operace s pohyblivou řádovou čárkou a v kontextu ICP musí být operace s pohyblivou řádovou čárkou deterministické, což znamená, že by měly produkovat stejné předvídatelné výsledky pomocí stejných vstupních operandů.

Tato deterministická vlastnost je důležitá, protože ICP provádí stejný kód na více uzlech a poté spustí svůj konsensuální algoritmus, aby stanovil správný výsledek. Pokud operace s plovoucí desetinnou čárkou není deterministická, mohou uzly nesouhlasit, což zabrání postupu blockchainu.

Inženýři DFINITY našli způsob, jak zrychlit deterministické operace s plovoucí desetinnou čárkou v implementaci virtuálního stroje WebAssembly nazvané Wasmtime, což je optimalizace nízkoúrovňového kompilátoru, která produkuje rychlejší kód, který je přínosný nejen pro ICP, ale také pro ostatní platformy a blockchainy využívající Wasmtime.

Optimalizace 2: Jedna instrukce, více dat (SIMD)

SIMD je technologie podporovaná všemi moderními CPU, která umožňuje CPU provádět více aritmetických operací pomocí jediné instrukce, například WebAssembly může provádět čtyři paralelní sčítání s pohyblivou řádovou čárkou pomocí jediné instrukce, jak je znázorněno na obrázku níže.

WebAssembly SIMD zvládne také celá čísla, například dokáže provádět 16 paralelních aritmetických operací na malých 8bitových celých číslech, což potenciálně zvyšuje výkon 4x až 16x v závislosti na typu čísel a operací.

Inteligentní smlouvy běžící na ICP nyní mohou používat deterministické instrukce SIMD a těžit z paralelního počítání Naučte se sestavovat chytré smlouvy pomocí SIMD:

• github.com/dfinity/examples/tree/master/rust/simd

Optimalizace 3: Podpora SIMD v AI inference engine

Posledním kouskem skládačky Cyclotronu je přidání podpory WebAssembly SIMD do knihovny AI, přičemž inženýři DFINITY přispívají implementací WebAssembly SIMD do inferenčního motoru Sonos Tract s otevřeným zdrojovým kódem.

Nový kód používá instrukce SIMD k implementaci násobení matic a dalších numerických algoritmů, podobně jako první optimalizace ve Wasmtime, což je příspěvek, který přináší prospěch nejen ICP, ale i širší komunitě vývojářů.

výsledek

Společně tyto optimalizace zlepšují numerické mikrobenchmarkové testování 28x, přičemž pozorovaná zlepšení se pohybují od 5x do 19x v závislosti na modelu v end-to-end pracovní zátěži AI, jak je znázorněno na obrázku níže.

Zdrojový kód pro chytré smlouvy obsahující tyto modely umělé inteligence je k dispozici na GitHubu, takže kdokoli může reprodukovat a ověřit výsledky:

• Klasifikace obrázků: Jedná se o model MobileNet, který klasifikuje vstupní obrázek a vrací nejpravděpodobnější štítek z 1000 známých štítků, čímž se snižuje počet instrukcí Wasm potřebných ke spuštění jednoho odvození z 24,7 miliardy na 3,7 miliardy.

• Detekce obličeje: Jedná se o model Ultraface, který dokáže najít ohraničující rámeček obličeje ve vstupním obrázku, čímž se sníží počet instrukcí Wasm potřebných k provedení jedné inference z 6,1 miliardy na 1,2 miliardy.

• Rozpoznávání obličejů: Jedná se o model, který vypočítává vektorové vložení vstupních obrázků obličeje Počet instrukcí Wasm potřebných k provedení jedné inference je snížen ze 77 miliard na 9 miliard znamená, že předchozí rozpoznávání obličeje nemůže běžet na hlavní síti a může běžet pouze lokálně na opravených replikách.

• GPT2: Toto je model GPT2, který DecideAI převedl na chytré smlouvy pomocí svého rámce rust-connect-py-ai-to-ic a podrobnosti o benchmarku jsou popsány na GitHubu.

Benchmarky byly spuštěny v dfx verzi 0.20.1 (Baseline) a verzi 0.22.0-beta.0 (Cyclotron).

na závěr

Milník Cyclotron přibližuje výpočetní výkon AI na ICP nativnímu výkonu CPU optimalizací operací s plovoucí desetinnou čárkou a umožněním instrukcí WebAssembly SIMD Podporuje zpracování modelů s miliony parametrů, jako je klasifikace obrazu, rozpoznávání obličejů a GPT2 uvažování.

Toto je první krok k plnému provozu velkých modelů AI v řetězci k vyřešení problému AI důvěry Další milník AI v plánu ICP se zaměřuje na překonání omezení CPU, aby bylo možné provádět nácvik AI a velkých modelů v řetězci , smart contract need Metoda spouštění výpočetně a paměťově náročných výpočtů na specializovaném hardwaru, jako jsou GPU.

Zůstaňte naladěni na milníky Gyrotronu.

#AI模型 #DEAI🤖🤖🤖 #gpt4 $BTC $ETH $ICP

Obsah IC, na kterém vám záleží

Technologický pokrok |. Informace o projektu |

Sbírejte a sledujte kanál IC Binance

Zůstaňte v obraze s nejnovějšími informacemi