Autor: Teng Yan, Chain of Thought; Překlad: Jinse Finance xiaozou
Mám velký pocit lítosti, který mě stále trápí; pro každého, kdo mu věnuje pozornost, je to bezpochyby nejzřejmější investiční příležitost, ale já do ní nevložil ani cent. Ne, nemyslím tím dalšího zabijáka Solany, ani meme coin s legračním kloboukem.
Ale... NVIDIA.
Za pouhý rok vzrostla tržní hodnota NVDA z 1 bilionu dolarů na 3 biliony dolarů, což představuje trojnásobné zvýšení, překonávající i Bitcoin ve stejném období.
Samozřejmě, že v tom je spousta umělé inteligence, ale velká část se zakládá na realitě. NVIDIA oznámila, že její příjmy v roce 2024 dosáhly 60 miliard dolarů, což je nárůst o 126% oproti roku 2023, což je ohromující výkon.
Proč jsem to tedy propásl?
Dva roky jsem se soustředil na kryptoměnovou oblast a upřímně jsem se nedíval ven do světa, nevěnoval jsem pozornost oblasti umělé inteligence. To byla velká chyba, kterou stále lituji.
Ale nebudu opakovat stejnou chybu.
Dnes se Crypto AI cítí velmi podobně. Jsme na pokraji velkého explozivního inovování. Je to příliš podobné kalifornské zlaté horečce z poloviny 19. století, aby to bylo možné ignorovat - průmysl a města se objevují přes noc, infrastruktura se rozvíjí extrémně rychle a bohatství je vytvářeno odvážnými lidmi.
Stejně jako v raných dobách NVIDIA se zpětně ukáže, že Crypto AI byla zřejmá příležitost.
V první části tohoto článku vysvětlím, proč je Crypto AI v současnosti jednou z nejvzrušujících příležitostí pro investory a stavitele.
Jednoduché shrnutí je následující:
Mnozí lidé to stále považují za fantazii.
Crypto AI je stále v rané fázi, a od vrcholu spekulací nás možná dělí 1-2 roky.
Tato oblast má alespoň 230 miliard dolarů příležitostí k růstu.
Crypto AI je v podstatě AI založená na kryptografické infrastruktuře. To znamená, že je pravděpodobnější, že bude sledovat trajektorii exponenciálního růstu umělé inteligence, než aby sledovala širší kryptoměnový trh. Proto, abychom nezůstali pozadu, musíme se zaměřit na nejnovější výzkum umělé inteligence na Arxiv a komunikovat s těmi, kteří věří, že vytvářejí další skvělé produkty a služby.
Ve druhé části tohoto článku se podívám na čtyři nejslibnější podpole v oblasti Crypto AI:
Decentralizované výpočty: trénink, odvozování a trh s GPU
Datová síť
Verifikovatelná AI
AI agenti běžící na blockchainu
Při psaní tohoto článku jsem strávil týdny hlubokým výzkumem a rozhovory s zakladateli a týmy v oblasti Crypto AI, a tento článek je výsledkem těchto snah. Nezaměřuje se na detailní prozkoumání každé oblasti, spíše jej můžete považovat za vysokou úroveň mapy, jejímž cílem je vyvolat vaši zvědavost, zvýšit váš výzkum a vést vaše investiční myšlení.
1. Mapa Crypto AI
Decentralizovaný umělý inteligentní stack vidím jako ekosystém několika úrovní: na jednom konci začíná decentralizovaným výpočtem a otevřenými datovými sítěmi, které podporují trénink decentralizovaných modelů AI.
Poté se kombinovaně používají kryptografie, ekonomické pobídky a hodnotící sítě k ověření každého odvození - jak vstupů, tak výstupů. Tyto ověřené výstupy směřují k AI agentům, kteří běží autonomně na blockchainu, a k aplikacím AI pro spotřebitele a podniky, kterým mohou lidé skutečně důvěřovat.
Koordinace sítí spojuje vše dohromady a umožňuje bezproblémovou komunikaci a spolupráci v celém ekosystému.
V této vizi může kdokoli, kdo buduje umělou inteligenci, využívat jednu nebo více úrovní tohoto stacku podle svých konkrétních potřeb. Ať už jde o trénink modelu pomocí decentralizovaného výpočtu, nebo o využití hodnotící sítě k zajištění vysoce kvalitního výstupu, tento stack nabízí širokou škálu možností.
Díky inherentní kombinovatelnosti blockchainu věřím, že se přirozeně posuneme směrem k modulární budoucnosti. Každá úroveň se stává vysoce specializovanou, protokoly jsou optimalizovány pro různé funkce namísto přístupu k integrovanému řešení.
Na každé úrovni decentralizovaného umělého inteligentního stacku se shromažďuje velké množství startupů, z nichž většina byla založena v posledních 1-3 letech. Je jasné, že tato oblast je stále v rané fázi.
Nejucelenější a nejaktuálnější mapa startupů Crypto AI, kterou jsem viděl, je spravována Casey a jejím týmem na topology.vc. To je neocenitelný zdroj pro každého, kdo sleduje tuto oblast.
Když se hlouběji ponořím do podpole Crypto AI, neustále se ptám sám sebe: Jak velké jsou tyto příležitosti? Mám zájem o něco, co dosáhne rozměru v řádu stovek miliard dolarů.
(1) Velikost trhu
Podívejme se nejprve na velikost trhu. Když hodnotím konkrétní segment, ptám se sám sebe: vytváří to nový trh nebo narušuje existující trh?
Vezměte si decentralizované výpočty jako příklad. Je to disruptivní kategorie, jejíž potenciál lze hodnotit pozorováním stávajícího trhu s cloudovými službami, jehož tržní hodnota je přibližně 680 miliard dolarů s očekáváním, že do roku 2032 dosáhne 2,5 bilionu dolarů.
Bezprecedentní nové trhy, jako jsou AI agenti, jsou těžko kvantifikovatelné. Bez historických dat je jejich hodnocení založeno na odhadech a posouzení problémů, které se snaží vyřešit. Je třeba poznamenat, že někdy to, co vypadá jako nový trh, je ve skutečnosti jen snaha najít řešení problémů.
(2) Časování
Načasování je všechno. V průběhu času se technologie obvykle zlepšují a stávají se levnějšími, ale tempo vývoje se liší.
Jaká je úroveň technologické zralosti v určitém segmentu trhu? Je již připravena na přijetí ve velkém měřítku, nebo je stále ve fázi výzkumu, kde skutečné aplikace budou potřebovat ještě několik let? Načasování určuje, zda je odvětví hodno okamžitého zájmu, nebo zda je lepší počkat.
Představme si například plně homomorfní šifrování (FHE): jeho potenciál je nesporný, ale jeho pokrok je v současnosti příliš pomalý, aby byl široce přijat. Může trvat několik let, než uvidíme jeho mainstreamové přijetí. Tím, že se nejprve soustředím na oblasti blíže k měřítku, mohu věnovat čas a úsilí oblastem, které nabízejí rostoucí dynamiku a příležitosti.
Pokud bych měl tyto kategorie mapovat na graf velikosti a času, vypadalo by to takto. Mějte na paměti, že jde o konceptuální diagram, nikoli o tvrdý průvodce. Existuje mnoho jemných odlišností - například v oblasti verifikovatelného odvozování mají různé metody (jako zkML a opML) různé úrovně připravenosti k použití.
To znamená, že věřím, že měřítko AI bude tak velké, že i dnes se zdající "niche" oblasti se mohou vyvinout v významný trh.
Je také důležité poznamenat, že technický pokrok se ne vždy vyvíjí lineárně - často dochází k skokům. Když dojde k náhlému výbuchu, můj pohled na načasování a velikost trhu se změní.
S tímto rámcem se podívejme blíže na jednotlivé podsektory.
2. Oblast jedna: decentralizované výpočty
Decentralizované výpočty jsou pilířem decentralizované umělé inteligence.
Trh s GPU, decentralizovaný trénink a decentralizované odvozování jsou vzájemně úzce propojeny.
Strana nabídky obvykle pochází z malých a středních datových center a spotřebitelských GPU.
Poptávka, i když malá, stále roste. Dnes pochází od uživatelů citlivých na cenu a necitlivých na zpoždění a také od menších startupů v oblasti umělé inteligence.
Největší výzvou, které v současnosti čelí trh Web3 GPU, je, jak je dostat do provozu.
Koordinace GPU na decentralizované síti vyžaduje pokročilé inženýrské techniky a dobře navrženou, spolehlivou síťovou architekturu.
2.1 Trh s GPU / výpočetní sítě
Několik týmů Crypto AI se zaměřuje na budování decentralizovaných sítí, které využívají globální potenciální výpočetní výkon, aby vyřešily nedostatek GPU, který není schopen uspokojit poptávku.
Jádro hodnotové nabídky trhu s GPU má 3 aspekty:
Můžete získat výpočetní výkon za ceny "nižší o 90%" než AWS, což je způsobeno absencí prostředníků a otevřením nabídky. Z podstaty věci tyto trhy umožňují využívat nejnižší marginální náklady na výpočet na globální úrovni.
Větší flexibilita: žádné uzamčené smlouvy, žádné procesy KYC, žádné čekací doby.
Odolnost vůči cenzuře
Abychom vyřešili problémy nabídky na trhu, zdroje výpočetního výkonu pocházejí z:
Těžko dostupné podnikové GPU z malých a středních datových center (např. A100, H100), nebo těžaři bitcoinů, kteří hledají diverzifikaci. Vím také o několika týmech, které se věnují velkým infrastrukturním projektům financovaným vládou, ve kterých byly datové centrály postaveny jako součást technických růstových plánů. Tito poskytovatelé GPU jsou obvykle motivováni udržovat své GPU v síti, což jim pomáhá kompenzovat náklady na odpisy GPU.
Spotřebitelské GPU pro miliony hráčů a domácích uživatelů, kteří připojují počítače k síti výměnou za tokenové odměny.
Na druhou stranu, dnešní poptávka po decentralizovaných výpočtech přichází z:
Uživatelé citliví na cenu a necitliví na zpoždění. Tento segment trhu dává přednost ceně před rychlostí. Pomyslete na výzkumníky zkoumá nové oblasti, nezávislé vývojáře AI a další uživatele, kteří si více uvědomují náklady a nepotřebují zpracování v reálném čase. Mnozí z nich mohou být nespokojení s tradičními hyperskalárními servery (jako AWS nebo Azure) kvůli rozpočtovým omezením. Protože se rozprostírají široce v populaci, cílený marketing je klíčový pro přilákání této skupiny.
Malé startupy v oblasti AI, které čelí výzvě získat flexibilní a škálovatelné výpočetní zdroje bez uzavření dlouhodobých smluv s hlavními poskytovateli cloudových služeb. Rozvoj podnikání je zásadní pro přilákání tohoto segmentu trhu, protože aktivně hledají alternativy k hyperskalárnímu uzamčení.
Startupy Crypto AI, které budují decentralizované produkty umělé inteligence, ale nemají vlastní zdroje výpočetní síly, budou potřebovat využívat zdroje jedné z těchto sítí.
Cloudové hraní: I když není přímo poháněno AI, poptávka po GPU pro cloudové hraní stále roste.
Klíčovým bodem, který si pamatujte, je, že vývojáři vždy upřednostňují náklady a spolehlivost.
Skutečnou výzvou je poptávka, nikoli nabídka.
Startupy v této oblasti často považují velikost své sítě dodavatelů GPU za měřítko úspěchu. Ale to je klamné - je to maximálně měřítko marnosti.
Skutečným omezujícím faktorem není nabídka, ale poptávka. Klíčovým ukazatelem, který sleduji, není počet dostupných GPU, ale míra využití a počet skutečně pronajatých GPU.
Tokeny excelují v řízení nabídky, vytvářejí pobídky potřebné k rychlému rozšíření. Nicméně, v podstatě neřeší problém poptávky. Skutečná zkouška spočívá v dostání produktu do dostatečně dobrého stavu, aby splnil potenciální poptávku.
O tom dobře řekl Haseeb Qureshi (Dragonfly):
Aby výpočetní síť skutečně fungovala
Na rozdíl od běžného názoru je nyní největší překážkou, kterou čelí trh s distribuovanými GPU web3, dostat je do provozu.
To není triviální problém.
Koordinace GPU v distribuovaných sítích je velmi složitá a čelí mnoha výzvám - rozdělení zdrojů, dynamické rozšiřování pracovních zatížení, vyvažování zátěže mezi uzly a GPU, řízení zpoždění, přenos dat, odolnost vůči chybám a zpracování různých hardwarových zařízení rozptýlených po různých geografických lokalitách. Mohu pokračovat.
K dosažení tohoto cíle je třeba pečlivého inženýrského návrhu a spolehlivé, dobře navržené síťové architektury.
Abychom to lépe pochopili, pomyslete na Google Kubernetes. Je obecně považován za zlatý standard orchestraci kontejnerů, automatizaci procesů jako je vyvažování zátěže a škálování v distribuovaném prostředí, což se velmi podobá problémům, kterým čelí distribuované GPU sítě. Kubernetes byl sám o sobě vyvinut na základě více než desetiletých zkušeností Googlu a i tehdy vyžadoval roky neúnavné iterace, aby fungoval dobře.
Některé trhy s GPU, které jsou již v provozu, mohou zpracovávat malé pracovní zatížení, ale jakmile se pokusí škálovat, narazí na problémy. Myslím, že to je způsobeno špatným základním návrhem jejich architektury.
Další výzvou/příležitostí decentralizované výpočetní sítě je zajistit důvěryhodnost: ověřit, že každý uzel skutečně poskytuje výpočetní výkon, jaký tvrdí. V tuto chvíli to závisí na pověsti sítě, v některých případech jsou poskytovatelé výpočetní síly hodnoceni podle bodů reputace. Blockchain se zdá být vhodný pro systémy ověřování bez důvěry. Startupy jako Gensyn a Spheron se snaží tento problém řešit bez důvěryhodným způsobem.
Dnes se mnoho týmů web3 stále potýká s těmito výzvami, což znamená, že dveře k příležitostem jsou otevřené.
Velikost trhu decentralizovaných výpočtů
Jak velký je trh decentralizovaných výpočtů?
Dnes to může být pouze malá část cloudového průmyslu s hodnotou 680 miliard až 2,5 bilionu dolarů. Nicméně, i přes zvýšení tření pro uživatele, pokud jsou náklady nižší než u tradičních dodavatelů, vždy bude existovat poptávka.
Věřím, že díky dotacím tokenů a uvolnění nabídky pro uživatele necitlivé na cenu zůstanou náklady v krátkodobém a střednědobém horizontu na nízké úrovni (například pokud bych mohl pronajmout svůj herní notebook a vydělat tak další peníze, ať už 20 nebo 50 dolarů měsíčně, byl bych velmi spokojen).
Skutečný potenciál růstu decentralizovaných výpočtových sítí - a skutečné rozšíření jejich TAM - se projeví v následujících situacích:
Decentralizovaný trénink umělých inteligencí se stává praktickým.
Poptávka po odvozování prudce roste, stávající datová centra nejsou schopna tuto poptávku uspokojit. Tato situace už začíná být patrná. Jensen Huang uvedl, že poptávka po odvozování poroste "o miliardu procent".
Správné smlouvy o úrovni služeb (SLA) se stávají dostupnými, což řeší jednu z klíčových překážek pro přijetí v podnikání. V současnosti provoz decentralizovaných výpočtů dává uživatelům pocit různých úrovní kvality služeb (například podíl dostupnosti). S pomocí SLA mohou tyto sítě poskytovat standardizované ukazatele spolehlivosti a výkonu, což činí decentralizované výpočty životaschopnou alternativou k tradičním poskytovatelům cloudových služeb.
Decentralizované výpočty bez povolení jsou základní vrstvou decentralizovaného ekosystému umělé inteligence - infrastrukturou.
I přes neustálé rozšiřování dodavatelského řetězce GPU věřím, že jsme stále na počátku éry lidské inteligence. Poptávka po výpočetním výkonu bude nespokojená.
Je třeba věnovat pozornost možnému zvratu, který by mohl vyvolat nové ocenění celého trhu s GPU, a to brzy.
Další poznámky:
Čistý trh s GPU je přeplněný, mezi decentralizovanými platformami je silná konkurence a také se objevují nové cloudové služby AI web2 (jako vzestup Vast.ai a Lambda).
Dopyt po malých uzlech (např. 4 x H100) není velký, protože jejich využití je omezené, ale hodně štěstí při hledání někoho, kdo prodává velké shluky - stále mají určitou poptávku.
Bude dominantní hráč agregovat veškerou výpočetní sílu pro decentralizované protokoly, nebo zůstane rozptýlená napříč různými trhy? Mám tendenci věřit první možnosti, protože integrace obvykle zvyšuje efektivitu infrastruktury. Ale to zabere čas, zatímco rozdělení a chaos stále pokračují.
Vývojáři chtějí soustředit se na vývoj aplikací, nikoli na řešení nasazení a konfigurace. Trh musí tyto složitosti abstrahovat, aby byl přístup k výpočtům co nejméně třenic.
2.2 Decentralizovaný trénink
Pokud platí zákon o expanze, pak trénink příští generace špičkových modelů umělé inteligence v jediném datovém centru se jednoho dne stane nemožným.
Trénink AI modelů vyžaduje přenos velkého množství dat mezi GPU. Nižší rychlost přenosu dat (propojení) mezi distribuovanými GPU je obvykle největší překážkou.
Výzkumníci současně zkoumají různé metody a dosahují pokroků (například Open DiLoCo, DisTrO). Tyto pokroky se budou hromadit a urychlí pokrok v této oblasti.
Budoucnost decentralizovaného tréninku může být spojena s návrhem malých specializovaných modelů pro specifické aplikace, spíše než s velkými modely zaměřenými na AGI.
S přechodem k modelům jako OpenAI o1 bude poptávka po odvozování prudce růst, což vytvoří příležitosti pro decentralizované odvozovací sítě.
Představte si: obrovský, svět měnící model umělé inteligence, který není vyvinut v tajných elitních laboratořích, ale formován miliony obyčejných lidí. GPU hráčů obvykle vytvářejí scénické exploze (Call of Duty), a nyní půjčují svůj hardware pro něco mnohem většího - otevřený, kolektivně vlastněný model umělé inteligence bez centrálního dozoru.
V takové budoucnosti nebudou modely velikosti nadace omezeny jen na špičkové laboratoře umělé inteligence.
Ale pojďme zasadit tuto vizi do současné reality. V současnosti je většina těžkých tréninků umělé inteligence stále soustředěna v centralizovaných datových centrech, což může být nějakou dobu normou.
Firmy jako OpenAI rozšiřují své obrovské shluky. Elon Musk nedávno oznámil, že xAI brzy postaví datové centrum odpovídající 200 000 H100 GPU.
Ale to není jen o počtu GPU. Míra využití FLOPS modelu (MFU) je metrikou, kterou Google v roce 2022 představil ve své studii PaLM, která sleduje efektivitu využití maximální kapacity GPU. Překvapivě se MFU často pohybuje kolem 35-40%.
Proč je to tak nízké? Podle Mooreova zákona se výkon GPU v posledních několika letech náhle zvýšil, ale zlepšení v síti, paměti a úložišti zaostávalo, což vytvořilo úzké hrdlo. Proto GPU často čekají na data.
Dnešní trénink umělé inteligence je stále vysoce centralizovaný, a to kvůli jednomu slovu - efektivitě.
Trénink velkých modelů závisí na následujících technologiích:
Data paralelní: Rozdělení datového souboru napříč více GPU a paralelní provádění operací pro urychlení tréninkového procesu.
Modelová paralelnost: Rozložení částí modelu mezi více GPU, aby se obcházela omezení paměti.
Tyto metody vyžadují, aby GPU neustále vyměňovaly data, což činí rychlost propojení - rychlost, jakou se data přesouvají v síti mezi počítači - klíčovým faktorem.
V době, kdy náklady na trénink špičkových modelů umělé inteligence přesáhnou 1 miliardu dolarů, bude každé zvýšení efektivity velmi důležité.
Díky vysokorychlostnímu propojení mohou centralizovaná datová centra rychle přenášet data mezi GPU a ušetřit velké náklady v tréninkovém období, což decentralizované nastavení nemůže nabídnout.
Překonání pomalé rychlosti propojení
Pokud se bavíte s lidmi pracujícími v oblasti umělé inteligence, mnozí vám řeknou, že decentralizovaný trénink prostě nefunguje.
V decentralizovaném nastavení nejsou GPU shluky fyzicky součástí jednoho celku, a proto je přenos dat mezi nimi mnohem pomalejší, což se stává úzkým hrdlem. Trénink vyžaduje, aby GPU synchronizovaly a vyměňovaly data v každém kroku. Čím dál jsou od sebe, tím vyšší je zpoždění. Vyšší zpoždění znamená pomalejší trénink a vyšší náklady.
V centralizovaných datových centrech může trénink trvat několik dní, zatímco v decentralizovaných datových centrech může prodloužení trvat až dva týdny a náklady jsou mnohem vyšší. To není udržitelné.
Ale to se brzy změní.
Dobrou zprávou je, že se zvýšil zájem o výzkum distribuovaného trénování. Výzkumníci současně zkoumají různé metody, což dokazují četné výzkumy a publikované články. Tyto pokroky se budou hromadit a urychlí pokrok v této oblasti.
Toto se také týká testování v produkčním prostředí, abychom zjistili, do jaké míry jsme schopni překonat hranice.
Některé techniky decentralizovaného trénování již mohou zpracovávat menší modely v pomalém propojení. Nyní probíhá špičkový výzkum, který posouvá tyto metody na velké modely.
Například open-source DiCoLo od Prime Intellect ukazuje praktický přístup, který zahrnuje "ostrovy" GPU, které před synchronizací provádějí 500 lokálních kroků, což snižuje požadavky na šířku pásma o 500x. Počáteční výzkum Googlu DeepMind na malých modelech se během jednoho měsíce rozrostl na trénink modelu s 10 miliardami parametrů a dnes je zcela open-source.
Nous Research zvyšuje standardy pomocí svého rámce DisTrO, který využívá optimalizátory k trénování modelu s 1,2B parametry a zároveň snižuje požadavky na komunikaci mezi GPU o 10 000x, což je ohromující.
A tento trend se stále zvyšuje. V prosinci minulého roku Nous oznámil předtrénování modelu s 15B parametry, který dosahuje výsledků v oblasti křivky ztráty (jak se chyba modelu snižuje v průběhu času) a rychlosti konvergence (jak rychle se stabilizuje výkon modelu) srovnatelných s typickými výsledky centralizovaného trénování, ba dokonce i lepších. Ano, je to lepší než centralizované.
SWARM paralelismus a DTFMHE jsou dalšími různými metodami pro trénink velkých AI modelů napříč různými typy zařízení, i když mají různé rychlosti a úrovně připojení.
Správa různých typů GPU hardwaru je další velkou výzvou, včetně typických GPU pro spotřebitele s omezenou pamětí v decentralizované síti. Techniky jako modelová paralelnost (rozdělení vrstev modelu napříč zařízeními) mohou pomoci tento úkol zvládnout.
Budoucnost decentralizovaného tréninku
V současnosti se velikost modelů decentralizovaných tréninkových metod stále výrazně liší od špičkových modelů (hlásí se, že parametry GPT-4 se blíží trilionu, což je 100x více než model 10B Prime Intellect). Abychom dosáhli skutečného měřítka, musíme překonat překážky v architektuře modelu, lepší síťové infrastruktuře a inteligentnějším rozdělování úkolů napříč zařízeními.
Můžeme mít velké sny. Představte si svět, ve kterém je výpočetní síla GPU shromážděná decentralizovaným tréninkem dokonce větší než to, co může shromáždit největší centralizované datové centrum.
Pluralis Research (vysoce kvalifikovaný tým zaměřený na decentralizovaný trénink, který stojí za to sledovat) se domnívá, že to není pouze možné, ale nevyhnutelné. Centralizovaná datová centra jsou omezena fyzickými podmínkami, jako je prostor a dostupnost energie, zatímco decentralizované sítě mohou využívat skutečně neomezený globální pool zdrojů.
I Jensen Huang z NVIDIA uznal, že asynchronní decentralizovaný trénink by mohl uvolnit skutečný potenciál expanze AI. Distribuované tréninkové sítě jsou také více odolné vůči chybám.
Proto v jednom možném budoucím světě budou nejmocnější modely umělé inteligence trénovány decentralizovaným způsobem.
Je to vzrušující vyhlídka, ale zatím tomu úplně nevěřím. Potřebujeme silnější důkazy k prokázání, že decentralizovaný trénink největších modelů je technicky a ekonomicky proveditelný.
V tom vidím obrovskou naději: Nejlepší aspekt decentralizovaného trénování může spočívat v návrhu malých specializovaných open-source modelů pro konkrétní případy použití, namísto soutěže s obrovskými modely poháněnými AGI. Některé architektury, zejména netransformátorové modely, se ukázaly jako velmi vhodné pro decentralizované nastavení.
Tento hlavolam má ještě jednu část: tokeny. Jakmile se decentralizovaný trénink stane proveditelným na velkém měřítku, tokeny mohou hrát klíčovou roli v motivaci a odměňování přispěvatelů a efektivně řídit tyto sítě.
Cesta k dosažení této vize je stále dlouhá, ale pokrok je povzbudivý. Jak se velikost budoucích modelů bude zvyšovat nad kapacitu jednotlivých datových center, pokrok v decentralizovaném trénování bude prospívat všem, včetně velkých technologických společností a špičkových výzkumných laboratoří umělé inteligence.
Budoucnost je distribuovaná. Když má technologie tak široký potenciál, historie ukazuje, že se vždy dostane dál a rychleji, než si kdokoli dokáže představit.
2.3. Decentralizované odvozování
V současnosti je většina výpočetního výkonu umělé inteligence soustředěna na trénink velkých modelů. Špičkové laboratoře umělé inteligence se účastní závodu o to, kdo vyvine nejlepší základní model a nakonec dosáhne AGI.
Ale můj názor je: v následujících letech se tato pozornost zaměřená na trénink přesune k odvozování. Jak se umělá inteligence stále více integruje do aplikací, které denně používáme - od zdravotní péče po zábavu - množství výpočetních zdrojů potřebných na podporu odvozování bude ohromující.
To není jen odhad. Rozšíření výpočetního výkonu odvozování je posledním populárním pojmem v oblasti umělé inteligence. OpenAI nedávno uvolnila náhled/mini verzi svého nejnovějšího modelu 01 (kódové označení: Strawberry), je to významná změna? Je třeba si dát čas na zamyšlení, nejprve se ptát, jaké kroky bych měl podniknout k odpovědi na tuto otázku, a poté postupně přistoupit k realizaci.
Tento model byl navržen pro složitější úkoly, které vyžadují značné plánování, jako jsou křížovky, a pro otázky vyžadující hlubší odvozování. Všimnete si, že se zpomalil a potřebuje více času na generování odpovědí, ale výsledky jsou promyšlenější a podrobnější. Jeho provozní náklady jsou také mnohem vyšší (25x GPT-4).
Posun těžiště je jasný: další skok v výkonu umělé inteligence nepřijde pouze z trénování větších modelů, ale také z rozšiřování výpočetních aplikací během odvozování.
Pokud se chcete dozvědět více, některé výzkumné články naznačují:
Rozšíření výpočetního výkonu odvozování pomocí opakovaného vzorkování může přinést výrazné zlepšení mezi různými úkoly.
Existuje také rozšiřující indexový zákon pro odvozování.
Jakmile budou vytrénovány silné modely, jejich úkoly odvozování - to, co model dělá - mohou být přesunuty do decentralizované výpočetní sítě. To dává smysl, protože:
Na rozdíl od trénování vyžaduje odvozování mnohem méně zdrojů. Po trénování lze modely komprimovat a optimalizovat pomocí technik jako kvantizace, ořezávání nebo destilace. Mohou dokonce být rozloženy na běžné spotřebitelské zařízení. K podpoře odvozování nepotřebujete špičkový GPU.
To se již děje. Exo Labs již našlo způsob, jak běžet model Llama3 s 450B parametry na spotřebitelském hardwaru, jako jsou MacBook a Mac Mini. Distribuované odvozování napříč zařízeními může efektivně a ekonomicky zpracovávat velké pracovní zatížení.
Lepší uživatelský zážitek. Provozování výpočtů blíže k uživatelům může snížit zpoždění, což je kritické pro aplikace v reálném čase, jako jsou hry, AR nebo autonomní vozidla. Každá milisekunda je důležitá.
Představte si decentralizované odvozování jako CDN (síť pro distribuci obsahu) pro umělou inteligenci: decentralizované odvozování využívá místní výpočetní sílu k poskytování odpovědí umělé inteligence v rekordním čase, namísto rychlého poskytování webových stránek prostřednictvím připojení k blízkým serverům. Přijetím decentralizovaného odvozování se aplikace umělé inteligence stávají efektivnějšími, reagují rychleji a jsou spolehlivější.
Trendy jsou jasné. Nový M4 Pro čip od Apple soutěží s NVIDIA RTX 3070 Ti, která až donedávna byla doménou hardcore hráčů. Naše hardware se stále více stává schopným zpracovávat pokročilé pracovní zatížení umělé inteligence.
Přidaná hodnota Crypto
Aby decentralizovaná odvozovací síť uspěla, musí mít přesvědčivé ekonomické pobídky. Uzly v síti potřebují být kompenzovány za jejich příspěvek k výpočetnímu výkonu. Tento systém musí zajistit spravedlivé a efektivní rozdělení odměn. Geografická rozmanitost je nezbytná, protože může snížit zpoždění odvozovacích úkolů a zlepšit odolnost vůči chybám.
Jaký je nejlepší způsob, jak vybudovat decentralizovanou síť? Crypto.
Tokeny poskytují mocný mechanismus pro koordinaci zájmů účastníků a zajišťují, že každý usiluje o stejný cíl: rozšíření sítě a zvýšení hodnoty tokenů.
Tokeny také urychlily růst sítě. Pomohly vyřešit klasický problém slepé uličky tím, že odměnily prvotní uživatele a podporovaly zapojení od prvního dne.
Úspěch Bitcoinu a Etherea to potvrzuje - shromáždily největší pool výpočetního výkonu na planetě.
Decentralizované odvozovací sítě budou dalším krokem. Díky geografické rozmanitosti sníží zpoždění, zvýší odolnost vůči chybám a přiblíží umělou inteligenci uživatelům. Pod vlivem kryptografických pobídek se rozšíří rychleji a lépe než tradiční sítě.
(Pokračování příště, prosím, sledujte)