Web3-AI: What’s Real, and What’s Hype

CoinDesk · 2024-07-16T18:33:12.000Z

The Web3-AI space is one of the hottest in crypto, combining great promise with significant hype. It almost feels heretical to point out the number of Web3-AI projects with multi-billion dollar market caps but no practical use cases, driven purely by proxy narratives from the traditional AI market. Meanwhile, the gap in AI capabilities between Web2 and Web3 continues to widen alarmingly. However, Web3-AI is not all hype. Recent developments in the generative AI market highlight the value proposition of more decentralized approaches. Considering all these factors, we find ourselves in an overhyped and overfunded market that is disconnected from the state of the generative AI industry, yet capable of unlocking tremendous value for the next wave of generative AI. Feeling confused is understandable. If we step back from the hype and analyze the Web3-AI space through the lens of current requirements, clear areas emerge where Web3 can deliver substantial value. But this requires cutting through a dense reality distortion field. Web3-AI Reality Distortion As crypto natives, we tend to see the value of decentralization in everything. However, AI has evolved as an increasingly centralized force in terms of data and computation, so the value proposition of decentralized AI needs to start by countering that natural centralization force. When it comes to AI, there is an increasing mismatch between the value we perceive to be creating in Web3 and the needs of the AI market. The concerning reality is that the gap between Web2 and Web3 AI is widening rather than shrinking, driven fundamentally by three key factors: Limited AI Research Talent The number of AI researchers working in Web3 is in the low single-digits. This is hardly encouraging for those who claim that Web3 is the future of AI. Constrained Infrastructure We haven’t yet managed to get web apps to work properly with Web3 backends, so thinking about AI is a stretch, to say the least. Web3 infrastructure imposes computational constraints that are impractical for the lifecycle of generative AI solutions. Limited Models, Data, and Computational Resources Generative AI relies on three things: models, data and compute. None of the large frontier models are equipped to run on Web3 infrastructures; there is no foundation for large training datasets; and there is a massive quality gap between Web3 GPU clusters and those required for pretraining and fine-tuning foundation models. The difficult reality is that Web3 has been building a “poor man’s” version of AI, essentially trying to match the capabilities of Web2 AI but creating inferior versions. This reality starkly contrasts with the tremendous value proposition of decentralization in several areas of AI. To avoid making this analysis as an abstract thesis, let’s dive into different decentralized AI trends and evaluate them against their AI market potential. Read more: Jesus Rodriguez - Funding Open-Source Generative AI With Crypto The reality distortion in Web3-AI has led the initial wave of innovation and funding to focus on projects whose value propositions seem disconnected from the realities of the AI market. At the same time, there are other emerging areas in Web3-AI that hold tremendous potential. Some Overhyped Web3-AI Trends Decentralized GPU Infrastructure for Training and Fine-Tuning In the last few years, we have seen an explosion of decentralized GPU infrastructures with the promise of democratizing the pretraining and fine-tuning of foundation models. The idea is to enable an alternative to the GPU monopolization established by incumbent AI labs. The reality is that the pretraining and fine-tuning of large foundation models require large GPU clusters with super-fast communication buses connecting them. A pretraining cycle of a 50B-100B foundation model in a decentralized AI infrastructure could take over a year, if it works at all. ZK-AI Frameworks The idea of combining zero-knowledge (zk) computations and AI has sparked interesting concepts to enable privacy mechanisms in foundation models. Given the prominence of zk infrastructure in Web3, several frameworks promise to embed zk computation in foundation models. Although theoretically appealing, zk-AI models quickly encounter the challenge of being prohibitively expensive from a computational standpoint when applied to large models. Additionally, zk will limit aspects such as interpretability, which is one of the most promising areas in generative AI. Proof-Of-Inference Crypto is about cryptographic proofs, and sometimes these are attached to things that don’t need them. In the Web3-AI space, we see examples of frameworks issuing cryptographic proofs of specific model outputs. The challenges with these scenarios are not technological but market-related. Basically, proof-of-inference is somewhat of a solution looking for a problem and lacks any real use cases today. Some High Potential Web3-AI Trends Agents with Wallets Agentic workflows are one of the most interesting trends in generative AI and hold significant potential for crypto. By agents, we are referring to AI programs that can not only passively answer questions based on inputs, but also execute actions against a given environment. While most autonomous agents are created for isolated use cases, we are seeing the rapid emergence of multi-agent environments and collaboration. This is an area where crypto can unlock tremendous value. For instance, imagine a scenario where an agent needs to hire other agents to complete a task or stake some value to vouch for the quality of its outputs. Provisioning agents with financial primitives in the form of crypto rails unlocks many use cases for agentic collaboration. Crypto Funding for AI One of the best-known secrets in generative AI is that the open-source AI space is undergoing a tremendous funding crunch. Most open-source AI labs can’t afford to work on large models anymore and instead are focusing on other areas that don’t require massive amounts of compute access and data. Crypto is extremely efficient at capital formation with mechanisms such as airdrops, incentives or even points. The concept of crypto funding rails for open-source generative AI is one of the most promising areas at the intersection of these two trends. Small Foundation Models Last year, Microsoft coined the term small language model (SLM) after the release of its Phi model, which, with less than 2B parameters, was able to outperform much larger LLMs in computer science and math tasks. Small foundation models – think 1B-5B parameters – are a key requirement for the viability of decentralized AI and unlock promising scenarios for on-device AI. Decentralizing multi-hundred-billion-parameter models is nearly impossible today and will remain so for a while. However, small foundation models should be able to run on many of today’s Web3 infrastructures. Pushing the SLM agenda is essential for building real value with Web3 and AI. Synthetic Data Generation Data scarcity is one of the biggest challenges with this latest generation of foundation models. As a result, there is an increasing level of research focused on synthetic data generation mechanisms using foundation models that can complement real-world datasets. The mechanics of crypto networks and token incentives can ideally coordinate a large number of parties to collaborate in creating new synthetic datasets. Other Relevant Web3-AI Trends There are several other interesting Web3-AI trends with significant potential. Proof-of-Human outputs is becoming increasingly relevant given the challenges with AI-generated content. Evaluation and benchmarking is an AI segment in which the trust and transparency capabilities of Web3 can shine. Human-centric fine-tuning, such as reinforcement learning with human feedback (RLHF), is also an interesting scenario for Web3 networks. Other scenarios are likely to emerge as generative AI continues to evolve and Web3-AI capabilities mature. The need for more decentralized AI capabilities is very real. While the Web3 industry might not yet be in a position to rival the value created by the AI mega models, it can unlock real value for the generative AI space. The biggest challenge for the evolution of Web3-AI might be overcoming its own reality distortion field. There is plenty of value in Web3-AI; we just need to focus on building real things. Note: The views expressed in this column are those of the author and do not necessarily reflect those of CoinDesk, Inc. or its owners and affiliates.

Przestrzeń Web3-AI jest jedną z najgorętszych w branży kryptowalut, łącząc w sobie wielką obietnicę ze znaczącym szumem. Wskazywanie liczby projektów Web3-AI o wielomiliardowych kapitalizacjach rynkowych, ale bez praktycznych zastosowań, opartych wyłącznie na narracjach zastępczych z tradycyjnego rynku sztucznej inteligencji, wydaje się niemal herezją. Tymczasem luka w możliwościach sztucznej inteligencji między Web2 i Web3 w dalszym ciągu niepokojąco się powiększa. Jednak Web3-AI to nie tylko szum. Ostatnie zmiany na rynku generatywnej sztucznej inteligencji podkreślają wartość, jaką oferują bardziej zdecentralizowane podejścia.
Biorąc pod uwagę wszystkie te czynniki, znaleźliśmy się na przereklamowanym i przefinansowanym rynku, który jest odłączony od stanu branży generatywnej sztucznej inteligencji, a jednocześnie jest w stanie uwolnić ogromną wartość dla następnej fali generatywnej sztucznej inteligencji. Poczucie zagubienia jest zrozumiałe. Jeśli odsuniemy się od szumu i przeanalizujemy przestrzeń Web3-AI przez pryzmat bieżących wymagań, pojawią się jasne obszary, w których Web3 może wnieść znaczną wartość. Wymaga to jednak przecięcia gęstego pola zniekształceń rzeczywistości.
Zniekształcenie rzeczywistości Web3-AI
Jako zwolennicy kryptowalut zwykle dostrzegamy wartość decentralizacji we wszystkim. Sztuczna inteligencja ewoluowała jednak jako siła coraz bardziej scentralizowana pod względem danych i obliczeń, dlatego też proponowanie wartości zdecentralizowanej sztucznej inteligencji musi zacząć się od przeciwstawienia się tej naturalnej sile centralizacji.
Jeśli chodzi o sztuczną inteligencję, istnieje coraz większy rozdźwięk między wartością, którą postrzegamy jako kreowaną w Web3, a potrzebami rynku sztucznej inteligencji. Niepokojąca rzeczywistość jest taka, że ​​przepaść między sztuczną inteligencją Web2 i Web3 raczej się powiększa, niż kurczy, na co wpływają zasadniczo trzy kluczowe czynniki:
Ograniczony talent badawczy AI
Liczba badaczy sztucznej inteligencji pracujących w Web3 jest niewielka, jednocyfrowa. Nie jest to zachęcające dla tych, którzy twierdzą, że Web3 jest przyszłością sztucznej inteligencji.
Ograniczona infrastruktura
Nie udało nam się jeszcze sprawić, aby aplikacje internetowe działały poprawnie z backendami Web3, więc myślenie o sztucznej inteligencji jest, delikatnie mówiąc, naciągane. Infrastruktura Web3 nakłada ograniczenia obliczeniowe, które są niepraktyczne w cyklu życia generatywnych rozwiązań AI.
Ograniczone modele, dane i zasoby obliczeniowe
Generatywna sztuczna inteligencja opiera się na trzech rzeczach: modelach, danych i obliczeniach. Żaden z dużych modeli pionierskich nie jest przystosowany do pracy w infrastrukturze Web3; nie ma podstaw dla dużych zbiorów danych szkoleniowych; istnieje także ogromna różnica w jakości pomiędzy klastrami procesorów graficznych Web3 a klastrami wymaganymi do wstępnego uczenia i dostrajania podstawowych modeli.
Trudna rzeczywistość jest taka, że ​​Web3 tworzy wersję AI „dla biednych”, zasadniczo próbując dorównać możliwościom AI Web2, ale tworząc gorsze wersje. Rzeczywistość ta wyraźnie kontrastuje z ogromną wartością, jaką oferuje decentralizacja w kilku obszarach sztucznej inteligencji.
Aby uniknąć traktowania tej analizy jako abstrakcyjnej tezy, przyjrzyjmy się różnym trendom w zakresie zdecentralizowanej sztucznej inteligencji i oceńmy je pod kątem ich potencjału rynkowego w zakresie sztucznej inteligencji.
Przeczytaj więcej: Jesus Rodriguez – Finansowanie generatywnej sztucznej inteligencji typu open source za pomocą kryptowalut
Zniekształcenie rzeczywistości w Web3-AI spowodowało, że początkowa fala innowacji i finansowania skupiła się na projektach, których propozycje wartości wydają się oderwane od realiów rynku sztucznej inteligencji. Jednocześnie istnieją inne wschodzące obszary Web3-AI, które mają ogromny potencjał.
Niektóre przesadne trendy Web3-AI
Zdecentralizowana infrastruktura GPU do szkolenia i dostrajania
W ciągu ostatnich kilku lat byliśmy świadkami eksplozji zdecentralizowanych infrastruktur GPU, obiecującej demokratyzację wstępnego uczenia i dostrajania podstawowych modeli. Pomysł polega na umożliwieniu alternatywy dla monopolizacji GPU ustanowionej przez zasiedziałe laboratoria AI. Rzeczywistość jest taka, że ​​wstępne uczenie i dostrajanie dużych modeli podstawowych wymaga dużych klastrów GPU z łączącymi je superszybkimi magistralami komunikacyjnymi. Cykl wstępnego szkolenia podstawowego modelu 50B-100B w zdecentralizowanej infrastrukturze AI może zająć ponad rok, jeśli w ogóle zadziała.
Ramy ZK-AI
Pomysł połączenia obliczeń o wiedzy zerowej (zk) i sztucznej inteligencji zrodził ciekawe koncepcje umożliwiające wprowadzenie mechanizmów prywatności w podstawowych modelach. Biorąc pod uwagę znaczenie infrastruktury zk w Web3, kilka frameworków obiecuje osadzić obliczenia zk w modelach podstawowych. Chociaż teoretycznie atrakcyjne, modele ZK-AI szybko napotykają wyzwanie polegające na tym, że są zbyt drogie z obliczeniowego punktu widzenia, gdy są stosowane w dużych modelach. Dodatkowo zk ograniczy takie aspekty, jak interpretowalność, która jest jednym z najbardziej obiecujących obszarów generatywnej sztucznej inteligencji.
Dowód wnioskowania
Krypto dotyczy dowodów kryptograficznych, które czasami są dołączane do rzeczy, które ich nie potrzebują. W przestrzeni Web3-AI widzimy przykłady frameworków wystawiających dowody kryptograficzne wyników określonych modeli. Wyzwania związane z tymi scenariuszami nie są technologiczne, ale związane z rynkiem. Zasadniczo dowód wnioskowania jest w pewnym sensie rozwiązaniem szukającym problemu i obecnie nie ma żadnych rzeczywistych przypadków użycia.
Niektóre trendy Web3-AI o wysokim potencjale
Agenci z portfelami
Agentyczne przepływy pracy są jednym z najciekawszych trendów w generatywnej sztucznej inteligencji i posiadają znaczny potencjał dla kryptowalut. Przez agentów rozumiemy programy AI, które mogą nie tylko pasywnie odpowiadać na pytania w oparciu o dane wejściowe, ale także wykonywać działania wobec danego środowiska. Chociaż większość agentów autonomicznych jest tworzona do izolowanych przypadków użycia, obserwujemy szybkie pojawienie się środowisk wieloagentowych i współpracy.
Jest to obszar, w którym kryptowaluty mogą odblokować ogromną wartość. Wyobraźmy sobie na przykład scenariusz, w którym agent musi zatrudnić innych agentów do wykonania zadania lub postawić pewną wartość, aby ręczyć za jakość swoich wyników. Zaopatrzenie agentów w prymitywne narzędzia finansowe w postaci szyn kryptograficznych otwiera wiele przypadków użycia współpracy agentowej.
Finansowanie kryptowalut dla sztucznej inteligencji
Jedną z najbardziej znanych tajemnic generatywnej sztucznej inteligencji jest to, że przestrzeń sztucznej inteligencji typu open source przechodzi ogromny kryzys finansowy. Większość laboratoriów zajmujących się sztuczną inteligencją typu open source nie może już sobie pozwolić na pracę nad dużymi modelami i zamiast tego koncentruje się na innych obszarach, które nie wymagają ogromnych ilości dostępu do obliczeń i danych. Krypto jest niezwykle skuteczne w tworzeniu kapitału dzięki mechanizmom takim jak zrzuty, zachęty, a nawet punkty. Koncepcja szyn finansowania kryptowalut dla generatywnej sztucznej inteligencji typu open source jest jednym z najbardziej obiecujących obszarów na przecięciu tych dwóch trendów.
Małe modele fundamentów
W zeszłym roku firma Microsoft ukuła termin model małego języka (SLM) po wydaniu modelu Phi, który przy parametrach mniejszych niż 2B był w stanie przewyższyć znacznie większe modele LLM w zadaniach informatycznych i matematycznych. Małe modele podstawowe – pomyśl o parametrach 1B–5B – są kluczowym wymogiem zapewniającym rentowność zdecentralizowanej sztucznej inteligencji i otwierają obiecujące scenariusze dla sztucznej inteligencji na urządzeniach. Decentralizacja modeli obejmujących wieleset miliardów parametrów jest dziś prawie niemożliwa i jeszcze przez jakiś czas tak pozostanie. Jednak małe modele podstawowe powinny móc działać w wielu współczesnych infrastrukturach Web3. Promowanie programu SLM jest niezbędne do budowania prawdziwej wartości dzięki Web3 i sztucznej inteligencji.
Generacja danych syntetycznych
Niedobór danych jest jednym z największych wyzwań w przypadku najnowszej generacji modeli podstawowych. W rezultacie wzrasta poziom badań skupiających się na syntetycznych mechanizmach generowania danych z wykorzystaniem modeli podstawowych, które mogą uzupełniać zbiory danych ze świata rzeczywistego. Mechanika sieci kryptograficznych i zachęty związane z tokenami mogą idealnie koordynować dużą liczbę stron w celu współpracy przy tworzeniu nowych syntetycznych zbiorów danych.
Inne istotne trendy Web3-AI
Istnieje kilka innych interesujących trendów Web3-AI o znacznym potencjale. Dane wyjściowe typu „Proof-of-Human” stają się coraz bardziej istotne, biorąc pod uwagę wyzwania związane z treściami generowanymi przez sztuczną inteligencję. Ocena i benchmarking to segment sztucznej inteligencji, w którym może zabłysnąć zaufanie i przejrzystość Web3. Dostrajanie skoncentrowane na człowieku, takie jak uczenie się przez wzmacnianie za pomocą informacji zwrotnej od człowieka (RLHF), jest również interesującym scenariuszem dla sieci Web3. Inne scenariusze prawdopodobnie pojawią się w miarę ewolucji generatywnej sztucznej inteligencji i dojrzewania możliwości Web3-AI.
Potrzeba bardziej zdecentralizowanych możliwości sztucznej inteligencji jest bardzo realna. Chociaż branża Web3 może nie być jeszcze w stanie konkurować z wartością tworzoną przez mega modele AI, może odblokować prawdziwą wartość dla generatywnej przestrzeni AI. Największym wyzwaniem dla ewolucji Web3-AI może być przezwyciężenie własnego pola zniekształceń rzeczywistości. Web3-AI ma mnóstwo wartości; musimy się po prostu skupić na budowaniu prawdziwych rzeczy.
Uwaga: poglądy wyrażone w tej kolumnie są poglądami autora i niekoniecznie odzwierciedlają poglądy CoinDesk, Inc. lub jej właścicieli i podmiotów stowarzyszonych.

Odkryj więcej od twórcy

Najnowsze wiadomości