Сценарист: Эд Роман, управляющий партнер Hack VC

Составлено: 1912212.eth, Новости Форсайта.

AI+ Crypto — это одна из передовых областей, которая в последнее время привлекла большое внимание на рынке криптовалют, например, децентрализованное обучение искусственному интеллекту, графические процессоры DePIN и модели искусственного интеллекта, устойчивые к цензуре.

За этими ошеломляющими достижениями мы не можем не задаться вопросом: это настоящий технологический прорыв или просто горячая тема? Эта статья прояснит для вас туман, проанализирует видение шифрования x ИИ, обсудит реальные проблемы и возможности, а также покажет, какие из них являются пустыми обещаниями, а какие действительно осуществимы?

Видение № 1: Децентрализованное обучение искусственному интеллекту

Проблема с обучением искусственного интеллекта в сети заключается в том, что оно требует высокоскоростной связи и координации между графическими процессорами, поскольку нейронные сети требуют обратного распространения ошибки при обучении. У Nvidia для этого есть две инновации (NVLink и InfiniBand). Эти технологии делают связь с графическим процессором сверхбыстрой, но это локальные технологии, которые работают только на кластерах графических процессоров (скорости более 50 гигабит), расположенных в одном центре обработки данных.

Если будет введена децентрализованная сеть, скорость внезапно замедлится на несколько порядков из-за увеличения задержки и пропускной способности сети. По сравнению с пропускной способностью, которую вы можете получить от высокоскоростного соединения Nvidia в центре обработки данных, такая скорость просто невозможна для сценариев использования ИИ.

Обратите внимание, что ниже приведены также нововведения, которые могут дать надежду на будущее:

• Распределенное обучение InfiniBand происходит в больших масштабах, поскольку сама NVIDIA поддерживает распределенное неродное обучение InfiniBand через библиотеку коллективных коммуникаций NVIDIA. Однако он все еще находится на начальной стадии, поэтому показатели внедрения еще предстоит определить. Узкое место физических законов на расстоянии все еще существует, поэтому локальное обучение с помощью InfiniBand по-прежнему происходит намного быстрее.

• Было опубликовано несколько новых исследований децентрализованного обучения, которое требует меньше времени на синхронизацию связи, что может сделать децентрализованное обучение более практичным в будущем.

• Интеллектуальное сегментирование и планирование обучения модели помогают повысить производительность. Аналогично, новые модели архитектуры могут быть специально разработаны для будущих распределенных инфраструктур (Gensyn проводит исследования в этих областях).

Часть обучения, связанная с данными, также является сложной задачей. Любой процесс обучения ИИ предполагает обработку больших объемов данных. Обычно модели обучаются на централизованных безопасных системах хранения данных с высокой масштабируемостью и производительностью. Для этого требуется передача и обработка терабайтов данных, и это не разовый цикл. Данные часто зашумлены и содержат ошибки, поэтому перед обучением модели их необходимо очистить и преобразовать в удобный формат. Этот этап включает в себя повторяющиеся задачи по стандартизации, фильтрации и обработке пропущенных значений. Все они сталкиваются с серьезными проблемами в децентрализованной среде.

Часть обучающих данных также является итеративной, что несовместимо с Web3. OpenAI прошел тысячи итераций, чтобы достичь своих результатов. Самые основные сценарии задач для специалиста по данным в команде ИИ включают определение целей, подготовку данных, анализ и обработку данных для извлечения важной информации и подготовку их к моделированию. Затем разработайте модель машинного обучения для решения поставленной проблемы и проверьте ее производительность с помощью набора тестовых данных. Процесс является итеративным: если текущая модель не работает должным образом, эксперты возвращаются к этапам сбора данных или обучения модели, чтобы улучшить результаты. Представьте себе, что если бы этот процесс осуществлялся в децентрализованной среде, самым продвинутым существующим фреймворкам и инструментам было бы нелегко адаптироваться в Web3.

Еще одна проблема с обучением моделей ИИ в сети заключается в том, что рынок гораздо менее интересен, чем логический вывод. В настоящее время обучение крупномасштабных языковых моделей искусственного интеллекта требует большого количества вычислительных ресурсов графического процессора. В долгосрочной перспективе логический вывод станет основным вариантом использования графических процессоров. Только представьте, сколько крупных языковых моделей ИИ необходимо обучить, чтобы удовлетворить глобальный спрос. Что больше по сравнению с количеством клиентов, использующих эти модели?

Предположение № 2. Используйте чрезмерно избыточные вычисления вывода ИИ для достижения консенсуса.

Еще одна проблема, связанная с криптографией и ИИ, — это проверка точности вывода ИИ, поскольку вы не можете полностью доверять одной централизованной стороне для выполнения операций вывода, и существует потенциальный риск того, что узлы могут вести себя ненадлежащим образом. Эта проблема не существует в Web2 AI, поскольку не существует децентрализованной консенсусной системы.

Решением являются избыточные вычисления, позволяющие нескольким узлам повторять одни и те же операции вывода ИИ, которые могут выполняться в среде, не требующей доверия, и избегать единых точек отказа.

Однако проблема с этим подходом заключается в крайней нехватке высокопроизводительных чипов искусственного интеллекта. Годовое ожидание высокопроизводительных чипов NVIDIA приводит к росту цен. Если вам требуется многократное повторное выполнение вывода ИИ на нескольких узлах, это становится экспоненциально дороже, что делает его невозможным для многих проектов.

Допущение №3: Ближайшие сценарии использования искусственного интеллекта, специфичные для Web3

Было предложено, чтобы у Web3 были свои собственные уникальные варианты использования искусственного интеллекта, специально предназначенные для клиентов Web3. Это может быть (например) протокол Web3, который использует ИИ для оценки риска пулов DeFi, кошелек Web3, который предлагает пользователям новые протоколы на основе истории кошелька, или игру Web3, которая использует ИИ для управления неигровыми персонажами (NPC).

На данный момент это зарождающийся рынок (в краткосрочной перспективе), варианты использования которого все еще изучаются. Некоторые проблемы включают в себя:

• Поскольку рыночный спрос все еще находится в зачаточном состоянии, для собственных сценариев использования Web3 требуется меньше потенциальных сделок с ИИ.

• Клиентов меньше, на порядки меньше клиентов Web3 по сравнению с клиентами Web2, поэтому рынок менее децентрализован.

• Сами клиенты менее стабильны, потому что это стартапы с меньшим финансированием, а некоторые стартапы со временем могут вымереть. А поставщикам услуг искусственного интеллекта Web3, которые обслуживают клиентов Web3, возможно, придется восстановить часть своей клиентской базы, чтобы заменить исчезнувших, что чрезвычайно затрудняет масштабирование их бизнеса.

В долгосрочной перспективе мы очень оптимистичны в отношении вариантов использования искусственного интеллекта, нативного для Web3, особенно с учетом того, что агенты искусственного интеллекта становятся все более распространенными. Мы предполагаем, что в будущем у любого пользователя Web3 будет большое количество агентов ИИ, которые помогут ему выполнять свои задачи.

Видение № 4: DePIN потребительского графического процессора

Существует множество децентрализованных вычислительных сетей искусственного интеллекта, которые полагаются на потребительские графические процессоры, а не на центры обработки данных. Потребительские графические процессоры идеально подходят для задач логического вывода ИИ низкого уровня или для потребительских случаев использования, когда задержка, пропускная способность и надежность являются гибкими. Но для серьезных корпоративных случаев использования (а это большая часть рынка, которая имеет значение) клиентам требуются сети более высокой надежности, чем домашние машины, и часто более высокопроизводительные графические процессоры, если перед ними стоят более сложные задачи вывода. Центры обработки данных лучше подходят для этих более ценных сценариев использования клиентами.

Обратите внимание, что мы рассматриваем графические процессоры потребительского уровня, подходящие для демонстраций, а также для частных лиц и стартапов, которые могут мириться с более низкой надежностью. Но эти клиенты менее ценны, поэтому мы считаем, что DePIN, настроенные специально для предприятий Web2, в долгосрочной перспективе будут более ценными. В результате проект GPU DePIN на первых порах превратился из преимущественно аппаратного обеспечения потребительского уровня в A100/H100 и доступность на уровне кластера.

Реальность – практические примеры использования криптовалюты x AI

Теперь мы обсудим варианты использования, которые приносят реальную выгоду. Это настоящие победы, и Crypto x AI может принести очевидную пользу.

Реальная выгода №1: обслуживание клиентов Web2

По оценкам McKinsey, в 63 проанализированных вариантах использования генеративный искусственный интеллект может принести ежегодный доход от $2,6 до $4,4 трлн — по сравнению с общим ВВП Великобритании в 2021 году, составляющим $3,1 трлн. Это увеличит влияние ИИ на 15–40%. Если мы примем во внимание влияние генеративного ИИ, встроенного в программное обеспечение, которое в настоящее время используется для задач, отличных от сценариев использования, влияние оценивается примерно вдвое.

Если вы посчитаете на основе приведенных выше оценок, это означает, что общая глобальная рыночная стоимость ИИ (помимо генеративного ИИ) может составлять десятки триллионов долларов. Для сравнения, общая стоимость всех криптовалют (включая Биткойн и все альткойны) сегодня составляет всего около 2,7 триллиона долларов. Итак, давайте посмотрим правде в глаза: подавляющее большинство клиентов, которым понадобится ИИ в краткосрочной перспективе, будут клиентами Web2, потому что клиенты Web3, которым действительно нужен ИИ, составят лишь небольшую часть этих 2,7 триллионов долларов (учитывая, что BTC — это рынок, а сам Биткойн — это рынок). не требует/использует ИИ).

Варианты использования искусственного интеллекта Web3 только начинаются, и неясно, насколько большим будет рынок. Но одно можно сказать наверняка: в обозримом будущем на него будет приходиться лишь небольшая часть рынка Web2. Мы считаем, что у Web3 AI по-прежнему светлое будущее, но это означает лишь то, что самое мощное приложение Web3 AI сейчас обслуживает клиентов Web2.

Гипотетические примеры клиентов Web2, которые могли бы получить выгоду от искусственного интеллекта Web3, включают:

• Создайте с нуля вертикальную компанию по разработке программного обеспечения, ориентированную на искусственный интеллект (например, Cedar.ai или Observe.ai).

• Крупные предприятия, которые настраивают модели для своих целей (например, Netflix)

• Быстрорастущие поставщики ИИ (например, Anthropic)

• Компании-разработчики программного обеспечения, интегрирующие ИИ в существующие продукты (например, Canva)

Это относительно стабильная роль клиента, поскольку клиенты обычно крупные и ценные. Они вряд ли обанкротятся в ближайшее время, и представляют собой огромных потенциальных клиентов для услуг искусственного интеллекта. Службы искусственного интеллекта Web3, обслуживающие клиентов Web2, выиграют от этой стабильной клиентской базы.

Но почему клиенты Web2 хотят использовать стек Web3? Оставшаяся часть статьи объясняет эту ситуацию.

Реальное преимущество № 2: снижение затрат на использование графического процессора с помощью GPU DePIN.

GPU DePIN объединяет недостаточно используемые вычислительные мощности графических процессоров, наиболее надежные из которых поступают из центров обработки данных, и делает их доступными для вывода ИИ. Простая аналогия этой проблемы — «Airbnb в графических процессорах».

Причина, по которой мы воодушевлены графическим процессором DePIN, заключается в том, что, как упоминалось выше, существует нехватка чипов NVIDIA, и в настоящее время существуют неиспользуемые циклы графического процессора, которые можно использовать для вывода ИИ. Эти владельцы оборудования несут невозвратные затраты и в настоящее время недостаточно используют оборудование, поэтому эти частичные графические процессоры могут быть доступны по гораздо более низкой цене, чем статус-кво, потому что это фактически «находит деньги» для владельца оборудования.

Примеры включают в себя:

• Машина АВС. Если бы вы арендовали H100 у AWS сегодня, вам пришлось бы заключить договор аренды сроком на 1 год, поскольку предложение на рынке ограничено. Это создает потери, поскольку вы, вероятно, не будете использовать графический процессор 7 дней в неделю, 365 дней в году.

• Оборудование для майнинга Filecoin. Filecoin имеет большое субсидируемое предложение, но не большой реальный спрос. Filecoin так и не нашел истинного соответствия рынку, поэтому майнеры Filecoin рисковали выйти из бизнеса. Эти машины оснащены графическими процессорами, которые можно перепрофилировать для простых задач вывода ИИ.

• Оборудование для майнинга ETH. Когда Ethereum переходит от PoW к PoS, это быстро освобождает много оборудования, которое можно перепрофилировать для вывода ИИ.

Обратите внимание, что не все аппаратные средства графического процессора подходят для вывода ИИ. Одна из очевидных причин этого заключается в том, что старые графические процессоры не имеют такого объема памяти, необходимого для LLM, хотя уже есть некоторые интересные инновации, которые могут помочь в этом отношении. Например, технология Exabits может загружать активные нейроны в память графического процессора, а неактивные нейроны — в память процессора. Они предсказывают, какие нейроны должны быть активными/неактивными. Это позволяет низкопроизводительным графическим процессорам обрабатывать рабочие нагрузки искусственного интеллекта даже при ограниченной памяти графического процессора. Это фактически делает низкопроизводительные графические процессоры более полезными для вывода ИИ.

Web3 AI DePIN необходимо будет со временем развивать свой продукт и предоставлять услуги корпоративного уровня, такие как единый вход, соответствие SOC 2, соглашения об уровне обслуживания (SLA) и многое другое. Это похоже на то, что нынешние поставщики облачных услуг предлагают клиентам Web2.

Реальное преимущество №3: модели, устойчивые к цензуре, позволяющие избежать самоцензуры OpenAI

Существует много дискуссий о цензуре ИИ. Турция, например, временно запретила OpenAI (позже они изменили свой подход, когда OpenAI улучшила соответствие требованиям). Мы считаем, что цензура на национальном уровне неинтересна, поскольку странам необходимо внедрить ИИ, чтобы оставаться конкурентоспособными.

OpenAI также проводит самоцензуру. Например, OpenAI не будет обрабатывать контент NSFW. OpenAI также не будет предсказывать следующие президентские выборы. Мы считаем, что варианты использования ИИ не только интересны, но и представляют собой огромный рынок, к которому OpenAI не будет прикасаться по политическим причинам.

Открытый исходный код — отличное решение, поскольку на репозитории Github не влияют акционеры или совет директоров. Одним из примеров является Venice.ai, который обещает конфиденциальность и работает без цензуры. ИИ Web3 может эффективно вывести его на новый уровень, задействовав эти модели программного обеспечения с открытым исходным кодом (OSS) на недорогих кластерах графических процессоров для выполнения логических выводов. Именно по этим причинам мы считаем, что OSS + Web3 — идеальная комбинация, которая проложит путь к устойчивому к цензуре искусственному интеллекту.

Реальное преимущество № 4: избегайте отправки личной информации в OpenAI.

Крупные предприятия обеспокоены конфиденциальностью своих внутренних данных. Для этих клиентов может быть сложно доверить владение этими данными третьей стороне OpenAI.

В Web3 компаниям (на первый взгляд) может показаться еще более тревожным тот факт, что их внутренние данные внезапно появляются в децентрализованной сети. Однако есть инновации в технологиях повышения конфиденциальности для ИИ:

Доверенная среда выполнения (TEE), такая как Super Protocol

Полностью гомоморфное шифрование (FHE), такое как Fhenix.io (портфельная компания фонда, управляемого Hack VC) или Inco Network (обе основаны на Zama.ai), а также PPML от Bagel.

Эти технологии все еще развиваются, и производительность продолжает улучшаться с появлением новых ASIC Zero Knowledge (ZK) и FHE. Но долгосрочная цель — защитить корпоративные данные и одновременно оптимизировать модель. По мере появления этих протоколов Web3 может стать еще более привлекательным местом для вычислений с использованием искусственного интеллекта, сохраняющих конфиденциальность.

Реальная выгода №5: используйте последние инновации в модели с открытым исходным кодом.

Программное обеспечение с открытым исходным кодом за последние несколько десятилетий отняло долю рынка проприетарного программного обеспечения. Мы рассматриваем LLM как некую форму проприетарного программного обеспечения, способного разрушить OSS. Яркими примерами претендентов являются Llama, RWKV и Mistral.ai. Этот список, несомненно, со временем будет расширяться (более полный список можно найти на Openrouter.ai). Используя искусственный интеллект Web3 (на базе моделей OSS), люди могут внедрять инновации с помощью этих инноваций.

Мы считаем, что со временем глобальная рабочая сила, занимающаяся разработкой открытого исходного кода, в сочетании со стимулами в отношении криптовалюты может стимулировать быстрые инновации в моделях с открытым исходным кодом, а также в агентах и ​​платформах, построенных на их основе. Примером протокола агента ИИ является Theoriq. Theoriq использует модели OSS для создания взаимосвязанной сети составных агентов ИИ, которые можно собирать для создания решений ИИ более высокого уровня.

Причина, по которой мы в этом уверены, заключается в том, что в прошлом большинство инноваций в области «программного обеспечения для разработчиков» со временем постепенно вытеснялись OSS. Microsoft когда-то была компанией, производящей проприетарное программное обеспечение, а теперь она является компанией №1, вносящей вклад в Github. Для этого есть причина: если вы посмотрите, как Databricks, PostGresSQL, MongoDB и другие разрушают проприетарные базы данных, это пример того, как OSS разрушает всю отрасль, поэтому прецедент здесь довольно убедительный.

Однако есть проблема. Одна сложность в моделях больших языков с открытым исходным кодом (OSS LLM) заключается в том, что OpenAI начала заключать соглашения о платном лицензировании данных с некоторыми организациями, такими как Reddit и New York Times. Если эта тенденция сохранится, моделям большого языка с открытым исходным кодом может стать труднее конкурировать из-за финансовых барьеров для получения данных. Nvidia может еще больше увеличить свои инвестиции в конфиденциальные вычисления, чтобы обеспечить безопасный обмен данными. Время покажет, как это будет происходить.

Реальное преимущество №6: Консенсус посредством экономичной случайной выборки или с помощью ZK-доказательств

Одной из проблем вывода ИИ Web3 является проверка. Предполагается, что валидаторы имеют возможность обманывать свои результаты, чтобы заработать комиссию, поэтому проверка выводов является важной мерой. Обратите внимание, что такого мошенничества на самом деле еще не произошло, поскольку вывод ИИ находится в зачаточном состоянии, но он неизбежен, если не будут приняты меры по ограничению такого поведения.

Стандартный подход Web3 заключается в том, чтобы несколько валидаторов повторяли одну и ту же операцию и сравнивали результаты. Как упоминалось ранее, очевидная проблема в этой проблеме заключается в том, что вывод ИИ обходится очень дорого из-за текущей нехватки высокопроизводительных чипов Nvidia. Учитывая, что Web3 может обеспечить более дешевый вывод за счет недостаточно используемого DePIN графического процессора, избыточные вычисления серьезно ослабят ценностное предложение Web3.

Более многообещающее решение — выполнить доказательства ZK для вычислений вывода ИИ вне цепочки. В этом случае можно проверить краткие доказательства ZK, чтобы определить, была ли модель обучена правильно или правильно ли был выполнен вывод (так называемый zkML). Примеры включают Modulus Labs и ZKonduit. Поскольку операции ZK требуют больших вычислительных ресурсов, производительность этих решений все еще находится на зачаточном уровне. Однако мы ожидаем, что ситуация улучшится с выпуском аппаратных ASIC ZK в ближайшем будущем.

Более многообещающей является идея несколько «оптимистического» метода рассуждений ИИ, основанного на выборке. В этой модели проверяется лишь небольшая часть результатов, полученных валидатором, но экономическая стоимость косой черты установлена ​​достаточно высокой, так что в случае ее обнаружения у валидаторов возникает сильный экономический стимул к мошенничеству. Таким образом вы избавитесь от лишних вычислений.

Еще одна многообещающая идея — решения для нанесения водяных знаков и отпечатков пальцев, например, предложенные Bagel Network. Это похоже на механизм, с помощью которого Amazon Alexa обеспечивает контроль качества модели искусственного интеллекта на миллионах своих устройств.

Реальная выгода №7: экономия с OSS (прибыль OpenAI)

Следующая возможность, которую Web3 открывает перед ИИ, — это демократизация затрат. До сих пор мы обсуждали экономию затрат на графические процессоры с помощью DePIN. Но Web3 также предлагает возможность сэкономить на централизованных службах искусственного интеллекта Web2 (таких как OpenAI, годовой доход которой на момент написания этой статьи превышает 1 миллиард долларов). Такая экономия средств обусловлена ​​тем, что использование моделей OSS, а не проприетарных моделей, позволяет добиться дополнительной экономии, поскольку создатели моделей не пытаются получить прибыль.

Многие модели OSS останутся полностью бесплатными, что обеспечит максимальную экономию для клиентов. Но могут быть некоторые модели OSS, которые также пробуют эти методы монетизации. Учтите, что только 4% всех моделей Hugging Face прошли обучение в компаниях, у которых есть бюджет, позволяющий субсидировать модели. Остальные 96% моделей обучаются сообществом. Эта группа (96% Hugging Face) несет базовые реальные затраты (включая затраты на вычисления и данные). Поэтому эти модели нужно будет каким-то образом монетизировать.

Есть несколько предложений по монетизации модели программного обеспечения с открытым исходным кодом. Одной из наиболее интересных является концепция «первоначального выпуска модели», которая заключается в токенизации самой модели, сохранении части токенов для команды и передаче части будущих доходов от модели держателям токенов, хотя, безусловно, есть некоторые Правовые и нормативные барьеры.

Другие модели OSS попытаются монетизировать использование. Обратите внимание: если это станет реальностью, модель OSS может начать все больше напоминать модель монетизации Web2. Но на самом деле рынок разделится на две части, при этом некоторые модели останутся полностью бесплатными.

Реальное преимущество № 8: децентрализованные источники данных

Одна из самых больших проблем, стоящих перед ИИ, — это поиск правильных данных для обучения модели. Ранее мы упоминали, что децентрализованное обучение ИИ имеет свои проблемы. А как насчет использования децентрализованной сети для получения данных (которые затем можно использовать для обучения в другом месте, даже в традиционных площадках Web2)?

Именно этим и занимаются такие стартапы, как Grass. Grass — это децентрализованная сеть, состоящая из «скребков данных», которые передают бездействующую вычислительную мощность машин источникам данных для предоставления информации для обучения моделей ИИ. Гипотетически, в масштабе этот источник данных может превзойти внутренние источники данных любой компании благодаря мощности большой сети мотивированных узлов. Это включает в себя не просто получение большего количества данных, но и более частое их получение, чтобы сделать их более актуальными и актуальными. На самом деле, также невозможно остановить орды децентрализованных пользователей, собирающих данные, поскольку они по своей сути децентрализованы и не находятся в пределах одного IP-адреса. У них также есть сеть, которая очищает и нормализует данные, поэтому после очистки они могут быть полезны.

Если у вас есть данные, вам также понадобится место для их хранения в цепочке и LLM, созданные с использованием этих данных.

Обратите внимание, что роль данных в Web3 AI может измениться в будущем. Текущее состояние LLM сегодня заключается в предварительном обучении модели с использованием данных и ее постепенном уточнении с использованием большего количества данных. Однако, поскольку данные в Интернете меняются в реальном времени, эти модели всегда немного устаревают. Таким образом, ответы, полученные с помощью LLM, немного неточны.

Будущим направлением может стать новая парадигма – данные «в реальном времени». Идея заключается в том, что когда большой языковой модели (LLM) задается вопрос вывода, LLM может передавать подсказки и вводить данные, которые повторно собираются из Интернета в режиме реального времени. Таким образом, LLM может использовать самые последние данные. Над этой частью работает Грасс.

Особая благодарность следующим людям за отзывы и помощь в написании этой статьи: Альберту Кастеллане, Джасперу Чжану, Василису Циокасу, Бидану Рою, Резо, Винсенту Вайссеру, Шашанк Ядаву, Али Хусейну, Нукри Башарули, Эмаду Мостаку, Дэвиду Минаршу, Томми Шонесси, Майкл Генрих, Кекчак Вонг, Марк Вайнштейн, Филип Бонелло, Джефф Амико, Эджааз Ахамадин, Эван Фенг, Дж. Ванг.