Сценарист: Гэн Кай, DFG
Важность данных в блокчейне
Данные являются ключом к технологии блокчейна и основой для разработки децентрализованных приложений (dApps). Хотя большая часть текущих дискуссий вращается вокруг доступности данных (DA) – обеспечения того, чтобы каждый участник сети имел доступ к данным недавних транзакций для проверки – существует не менее важный аспект, который часто упускается из виду: доступность данных.
В эпоху модульного блокчейна решения DA стали незаменимы. Эти решения гарантируют, что данные транзакций доступны всем участникам, обеспечивая проверку в реальном времени и поддерживая целостность сети. Однако уровень DA функционирует скорее как рекламный щит, чем как база данных. Это значит, что данные не хранятся бесконечно, а со временем удаляются, подобно тому, как постер на рекламном щите со временем заменяется новым.
Доступность данных, с другой стороны, фокусируется на возможности извлекать исторические данные, что имеет решающее значение для разработки dApps и проведения анализа блокчейна. Этот аспект имеет решающее значение для задач, требующих доступа к прошлым данным для обеспечения точного представления и выполнения. Хотя доступность данных важна и менее обсуждается, она так же важна, как и доступность данных. Они играют разные, но взаимодополняющие роли в экосистеме блокчейна, и комплексный подход к управлению данными должен решать обе проблемы для поддержки мощных и эффективных приложений блокчейна.
Как ранее извлекались данные блокчейна
С момента своего создания блокчейн произвел революцию в инфраструктуре и позволил создавать децентрализованные приложения (dApps) в различных областях, включая игры, финансы и социальные сети. Однако создание этих dApps требует доступа к большим объемам данных блокчейна, что сложно и дорого.
Одним из вариантов для разработчиков dApp является размещение и запуск собственных архивных узлов RPC. Эти узлы с самого начала хранят все исторические данные блокчейна, обеспечивая полный доступ к данным. Однако обслуживание узлов архива обходится дорого и имеет ограниченные возможности запросов, что делает невозможным запрос данных в формате, необходимом разработчикам. Хотя можно использовать более дешевые узлы, эти узлы имеют ограниченные возможности извлечения данных, что может затруднить работу dApps.
Другой подход заключается в использовании коммерческого поставщика узлов RPC (удаленный вызов процедур). Эти поставщики несут ответственность за стоимость узлов и управление ими, а также предоставляют данные через конечные точки RPC. Публичные конечные точки RPC бесплатны, но имеют ограничения по скорости, которые могут негативно повлиять на взаимодействие с пользователем dApp. Частные конечные точки RPC обеспечивают более высокую производительность за счет уменьшения перегрузки, но даже простое получение данных требует большого количества двусторонних коммуникаций. Это делает их перегруженными запросами и неэффективными для сложных запросов данных. Кроме того, частные конечные точки RPC часто трудно масштабировать, и им не хватает совместимости в разных сетях.
Лучшая альтернатива: индексатор блокчейна.
Индексаторы блокчейна играют жизненно важную роль в организации данных в цепочке и отправке их в базы данных для удобного запроса, поэтому их часто называют «Google блокчейна». Они работают, индексируя данные блокчейна и делая их легко доступными через SQL-подобный язык запросов (с использованием таких API, как GraphQL). Предоставляя унифицированный интерфейс для запроса данных, индексаторы позволяют разработчикам быстро и точно получать необходимую информацию, используя стандартизированный язык запросов, что значительно упрощает процесс.
Различные типы индексаторов оптимизируют извлечение данных по-разному:
Индексаторы полных узлов. Эти индексаторы управляют полными узлами блокчейна и извлекают данные непосредственно из них, обеспечивая полноту и точность данных, но требуют значительной мощности хранения и обработки.
Легкие индексаторы. Эти индексаторы полагаются на полные узлы для извлечения определенных данных по требованию, что снижает требования к хранению, но потенциально увеличивает время выполнения запросов.
Специализированные индексаторы. Эти индексаторы специализируются на определенных типах данных или конкретных блокчейнах, оптимизируя извлечение для конкретных случаев использования, таких как данные NFT или транзакции DeFi.
Агрегированные индексаторы. Эти индексаторы извлекают данные из нескольких блокчейнов и источников, включая информацию вне цепочки, обеспечивая унифицированный интерфейс запросов, который особенно полезен для dApp с несколькими цепочками.
Только для Ethereum требуется 3 ТБ дискового пространства, и по мере того, как блокчейн продолжает расти, объем хранилища данных для узлов архива Erigon будет продолжать увеличиваться. Протокол индексатора использует несколько индексаторов для эффективного индексирования и запроса больших объемов данных на высоких скоростях, что невозможно при использовании RPC.
Индексатор также позволяет выполнять сложные запросы, легко фильтровать данные по различным критериям и анализировать данные после извлечения. Некоторые индексаторы также позволяют агрегировать данные из нескольких источников, тем самым устраняя необходимость развертывания нескольких API в многоцепочных dApps. Распределяясь по нескольким узлам, индексаторы обеспечивают повышенную безопасность и производительность, тогда как поставщики RPC могут испытывать сбои и простои из-за их централизованного характера.
В целом индексаторы повышают эффективность и надежность получения данных, а также снижают стоимость развертывания одного узла по сравнению с поставщиками узлов RPC. Это делает протокол Blockchain Indexer лучшим выбором для разработчиков dApp.
Вариант использования индексатора
Как упоминалось ранее, создание dApp требует получения и чтения данных блокчейна для запуска его сервисов. Сюда входят любые типы dApp, включая платформы DeFi, NFT, игры и даже социальные сети, поскольку этим платформам необходимо считывать данные, прежде чем они смогут выполнять другие транзакции.
DeFi
Протоколы DeFi требуют разной информации для указания пользователям конкретных цен, коэффициентов, комиссий и т. д. Автоматизированным маркет-мейкерам (AMM) требуется информация о ценах и ликвидности определенных пулов для расчета ставок свопа, в то время как протоколы кредитования требуют использования для определения ставок по кредитам и коэффициентов ликвидированной задолженности. Прежде чем рассчитывать процентную ставку, выполняемую пользователем, необходимо ввести информацию в его dApp.
игра
GameFi необходимо быстро индексировать данные и получать к ним доступ, чтобы обеспечить бесперебойную игру для пользователей. Только благодаря молниеносному извлечению и выполнению данных игры Web3 могут конкурировать с играми Web2 по производительности, тем самым привлекая больше пользователей. Этим играм требуются такие данные, как владение землей, балансы внутриигровых токенов, внутриигровые действия и многое другое. Используя индексаторы, они могут лучше обеспечить стабильный поток данных и постоянное время безотказной работы, чтобы обеспечить безупречный игровой процесс.
НФТ
Торговым площадкам и кредитным платформам NFT требуются индексированные данные для доступа к различной информации, такой как метаданные NFT, данные о собственности и передаче, информация о роялти и многое другое. Быстрое индексирование этих данных устраняет необходимость просматривать каждый NFT по отдельности в поисках данных о владельце или атрибутах NFT.
Будь то автоматизированный маркет-мейкер DeFi (AMM), которому нужна информация о ценах и ликвидности, или приложение SocialFi, которому необходимо обновлять сообщения новых пользователей, возможность быстрого получения данных имеет решающее значение для правильной работы dApp. С помощью индексаторов они могут эффективно и правильно извлекать данные, обеспечивая удобство работы с пользователем.
анализировать
Индексаторы предоставляют возможность извлекать определенные данные из необработанных данных блокчейна, включая события смарт-контракта в каждом блоке. Это дает возможность более конкретного анализа данных для получения комплексной информации.
Например, протокол бессрочной торговли может выяснить, какие токены имеют высокий объем торговли и какие токены облагаются комиссией, тем самым решая, следует ли включать эти токены в список бессрочных контрактов на своей платформе. Разработчики DEX могут создавать информационные панели для своих продуктов, чтобы получить представление о том, какие пулы приносят наибольшую прибыль или являются наиболее ликвидными. Также можно создавать общедоступные информационные панели, что дает разработчикам свободу и гибкость запрашивать любые типы данных для отображения на диаграммах.
Поскольку доступно несколько индексаторов блокчейна, выявление различий между протоколами индексирования имеет решающее значение для обеспечения выбора разработчиками индексатора, который лучше всего соответствует их потребностям.
Обзор индексатора блокчейна
Обзор индексатора
График
Graph — это первый протокол индексатора, запущенный на Ethereum, который позволяет легко запрашивать данные транзакций, которые ранее были недоступны. Он использует подграфы для определения и фильтрации подмножеств данных, собранных из блокчейна, например, всех транзакций, связанных с пулом Uniswap v3 USDC/ETH.
Используя Proof of Index, индексаторы делают ставку на собственный токен GRT для служб индексации и запросов, а делегаторы могут поставить на него свои токены. Кураторы имеют доступ к высококачественным подграфам, которые помогают индексаторам определить, какие подграфы индексировать, чтобы получить оптимальную плату за запросы. При переходе к большей децентрализации The Graph в конечном итоге прекратит предоставление услуг хостинга и потребует обновления подграфов в своей сети вместе с обновленными индексаторами.
Его инфраструктура обеспечивает среднюю стоимость миллиона запросов в размере 40 долларов США, что значительно ниже стоимости автономных узлов. Используя файловые источники данных, он также поддерживает параллельную индексацию данных как внутри, так и вне цепочки для эффективного извлечения данных.
Если посмотреть на вознаграждения индексаторов The Graph, то за последние несколько кварталов они неуклонно росли. Частично это связано с увеличением объема запросов, а также с увеличением цены токена, поскольку в будущем они планируют интегрировать запросы с помощью ИИ.
Подкальмар
Subsquid — это одноранговое горизонтально масштабируемое децентрализованное озеро данных, которое эффективно агрегирует большие объемы данных внутри и вне цепочки и защищает их с помощью доказательств с нулевым разглашением. В качестве децентрализованной сети рабочих каждый узел отвечает за хранение данных из определенного подмножества блоков, что ускоряет процесс извлечения данных за счет быстрой идентификации узлов, содержащих необходимые данные.
Subsquid также поддерживает индексацию в реальном времени, позволяя индексировать блоки до их завершения. Он также поддерживает хранение данных в формате по выбору разработчика, что упрощает анализ с помощью таких инструментов, как BigQuery, Parquet или CSV. Кроме того, подграфы можно развертывать в сети Subsquid без перехода на Squid SDK, что обеспечивает развертывание без использования кода.
Хотя Subsquid все еще находится на этапе тестовой сети, он добился впечатляющих статистических данных: более 80 000 пользователей тестовой сети, более 60 000 развернутых индексаторов Squid и более 20 000 проверенных разработчиков в сети. Совсем недавно, 3 июня, Subsquid запустил основную сеть своего озера данных.
Помимо индексации, озера данных Subsquid Network могут заменить RPC в таких случаях использования, как аналитика, сопроцессоры ZK/TEE, агенты искусственного интеллекта и Oracle.
Подзапрос
SubQuery — это децентрализованная инфраструктурная сеть промежуточного программного обеспечения, которая предоставляет услуги RPC и индексированных данных. Первоначально он поддерживал сети Polkadot и Substrate, а теперь расширился и теперь включает более 200 сетей. Он работает аналогично The Graph с использованием Proof of Index: индексатор индексирует данные и обслуживает запросы запросов, а делегаторы передают свои акции индексатору. Однако он предлагает потребителям подавать заказы на покупку, чтобы показать, что гарантирован доход индексатора, а не менеджера.
Он представит узлы данных SubQuery, которые поддерживают сегментирование, чтобы предотвратить постоянную синхронизацию новых данных между каждым узлом, тем самым оптимизируя эффективность запросов и одновременно продвигаясь к большей децентрализации. Пользователи могут выбрать оплату вычислительной платы в размере примерно 1 токена SQT за 1000 запросов или установить специальную плату для индексатора через протокол.
Хотя SubQuery запустила свой токен только в начале этого года, вознаграждения за выпуск узлов и делегаторов в долларовом выражении росли из месяца в месяц, что представляет собой растущее количество сервисов запросов, предлагаемых на его платформе. Со времени TGE общая сумма ставок SQT увеличилась с 6 миллионов до 125 миллионов, что подчеркивает рост участия в сети.
Ковалентный
Coвалент — это децентрализованная сеть индексаторов, в которой сетевые узлы Block Sample Producer (BSP) создают копии данных блокчейна посредством пакетного экспорта и публикуют доказательства в блокчейне Coвалентного L1. Затем эти данные уточняются узлом Block Result Producer (BRP) в соответствии с установленными правилами, и данные, соответствующие требованиям, отфильтровываются.
Благодаря унифицированному API разработчики могут легко извлекать соответствующие данные блокчейна в согласованных форматах запросов и ответов, устраняя необходимость написания собственных сложных запросов для доступа к данным. Эти предварительно настроенные наборы данных можно получить от сетевых операторов, используя токены CQT, размещенные на Moonbeam, в качестве средства платежа.
Вознаграждения Coвалента, похоже, имеют общую тенденцию к росту с 1 квартала 23 года по 1 квартал 24 года, отчасти из-за увеличения цены токена Coвалента CQT.
Что следует учитывать при выборе индексатора
Возможность настройки данных
Некоторые индексаторы, такие как Coвалентный, представляют собой индексаторы общего назначения, которые предоставляют только стандартные, предварительно настроенные наборы данных через API. Хотя они могут быть быстрыми, они не обеспечивают гибкости для разработчиков, которым нужны собственные наборы данных. Используя структуру индексатора, он позволяет выполнять более индивидуальную обработку данных для удовлетворения потребностей конкретного приложения.
Безопасность
Индексированные данные должны быть безопасными, иначе dApps, созданные на основе этих индексаторов, также будут уязвимы. Например, если транзакциями и балансом кошелька можно манипулировать, децентрализованное приложение рискует потерять ликвидность, что повлияет на его пользователей. Хотя все индексаторы используют ту или иную форму безопасности посредством токенов индексатора, другие решения для индексаторов могут использовать доказательства для дальнейшего повышения безопасности.
Subsquid предлагает возможность использовать оптимистические доказательства и доказательства с нулевым разглашением, в то время как Coвалент также публикует доказательства, включающие хэши блоков. Graph предоставляет спорные периоды проверки для запросов индексатора в виде оптимистичных окон проверки, а SubQuery генерирует доказательства Merkle Mountain для каждого блока для расчета хэшей для каждого блока всех данных, хранящихся в его базе данных.
Скорость и масштабируемость
Поскольку блокчейн продолжает расти, растет и объем транзакций, что делает индексацию больших объемов данных более сложной, поскольку требуется больше вычислительной мощности и места для хранения. По мере роста сетей блокчейнов поддерживать эффективность становится все сложнее, но протокол индексатора предлагает решения для удовлетворения этих растущих потребностей.
Например, Subsquid масштабируется горизонтально, добавляя больше узлов для хранения данных, что позволяет масштабировать его по мере совершенствования оборудования. Graph обеспечивает параллельную потоковую передачу данных для более быстрой синхронизации данных, а SubQuery обеспечивает сегментирование узлов для ускорения процесса синхронизации.
Поддерживаемые сети
Хотя большая часть активности блокчейнов по-прежнему происходит в рамках Ethereum, популярность различных блокчейнов со временем выросла. Например, цепочки Layer 2, Solana, Move и экосистемы Bitcoin имеют свой собственный набор растущих разработчиков и видов деятельности, которые также требуют услуг индексации.
Обеспечение поддержки определенных цепочек, не поддерживаемых другими протоколами индексации, может принести больше комиссий за долю рынка. Индексирование сетей с интенсивным использованием данных, таких как Solana, — непростая задача, и до сих пор только Subsquid успешно обеспечивал для них поддержку индексации.
в заключение
Несмотря на широкое распространение в разработке децентрализованных приложений, потенциал индексаторов по-прежнему огромен, особенно при интеграции с ИИ. Поскольку ИИ продолжает становиться все более распространенным в Web2 и Web3, его способность к совершенствованию зависит от доступа к соответствующим данным для обучения моделей и разработки агентов ИИ. Обеспечение целостности данных имеет решающее значение для приложений искусственного интеллекта, поскольку оно предотвращает передачу моделям предвзятой или неточной информации.
В мире решений для индексирования Subsquid добился значительного прогресса в производительности и пользовательских показателях. Пользователи уже начали экспериментировать с созданием ИИ-агентов с помощью Subsquid, демонстрируя универсальность и потенциал платформы в растущем мире индексации данных. Кроме того, такие инструменты, как AutoAgora, помогают индексаторам использовать ИИ для предоставления динамических цен на услуги запросов в The Graph, а SubQuery поддерживает несколько сетей ИИ, таких как OriginTrail и Oraichain, для прозрачного индексирования данных.
Ожидается, что интеграция искусственного интеллекта с индексаторами повысит доступность данных и удобство использования в экосистеме блокчейна. Используя технологию искусственного интеллекта, индексаторы могут обеспечить более эффективный и точный поиск данных, позволяя разработчикам создавать более сложные децентрализованные приложения и инструменты аналитики. Поскольку ИИ и индексаторы продолжают развиваться вместе, мы по-прежнему с оптимизмом смотрим на будущее индексации данных и ее роль в формировании децентрализованного цифрового ландшафта.
