Escrito por: Geng Kai, DFG
La importancia de los datos en blockchain
Los datos son la clave de la tecnología blockchain y son la base para el desarrollo de aplicaciones descentralizadas (dApps). Si bien gran parte del debate actual gira en torno a la disponibilidad de datos (DA), es decir, garantizar que todos los participantes de la red tengan acceso a datos de transacciones recientes para su verificación, hay un aspecto igualmente importante que a menudo se pasa por alto: la accesibilidad a los datos.
En la era de la cadena de bloques modular, las soluciones DA se han vuelto indispensables. Estas soluciones garantizan que los datos de las transacciones estén disponibles para todos los participantes, lo que permite la verificación en tiempo real y mantiene la integridad de la red. Sin embargo, la capa DA funciona más como un cartel publicitario que como una base de datos. Esto significa que los datos no se almacenan indefinidamente; sino que se eliminan con el tiempo, del mismo modo que un cartel en un cartel se reemplaza por uno nuevo.
La accesibilidad a los datos, por otro lado, se centra en la capacidad de recuperar datos históricos, lo cual es crucial para desarrollar dApps y realizar análisis de blockchain. Este aspecto es fundamental para tareas que requieren acceso a datos anteriores para garantizar una representación y ejecución precisas. Aunque la accesibilidad a los datos es importante y menos discutida, es tan importante como la disponibilidad de los datos. Los dos desempeñan funciones diferentes pero complementarias en el ecosistema blockchain, y un enfoque integral de gestión de datos debe abordar ambas cuestiones para respaldar aplicaciones blockchain potentes y eficientes.
Cómo se recuperaban previamente los datos de blockchain
Desde sus inicios, blockchain ha revolucionado la infraestructura y ha permitido la creación de aplicaciones descentralizadas (dApps) en diversos campos, incluidos los juegos, las finanzas y las redes sociales. Sin embargo, crear estas dApps requiere acceso a grandes cantidades de datos de blockchain, lo cual es difícil y costoso.
Una opción para los desarrolladores de dApp es alojar y ejecutar sus propios nodos RPC archivados. Estos nodos almacenan todos los datos históricos de blockchain desde el principio, lo que permite un acceso completo a los datos. Sin embargo, mantener nodos de archivo es costoso y tiene capacidades de consulta limitadas, lo que hace imposible consultar datos en el formato que necesitan los desarrolladores. Si bien ejecutar nodos más baratos es una opción, estos nodos tienen capacidades limitadas de recuperación de datos, lo que puede obstaculizar el funcionamiento de las dApps.
Otro enfoque es utilizar un proveedor de nodos RPC (llamada a procedimiento remoto) comercial. Estos proveedores son responsables del costo y la gestión de los nodos y proporcionan datos a través de puntos finales RPC. Los puntos finales de RPC públicos son gratuitos, pero tienen límites de velocidad que pueden afectar negativamente la experiencia del usuario de la dApp. Los puntos finales privados de RPC brindan un mejor rendimiento al reducir la congestión, pero incluso la recuperación de datos simple requiere mucha comunicación de ida y vuelta. Esto los hace con muchas solicitudes e ineficientes para consultas de datos complejas. Además, los puntos finales RPC privados suelen ser difíciles de escalar y carecen de compatibilidad entre diferentes redes.
Una mejor alternativa: Blockchain Indexer
Los indexadores de blockchain desempeñan un papel vital en la organización de los datos en la cadena y su envío a bases de datos para consultarlos fácilmente, razón por la cual a menudo se les llama el "Google de blockchain". Funcionan indexando datos de blockchain y poniéndolos a disposición a través de un lenguaje de consulta similar a SQL (utilizando API como GraphQL). Al proporcionar una interfaz unificada para consultar datos, los indexadores permiten a los desarrolladores recuperar de forma rápida y precisa la información que necesitan utilizando un lenguaje de consulta estandarizado, lo que simplifica enormemente el proceso.
Los diferentes tipos de indexadores optimizan la recuperación de datos de varias maneras:
Indexadores de nodos completos: estos indexadores ejecutan nodos completos de blockchain y extraen datos directamente de ellos, lo que garantiza que los datos sean completos y precisos, pero requieren una gran capacidad de almacenamiento y procesamiento.
Indexadores livianos: estos indexadores dependen de nodos completos para recuperar datos específicos bajo demanda, lo que reduce los requisitos de almacenamiento pero potencialmente aumenta los tiempos de consulta.
Indexadores especializados: estos indexadores se especializan en ciertos tipos de datos o cadenas de bloques específicas, optimizando la recuperación para casos de uso específicos, como datos NFT o transacciones DeFi.
Indexadores agregados: estos indexadores extraen datos de múltiples cadenas de bloques y fuentes, incluida información fuera de la cadena, lo que proporciona una interfaz de consulta unificada que es particularmente útil para dApps de múltiples cadenas.
Solo Ethereum requiere 3 TB de espacio de almacenamiento y, a medida que la cadena de bloques siga creciendo, la cantidad de almacenamiento de datos para los nodos de archivo de Erigon seguirá aumentando. El protocolo indexador implementa múltiples indexadores para indexar y consultar de manera eficiente grandes cantidades de datos a altas velocidades que no son posibles con RPC.
El indexador también permite consultas complejas, un filtrado sencillo de datos según diferentes criterios y un análisis de datos posterior a la extracción. Algunos indexadores también permiten la agregación de datos de múltiples fuentes, evitando así la necesidad de implementar múltiples API en dApps de múltiples cadenas. Al estar distribuidos en múltiples nodos, los indexadores brindan seguridad y rendimiento mejorados, mientras que los proveedores de RPC pueden experimentar interrupciones y tiempo de inactividad debido a su naturaleza centralizada.
En general, los indexadores mejoran la eficiencia y confiabilidad de la recuperación de datos y al mismo tiempo reducen el costo de implementar un solo nodo en comparación con los proveedores de nodos RPC. Esto hace que el protocolo Blockchain Indexer sea la mejor opción para los desarrolladores de dApps.
Caso de uso del indexador
Como se mencionó anteriormente, crear una dApp requiere recuperar y leer datos de blockchain para poder ejecutar sus servicios. Esto incluye cualquier tipo de dApp, incluidas DeFi, plataformas NFT, juegos e incluso redes sociales, ya que estas plataformas necesitan leer datos antes de poder realizar otras transacciones.
DeFi
Los protocolos DeFi requieren información diferente para cotizar precios, proporciones, tarifas, etc. específicos de los usuarios. Los creadores de mercado automatizados (AMM) requieren información sobre precios y liquidez sobre ciertos grupos para calcular las tasas de swap, mientras que los protocolos de préstamos requieren su utilización para determinar las tasas de préstamos y los índices de deuda liquidada. Antes de calcular la tasa de interés que realiza un usuario, es fundamental ingresar la información en su dApp.
juego
GameFi necesita indexar y acceder a los datos rápidamente para garantizar un juego fluido para los usuarios. Sólo a través de una recuperación y ejecución de datos ultrarrápida, los juegos Web3 pueden rivalizar en rendimiento con los juegos Web2, atrayendo a más usuarios. Estos juegos requieren datos como la propiedad de la tierra, los saldos de fichas del juego, las acciones del juego y más. Al utilizar indexadores, pueden garantizar mejor un flujo de datos estable y un tiempo de actividad constante para garantizar una experiencia de juego impecable.
NFT
Los mercados de NFT y las plataformas de préstamos requieren datos indexados para acceder a una variedad de información, como metadatos de NFT, datos de propiedad y transferencia, información sobre regalías y más. La indexación rápida de estos datos elimina la necesidad de explorar cada NFT individualmente para encontrar datos de propiedad o atributos de NFT.
Ya sea un creador de mercado automatizado (AMM) de DeFi que necesita información sobre precios y liquidez, o una aplicación SocialFi que necesita actualizar las publicaciones de nuevos usuarios, poder recuperar datos rápidamente es fundamental para que una dApp funcione correctamente. Con la ayuda de indexadores, pueden recuperar datos de manera eficiente y correcta, brindando una experiencia de usuario fluida.
analizar
Los indexadores proporcionan una forma de extraer datos específicos de los datos sin procesar de la cadena de bloques, incluidos los eventos de contratos inteligentes en cada bloque. Esto brinda la oportunidad de realizar análisis de datos más específicos para proporcionar información completa.
Por ejemplo, un protocolo de comercio perpetuo puede descubrir qué tokens tienen un alto volumen de comercio y qué tokens generan tarifas, decidiendo así si incluir esos tokens como contratos perpetuos en su plataforma. Los desarrolladores de DEX pueden crear paneles de control para sus productos para obtener información sobre qué grupos tienen los mayores rendimientos o son los más líquidos. También se pueden crear paneles públicos, lo que brinda a los desarrolladores la libertad y flexibilidad para consultar cualquier tipo de datos que se mostrarán en los gráficos.
Dado que hay varios indexadores de blockchain disponibles, identificar las diferencias entre los protocolos de indexación es fundamental para garantizar que los desarrolladores elijan el indexador que mejor se adapte a sus necesidades.
Descripción general del indexador de blockchain
Descripción general del indexador
La gráfica
Graph es el primer protocolo de indexación lanzado en Ethereum, lo que facilita la consulta de datos de transacciones que antes eran inaccesibles. Utiliza subgrafos para definir y filtrar subconjuntos de datos recopilados de la cadena de bloques, como todas las transacciones relacionadas con el grupo Uniswap v3 USDC/ETH.
Al utilizar la Prueba de índice, los indexadores apuestan el token nativo GRT para servicios de indexación y consulta, y los delegados pueden optar por apostar sus tokens contra él. Los curadores tienen acceso a subgrafos de alta calidad para ayudar a los indexadores a determinar qué subgrafos indexar para ganar tarifas de consulta óptimas. En su transición hacia una mayor descentralización, The Graph eventualmente descontinuará sus servicios de alojamiento y requerirá subgrafos para actualizar su red, junto con indexadores actualizados.
Su infraestructura permite un costo promedio por millón de consultas de $40, que es significativamente menor que el costo de los nodos autohospedados. Al utilizar fuentes de datos de archivos, también admite la indexación paralela de datos dentro y fuera de la cadena para una recuperación eficiente de los datos.
En cuanto a las recompensas del indexador de The Graph, han crecido de manera constante durante los últimos trimestres. Esto se debe en parte a un aumento en el volumen de consultas, pero también a un aumento en el precio del token, ya que planean integrar consultas asistidas por IA en el futuro.
Subcalamar
Subsquid es un lago de datos descentralizado de igual a igual, escalable horizontalmente, que agrega de manera eficiente grandes cantidades de datos dentro y fuera de la cadena y los protege con pruebas de conocimiento cero. Como red descentralizada de trabajadores, cada nodo es responsable de almacenar datos de un subconjunto específico de bloques, lo que acelera el proceso de recuperación de datos al identificar rápidamente los nodos que contienen los datos requeridos.
Subsquid también admite la indexación en tiempo real, lo que permite indexar los bloques antes de finalizarlos. También admite el almacenamiento de datos en el formato que elija el desarrollador, lo que permite un análisis más sencillo utilizando herramientas como BigQuery, Parquet o CSV. Además, los subgrafos se pueden implementar en la red Subsquid sin migrar al SDK de Squid, lo que permite una implementación sin código.
Aunque todavía se encuentra en la fase de testnet, Subsquid ha logrado estadísticas impresionantes con más de 80.000 usuarios de testnet, más de 60.000 indexadores Squid implementados y más de 20.000 desarrolladores verificados en la red. Más recientemente, el 3 de junio, Subsquid lanzó la red principal de su lago de datos.
Además de la indexación, los lagos de datos de Subsquid Network pueden reemplazar a RPC en casos de uso como análisis, coprocesadores ZK/TEE, agentes de inteligencia artificial y Oracle.
Subconsulta
SubQuery es una red de infraestructura de middleware descentralizada que proporciona RPC y servicios de datos indexados. Inicialmente apoyó las redes Polkadot y Substrate y ahora se ha expandido para incluir más de 200 cadenas. Funciona de manera similar a The Graph usando Prueba de índice, con un indexador que indexa datos y atiende solicitudes de consulta, y los delegados apuestan sus acciones al indexador. Sin embargo, introduce a los consumidores a enviar órdenes de compra para demostrar que los ingresos del indexador están garantizados, en lugar de los del administrador.
Introducirá nodos de datos SubQuery que admiten fragmentación para evitar la sincronización constante de nuevos datos entre cada nodo, optimizando así la eficiencia de las consultas y avanzando hacia una mayor descentralización. Los usuarios pueden optar por pagar una tarifa computacional de aproximadamente 1 token SQT por cada 1000 solicitudes o establecer una tarifa personalizada para el indexador a través del protocolo.
Aunque SubQuery solo lanzó su token a principios de este año, las recompensas de emisión para nodos y delegados han aumentado mes a mes en valor en dólares, lo que representa un número cada vez mayor de servicios de consulta ofrecidos en su plataforma. Desde el TGE, la cantidad total de SQT apostados ha aumentado de 6 millones a 125 millones, destacando su crecimiento en la participación de la red.
covalente
Covalent es una red indexadora descentralizada en la que los nodos de la red Block Sample Producer (BSP) crean copias de los datos de la cadena de bloques mediante la exportación por lotes y publican pruebas en la cadena de bloques Covalent L1. Luego, el nodo Productor de resultados de bloque (BRP) refina estos datos de acuerdo con las reglas establecidas, y los datos que cumplen con los requisitos se filtran.
A través de una API unificada, los desarrolladores pueden extraer fácilmente datos relevantes de blockchain en formatos consistentes de solicitud y respuesta, eliminando la necesidad de escribir consultas complejas personalizadas para acceder a los datos. Estos conjuntos de datos preconfigurados se pueden extraer de los operadores de red utilizando tokens CQT liquidados en Moonbeam como medio de pago.
Las recompensas de Covalent parecen estar en una tendencia general ascendente desde el primer trimestre de 23 hasta el primer trimestre de 24, en parte debido a un aumento en el precio del token Covalent CQT.
Cosas a considerar al elegir un indexador
Personalización de datos
Algunos indexadores, como Covalent, son indexadores de uso general que solo proporcionan conjuntos de datos estándar preconfigurados a través de la API. Si bien pueden ser rápidos, no brindan flexibilidad a los desarrolladores que necesitan conjuntos de datos personalizados. Al utilizar el marco del indexador, permite un procesamiento de datos más personalizado para satisfacer las necesidades específicas de la aplicación.
Seguridad
Los datos indexados deben ser seguros; de lo contrario, las dApps creadas sobre estos indexadores también serán vulnerables. Por ejemplo, si las transacciones y los saldos de las billeteras se pueden manipular, una dApp corre el riesgo de perder liquidez, lo que afecta a sus usuarios. Si bien todos los indexadores emplean alguna forma de seguridad a través de tokens de participación del indexador, otras soluciones de indexador pueden usar pruebas para aumentar aún más la seguridad.
Subsquid ofrece la opción de utilizar pruebas optimistas y de conocimiento cero, mientras que Covalent también publica pruebas que incluyen hashes de bloques. Graph proporciona períodos de desafío polémicos para consultas del indexador en forma de ventanas de desafío optimistas, mientras que SubQuery genera pruebas de Merkle Mountain para cada bloque para calcular hashes para cada bloque de todos los datos almacenados en su base de datos.
Velocidad y escalabilidad
A medida que blockchain continúa creciendo, también lo hace el volumen de transacciones, lo que hace que la indexación de grandes cantidades de datos sea más engorrosa ya que se requiere más potencia de procesamiento y espacio de almacenamiento. A medida que crecen las redes blockchain, mantener la eficiencia se vuelve más difícil, pero el Protocolo Indexer introduce soluciones para satisfacer estas necesidades crecientes.
Por ejemplo, Subsquid escala horizontalmente agregando más nodos para almacenar datos, lo que le permite escalar a medida que mejora el hardware. Graph proporciona transmisión de datos en paralelo para una sincronización de datos más rápida, mientras que SubQuery introduce la fragmentación de nodos para acelerar el proceso de sincronización.
Redes soportadas
Aunque la mayor parte de la actividad de blockchain todavía se lleva a cabo dentro de Ethereum, diferentes blockchains han ganado popularidad con el tiempo. Por ejemplo, las cadenas de ecosistemas Layer 2, Solana, Move blockchain y Bitcoin tienen su propio conjunto de desarrolladores y actividades en crecimiento, que también requieren servicios de indexación.
Brindar soporte a ciertas cadenas que no son compatibles con otros protocolos de indexación puede generar más tarifas de participación de mercado. Indexar redes con uso intensivo de datos como Solana no es una tarea fácil y, hasta ahora, solo Subsquid les ha brindado soporte de indexación con éxito.
en conclusión
A pesar de su adopción generalizada en el desarrollo de dApps, el potencial de los indexadores sigue siendo enorme, especialmente cuando se integran con la IA. A medida que la IA continúa prevaleciendo en Web2 y Web3, su capacidad de mejorar depende del acceso a datos relevantes para entrenar modelos y desarrollar agentes de IA. Garantizar la integridad de los datos es fundamental para las aplicaciones de IA, ya que evita que los modelos reciban información sesgada o inexacta.
En el mundo de las soluciones de indexación, Subsquid ha logrado avances significativos en el rendimiento y las métricas de usuario. Los usuarios ya han comenzado a experimentar con la creación de agentes de inteligencia artificial utilizando Subsquid, lo que demuestra la versatilidad y el potencial de la plataforma en el creciente mundo de la indexación de datos. Además, herramientas como AutoAgora ayudan a los indexadores a utilizar la IA para proporcionar precios dinámicos para los servicios de consulta en The Graph, mientras que SubQuery admite múltiples redes de IA como OriginTrail y Oraichain para una indexación de datos transparente.
Se espera que la integración de la inteligencia artificial con indexadores mejore la accesibilidad y usabilidad de los datos en el ecosistema blockchain. Al aprovechar la tecnología de inteligencia artificial, los indexadores pueden proporcionar una recuperación de datos más eficiente y precisa, lo que permite a los desarrolladores crear dApps y herramientas de análisis más complejas. A medida que la IA y los indexadores continúan evolucionando juntos, seguimos siendo optimistas sobre el futuro de la indexación de datos y su papel en la configuración del panorama digital descentralizado.
