Scritto da: Geng Kai, DFG

L'importanza dei dati nella Blockchain

I dati sono la chiave della tecnologia blockchain e costituiscono la base per lo sviluppo di applicazioni decentralizzate (dApp). Mentre gran parte della discussione attuale ruota attorno alla disponibilità dei dati (DA) – garantire che ogni partecipante alla rete abbia accesso ai dati delle transazioni recenti per la verifica – c’è un aspetto altrettanto importante che viene spesso trascurato: l’accessibilità dei dati.

Nell’era della blockchain modulare, le soluzioni DA sono diventate indispensabili. Queste soluzioni garantiscono che i dati delle transazioni siano disponibili a tutti i partecipanti, consentendo la verifica in tempo reale e mantenendo l'integrità della rete. Tuttavia, il livello DA funziona più come un cartellone pubblicitario che come un database. Ciò significa che i dati non vengono archiviati a tempo indeterminato; vengono cancellati nel tempo, proprio come un poster su un cartellone pubblicitario viene eventualmente sostituito da uno nuovo.

L’accessibilità dei dati, d’altro canto, si concentra sulla capacità di recuperare dati storici, che è fondamentale per lo sviluppo di dApp e per condurre analisi blockchain. Questo aspetto è fondamentale per le attività che richiedono l'accesso ai dati passati per garantire una rappresentazione ed esecuzione accurate. Sebbene l’accessibilità dei dati sia importante e meno discussa, è altrettanto importante quanto la disponibilità dei dati. I due svolgono ruoli diversi ma complementari nell’ecosistema blockchain e un approccio completo alla gestione dei dati deve affrontare entrambe le questioni per supportare applicazioni blockchain potenti ed efficienti.

Come sono stati precedentemente recuperati i dati blockchain

Fin dalla sua nascita, la blockchain ha rivoluzionato le infrastrutture e consentito la creazione di applicazioni decentralizzate (dApp) in vari campi tra cui giochi, finanza e social network. Tuttavia, la creazione di queste dApp richiede l’accesso a grandi quantità di dati blockchain, il che è difficile e costoso.

Un'opzione per gli sviluppatori di dApp è quella di ospitare ed eseguire i propri nodi RPC archiviati. Questi nodi memorizzano tutti i dati storici della blockchain fin dall'inizio, consentendo il pieno accesso ai dati. Tuttavia, la manutenzione dei nodi di archivio è costosa e presenta capacità di query limitate, rendendo impossibile eseguire query sui dati nel formato richiesto dagli sviluppatori. Sebbene l’esecuzione di nodi più economici sia un’opzione, questi nodi hanno capacità limitate di recupero dei dati, che potrebbero ostacolare il funzionamento delle dApp.

Un altro approccio consiste nell'utilizzare un provider di nodi RPC (Remote Procedure Call) commerciale. Questi provider sono responsabili del costo e della gestione dei nodi e forniscono dati tramite endpoint RPC. Gli endpoint RPC pubblici sono gratuiti ma hanno limiti di velocità che potrebbero avere un impatto negativo sull'esperienza utente della dApp. Gli endpoint RPC privati ​​forniscono prestazioni migliori riducendo la congestione, ma anche il semplice recupero dei dati richiede molte comunicazioni avanti e indietro. Ciò li rende pesanti in termini di richieste e inefficienti per query di dati complesse. Inoltre, gli endpoint RPC privati ​​sono spesso difficili da scalare e non sono compatibili tra reti diverse.

Un'alternativa migliore: Blockchain Indexer

Gli indicizzatori blockchain svolgono un ruolo fondamentale nell'organizzazione dei dati on-chain e nell'invio ai database per una facile interrogazione, motivo per cui sono spesso chiamati il ​​"Google della blockchain". Funzionano indicizzando i dati blockchain e rendendoli prontamente disponibili tramite un linguaggio di query simile a SQL (utilizzando API come GraphQL). Fornendo un'interfaccia unificata per l'interrogazione dei dati, gli indicizzatori consentono agli sviluppatori di recuperare in modo rapido e accurato le informazioni di cui hanno bisogno utilizzando un linguaggio di query standardizzato, semplificando notevolmente il processo.

Diversi tipi di indicizzatori ottimizzano il recupero dei dati in vari modi:

  1. Indicizzatori di nodi completi: questi indicizzatori eseguono nodi blockchain completi ed estraggono i dati direttamente da essi, garantendo che i dati siano completi e accurati, ma richiedono una notevole potenza di archiviazione e elaborazione.

  2. Indicizzatori leggeri: questi indicizzatori si affidano a nodi completi per recuperare dati specifici su richiesta, riducendo i requisiti di archiviazione ma aumentando potenzialmente i tempi di query.

  3. Indicizzatori specializzati: questi indicizzatori sono specializzati in determinati tipi di dati o blockchain specifiche, ottimizzando il recupero per casi d'uso specifici, come dati NFT o transazioni DeFi.

  4. Indicizzatori aggregati: questi indicizzatori estraggono dati da più blockchain e fonti, comprese informazioni fuori catena, fornendo un'interfaccia di query unificata che è particolarmente utile per le dApp multicatena.

Il solo Ethereum richiede 3 TB di spazio di archiviazione e, poiché la blockchain continua a crescere, la quantità di archiviazione dei dati per i nodi di archivio Erigon continuerà ad aumentare. Il protocollo Indexer distribuisce più indicizzatori per indicizzare ed eseguire query in modo efficiente su grandi quantità di dati a velocità elevate che non sono possibili con RPC.

L'indicizzatore consente inoltre query complesse, un facile filtraggio dei dati in base a diversi criteri e l'analisi post-estrazione dei dati. Alcuni indicizzatori consentono inoltre l'aggregazione di dati provenienti da più fonti, evitando così la necessità di distribuire più API nelle dApp multicatena. Essendo distribuiti su più nodi, gli indicizzatori forniscono sicurezza e prestazioni migliorate, mentre i provider RPC potrebbero riscontrare interruzioni e tempi di inattività a causa della loro natura centralizzata.

Nel complesso, gli indicizzatori migliorano l'efficienza e l'affidabilità del recupero dei dati riducendo al tempo stesso il costo di distribuzione di un singolo nodo rispetto ai provider di nodi RPC. Ciò rende il protocollo Blockchain Indexer la scelta migliore per gli sviluppatori di dApp.

Caso d'uso dell'indicizzatore

Come accennato in precedenza, la creazione di una dApp richiede il recupero e la lettura dei dati blockchain per poter eseguire i suoi servizi. Ciò include qualsiasi tipo di dApp, comprese DeFi, piattaforme NFT, giochi e persino social network, poiché queste piattaforme devono leggere i dati prima di poter eseguire altre transazioni.

DeFi

I protocolli DeFi richiedono informazioni diverse per quotare prezzi, rapporti, commissioni, ecc. specifici degli utenti. I market maker automatizzati (AMM) richiedono informazioni sui prezzi e sulla liquidità di determinati pool per calcolare i tassi di swap, mentre i protocolli di prestito richiedono l’utilizzo per determinare i tassi di prestito e i rapporti di debito liquidati. Prima di calcolare il tasso di interesse effettuato da un utente, è fondamentale inserire le informazioni nella sua dApp.

gioco

GameFi deve indicizzare e accedere rapidamente ai dati per garantire un gioco fluido agli utenti. Solo attraverso il recupero e l'esecuzione rapidissimi dei dati i giochi Web3 possono competere con i giochi Web2 in termini di prestazioni, attirando così più utenti. Questi giochi richiedono dati come la proprietà della terra, il saldo dei gettoni di gioco, le azioni di gioco e altro ancora. Utilizzando gli indicizzatori, possono garantire meglio un flusso di dati stabile e tempi di attività costanti per garantire un'esperienza di gioco impeccabile.

NFT

I mercati NFT e le piattaforme di prestito richiedono dati indicizzati per accedere a una varietà di informazioni, come metadati NFT, dati di proprietà e trasferimento, informazioni sulle royalty e altro ancora. L'indicizzazione rapida di questi dati elimina la necessità di sfogliare ogni NFT individualmente per trovare i dati sulla proprietà o sugli attributi NFT.

Che si tratti di un DeFi Automated Market Maker (AMM) che necessita di informazioni su prezzi e liquidità, o di un'applicazione SocialFi che deve aggiornare i post di nuovi utenti, essere in grado di recuperare rapidamente i dati è fondamentale affinché una dApp funzioni correttamente. Con l'aiuto degli indicizzatori, possono recuperare i dati in modo efficiente e corretto, fornendo un'esperienza utente fluida.

analizzare

Gli indicizzatori forniscono un modo per estrarre dati specifici dai dati grezzi della blockchain, inclusi gli eventi del contratto intelligente in ciascun blocco. Ciò offre l’opportunità di analisi dei dati più specifiche per fornire approfondimenti completi.

Ad esempio, un protocollo di trading perpetuo può scoprire quali token hanno un volume di scambi elevato e quali token comportano commissioni, decidendo così se elencare tali token come contratti perpetui sulla propria piattaforma. Gli sviluppatori DEX possono creare dashboard per i loro prodotti per ottenere informazioni su quali pool hanno i rendimenti più elevati o sono i più liquidi. È inoltre possibile creare dashboard pubbliche, offrendo agli sviluppatori la libertà e la flessibilità di eseguire query su qualsiasi tipo di dati da visualizzare sui grafici.

Poiché sono disponibili più indicizzatori blockchain, identificare le differenze tra i protocolli di indicizzazione è fondamentale per garantire che gli sviluppatori scelgano l'indicizzatore più adatto alle loro esigenze.

Panoramica dell'indicizzatore Blockchain

Panoramica dell'indicizzatore

Il grafo

The Graph è il primo protocollo indicizzatore lanciato su Ethereum che semplifica l'interrogazione dei dati delle transazioni che in precedenza non erano facilmente accessibili. Utilizza sottografi per definire e filtrare sottoinsiemi di dati raccolti dalla blockchain, come tutte le transazioni relative al pool USDC/ETH di Uniswap v3.

Utilizzando Proof of Index, gli indicizzatori possono puntare il token nativo GRT per i servizi di indicizzazione e di query, mentre i deleganti possono scegliere di mettere in staking i propri token. I curatori hanno accesso a sottografi di alta qualità per aiutare gli indicizzatori a determinare quali sottografi indicizzare per guadagnare commissioni di query ottimali. Nella sua transizione verso una maggiore decentralizzazione, The Graph finirà per interrompere i suoi servizi di hosting e richiederà ai sottografi di aggiornarsi alla sua rete, insieme agli indicizzatori aggiornati.

La sua infrastruttura consente un costo medio per milione di query di 40 dollari, che è significativamente inferiore al costo dei nodi self-hosted. Utilizzando origini dati su file, supporta anche l'indicizzazione parallela di dati sia on-chain che off-chain per un recupero efficiente dei dati.

Osservando i premi degli indicizzatori di The Graph, si nota che sono cresciuti costantemente negli ultimi trimestri. Ciò è in parte dovuto a un aumento del volume delle query, ma anche a un aumento del prezzo del token poiché prevedono di integrare le query assistite dall’intelligenza artificiale in futuro.

Sottocalamaro

Subsquid è un data lake decentralizzato peer-to-peer, scalabile orizzontalmente che aggrega in modo efficiente grandi quantità di dati on-chain e off-chain e li protegge con prove a conoscenza zero. Essendo una rete decentralizzata di lavoratori, ogni nodo è responsabile della memorizzazione dei dati da uno specifico sottoinsieme di blocchi, accelerando il processo di recupero dei dati identificando rapidamente i nodi che contengono i dati richiesti.

Subsquid supporta anche l'indicizzazione in tempo reale, consentendo l'indicizzazione dei blocchi prima che vengano finalizzati. Supporta inoltre l'archiviazione dei dati nel formato scelto dallo sviluppatore, consentendo un'analisi più semplice utilizzando strumenti come BigQuery, Parquet o CSV. Inoltre, i sottografi possono essere distribuiti sulla rete Subsquid senza migrare a Squid SDK, consentendo la distribuzione senza codice.

Sebbene sia ancora in fase di testnet, Subsquid ha raggiunto statistiche impressionanti con oltre 80.000 utenti testnet, oltre 60.000 indicizzatori Squid distribuiti e oltre 20.000 sviluppatori verificati sulla rete. Più recentemente, il 3 giugno, Subsquid ha lanciato la rete principale del suo data Lake.

Oltre all'indicizzazione, i data Lake Subsquid Network possono sostituire RPC in casi d'uso come analisi, coprocessori ZK/TEE, agenti AI e Oracle.

Sottoquery

SubQuery è una rete di infrastruttura middleware decentralizzata che fornisce servizi RPC e dati indicizzati. Inizialmente supportava le reti Polkadot e Substrate e ora si è espanso fino a includere oltre 200 catene. Funziona in modo simile a The Graph utilizzando Proof of Index, con un indicizzatore che indicizza i dati e serve richieste di query e i deleganti mettono in staking le loro azioni all'indicizzatore. Tuttavia, introduce i consumatori a inviare ordini di acquisto per dimostrare che il reddito dell'indicizzatore è garantito, piuttosto che quello del gestore.

Verranno introdotti nodi di dati SubQuery che supportano lo sharding per impedire la sincronizzazione costante di nuovi dati tra ciascun nodo, ottimizzando così l'efficienza delle query e avanzando verso una maggiore decentralizzazione. Gli utenti possono scegliere di pagare una tariffa computazionale di circa 1 token SQT per 1000 richieste oppure impostare una tariffa personalizzata per l'indicizzatore tramite il protocollo.

Sebbene SubQuery abbia lanciato il suo token solo all'inizio di quest'anno, i premi di emissione per nodi e deleganti sono cresciuti di mese in mese in valore in dollari, rappresentando un numero crescente di servizi di query offerti sulla sua piattaforma. Dal TGE, l’importo totale di SQT puntato è aumentato da 6 milioni a 125 milioni, evidenziando la crescita della partecipazione alla rete.

Covalente

Covalent è una rete di indicizzatori decentralizzata in cui i nodi della rete Block Sample Producer (BSP) creano copie dei dati blockchain attraverso l'esportazione batch e pubblicano prove sulla blockchain Covalent L1. Questi dati vengono quindi perfezionati dal nodo Block Result Producer (BRP) in base alle regole impostate e i dati che soddisfano i requisiti vengono filtrati.

Attraverso un'API unificata, gli sviluppatori possono facilmente estrarre dati blockchain rilevanti in formati di richiesta e risposta coerenti, eliminando la necessità di scrivere query complesse personalizzate per accedere ai dati. Questi set di dati preconfigurati possono essere estratti dagli operatori di rete utilizzando i token CQT depositati su Moonbeam come mezzo di pagamento.

I premi di Covalent sembrano essere in una tendenza generale al rialzo da Q1'23 a Q1'24, in parte a causa di un aumento del prezzo del token Covalent CQT.

Cose da considerare quando si sceglie un indicizzatore

Personalizzazione dei dati

Alcuni indicizzatori, come Covalent, sono indicizzatori generici che forniscono solo set di dati standard e preconfigurati tramite l'API. Sebbene possano essere veloci, non offrono flessibilità agli sviluppatori che necessitano di set di dati personalizzati. Utilizzando il framework dell'indicizzatore, consente un'elaborazione dei dati più personalizzata per soddisfare le esigenze specifiche dell'applicazione.

Sicurezza

I dati indicizzati devono essere sicuri, altrimenti anche le dApp basate su questi indicizzatori saranno vulnerabili. Ad esempio, se le transazioni e i saldi del portafoglio possono essere manipolati, una dApp rischia di perdere liquidità, con conseguenze sui suoi utenti. Sebbene tutti gli indicizzatori utilizzino una qualche forma di sicurezza tramite token di staking dell'indicizzatore, altre soluzioni di indicizzazione possono utilizzare prove per aumentare ulteriormente la sicurezza.

Subsquid offre la possibilità di utilizzare prove ottimistiche e a conoscenza zero, mentre Covalent pubblica anche prove che includono hash di blocco. Graph fornisce periodi di sfida controversi per le query dell'indicizzatore sotto forma di finestre di sfida ottimistiche, mentre SubQuery genera prove Merkle Mountain per ciascun blocco per calcolare gli hash per ciascun blocco di tutti i dati archiviati nel suo database.

Velocità e scalabilità

Poiché la blockchain continua a crescere, aumenta anche il volume delle transazioni, rendendo l’indicizzazione di grandi quantità di dati più complicata poiché sono necessari più potenza di elaborazione e spazio di archiviazione. Man mano che le reti blockchain crescono, mantenere l’efficienza diventa più difficile, ma il protocollo Indexer introduce soluzioni per soddisfare queste crescenti esigenze.

Ad esempio, Subsquid scala orizzontalmente aggiungendo più nodi per archiviare i dati, consentendogli di scalare man mano che l'hardware migliora. Graph fornisce dati in streaming parallelo per una sincronizzazione dei dati più rapida, mentre SubQuery introduce lo sharding dei nodi per accelerare il processo di sincronizzazione.

Reti supportate

Sebbene la maggior parte dell’attività blockchain si svolga ancora all’interno di Ethereum, diverse blockchain sono diventate sempre più popolari nel corso del tempo. Ad esempio, le catene di ecosistemi Layer 2, Solana, Move blockchain e Bitcoin hanno tutte il proprio set di sviluppatori e attività in crescita, che richiedono anche servizi di indicizzazione.

Fornire supporto per determinate catene non supportate da altri protocolli di indicizzazione può far guadagnare maggiori commissioni sulla quota di mercato. Indicizzare reti ad alta intensità di dati come Solana non è un compito facile e finora solo Subsquid ha fornito con successo il supporto per l'indicizzazione.

Insomma

Nonostante la loro diffusa adozione nello sviluppo di dApp, il potenziale degli indicizzatori è ancora enorme, soprattutto se integrati con l’intelligenza artificiale. Poiché l’intelligenza artificiale continua a diventare sempre più diffusa nel Web2 e nel Web3, la sua capacità di migliorare dipende dall’accesso ai dati rilevanti per addestrare modelli e sviluppare agenti IA. Garantire l’integrità dei dati è fondamentale per le applicazioni di intelligenza artificiale poiché impedisce ai modelli di ricevere informazioni distorte o imprecise.

Nel mondo delle soluzioni di indicizzazione, Subsquid ha compiuto progressi significativi nelle prestazioni e nelle metriche degli utenti. Gli utenti hanno già iniziato a sperimentare la creazione di agenti AI utilizzando Subsquid, dimostrando la versatilità e il potenziale della piattaforma nel crescente mondo dell’indicizzazione dei dati. Inoltre, strumenti come AutoAgora aiutano gli indicizzatori a utilizzare l'intelligenza artificiale per fornire prezzi dinamici per i servizi di query su The Graph, mentre SubQuery supporta più reti AI come OriginTrail e Oraichain per l'indicizzazione trasparente dei dati.

Si prevede che l’integrazione dell’intelligenza artificiale con gli indicizzatori migliorerà l’accessibilità e l’usabilità dei dati nell’ecosistema blockchain. Sfruttando la tecnologia dell'intelligenza artificiale, gli indicizzatori possono fornire un recupero dei dati più efficiente e accurato, consentendo agli sviluppatori di creare dApp e strumenti di analisi più complessi. Mentre l’intelligenza artificiale e gli indicizzatori continuano ad evolversi insieme, restiamo ottimisti sul futuro dell’indicizzazione dei dati e sul suo ruolo nel plasmare il panorama digitale decentralizzato.