1 Introducere

Începând de la primul val de dApps Etheroll, ETHLend și CryptoKitties în 2017, până la proliferarea diverselor dApps financiare, de jocuri și sociale bazate pe diferite blockchain astăzi, când vorbim despre aplicații descentralizate în lanț, ne-am gândit vreodată la asta? sunt sursele diferitelor date utilizate de aceste dApp-uri în interacțiunile lor?

În 2024, accentul se va pune pe AI și Web3. În lumea inteligenței artificiale, datele sunt ca sursa vieții pentru creșterea și evoluția lor. Așa cum plantele se bazează pe lumina soarelui și pe umiditate pentru a se dezvolta, sistemele AI se bazează, de asemenea, pe cantități masive de date pentru a „învăța” și „gândi” continuu. Fără date, algoritmii AI, oricât de sofisticați ar fi, nu sunt altceva decât castele în aer, incapabili să-și exercite inteligența și eficacitatea cuvenite.

Acest articol oferă o analiză aprofundată a evoluției indexării datelor blockchain în timpul dezvoltării industriei din perspectiva accesibilității datelor blockchain (accesibilitatea datelor) și compară vechiul protocol de index de date The Graph cu protocolul emergent de serviciu de date blockchain Chainbase. și Space and Time, explorând în mod specific asemănările și diferențele dintre serviciile de date și caracteristicile arhitecturii produsului ale acestor două noi protocoale care combină tehnologia AI.

2 Complexitatea și simplitatea indexului de date: de la nodul blockchain la baza de date cu lanț complet

2.1 Sursa datelor: nodul blockchain

De la începutul înțelegerii „ce este blockchain”, vedem adesea această propoziție: blockchain este o carte de contabilitate descentralizată. Nodurile blockchain reprezintă fundamentul întregii rețele blockchain și sunt responsabile pentru înregistrarea, stocarea și diseminarea tuturor datelor privind tranzacțiile din lanț. Fiecare nod are o copie completă a datelor blockchain, asigurându-se că natura descentralizată a rețelei este menținută. Cu toate acestea, nu este ușor pentru utilizatorii obișnuiți să construiască și să întrețină un nod blockchain. Acest lucru necesită nu numai abilități tehnice profesionale, dar vine și cu costuri ridicate pentru hardware și lățime de bandă. În același timp, nodurile obișnuite au capabilități limitate de interogare și nu pot interoga datele în formatul cerut de dezvoltatori. Deci, deși în teorie fiecare își poate rula propriul nod, în practică, utilizatorii preferă adesea să se bazeze pe servicii terțe.

Pentru a rezolva această problemă, au apărut furnizorii de noduri RPC (apel de procedură la distanță). Acești furnizori sunt responsabili pentru costul și gestionarea nodurilor și furnizează date prin punctele finale RPC. Acest lucru permite utilizatorilor să acceseze cu ușurință datele blockchain fără a-și construi propriile noduri. Punctele finale RPC publice sunt gratuite, dar au limite de rată care pot avea un impact negativ asupra experienței utilizatorului dApp. Punctele finale RPC private oferă performanțe mai bune prin reducerea congestiei, dar chiar și simpla recuperare a datelor necesită multă comunicare înainte și înapoi. Acest lucru le face să fie solicitate grele și ineficiente pentru interogări complexe de date. În plus, punctele finale private RPC sunt adesea dificil de scalat și nu sunt compatibile între diferite rețele. Cu toate acestea, interfața API standardizată a furnizorului de noduri oferă utilizatorilor un prag mai scăzut pentru accesarea datelor din lanț, punând bazele pentru analiza și aplicarea ulterioară a datelor.

2.2 Analiza datelor: de la date prototip la date utilizabile

Datele obținute de la nodurile blockchain sunt adesea criptate și codificate date brute. Deși aceste date păstrează integritatea și securitatea blockchain-ului, complexitatea lor crește și dificultatea analizei datelor. Pentru utilizatorii obișnuiți sau dezvoltatori, procesarea directă a acestor date prototip necesită multe cunoștințe tehnice și resurse de calcul.

Procesul de analiză a datelor este deosebit de important în acest context. Prin analizarea datelor prototip complexe într-un format care este mai ușor de înțeles și de utilizat, utilizatorii pot înțelege și utiliza datele mai intuitiv. Succesul analizei datelor determină în mod direct eficiența și efectul aplicării datelor blockchain și este un pas cheie în întregul proces de indexare a datelor.

2.3 Evoluția indexatorilor de date

Pe măsură ce cantitatea de date blockchain crește, crește și nevoia de indexatori de date. Indexatorii joacă un rol vital în organizarea datelor în lanț și trimiterea acestora la baza de date pentru o interogare ușoară. Indexatorii funcționează prin indexarea datelor blockchain și făcându-le ușor disponibile printr-un limbaj de interogare asemănător SQL (API-uri precum GraphQL). Oferind o interfață unificată pentru interogarea datelor, indexatorii permit dezvoltatorilor să recupereze rapid și cu acuratețe informațiile de care au nevoie folosind un limbaj de interogare standardizat, simplificând foarte mult procesul.

Diferite tipuri de indexare optimizează recuperarea datelor în diferite moduri:

  • Indexare cu noduri complete: Acești indexare rulează noduri blockchain complete și extrag date direct din acestea, asigurându-se că datele sunt complete și precise, dar necesită o putere semnificativă de stocare și procesare.

  • Indexoare ușoare: acești indexatori se bazează pe noduri complete pentru a prelua date specifice la cerere, reducând cerințele de stocare, dar potențial mărind timpul de interogare.

  • Indexatori specializati: Acești indexatori sunt specializați în anumite tipuri de date sau blockchain-uri specifice, optimizând recuperarea pentru cazuri de utilizare specifice, cum ar fi datele NFT sau tranzacțiile DeFi.

  • Indexatori agregați: acești indexatori extrag date din mai multe blockchain-uri și surse, inclusiv informații din afara lanțului, oferind o interfață de interogare unificată, care este deosebit de utilă pentru dApps cu mai multe lanțuri.

În prezent, modul de arhivare al nodului de arhivă Ethereum din clientul Geth ocupă aproximativ 13,5 TB de spațiu de stocare, în timp ce pentru clientul Erigon, cerința de arhivare este de aproximativ 3 TB. Pe măsură ce blockchain-ul continuă să crească, și cantitatea de stocare a datelor în nodurile de arhivă va crește. În fața unei cantități atât de uriașe de date, protocoalele de indexare mainstream nu doar acceptă indexarea cu mai multe lanțuri, ci și personalizează cadrele de analiză a datelor în funcție de nevoile de date ale diferitelor aplicații. De exemplu, cadrul „Subgraf” al The Graph este un caz tipic.

Apariția indexatorilor a îmbunătățit mult eficiența indexării și interogării datelor. Indexatorii pot indexa eficient cantități mari de date și pot accepta interogări de mare viteză în comparație cu punctele finale RPC tradiționale. Aceste indexare permit utilizatorilor să efectueze interogări complexe, să filtreze cu ușurință datele și să le analizeze după extragere. În plus, unii indexatori acceptă și agregarea surselor de date din mai multe blockchain-uri, evitând problema necesității de a implementa mai multe API-uri în dApps cu mai multe lanțuri. Prin rularea distribuită pe mai multe noduri, indexerul nu numai că oferă o securitate și performanță mai mari, dar reduce și riscul de întrerupere și timpi de nefuncționare care pot veni cu un furnizor RPC centralizat.

În schimb, indexatorul folosește un limbaj de interogare predefinit pentru a permite utilizatorilor să obțină direct informațiile necesare fără a procesa datele complexe subiacente. Acest mecanism îmbunătățește semnificativ eficiența și fiabilitatea recuperării datelor și este o inovație importantă în accesul la date blockchain.

2.4 Baza de date cu lanț complet: aliniere la primul flux

Interogarea datelor folosind nodurile de index înseamnă adesea că API-ul devine singurul portal pentru digerarea datelor în lanț. Cu toate acestea, atunci când un proiect intră în faza de extindere, sunt adesea necesare surse de date mai flexibile, pe care API-urile standardizate nu le pot oferi. Pe măsură ce cerințele aplicațiilor devin mai complexe, indexatoarele de date primare și formatele lor standardizate de index nu pot îndeplini treptat cerințele de interogare din ce în ce mai diverse, cum ar fi căutarea, accesul încrucișat sau maparea datelor în afara lanțului.

În arhitecturile moderne de pipeline de date, o abordare „în primul rând” a apărut ca o soluție la limitările procesării tradiționale în lot, permițând asimilarea, procesarea și analiza în timp real a datelor. Această schimbare de paradigmă permite organizațiilor să răspundă imediat la datele primite, rezultând în perspective și decizii aproape instantanee. În mod similar, dezvoltarea furnizorilor de servicii de date blockchain se îndreaptă, de asemenea, în direcția construirii fluxurilor de date blockchain. Furnizorii tradiționali de servicii de indexare au lansat succesiv produse care obțin date blockchain în timp real într-un flux de date, cum ar fi The Graph's Substreams, Goldsky's Mirror. și alte lacuri de date în timp real, cum ar fi Chainbase și SubSquid, care generează fluxuri de date bazate pe blockchain.

Aceste servicii sunt concepute pentru a răspunde nevoii de analiză în timp real a tranzacțiilor blockchain și a capacităților de interogare mai cuprinzătoare. Așa cum arhitectura „stream-first” revoluționează modul în care datele sunt procesate și consumate în conductele tradiționale de date prin reducerea latenței și îmbunătățirea capacității de răspuns, acești furnizori de servicii de streaming de date blockchain speră, de asemenea, să sprijine mai mult prin surse de date mai avansate și mai mature asistarea în analiza datelor în lanț.

Redefinirea provocărilor date în lanț prin prisma conductelor moderne de date ne permite să vedem întregul potențial al gestionării, stocării și servirii datelor în lanț dintr-o perspectivă complet nouă. Când începem să ne gândim la indexatori precum subgrafele și Ethereum ETL ca fluxuri de date într-o conductă de date, mai degrabă decât rezultatul final, ne putem imagina o lume posibilă în care seturile de date de înaltă performanță pot fi adaptate oricărui caz de utilizare în afaceri.

3 AI + Baza de date? Comparație în profunzime The Graph, Chainbase, Space and Time

3.1 Graficul

Rețeaua Graph implementează servicii de indexare și interogare a datelor cu mai multe lanțuri printr-o rețea de noduri descentralizate, permițând dezvoltatorilor să indexeze cu ușurință datele blockchain și să construiască aplicații descentralizate. Principalele modele de produs sunt piața de execuție a interogărilor de date și piața de stocare a indexului de date. Aceste două piețe servesc în esență nevoilor de interogare a utilizatorilor din datele sunt plătite, iar piața cache a indicilor de date este o piață în care nodurile indexului mobilizează resurse pe baza popularității istorice de indexare a subgrafului, a taxelor de interogare percepute și a nevoilor curatorilor din lanț pentru ieșirea subgrafului. .

Subgrafele sunt structura de bază a datelor în rețeaua The Graph. Ei definesc modul de extragere și transformare a datelor din blockchain într-un format interogabil (cum ar fi o schemă GraphQL). Oricine poate crea subgrafe, iar mai multe aplicații pot reutiliza aceste subgrafe, ceea ce îmbunătățește reutilizarea datelor și eficiența utilizării.

Structura produsului Graph (Sursa: The Graph Whitepaper)

Rețeaua Graph constă din patru roluri cheie: indexatori, curatori, delegați și dezvoltatori, care lucrează împreună pentru a alimenta aplicațiile web3. Următoarele sunt responsabilitățile lor respective:

  • Indexer: Indexer este un operator de nod în rețeaua The Graph. Nodurile Index participă în rețea prin staking GRT (tokenul nativ al The Graph) pentru a furniza servicii de indexare și procesare a interogărilor.

  • Delegator: delegatorii sunt utilizatori care miză jetoane GRT pentru a indexa nodurile pentru a-și sprijini operațiunile. Delegatorii câștigă o parte din recompense prin inodele cărora le delegă.

  • Curator: Curatorul este responsabil pentru semnalarea subgrafelor care ar trebui să fie indexate de rețea. Curatorii ajută la asigurarea că subploturile valoroase sunt prioritizate.

  • Dezvoltator: Spre deosebire de primii trei care sunt partea ofertei, dezvoltatorii sunt partea cererii și sunt principalii utilizatori ai The Graph. Ei creează și trimit subgrafe către rețeaua The Graph și așteaptă ca rețeaua să satisfacă cererea de date.

În prezent, The Graph a trecut la un serviciu de găzduire subgraf descentralizat cuprinzător și circulă stimulente economice între diferiți participanți pentru a asigura funcționarea sistemului:

  • Recompensele nodului index: nodurile indexate obțin venituri prin taxele de interogare ale consumatorilor și o parte din recompensa blocului de simboluri GRT.

  • Recompensele delegatorilor: delegatorii primesc o parte din recompense prin intermediul inodelor pe care le suportă.

  • Recompensele curatorilor: dacă curatorii semnalează subgrafe valoroase, ei pot primi recompense parțiale din taxele de interogare.

De fapt, produsele The Graph se dezvoltă rapid și în valul AI. Fiind una dintre echipele de dezvoltare de bază ale ecosistemului The Graph, Semiotic Labs s-a angajat să utilizeze tehnologia AI pentru a optimiza prețurile indexate și experiența de interogare a utilizatorilor. În prezent, instrumentele AutoAgora, Allocation Optimizer și AgentC dezvoltate de Semiotic Labs îmbunătățesc fiecare performanța ecosistemului în mai multe aspecte.

  • AutoAgora introduce un mecanism dinamic de stabilire a prețurilor pentru a ajusta prețurile în timp real pe baza volumului de interogări și a utilizării resurselor, pentru a optimiza strategiile de preț și pentru a asigura competitivitatea și maximizarea veniturilor indexatorului.

  • Optimizatorul de alocare rezolvă problema complexă a alocării resurselor subgraf și ajută indexatorii să realizeze alocarea optimă a resurselor pentru a îmbunătăți veniturile și performanța.

  • AgentC este un instrument experimental care îmbunătățește experiența utilizatorului, permițând utilizatorilor să acceseze datele blockchain ale The Graph prin limbaj natural.

Aplicarea acestor instrumente permite The Graph să îmbunătățească și mai mult inteligența și ușurința de utilizare a sistemului cu asistență AI.

3.2 Baza cu lanț

Chainbase este o rețea de date cu lanț complet care integrează toate datele blockchain într-o singură platformă, facilitând dezvoltarea și întreținerea aplicațiilor pentru dezvoltatori. Caracteristicile sale unice includ:

  • Lac de date în timp real: Chainbase oferă un lac de date în timp real special pentru streaming de date blockchain, făcând datele accesibile instantaneu pe măsură ce sunt generate.

  • Arhitectură dual-chain: Chainbase construiește un strat de execuție bazat pe Eigenlayer AVS pentru a forma o arhitectură paralelă dual-chain cu algoritmul de consens CometBFT. Acest design îmbunătățește programabilitatea și compunebilitatea datelor încrucișate, acceptă debitul mare, latența scăzută și finalitatea și îmbunătățește securitatea rețelei printr-un model dual-colateral.

  • Standard inovator de format de date: Chainbase a introdus un nou standard de format de date numit „manuscrise” pentru a optimiza modul în care datele sunt structurate și utilizate în industria cripto.

  • Modelul Cryptoworld: Utilizând vastele sale resurse de date blockchain, Chainbase combină tehnologia modelului AI pentru a crea modele AI care pot înțelege, prezice și interacționa eficient cu tranzacțiile blockchain. Modelul de bază Theia este acum disponibil pentru uz public.

Aceste caracteristici fac Chainbase să iasă în evidență printre protocoalele de indexare blockchain, cu un accent deosebit pe accesibilitatea datelor în timp real, formate de date inovatoare și crearea de modele mai inteligente pentru informații îmbunătățite prin combinarea datelor on-chain și off-chain.

Modelul AI Theia al Chainbase este un element esențial care îl diferențiază de alte protocoale de servicii de date. Theia se bazează pe modelul DORA dezvoltat de NVIDIA, combină date în lanț și în afara lanțului și activități spațio-temporale, învață și analizează tiparele de criptare și răspunde prin raționament cauzal, explorând astfel în profunzime valoarea potențială și tiparele în lanț. date și oferind utilizatorilor servicii de date mai inteligente.

Serviciile de date bazate pe inteligență artificială fac din Chainbase să nu mai fie doar o platformă de servicii de date blockchain, ci un furnizor de servicii de date inteligente mai competitiv. Prin resurse de date puternice și analiză proactivă prin AI, Chainbase este capabil să ofere informații mai ample asupra datelor și să optimizeze procesele de prelucrare a datelor ale utilizatorilor.

3.3 Spațiu și timp

Space and Time (SxT) își propune să creeze un strat de calcul verificabil care extinde dovezile zero cunoștințe pe depozitele de date descentralizate pentru a oferi procesare de încredere a datelor pentru contracte inteligente, modele de limbaj mari și întreprinderi. Space and Time a strâns 20 de milioane de dolari în cea mai recentă rundă de finanțare din seria A, condusă de Framework Ventures, Lightspeed Faction, Arrington Capital și Hivemind Capital.

În domeniul indexării și validării datelor, Space and Time introduce o nouă cale tehnică - Proof of SQL. Aceasta este o tehnologie inovatoare zero-knowledge proof (ZKP) dezvoltată de Space and Time care asigură că interogările SQL executate într-un depozit de date descentralizat sunt inviolabile și verificabile. Când se execută o interogare, Proof of SQL generează o dovadă criptografică care verifică integritatea și acuratețea rezultatelor interogării. Această dovadă este atașată rezultatului interogării, permițând oricărui verificator (cum ar fi un contract inteligent etc.) să confirme în mod independent că datele nu au fost modificate în timpul procesării. Rețelele blockchain tradiționale se bazează de obicei pe mecanisme de consens pentru a verifica autenticitatea datelor, în timp ce Proof of SQL de la Space and Time implementează o metodă mai eficientă de verificare a datelor. Mai exact, în sistemul Space and Time, un nod este responsabil pentru achiziționarea datelor, în timp ce alte noduri verifică autenticitatea datelor prin tehnologia zk. Această metodă modifică consumul de resurse al mai multor noduri indexând în mod repetat aceleași date în cadrul mecanismului de consens până când se ajunge în sfârșit la un consens pentru obținerea datelor și îmbunătățește performanța generală a sistemului. Pe măsură ce această tehnologie se maturizează, creează o piatră de temelie pentru o serie de industrii tradiționale care se concentrează pe fiabilitatea datelor pentru a utiliza produse structurate pe date în blockchain.

În același timp, SxT a lucrat îndeaproape cu Microsoft AI Joint Innovation Lab pentru a accelera dezvoltarea instrumentelor AI generative pentru a facilita utilizatorilor procesarea datelor blockchain prin limbaj natural. În prezent, în Space and Time Studio, utilizatorii pot experimenta introducerea de interogări în limbaj natural, iar AI le va converti automat în SQL și va executa instrucțiuni de interogare în numele utilizatorului pentru a prezenta rezultatele finale de care utilizatorul are nevoie.

3.4 Compararea diferențelor

Concluzie și perspectivă

Pentru a rezuma, tehnologia de indexare a datelor blockchain a experimentat un proces de îmbunătățire treptată de la sursa inițială a datelor nodurilor, prin dezvoltarea analizei și indexatorilor de date și, în cele din urmă, la serviciile de date full-chain împuternicite de AI. Evoluția continuă a acestor tehnologii nu numai că îmbunătățește eficiența și acuratețea accesului la date, dar oferă și utilizatorilor o experiență inteligentă fără precedent.

Privind spre viitor, odată cu dezvoltarea continuă a noilor tehnologii, cum ar fi tehnologia AI și dovada zero-cunoștințe, serviciile de date blockchain vor fi și mai inteligente și sigure. Avem motive să credem că serviciile de date blockchain vor continua să joace un rol important ca infrastructură în viitor, oferind un sprijin puternic pentru progresul și inovarea industriei.