Originaltitel: The Evolution of Data Access in Web3

Ursprünglicher Autor: DFG

Originalquelle: Mittel

Die Bedeutung von Daten in Blockchain

Daten sind der Schlüssel zur Blockchain-Technologie und die Grundlage für die Entwicklung dezentraler Anwendungen (dApps). Während sich ein Großteil der aktuellen Diskussion um die Datenverfügbarkeit (Data Availability, DA) dreht – die Sicherstellung, dass jeder Netzwerkteilnehmer Zugriff auf aktuelle Transaktionsdaten zur Verifizierung hat – gibt es einen ebenso wichtigen Aspekt, der oft übersehen wird: die Datenzugänglichkeit.

Im Zeitalter der modularen Blockchain sind DA-Lösungen unverzichtbar geworden. Diese Lösungen stellen sicher, dass Transaktionsdaten allen Teilnehmern zur Verfügung stehen, was eine Echtzeitüberprüfung ermöglicht und die Integrität des Netzwerks aufrechterhält. Allerdings funktioniert die DA-Schicht eher wie eine Werbetafel als wie eine Datenbank. Das bedeutet, dass die Daten nicht auf unbestimmte Zeit gespeichert werden, sondern mit der Zeit gelöscht werden, so wie ein Plakat auf einer Werbetafel irgendwann durch ein neues ersetzt wird.

Der Datenzugriff hingegen konzentriert sich auf die Fähigkeit, historische Daten abzurufen, was für die Entwicklung von dApps und die Durchführung von Blockchain-Analysen von entscheidender Bedeutung ist. Dieser Aspekt ist von entscheidender Bedeutung für Aufgaben, die Zugriff auf vergangene Daten erfordern, um eine genaue Darstellung und Ausführung sicherzustellen. Obwohl die Zugänglichkeit von Daten wichtig ist und weniger diskutiert wird, ist sie genauso wichtig wie die Datenverfügbarkeit. Die beiden spielen unterschiedliche, aber komplementäre Rollen im Blockchain-Ökosystem, und ein umfassender Datenverwaltungsansatz muss beide Probleme berücksichtigen, um leistungsstarke und effiziente Blockchain-Anwendungen zu unterstützen.

Wie Blockchain-Daten zuvor abgerufen wurden

Seit ihrer Einführung hat Blockchain die Infrastruktur revolutioniert und die Erstellung dezentraler Anwendungen (dApps) in verschiedenen Bereichen wie Gaming, Finanzen und sozialen Netzwerken ermöglicht. Allerdings erfordert die Erstellung dieser dApps den Zugriff auf große Mengen an Blockchain-Daten, was schwierig und teuer ist.

Eine Möglichkeit für dApp-Entwickler besteht darin, ihre eigenen archivierten RPC-Knoten zu hosten und auszuführen. Diese Knoten speichern alle historischen Blockchain-Daten von Anfang an und ermöglichen so den vollständigen Zugriff auf die Daten. Die Pflege von Archivknoten ist jedoch teuer und verfügt über begrenzte Abfragemöglichkeiten, sodass es unmöglich ist, Daten in dem von Entwicklern benötigten Format abzufragen. Der Betrieb billigerer Knoten ist zwar eine Option, diese Knoten verfügen jedoch nur über begrenzte Datenabruffunktionen, was den Betrieb von dApps behindern kann.

Ein anderer Ansatz besteht darin, einen kommerziellen RPC-Knotenanbieter (Remote Procedure Call) zu verwenden. Diese Anbieter sind für die Kosten und die Verwaltung der Knoten verantwortlich und stellen Daten über RPC-Endpunkte bereit. Öffentliche RPC-Endpunkte sind kostenlos, unterliegen jedoch Ratenbeschränkungen, die sich negativ auf das Benutzererlebnis der dApp auswirken können. Private RPC-Endpunkte bieten eine bessere Leistung durch Reduzierung der Überlastung, aber selbst der einfache Datenabruf erfordert viel Hin- und Her-Kommunikation. Dies macht sie anforderungsintensiv und bei komplexen Datenabfragen ineffizient. Darüber hinaus sind private RPC-Endpunkte häufig schwer zu skalieren und nicht mit verschiedenen Netzwerken kompatibel.

Eine bessere Alternative: Blockchain Indexer

Blockchain-Indexer spielen eine entscheidende Rolle bei der Organisation von On-Chain-Daten und deren Übermittlung an Datenbanken zur einfachen Abfrage, weshalb sie oft als „Google der Blockchain“ bezeichnet werden. Sie funktionieren, indem sie Blockchain-Daten indizieren und sie über eine SQL-ähnliche Abfragesprache (unter Verwendung von APIs wie GraphQL) leicht verfügbar machen. Durch die Bereitstellung einer einheitlichen Schnittstelle zum Abfragen von Daten ermöglichen Indexer Entwicklern das schnelle und genaue Abrufen der benötigten Informationen mithilfe einer standardisierten Abfragesprache, was den Prozess erheblich vereinfacht.

Verschiedene Arten von Indexern optimieren den Datenabruf auf unterschiedliche Weise:

  1. Vollständige Node-Indexer: Diese Indexer betreiben vollständige Blockchain-Knoten und rufen Daten direkt von ihnen ab, um sicherzustellen, dass die Daten vollständig und korrekt sind, erfordern jedoch erhebliche Speicher- und Verarbeitungsleistung.

  2. Leichte Indexer: Diese Indexer verlassen sich auf vollständige Knoten, um bestimmte Daten bei Bedarf abzurufen, was den Speicherbedarf reduziert, aber möglicherweise die Abfragezeiten verlängert.

  3. Spezialisierte Indexer: Diese Indexer sind auf bestimmte Datentypen oder bestimmte Blockchains spezialisiert und optimieren den Abruf für bestimmte Anwendungsfälle, wie z. B. NFT-Daten oder DeFi-Transaktionen.

  4. Aggregierte Indexer: Diese Indexer ziehen Daten aus mehreren Blockchains und Quellen, einschließlich Off-Chain-Informationen, und stellen eine einheitliche Abfrageschnittstelle bereit, die besonders für Multi-Chain-dApps nützlich ist.

Allein Ethereum benötigt 3 TB Speicherplatz, und da die Blockchain weiter wächst, wird die Datenspeichermenge für Erigon-Archivknoten weiter zunehmen. Das Indexer-Protokoll setzt mehrere Indexer ein, um große Datenmengen mit hohen Geschwindigkeiten, die mit RPC nicht möglich sind, effizient zu indizieren und abzufragen.

Der Indexer ermöglicht auch komplexe Abfragen, eine einfache Filterung von Daten anhand verschiedener Kriterien und eine Analyse der Daten nach der Extraktion. Einige Indexer ermöglichen auch die Aggregation von Daten aus mehreren Quellen, wodurch die Notwendigkeit vermieden wird, mehrere APIs in Multi-Chain-dApps bereitzustellen. Durch die Verteilung auf mehrere Knoten bieten Indexer verbesserte Sicherheit und Leistung, wohingegen es bei RPC-Anbietern aufgrund ihrer Zentralisierung zu Ausfällen und Ausfallzeiten kommen kann.

Insgesamt verbessern Indexer die Effizienz und Zuverlässigkeit des Datenabrufs und senken gleichzeitig die Kosten für die Bereitstellung eines einzelnen Knotens im Vergleich zu RPC-Knotenanbietern. Dies macht das Blockchain Indexer-Protokoll zur ersten Wahl für dApp-Entwickler.

Anwendungsfall eines Indexers

Wie bereits erwähnt, erfordert die Erstellung einer dApp das Abrufen und Lesen von Blockchain-Daten, um ihre Dienste auszuführen. Dazu gehören alle Arten von dApps, einschließlich DeFi, NFT-Plattformen, Spiele und sogar soziale Netzwerke, da diese Plattformen Daten lesen müssen, bevor sie andere Transaktionen durchführen können.

DeFi

DeFi-Protokolle erfordern unterschiedliche Informationen, um Benutzern spezifische Preise, Verhältnisse, Gebühren usw. zu nennen. Automatisierte Market Maker (AMMs) benötigen Preis- und Liquiditätsinformationen über bestimmte Pools, um Swap-Sätze zu berechnen, während Kreditprotokolle eine Nutzung erfordern, um Kreditzinsen und liquidierte Schuldenquoten zu ermitteln. Bevor ein Benutzer den Zinssatz berechnet, ist es wichtig, die Informationen in seine dApp einzugeben.

Spiel

GameFi muss Daten schnell indizieren und darauf zugreifen, um einen reibungslosen Spielablauf für Benutzer zu gewährleisten. Nur mit blitzschnellem Datenabruf und -ausführung können Web3-Spiele hinsichtlich der Leistung mit Web2-Spielen mithalten und mehr Benutzer anziehen. Für diese Spiele sind Daten wie Landbesitz, Token-Guthaben im Spiel, Aktionen im Spiel und mehr erforderlich. Mithilfe von Indexern können sie einen stabilen Datenfluss und eine konsistente Betriebszeit besser gewährleisten, um ein einwandfreies Spielerlebnis zu gewährleisten.

NFT

NFT-Marktplätze und Kreditplattformen benötigen indizierte Daten, um auf eine Vielzahl von Informationen zuzugreifen, wie z. B. NFT-Metadaten, Eigentums- und Übertragungsdaten, Lizenzinformationen und mehr. Durch die schnelle Indizierung dieser Daten entfällt die Notwendigkeit, jeden NFT einzeln zu durchsuchen, um Eigentums- oder NFT-Attributdaten zu finden.

Unabhängig davon, ob es sich um einen DeFi Automated Market Maker (AMM) handelt, der Preis- und Liquiditätsinformationen benötigt, oder um eine SocialFi-Anwendung, die neue Benutzerbeiträge aktualisieren muss, ist die Fähigkeit, Daten schnell abzurufen, für die ordnungsgemäße Funktion einer dApp von entscheidender Bedeutung. Mithilfe von Indexern können sie Daten effizient und korrekt abrufen und so für ein reibungsloses Benutzererlebnis sorgen.

analysieren

Indexer bieten eine Möglichkeit, spezifische Daten aus Rohdaten der Blockchain zu extrahieren, einschließlich Smart-Contract-Ereignissen in jedem Block. Dies bietet die Möglichkeit einer spezifischeren Datenanalyse, um umfassende Erkenntnisse zu gewinnen.

Beispielsweise kann ein Perpetual-Trading-Protokoll herausfinden, welche Token ein hohes Handelsvolumen haben und für welche Token Gebühren anfallen, und so entscheiden, ob diese Token als Perpetual-Kontrakte auf ihrer Plattform aufgeführt werden. DEX-Entwickler können Dashboards für ihre Produkte erstellen, um Erkenntnisse darüber zu gewinnen, welche Pools die höchsten Renditen erzielen oder am liquidesten sind. Es können auch öffentliche Dashboards erstellt werden, die Entwicklern die Freiheit und Flexibilität geben, jede Art von Daten abzufragen, die in Diagrammen angezeigt werden sollen.

Da mehrere Blockchain-Indexer verfügbar sind, ist die Identifizierung der Unterschiede zwischen den Indexierungsprotokollen von entscheidender Bedeutung, um sicherzustellen, dass Entwickler den Indexer auswählen, der ihren Anforderungen am besten entspricht.

Übersicht über den Blockchain-Indexer

Indexer-Übersicht

Der Graph

The Graph ist das erste auf Ethereum eingeführte Indexerprotokoll, das die einfache Abfrage von Transaktionsdaten ermöglicht, die zuvor nicht leicht zugänglich waren. Es verwendet Untergraphen, um Teilmengen der von der Blockchain gesammelten Daten zu definieren und zu filtern, z. B. alle Transaktionen im Zusammenhang mit dem Uniswap v3 USDC/ETH-Pool.

Mit Proof of Index setzen Indexer den nativen Token-GRT für Indexierungs- und Abfragedienste ein, und Delegatoren können ihre Token dagegen einsetzen. Kuratoren haben Zugriff auf hochwertige Untergraphen, um Indexierern bei der Entscheidung zu helfen, welche Untergraphen indexiert werden müssen, um optimale Abfragegebühren zu erzielen. Im Zuge des Übergangs zu einer stärkeren Dezentralisierung wird The Graph schließlich seine Hosting-Dienste einstellen und ein Upgrade von Subgraphen auf sein Netzwerk sowie aktualisierte Indexer verlangen.

Seine Infrastruktur ermöglicht durchschnittliche Kosten pro Million Abfragen von 40 US-Dollar, was deutlich niedriger ist als die Kosten selbst gehosteter Knoten. Mithilfe von Dateidatenquellen unterstützt es außerdem die parallele Indizierung von On-Chain- und Off-Chain-Daten für einen effizienten Datenabruf.

Betrachtet man die Indexer-Belohnungen von The Graph, so sind diese in den letzten Quartalen stetig gewachsen. Dies ist teilweise auf einen Anstieg des Abfragevolumens zurückzuführen, aber auch auf einen Anstieg des Token-Preises, da geplant ist, in Zukunft KI-gestützte Abfragen zu integrieren.

Tintenfisch

Subsquid ist ein horizontal skalierbarer dezentraler Peer-to-Peer-Datensee, der große Mengen an On-Chain- und Off-Chain-Daten effizient aggregiert und diese mit Zero-Knowledge-Beweisen sichert. Als dezentrales Netzwerk von Arbeitern ist jeder Knoten für die Speicherung von Daten aus einer bestimmten Teilmenge von Blöcken verantwortlich, wodurch der Datenabrufprozess beschleunigt wird, indem die Knoten, die die erforderlichen Daten enthalten, schnell identifiziert werden.

Subsquid unterstützt auch die Indizierung in Echtzeit, sodass Blöcke vor ihrer Fertigstellung indiziert werden können. Es unterstützt auch das Speichern von Daten im Format der Wahl des Entwicklers, was eine einfachere Analyse mit Tools wie BigQuery, Parquet oder CSV ermöglicht. Darüber hinaus können Subgraphen im Subsquid-Netzwerk bereitgestellt werden, ohne auf das Squid SDK migrieren zu müssen, was eine codelose Bereitstellung ermöglicht.

Obwohl sich Subsquid noch in der Testnet-Phase befindet, hat es beeindruckende Statistiken mit über 80.000 Testnet-Benutzern, über 60.000 bereitgestellten Squid-Indexern und über 20.000 verifizierten Entwicklern im Netzwerk erzielt. Zuletzt, am 3. Juni, startete Subsquid das Mainnet seines Data Lake.

Zusätzlich zur Indizierung können Subsquid Network Data Lakes RPC in Anwendungsfällen wie Analysen, ZK/TEE-Coprozessoren, KI-Agenten und Oracle ersetzen.

Unterabfrage

SubQuery ist ein dezentrales Middleware-Infrastrukturnetzwerk, das RPC- und indizierte Datendienste bereitstellt. Es unterstützte zunächst die Netzwerke Polkadot und Substrate und wurde mittlerweile auf über 200 Ketten ausgeweitet. Es funktioniert ähnlich wie The Graph mit Indexnachweis, wobei ein Indexer Daten indiziert und Abfrageanfragen bearbeitet und Delegatoren ihre Anteile an den Indexer übertragen. Verbraucher werden jedoch aufgefordert, Kaufaufträge einzureichen, um nachzuweisen, dass das Einkommen des Indexierers und nicht das des Managers garantiert ist.

Es werden SubQuery-Datenknoten eingeführt, die Sharding unterstützen, um die ständige Synchronisierung neuer Daten zwischen den einzelnen Knoten zu verhindern und so die Abfrageeffizienz zu optimieren und gleichzeitig eine stärkere Dezentralisierung voranzutreiben. Benutzer können wählen, ob sie eine Rechengebühr von etwa 1 SQT-Token pro 1000 Anfragen zahlen möchten oder über das Protokoll eine benutzerdefinierte Gebühr für den Indexer festlegen möchten.

Obwohl SubQuery seinen Token erst Anfang des Jahres auf den Markt gebracht hat, ist der Dollarwert der Ausgabeprämien für Knoten und Delegatoren von Monat zu Monat gestiegen, was auf eine zunehmende Anzahl von auf seiner Plattform angebotenen Abfragediensten zurückzuführen ist. Seit dem TGE ist der Gesamtbetrag der SQT-Einsätze von 6 Millionen auf 125 Millionen gestiegen, was das Wachstum der Netzwerkbeteiligung unterstreicht.

Kovalent

Covalent ist ein dezentrales Indexernetzwerk, in dem Block Sample Producer (BSP)-Netzwerkknoten durch Batch-Export Kopien von Blockchain-Daten erstellen und Beweise auf der Covalent L1-Blockchain veröffentlichen. Diese Daten werden dann vom Block Result Producer (BRP)-Knoten gemäß den festgelegten Regeln verfeinert und die Daten, die den Anforderungen entsprechen, werden herausgefiltert.

Über eine einheitliche API können Entwickler relevante Blockchain-Daten problemlos in konsistenten Anforderungs- und Antwortformaten abrufen, ohne benutzerdefinierte komplexe Abfragen schreiben zu müssen, um auf die Daten zuzugreifen. Diese vorkonfigurierten Datensätze können von Netzwerkbetreibern mithilfe von auf Moonbeam abgewickelten CQT-Tokens als Zahlungsmittel extrahiert werden.

Die Belohnungen von Covalent scheinen von Q1’23 bis Q1’24 insgesamt einen Aufwärtstrend zu verzeichnen, was teilweise auf einen Preisanstieg des Covalent-Tokens CQT zurückzuführen ist.

Was Sie bei der Auswahl eines Indexers beachten sollten

Anpassbarkeit der Daten

Einige Indexer, wie etwa Covalent, sind Allzweck-Indexer, die über die API nur standardmäßige, vorkonfigurierte Datensätze bereitstellen. Obwohl sie zwar schnell sind, bieten sie Entwicklern, die benutzerdefinierte Datensätze benötigen, keine Flexibilität. Durch die Verwendung des Indexer-Frameworks ist eine individuellere Datenverarbeitung möglich, um anwendungsspezifischen Anforderungen gerecht zu werden.

Sicherheit

Indizierte Daten müssen sicher sein, da sonst auch dApps, die auf diesen Indexern basieren, anfällig sind. Wenn beispielsweise Transaktionen und Wallet-Guthaben manipuliert werden können, besteht die Gefahr, dass eine dApp Liquidität verliert, was sich negativ auf ihre Benutzer auswirkt. Während alle Indexer irgendeine Form der Sicherheit durch Indexer-Stake-Token nutzen, können andere Indexer-Lösungen Beweise verwenden, um die Sicherheit weiter zu erhöhen.

Subsquid bietet die Möglichkeit, optimistische und wissensfreie Beweise zu verwenden, während Covalent auch Beweise veröffentlicht, die Block-Hashes enthalten. Graph bietet umstrittene Challenge-Zeiträume für Indexer-Abfragen in Form von optimistischen Challenge-Fenstern, während SubQuery Merkle Mountain-Beweise für jeden Block generiert, um Hashes für jeden Block aller in seiner Datenbank gespeicherten Daten zu berechnen.

Geschwindigkeit und Skalierbarkeit

Da die Blockchain weiter wächst, steigt auch das Transaktionsvolumen, wodurch die Indizierung großer Datenmengen umständlicher wird, da mehr Rechenleistung und Speicherplatz erforderlich sind. Mit dem Wachstum von Blockchain-Netzwerken wird es schwieriger, die Effizienz aufrechtzuerhalten, aber das Indexer-Protokoll führt Lösungen ein, um diesen wachsenden Anforderungen gerecht zu werden.

Beispielsweise skaliert Subsquid horizontal, indem es weitere Knoten zum Speichern von Daten hinzufügt, sodass es bei verbesserter Hardware skaliert werden kann. Graph bietet parallele Streaming-Daten für eine schnellere Datensynchronisierung, während SubQuery Node-Sharding einführt, um den Synchronisierungsprozess zu beschleunigen.

Unterstützte Netzwerke

Obwohl die meisten Blockchain-Aktivitäten immer noch innerhalb von Ethereum stattfinden, haben verschiedene Blockchains im Laufe der Zeit an Popularität gewonnen. Beispielsweise verfügen die Layer-2-, Solana-, Move-Blockchain- und Bitcoin-Ökosystemketten alle über ihre eigenen wachsenden Entwickler und Aktivitäten, die auch Indexierungsdienste erfordern.

Die Bereitstellung von Unterstützung für bestimmte Ketten, die von anderen Indexerprotokollen nicht unterstützt werden, kann zu höheren Marktanteilsgebühren führen. Die Indizierung datenintensiver Netzwerke wie Solana ist keine leichte Aufgabe, und bisher hat nur Subsquid erfolgreich Indexierungsunterstützung für sie bereitgestellt.

abschließend

Trotz ihrer weiten Verbreitung in der dApp-Entwicklung ist das Potenzial von Indexern immer noch enorm, insbesondere wenn sie in KI integriert sind. Da KI in Web2 und Web3 immer häufiger vorkommt, hängt ihre Verbesserungsfähigkeit vom Zugriff auf relevante Daten ab, um Modelle zu trainieren und KI-Agenten zu entwickeln. Die Gewährleistung der Datenintegrität ist für KI-Anwendungen von entscheidender Bedeutung, da sie verhindert, dass Modelle voreingenommene oder ungenaue Informationen erhalten.

In der Welt der Indexerlösungen hat Subsquid erhebliche Fortschritte bei Leistung und Benutzermetriken erzielt. Benutzer haben bereits begonnen, mit der Entwicklung von KI-Agenten mithilfe von Subsquid zu experimentieren, was die Vielseitigkeit und das Potenzial der Plattform in der wachsenden Welt der Datenindizierung demonstriert. Darüber hinaus helfen Tools wie AutoAgora Indexierern dabei, KI zu nutzen, um dynamische Preise für Abfragedienste auf The Graph bereitzustellen, während SubQuery mehrere KI-Netzwerke wie OriginTrail und Oraichain für eine transparente Datenindizierung unterstützt.

Es wird erwartet, dass die Integration künstlicher Intelligenz mit Indexern die Zugänglichkeit und Benutzerfreundlichkeit von Daten im Blockchain-Ökosystem verbessert. Durch die Nutzung der Technologie der künstlichen Intelligenz können Indexer einen effizienteren und genaueren Datenabruf ermöglichen, sodass Entwickler komplexere dApps und Analysetools erstellen können. Während sich KI und Indexierer gemeinsam weiterentwickeln, bleiben wir hinsichtlich der Zukunft der Datenindizierung und ihrer Rolle bei der Gestaltung der dezentralen digitalen Landschaft optimistisch.

#Web3