1 Giriş

2017'deki ilk dApps Etheroll, ETHLend ve CryptoKitties dalgasından başlayarak, günümüzde farklı blockchainlere dayalı çeşitli finansal, oyun ve sosyal dApp'lerin yaygınlaşmasına kadar, merkezi olmayan zincir içi uygulamalardan bahsederken, bunun hakkında hiç düşündük mü? Bu dApp'lerin etkileşimlerinde kullandıkları çeşitli verilerin kaynakları nelerdir?

2024'te odak noktası yapay zeka ve Web3 olacak Yapay zeka dünyasında veriler, büyüme ve evrim açısından yaşamın kaynağı gibidir. Nasıl ki bitkiler gelişmek için güneş ışığına ve neme ihtiyaç duyuyorsa, yapay zeka sistemleri de sürekli olarak "öğrenmek" ve "düşünmek" için büyük miktarda veriye ihtiyaç duyar. Veri olmadan yapay zeka algoritmaları, ne kadar karmaşık olursa olsun, gereken zekayı ve etkililiği sağlayamayan havadaki kalelerden başka bir şey değildir.

Bu makale, blockchain veri erişilebilirliği (Veri Erişilebilirliği) perspektifinden sektörün gelişimi sırasında blockchain veri indekslemenin evriminin derinlemesine bir analizini sağlar ve eski veri indeksi protokolü The Graph'ı yeni ortaya çıkan blockchain veri hizmeti protokolü Chainbase ile karşılaştırır. ve Uzay ve Zaman, özellikle yapay zeka teknolojisini birleştiren bu iki yeni protokolün veri hizmetleri ve ürün mimarisi özelliklerindeki benzerlikleri ve farklılıkları araştırıyor.

2 Veri indeksinin karmaşıklığı ve basitliği: Blockchain düğümünden tam zincirli veritabanına

2.1 Veri kaynağı: blockchain düğümü

"Blockchain nedir" anlayışının başlangıcından itibaren şu cümleyi sıklıkla görüyoruz: Blockchain merkezi olmayan bir muhasebe kitabıdır. Blockchain düğümleri tüm blockchain ağının temelidir ve zincirdeki tüm işlem verilerinin kaydedilmesinden, saklanmasından ve dağıtılmasından sorumludur. Her düğüm, blockchain verilerinin tam bir kopyasına sahiptir ve bu da ağın merkezi olmayan yapısının korunmasını sağlar. Ancak sıradan kullanıcıların bir blockchain düğümü oluşturması ve bakımını yapması kolay değil. Bu yalnızca profesyonel teknik beceriler gerektirmez, aynı zamanda yüksek donanım ve bant genişliği maliyetlerini de beraberinde getirir. Aynı zamanda sıradan düğümlerin sorgulama yetenekleri sınırlıdır ve verileri geliştiricilerin gerektirdiği formatta sorgulayamazlar. Yani teoride herkes kendi düğümünü çalıştırabilirken pratikte kullanıcılar genellikle üçüncü taraf hizmetlerine güvenmeyi tercih ediyor.

Bu sorunu çözmek için RPC (uzaktan prosedür çağrısı) düğüm sağlayıcıları ortaya çıktı. Bu sağlayıcılar, düğümlerin maliyetinden ve yönetiminden sorumludur ve verileri RPC uç noktaları aracılığıyla sağlar. Bu, kullanıcıların kendi düğümlerini oluşturmalarına gerek kalmadan blockchain verilerine kolayca erişmelerine olanak tanır. Genel RPC uç noktaları ücretsizdir ancak dApp'in kullanıcı deneyimini olumsuz etkileyebilecek hız sınırlarına sahiptir. Özel RPC uç noktaları tıkanıklığı azaltarak daha iyi performans sağlar, ancak basit veri alımı bile çok fazla ileri geri iletişim gerektirir. Bu da onları karmaşık veri sorguları için yoğun ve verimsiz hale getirir. Ek olarak, özel RPC uç noktalarının ölçeklendirilmesi genellikle zordur ve farklı ağlar arasında uyumluluktan yoksundur. Bununla birlikte, düğüm sağlayıcısının standartlaştırılmış API arayüzü, kullanıcılara zincirdeki verilere erişim için daha düşük bir eşik vererek daha sonraki veri analizi ve uygulaması için temel oluşturur.

2.2 Veri analizi: prototip verilerinden kullanılabilir verilere

Blockchain düğümlerinden elde edilen veriler genellikle şifrelenir ve ham verilerle kodlanır. Bu veriler blok zincirinin bütünlüğünü ve güvenliğini korusa da karmaşıklıkları veri analizinin zorluğunu da artırıyor. Sıradan kullanıcılar veya geliştiriciler için bu prototip verilerinin doğrudan işlenmesi, çok fazla teknik bilgi ve bilgi işlem kaynağı gerektirir.

Bu bağlamda veri analizi süreci özellikle önemlidir. Karmaşık prototip verilerinin anlaşılması ve çalıştırılması daha kolay bir formatta ayrıştırılması sayesinde kullanıcılar, verileri daha sezgisel bir şekilde anlayabilir ve kullanabilir. Veri analizinin başarısı doğrudan blockchain veri uygulamasının verimliliğini ve etkisini belirler ve tüm veri indeksleme sürecinde önemli bir adımdır.

2.3 Veri indeksleyicilerin evrimi

Blockchain veri miktarı arttıkça veri indeksleyicilere olan ihtiyaç da artıyor. Dizin oluşturucular, zincir üzerindeki verilerin düzenlenmesinde ve kolay sorgulama için veritabanına gönderilmesinde hayati bir rol oynar. Dizin oluşturucular, blockchain verilerini dizine ekleyerek ve bunları SQL benzeri bir sorgu dili (GraphQL gibi API'ler) aracılığıyla kolayca kullanılabilir hale getirerek çalışır. Dizin oluşturucular, verileri sorgulamak için birleşik bir arayüz sağlayarak, geliştiricilerin ihtiyaç duydukları bilgileri standart bir sorgulama dili kullanarak hızlı ve doğru bir şekilde almalarına olanak tanıyarak süreci büyük ölçüde basitleştirir.

Farklı dizin oluşturucu türleri, veri alımını çeşitli şekillerde optimize eder:

• Tam düğüm indeksleyiciler: Bu indeksleyiciler tam blockchain düğümlerini çalıştırır ve verileri doğrudan onlardan çekerek verilerin eksiksiz ve doğru olmasını sağlar, ancak önemli miktarda depolama ve işlem gücü gerektirir.

• Hafif dizin oluşturucular: Bu dizin oluşturucular, talep üzerine belirli verileri getirmek için tam düğümlere güvenerek depolama gereksinimlerini azaltır ancak potansiyel olarak sorgu sürelerini artırır.

• Uzmanlaşmış indeksleyiciler: Bu indeksleyiciler, belirli veri türlerinde veya belirli blok zincirlerinde uzmanlaşarak, NFT verileri veya DeFi işlemleri gibi belirli kullanım durumları için alımı optimize eder.

• Toplu indeksleyiciler: Bu indeksleyiciler, zincir dışı bilgiler de dahil olmak üzere birden fazla blok zincirinden ve kaynaktan veri çekerek, özellikle çok zincirli dApp'ler için yararlı olan birleşik bir sorgu arayüzü sağlar.

Şu anda Geth istemcisindeki Ethereum Arşiv Düğümünün arşiv modu yaklaşık 13,5 TB depolama alanı kaplarken, Erigon istemcisinde arşiv gereksinimi yaklaşık 3 TB'tır. Blockchain büyümeye devam ettikçe arşiv düğümlerindeki veri depolama miktarı da artacaktır. Bu kadar büyük miktarda veriyle karşı karşıya kalan ana akım indeksleyici protokolleri yalnızca çoklu zincir indekslemeyi desteklemekle kalmaz, aynı zamanda veri ayrıştırma çerçevelerini farklı uygulamaların veri ihtiyaçlarına göre özelleştirir. Örneğin, The Graph'ın "Alt Grafik" çerçevesi tipik bir durumdur.

Dizin oluşturucuların ortaya çıkışı, veri dizinleme ve sorgulamanın verimliliğini büyük ölçüde artırdı. Dizin oluşturucular, büyük miktardaki verileri verimli bir şekilde dizine ekleyebilir ve geleneksel RPC uç noktalarına kıyasla yüksek hızlı sorguları destekleyebilir. Bu dizin oluşturucular, kullanıcıların karmaşık sorgular gerçekleştirmesine, verileri kolayca filtrelemesine ve çıkardıktan sonra analiz etmesine olanak tanır. Buna ek olarak, bazı indeksleyiciler birden fazla blok zincirinden veri kaynaklarının toplanmasını da destekleyerek çok zincirli dApp'lerde birden fazla API dağıtma ihtiyacını ortadan kaldırır. Dizin oluşturucu, birden çok düğümde dağıtılmış olarak çalışarak yalnızca daha fazla güvenlik ve performans sağlamakla kalmaz, aynı zamanda merkezi bir RPC sağlayıcısının getirebileceği kesinti ve kesinti riskini de azaltır.

Buna karşılık, dizin oluşturucu, kullanıcıların temeldeki karmaşık verileri işlemeden gerekli bilgileri doğrudan elde etmelerine olanak sağlamak için önceden tanımlanmış bir sorgu dili kullanır. Bu mekanizma, veri alımının verimliliğini ve güvenilirliğini önemli ölçüde artırır ve blockchain veri erişiminde önemli bir yeniliktir.

2.4 Tam zincirli veritabanı: akış öncelikli hizalama

Dizin düğümlerini kullanarak verileri sorgulamak genellikle API'nin zincirdeki verileri sindirmek için tek portal haline gelmesi anlamına gelir. Ancak bir proje genişleme aşamasına girdiğinde genellikle daha esnek veri kaynaklarına ihtiyaç duyulur ve standartlaştırılmış API'ler bunu sağlayamaz. Uygulama gereksinimleri daha karmaşık hale geldikçe, birincil veri dizinleyicileri ve bunların standartlaştırılmış dizin formatları, arama, zincirler arası erişim veya zincir dışı veri eşleme gibi giderek daha fazla çeşitlilik gösteren sorgu gereksinimlerini yavaş yavaş karşılayamaz hale gelir.

Modern veri hattı mimarilerinde, geleneksel toplu işlemenin sınırlamalarına bir çözüm olarak gerçek zamanlı veri alımına, işlemesine ve analizine olanak tanıyan "önce akış" yaklaşımı ortaya çıkmıştır. Bu paradigma değişimi, kuruluşların gelen verilere anında yanıt vermesini sağlayarak neredeyse anında içgörü ve kararların alınmasını sağlar. Benzer şekilde, blockchain veri hizmeti sağlayıcılarının gelişimi de blockchain veri akışları oluşturma yönünde ilerlemektedir. Geleneksel indeksleyici hizmet sağlayıcıları, The Graph's Substreams, Goldsky's Mirror gibi gerçek zamanlı blockchain verilerini veri akışı biçiminde elde eden ürünleri başarıyla piyasaya sürdüler. ve Blockchain'e dayalı veri akışları üreten Chainbase ve SubSquid gibi diğer gerçek zamanlı veri gölleri.

Bu hizmetler, blockchain işlemlerinin gerçek zamanlı ayrıştırılması ve daha kapsamlı sorgulama yetenekleri ihtiyacını karşılamak üzere tasarlanmıştır. "Önce akış" mimarisi, gecikmeyi azaltarak ve yanıt verme hızını artırarak verilerin geleneksel veri hatlarında işlenme ve tüketilme biçiminde devrim yarattığı gibi, bu blockchain veri akışı hizmet sağlayıcıları da daha gelişmiş ve olgun veri kaynaklarının geliştirilmesi ve geliştirilmesi yoluyla daha fazlasını desteklemeyi umuyor. Zincir içi veri analizine yardımcı olmak.

Zincir üstü verilerin zorluklarını modern veri hatları merceğinden yeniden tanımlamak, zincir üstü verileri tamamen yeni bir perspektiften yönetme, depolama ve sunma potansiyelini tam olarak görmemize olanak tanır. Alt grafikler ve Ethereum ETL gibi indeksleyicileri nihai çıktı yerine bir veri hattındaki veri akışı olarak düşünmeye başladığımızda, yüksek performanslı veri setlerinin herhangi bir iş kullanımına göre uyarlanabileceği olası bir dünyayı hayal edebiliriz.

3 Yapay Zeka + Veritabanı Derinlemesine karşılaştırma Grafik, Chainbase, Uzay ve Zaman

3.1 Grafik

Graph ağı, merkezi olmayan bir düğüm ağı aracılığıyla çok zincirli veri indeksleme ve sorgulama hizmetlerini uygulayarak geliştiricilerin blockchain verilerini kolayca indekslemesine ve merkezi olmayan uygulamalar oluşturmasına olanak tanır. Ana ürün modelleri, veri sorgu yürütme pazarı ve veri dizini önbelleğe alma pazarıdır. Bu iki pazar, esas olarak kullanıcıların ürün sorgulama ihtiyaçlarına hizmet eder. Veri sorgu yürütme pazarı, özellikle tüketicilerin gerekli veriler için uygun sağlayıcıyı seçmesini ifade eder. Verilerin tamamı ödenir ve veri indeksi önbellek piyasası, indeks düğümlerinin, alt grafiğin tarihsel indeksleme popülaritesine, ücretlendirilen sorgu ücretlerine ve alt grafik çıktısı için zincir üstü küratörlerin ihtiyaçlarına göre kaynakları harekete geçirdiği bir pazardır. .

Alt grafikler, Graph ağındaki temel veri yapısıdır. Verilerin blockchainden nasıl çıkarılacağını ve sorgulanabilir bir formata (GraphQL şeması gibi) nasıl dönüştürüleceğini tanımlarlar. Herkes alt grafikler oluşturabilir ve birden fazla uygulama bu alt grafikleri yeniden kullanabilir, bu da verilerin yeniden kullanılabilirliğini ve kullanım verimliliğini artırır.

Graph ürün yapısı (Kaynak: The Graph Whitepaper)

Graph ağı dört temel rolden oluşur: web3 uygulamalarını desteklemek için birlikte çalışan dizin oluşturucular, küratörler, delegeler ve geliştiriciler. Aşağıda bunların ilgili sorumlulukları yer almaktadır:

• Indexer: Indexer, Graph ağındaki bir düğüm operatörüdür. Index düğümleri, indeksleme ve sorgu işleme hizmetleri sağlamak için GRT'yi (The Graph'ın yerel token'ı) stake ederek ağa katılır.

• Yetki Veren: Yetki verenler, operasyonlarını desteklemek için GRT tokenlarını indeks düğümlerine hisse olarak veren kullanıcılardır. Yetki verenler, ödüllerin bir kısmını yetki verdikleri inode'lar aracılığıyla kazanırlar.

• Küratör: Küratör, hangi alt grafiklerin ağ tarafından indekslenmesi gerektiğinin sinyalini vermekten sorumludur. Küratörler, değerli alt kurgulara öncelik verilmesini sağlamaya yardımcı olur.

• Geliştirici: Arz tarafı olan ilk üç kişiden farklı olarak geliştiriciler talep tarafıdır ve The Graph'ın ana kullanıcılarıdır. Alt grafikler oluşturup The Graph ağına gönderirler ve ağın talep verilerini karşılamasını beklerler.

Şu anda The Graph, kapsamlı bir merkezi olmayan alt grafik barındırma hizmetine geçmiştir ve sistemin işleyişini sağlamak için farklı katılımcılar arasında dolaşan ekonomik teşvikler vardır:

• Endeks düğümü ödülleri: Endeks düğümleri, tüketici sorgu ücretleri ve GRT token blok ödülünün bir kısmı aracılığıyla gelir elde eder.

• Yetki Veren Ödülleri: Yetki verenler, destekledikleri inode'lar aracılığıyla ödüllerin bir kısmını alırlar.

• Küratör ödülleri: Küratörler değerli alt grafiklerin sinyalini verirse sorgu ücretlerinden kısmi bir ödül alabilirler.

Aslında The Graph’ın ürünleri de yapay zeka dalgasında hızla gelişiyor. The Graph ekosisteminin temel geliştirme ekiplerinden biri olan Semiotic Labs, endeks fiyatlandırmasını ve kullanıcı sorgu deneyimini optimize etmek için yapay zeka teknolojisinden yararlanmaya kendini adamıştır. Şu anda Semiotic Labs tarafından geliştirilen AutoAgora, Allocation Optimizer ve AgentC araçlarının her biri ekosistemin performansını birçok açıdan geliştiriyor.

• AutoAgora, fiyatları sorgu hacmine ve kaynak kullanımına göre gerçek zamanlı olarak ayarlamak, fiyatlandırma stratejilerini optimize etmek ve indeksleyicinin rekabet gücünü ve geliri en üst düzeye çıkarmayı sağlamak için dinamik bir fiyatlandırma mekanizması sunar.

• Ayırma Optimize Edici, alt grafik kaynak tahsisine ilişkin karmaşık sorunu çözer ve dizin oluşturucuların geliri ve performansı artırmak için kaynakların optimum tahsisini gerçekleştirmesine yardımcı olur.

• AgentC, kullanıcıların The Graph'ın blockchain verilerine doğal dil aracılığıyla erişmesine olanak tanıyarak kullanıcı deneyimini geliştiren deneysel bir araçtır.

Bu araçların uygulanması, The Graph'ın yapay zeka yardımıyla sistemin zekasını ve kullanıcı dostuluğunu daha da geliştirmesini sağlar.

3.2 Zincir Tabanı

Chainbase, tüm blockchain verilerini tek bir platformda birleştiren, geliştiricilerin uygulamaları oluşturmasını ve bakımını yapmasını kolaylaştıran tam zincirli bir veri ağıdır. Benzersiz özellikleri şunları içerir:

• Gerçek zamanlı veri gölü: Chainbase, özellikle blockchain veri akışı için gerçek zamanlı bir veri gölü sağlayarak, verileri oluşturulduğu anda anında erişilebilir hale getirir.

• Çift zincirli mimari: Chainbase, CometBFT'nin fikir birliği algoritmasıyla paralel bir çift zincirli mimari oluşturmak için Eigenlayer AVS'yi temel alan bir yürütme katmanı oluşturur. Bu tasarım, zincirler arası verilerin programlanabilirliğini ve şekillendirilebilirliğini geliştirir, yüksek verimi, düşük gecikmeyi ve kesinliği destekler ve çift taraflı bir model aracılığıyla ağ güvenliğini artırır.

• Yenilikçi veri formatı standardı: Chainbase, kripto endüstrisinde verilerin yapılandırılma ve kullanılma şeklini optimize etmek için "el yazmaları" adı verilen yeni bir veri formatı standardını tanıttı.

• Cryptoworld Modeli: Geniş blockchain veri kaynaklarından yararlanan Chainbase, blockchain işlemlerini etkili bir şekilde anlayabilen, tahmin edebilen ve bunlarla etkileşime girebilen yapay zeka modelleri oluşturmak için yapay zeka model teknolojisini birleştiriyor. Temel model Theia artık genel kullanıma sunuldu.

Bu özellikler, gerçek zamanlı verilerin erişilebilirliğine, yenilikçi veri formatlarına ve zincir içi ve zincir dışı verilerin birleşimi yoluyla gelişmiş içgörüler için daha akıllı modellerin oluşturulmasına özellikle odaklanarak Chainbase'i blockchain indeksleme protokolleri arasında öne çıkarıyor.

Chainbase'in AI modeli Theia, onu diğer veri hizmeti protokollerinden ayıran önemli bir özelliktir. Theia, NVIDIA tarafından geliştirilen DORA modelini temel alır, zincir içi ve zincir dışı verileri ve uzaysal-zamansal etkinlikleri birleştirir, şifreleme kalıplarını öğrenir ve analiz eder ve nedensel akıl yürütme yoluyla yanıt verir, böylece zincir içi verilerin potansiyel değerini ve kalıplarını derinlemesine araştırır. kullanıcılara daha akıllı veri hizmetleri sağlamak.

Yapay zeka destekli veri hizmetleri, Chainbase'i artık yalnızca bir blockchain veri hizmeti platformu değil, aynı zamanda daha rekabetçi bir akıllı veri hizmeti sağlayıcısı haline getiriyor. Chainbase, güçlü veri kaynakları ve yapay zekanın proaktif analizi sayesinde daha geniş veri öngörüleri sunabiliyor ve kullanıcıların veri işleme süreçlerini optimize edebiliyor.

3.3 Uzay ve Zaman

Uzay ve Zaman (SxT), akıllı sözleşmeler, büyük dil modelleri ve kuruluşlar için güvenilir veri işleme sağlamak amacıyla merkezi olmayan veri ambarlarında sıfır bilgi kanıtlarını genişleten doğrulanabilir bir bilgi işlem katmanı oluşturmayı amaçlamaktadır. Space and Time, Framework Ventures, Lightspeed Faction, Arrington Capital ve Hivemind Capital liderliğindeki son A Serisi finansman turunda 20 milyon dolar topladı.

Veri indeksleme ve doğrulama alanında Space and Time yeni bir teknik yol sunuyor: SQL Kanıtı. Bu, Space and Time tarafından geliştirilen ve merkezi olmayan veri ambarlarında yürütülen SQL sorgularının kurcalanmaya karşı korumalı ve doğrulanabilir olmasını sağlayan yenilikçi bir sıfır bilgi kanıtı (ZKP) teknolojisidir. Bir sorgu çalıştırıldığında Proof of SQL, sorgu sonuçlarının bütünlüğünü ve doğruluğunu doğrulayan kriptografik bir kanıt oluşturur. Bu kanıt sorgu sonucuna eklenir ve herhangi bir doğrulayıcının (akıllı sözleşme vb. gibi) verilerin işlenme sırasında tahrif edilmediğini bağımsız olarak onaylamasına olanak tanır. Geleneksel blockchain ağları genellikle verilerin gerçekliğini doğrulamak için fikir birliği mekanizmalarına dayanırken Space and Time'ın SQL Proof'u daha verimli bir veri doğrulama yöntemi uygular. Spesifik olarak, Space and Time'ın sisteminde bir düğüm veri elde etmekten sorumluyken diğer düğümler zk teknolojisi aracılığıyla verilerin doğruluğunu doğruluyor. Bu yöntem, sonunda veriyi elde etmek için bir fikir birliğine varılıncaya kadar aynı verileri konsensüs mekanizması altında tekrar tekrar indeksleyerek birden fazla düğümün kaynak tüketimini değiştirir ve sistemin genel performansını artırır. Bu teknoloji olgunlaştıkça, veri güvenilirliğine odaklanan bir dizi geleneksel endüstrinin blockchain üzerinde veri yapılandırılmış ürünleri kullanması için bir basamak oluşturuyor.

Aynı zamanda SxT, kullanıcıların blockchain verilerini doğal dil aracılığıyla işlemesini kolaylaştırmak amacıyla üretken yapay zeka araçlarının geliştirilmesini hızlandırmak için Microsoft Yapay Zeka Ortak İnovasyon Laboratuvarı ile yakın işbirliği içinde çalışıyor. Şu anda Space and Time Studio'da kullanıcılar doğal dil sorguları girme deneyimini yaşayabiliyor ve yapay zeka, bunları otomatik olarak SQL'e dönüştürecek ve kullanıcının ihtiyaç duyduğu nihai sonuçları sunmak için kullanıcı adına sorgu ifadelerini yürütecek.

3.4 Fark karşılaştırması

Sonuç ve görünüm

Özetlemek gerekirse, blockchain veri indeksleme teknolojisi, düğüm verilerinin ilk kaynağından, veri ayrıştırma ve indeksleyicilerin geliştirilmesine ve son olarak yapay zeka destekli tam zincir veri hizmetlerine kadar kademeli bir iyileştirme süreci yaşamıştır. Bu teknolojilerin sürekli gelişimi, yalnızca veri erişiminin verimliliğini ve doğruluğunu artırmakla kalmıyor, aynı zamanda kullanıcılara benzeri görülmemiş bir akıllı deneyim sunuyor.

Geleceğe bakıldığında, yapay zeka teknolojisi ve sıfır bilgi kanıtı gibi yeni teknolojilerin sürekli gelişmesiyle birlikte, blockchain veri hizmetleri daha akıllı ve güvenli olacaktır. Blockchain veri hizmetlerinin gelecekte altyapı olarak önemli bir rol oynamaya devam edeceğine ve endüstrinin ilerlemesi ve yeniliğine güçlü destek sağlayacağına inanmak için nedenlerimiz var.