1 Pendahuluan

Mulai dari gelombang pertama dApps Etheroll, ETHLend, dan CryptoKitties pada tahun 2017, hingga menjamurnya berbagai dApps finansial, game, dan sosial berdasarkan berbagai blockchain saat ini, ketika kita berbicara tentang aplikasi on-chain yang terdesentralisasi, pernahkah kita memikirkannya? apakah sumber berbagai data yang digunakan oleh dApps ini dalam interaksinya?

Pada tahun 2024, fokusnya adalah pada AI dan Web3. Dalam dunia kecerdasan buatan, data ibarat sumber kehidupan bagi pertumbuhan dan evolusinya. Sama seperti tanaman yang mengandalkan sinar matahari dan kelembapan untuk tumbuh subur, sistem AI juga mengandalkan data dalam jumlah besar untuk terus “belajar” dan “berpikir”. Tanpa data, algoritme AI, betapapun canggihnya, tidak lebih dari sekadar kastil di udara, tidak mampu mengerahkan kecerdasan dan efektivitasnya.

Artikel ini memberikan analisis mendalam tentang evolusi pengindeksan data blockchain selama perkembangan industri dari perspektif aksesibilitas data blockchain (Aksesibilitas Data), dan membandingkan protokol indeks data lama The Graph dengan protokol layanan data blockchain yang sedang berkembang, Chainbase dan Ruang dan Waktu, yang secara khusus mengeksplorasi persamaan dan perbedaan fitur layanan data dan arsitektur produk dari dua protokol baru yang menggabungkan teknologi AI.

2 Kompleksitas dan kesederhanaan indeks data: dari node blockchain hingga database rantai penuh

2.1 Sumber data: simpul blockchain

Dari awal memahami “apa itu blockchain”, kita sering melihat kalimat ini: blockchain adalah buku akuntansi yang terdesentralisasi. Node Blockchain adalah fondasi dari keseluruhan jaringan blockchain dan bertanggung jawab untuk mencatat, menyimpan, dan menyebarkan semua data transaksi pada rantai tersebut. Setiap node memiliki salinan lengkap data blockchain, memastikan bahwa sifat jaringan yang terdesentralisasi tetap terjaga. Namun, tidak mudah bagi pengguna biasa untuk membangun dan memelihara node blockchain. Hal ini tidak hanya memerlukan keterampilan teknis profesional, tetapi juga memerlukan biaya perangkat keras dan bandwidth yang tinggi. Pada saat yang sama, node biasa memiliki kemampuan kueri yang terbatas dan tidak dapat menanyakan data dalam format yang dibutuhkan oleh pengembang. Jadi, meskipun secara teori setiap orang dapat menjalankan node mereka sendiri, dalam praktiknya pengguna sering kali lebih memilih untuk mengandalkan layanan pihak ketiga.

Untuk mengatasi masalah ini, muncullah penyedia node RPC (panggilan prosedur jarak jauh). Penyedia ini bertanggung jawab atas biaya dan pengelolaan node serta menyediakan data melalui titik akhir RPC. Hal ini memungkinkan pengguna untuk dengan mudah mengakses data blockchain tanpa membangun node mereka sendiri. Titik akhir RPC publik gratis tetapi memiliki batasan kecepatan yang mungkin berdampak negatif pada pengalaman pengguna dApp. Titik akhir RPC privat memberikan kinerja yang lebih baik dengan mengurangi kemacetan, namun pengambilan data sederhana pun memerlukan banyak komunikasi bolak-balik. Hal ini membuat permintaan menjadi banyak dan tidak efisien untuk kueri data yang kompleks. Selain itu, titik akhir RPC privat seringkali sulit untuk diukur dan kurang kompatibel di berbagai jaringan. Namun, antarmuka API standar dari penyedia node memberi pengguna ambang batas yang lebih rendah untuk mengakses data pada rantai, sehingga meletakkan dasar untuk analisis dan penerapan data selanjutnya.

2.2 Analisis data: dari data prototipe hingga data yang dapat digunakan

Data yang diperoleh dari node blockchain sering kali merupakan data mentah yang dienkripsi dan dikodekan. Meskipun data ini mempertahankan integritas dan keamanan blockchain, kompleksitasnya juga meningkatkan kesulitan analisis data. Bagi pengguna atau pengembang biasa, pemrosesan langsung data prototipe ini memerlukan banyak pengetahuan teknis dan sumber daya komputasi.

Proses analisis data sangat penting dalam konteks ini. Dengan mengurai data prototipe yang kompleks ke dalam format yang lebih mudah dipahami dan dioperasikan, pengguna dapat memahami dan memanfaatkan data secara lebih intuitif. Keberhasilan analisis data secara langsung menentukan efisiensi dan efek penerapan data blockchain, dan merupakan langkah kunci dalam keseluruhan proses pengindeksan data.

2.3 Evolusi pengindeks data

Seiring dengan meningkatnya jumlah data blockchain, kebutuhan akan pengindeks data juga meningkat. Pengindeks memainkan peran penting dalam mengatur data on-chain dan mengirimkannya ke database untuk memudahkan kueri. Pengindeks bekerja dengan mengindeks data blockchain dan membuatnya tersedia melalui bahasa kueri mirip SQL (API seperti GraphQL). Dengan menyediakan antarmuka terpadu untuk kueri data, pengindeks memungkinkan pengembang mengambil informasi yang mereka perlukan dengan cepat dan akurat menggunakan bahasa kueri standar, sehingga sangat menyederhanakan prosesnya.

Berbagai jenis pengindeks mengoptimalkan pengambilan data dengan berbagai cara:

  • Pengindeks node penuh: Pengindeks ini menjalankan node blockchain penuh dan menarik data langsung dari node tersebut, memastikan data lengkap dan akurat, namun memerlukan penyimpanan dan daya pemrosesan yang signifikan.

  • Pengindeks ringan: Pengindeks ini mengandalkan node penuh untuk mengambil data spesifik sesuai permintaan, sehingga mengurangi kebutuhan penyimpanan namun berpotensi meningkatkan waktu kueri.

  • Pengindeks khusus: Pengindeks ini mengkhususkan diri pada jenis data tertentu atau blockchain tertentu, mengoptimalkan pengambilan untuk kasus penggunaan tertentu, seperti data NFT atau transaksi DeFi.

  • Pengindeks gabungan: Pengindeks ini mengambil data dari berbagai blockchain dan sumber, termasuk informasi off-chain, menyediakan antarmuka kueri terpadu yang sangat berguna untuk dApps multi-rantai.

Saat ini, mode arsip Node Arsip Ethereum di klien Geth menempati sekitar 13,5 TB ruang penyimpanan, sedangkan di klien Erigon, persyaratan arsip adalah sekitar 3 TB. Seiring dengan pertumbuhan blockchain, jumlah penyimpanan data di node arsip juga akan meningkat. Dihadapkan dengan sejumlah besar data, protokol pengindeks arus utama tidak hanya mendukung pengindeksan multi-rantai, tetapi juga menyesuaikan kerangka penguraian data sesuai dengan kebutuhan data berbagai aplikasi. Misalnya, kerangka “Subgraph” The Graph adalah kasus yang umum.

Munculnya pengindeks telah sangat meningkatkan efisiensi pengindeksan dan pembuatan kueri data. Pengindeks dapat mengindeks data dalam jumlah besar secara efisien dan mendukung kueri berkecepatan tinggi dibandingkan dengan titik akhir RPC tradisional. Pengindeks ini memungkinkan pengguna melakukan kueri kompleks, memfilter data dengan mudah, dan menganalisisnya setelah ekstraksi. Selain itu, beberapa pengindeks juga mendukung agregasi sumber data dari beberapa blockchain, sehingga menghindari masalah keharusan menerapkan beberapa API di dApps multi-rantai. Dengan menjalankannya secara terdistribusi di beberapa node, pengindeks tidak hanya memberikan keamanan dan kinerja yang lebih baik, namun juga mengurangi risiko gangguan dan waktu henti yang dapat terjadi pada penyedia RPC terpusat.

Sebaliknya, pengindeks menggunakan bahasa kueri yang telah ditentukan sebelumnya untuk memungkinkan pengguna memperoleh informasi yang diperlukan secara langsung tanpa memproses data kompleks yang mendasarinya. Mekanisme ini secara signifikan meningkatkan efisiensi dan keandalan pengambilan data dan merupakan inovasi penting dalam akses data blockchain.

2.4 Basis data rantai penuh: penyelarasan aliran pertama

Membuat kueri data menggunakan node indeks sering kali berarti bahwa API menjadi satu-satunya portal untuk mencerna data dalam rantai. Namun, ketika sebuah proyek memasuki fase perluasan, sering kali diperlukan sumber data yang lebih fleksibel, yang tidak dapat disediakan oleh API standar. Ketika persyaratan aplikasi menjadi lebih kompleks, pengindeks data primer dan format indeks standarnya secara bertahap tidak dapat memenuhi persyaratan kueri yang semakin beragam, seperti pencarian, akses lintas rantai, atau pemetaan data off-chain.

Dalam arsitektur pipeline data modern, pendekatan "stream-first" telah muncul sebagai solusi terhadap keterbatasan pemrosesan batch tradisional, yang memungkinkan penyerapan, pemrosesan, dan analisis data secara real-time. Pergeseran paradigma ini memungkinkan organisasi untuk segera merespons data yang masuk, sehingga menghasilkan wawasan dan keputusan yang hampir seketika. Demikian pula, pengembangan penyedia layanan data blockchain juga bergerak ke arah membangun aliran data blockchain. Penyedia layanan pengindeks tradisional telah berturut-turut meluncurkan produk yang memperoleh data blockchain real-time dengan cara aliran data, seperti The Graph's Substreams, Goldsky's Mirror. , dan data lake real-time lainnya seperti Chainbase dan SubSquid yang menghasilkan aliran data berdasarkan blockchain.

Layanan ini dirancang untuk memenuhi kebutuhan penguraian transaksi blockchain secara real-time dan kemampuan kueri yang lebih komprehensif. Sama seperti arsitektur "stream-first" yang merevolusi cara data diproses dan dikonsumsi dalam saluran data tradisional dengan mengurangi latensi dan meningkatkan daya tanggap, penyedia layanan streaming data blockchain ini juga berharap dapat mendukung lebih banyak melalui pengembangan aplikasi dan sumber data yang lebih canggih membantu dalam analisis data on-chain.

Mendefinisikan ulang tantangan data on-chain melalui lensa saluran data modern memungkinkan kita melihat potensi penuh dalam mengelola, menyimpan, dan menyajikan data on-chain dari perspektif yang benar-benar baru. Ketika kita mulai menganggap pengindeks seperti subgraf dan Ethereum ETL sebagai aliran data dalam saluran data dan bukan sebagai keluaran akhir, kita dapat membayangkan sebuah dunia yang memungkinkan di mana kumpulan data berkinerja tinggi dapat disesuaikan dengan kasus penggunaan bisnis apa pun.

3 AI + Database? Perbandingan mendalam Grafik, Chainbase, Ruang dan Waktu

3.1 Grafik

Jaringan Graph mengimplementasikan pengindeksan data multi-rantai dan layanan kueri melalui jaringan node terdesentralisasi, memungkinkan pengembang dengan mudah mengindeks data blockchain dan membangun aplikasi terdesentralisasi. Model produk utamanya adalah pasar eksekusi kueri data dan pasar cache indeks data. Kedua pasar ini pada dasarnya melayani kebutuhan kueri produk pengguna. Pasar eksekusi kueri data secara khusus merujuk pada konsumen yang memilih penyedia yang sesuai untuk data yang diperlukan sebagian besar data dibayar, dan pasar cache indeks data adalah pasar di mana node indeks memobilisasi sumber daya berdasarkan popularitas pengindeksan historis subgraf, biaya kueri yang dibebankan, dan kebutuhan kurator on-chain untuk keluaran subgraf .

Subgraf adalah struktur data dasar dalam jaringan The Graph. Mereka menentukan cara mengekstrak dan mengubah data dari blockchain ke dalam format yang dapat dikueri (seperti skema GraphQL). Siapa pun dapat membuat subgraf, dan beberapa aplikasi dapat menggunakan kembali subgraf ini, sehingga meningkatkan penggunaan kembali data dan efisiensi penggunaan.

Struktur produk Graph (Sumber: The Graph Whitepaper)

Jaringan Graph terdiri dari empat peran utama: pengindeks, kurator, delegasi, dan pengembang, yang bekerja sama untuk mendukung aplikasi web3. Berikut tanggung jawabnya masing-masing:

  • Pengindeks: Pengindeks adalah operator node di jaringan The Graph. Node indeks berpartisipasi dalam jaringan dengan mempertaruhkan GRT (token asli The Graph) untuk menyediakan layanan pengindeksan dan pemrosesan kueri.

  • Delegator: Delegator adalah pengguna yang mempertaruhkan token GRT untuk mengindeks node guna mendukung operasi mereka. Delegator mendapatkan sebagian imbalan melalui inode yang mereka delegasikan.

  • Kurator: Kurator bertanggung jawab untuk memberi sinyal subgraf mana yang harus diindeks oleh jaringan. Kurator membantu memastikan bahwa subplot yang berharga diprioritaskan.

  • Pengembang: Berbeda dengan tiga pihak pertama yang merupakan sisi penawaran, pengembang adalah sisi permintaan dan merupakan pengguna utama The Graph. Mereka membuat dan mengirimkan subgraf ke jaringan The Graph dan menunggu jaringan memenuhi data permintaan.

Saat ini, The Graph telah beralih ke layanan hosting subgraf terdesentralisasi yang komprehensif, dan terdapat insentif ekonomi yang beredar di antara berbagai peserta untuk memastikan pengoperasian sistem:

  • Imbalan node indeks: Node indeks memperoleh pendapatan melalui biaya permintaan konsumen dan bagian dari hadiah blok token GRT.

  • Hadiah Delegator: Delegator menerima sebagian dari hadiah melalui inode yang mereka dukung.

  • Imbalan kurator: Jika kurator memberi sinyal pada subgraf yang berharga, mereka dapat menerima sebagian imbalan dari biaya kueri.

Faktanya, produk The Graph juga berkembang pesat di gelombang AI. Sebagai salah satu tim pengembangan inti ekosistem The Graph, Semiotic Labs telah berkomitmen untuk menggunakan teknologi AI untuk mengoptimalkan harga indeks dan pengalaman kueri pengguna. Saat ini, alat AutoAgora, Allocation Optimizer, dan AgentC yang dikembangkan oleh Semiotic Labs masing-masing meningkatkan kinerja ekosistem dalam berbagai aspek.

  • AutoAgora memperkenalkan mekanisme penetapan harga dinamis untuk menyesuaikan harga secara real-time berdasarkan volume kueri dan penggunaan sumber daya, mengoptimalkan strategi penetapan harga, dan memastikan daya saing pengindeks dan maksimalisasi pendapatan.

  • Pengoptimal Alokasi memecahkan masalah kompleks alokasi sumber daya subgraf dan membantu pengindeks mencapai alokasi sumber daya yang optimal untuk meningkatkan pendapatan dan kinerja.

  • AgentC adalah alat eksperimental yang meningkatkan pengalaman pengguna dengan memungkinkan pengguna mengakses data blockchain The Graph melalui bahasa alami.

Penerapan alat-alat ini memungkinkan The Graph untuk lebih meningkatkan kecerdasan dan kemudahan penggunaan sistem dengan bantuan AI.

3.2 Basis Rantai

Chainbase adalah jaringan data rantai penuh yang mengintegrasikan semua data blockchain ke dalam satu platform, sehingga memudahkan pengembang untuk membangun dan memelihara aplikasi. Fitur uniknya meliputi:

  • Danau data waktu nyata: Chainbase menyediakan danau data waktu nyata khusus untuk streaming data blockchain, membuat data dapat diakses secara instan saat dihasilkan.

  • Arsitektur rantai ganda: Chainbase membangun lapisan eksekusi berdasarkan Eigenlayer AVS untuk membentuk arsitektur rantai ganda paralel dengan algoritma konsensus CometBFT. Desain ini meningkatkan kemampuan program dan komposisi data lintas rantai, mendukung throughput tinggi, latensi rendah, dan finalitas, serta meningkatkan keamanan jaringan melalui model jaminan ganda.

  • Standar format data yang inovatif: Chainbase telah memperkenalkan standar format data baru yang disebut "manuskrip" untuk mengoptimalkan cara data disusun dan digunakan dalam industri kripto.

  • Model Cryptoworld: Memanfaatkan sumber daya data blockchain yang luas, Chainbase menggabungkan teknologi model AI untuk menciptakan model AI yang dapat secara efektif memahami, memprediksi, dan berinteraksi dengan transaksi blockchain. Model dasar Theia sekarang tersedia untuk penggunaan umum.

Fitur-fitur ini menjadikan Chainbase menonjol di antara protokol pengindeksan blockchain, dengan fokus khusus pada aksesibilitas data real-time, format data inovatif, dan pembuatan model yang lebih cerdas untuk meningkatkan wawasan melalui kombinasi data on-chain dan off-chain.

Model AI Chainbase Theia adalah sorotan utama yang membedakannya dari protokol layanan data lainnya. Theia didasarkan pada model DORA yang dikembangkan oleh NVIDIA, menggabungkan data on-chain dan off-chain serta aktivitas spatio-temporal, mempelajari dan menganalisis pola enkripsi, dan merespons melalui penalaran kausal, sehingga mengeksplorasi secara mendalam nilai dan pola potensial on-chain. data, dan menyediakan layanan data yang lebih cerdas kepada pengguna.

Layanan data yang didukung AI menjadikan Chainbase tidak lagi sekadar platform layanan data blockchain, namun menjadi penyedia layanan data cerdas yang lebih kompetitif. Melalui sumber daya data yang kuat dan analisis proaktif AI, Chainbase mampu memberikan wawasan data yang lebih luas dan mengoptimalkan proses pemrosesan data pengguna.

3.3 Ruang dan Waktu

Ruang dan Waktu (SxT) bertujuan untuk menciptakan lapisan komputasi yang dapat diverifikasi yang memperluas bukti tanpa pengetahuan pada gudang data terdesentralisasi untuk menyediakan pemrosesan data tepercaya untuk kontrak pintar, model bahasa besar, dan perusahaan. Space and Time telah mengumpulkan $20 juta dalam putaran pendanaan Seri A terbarunya, yang dipimpin oleh Framework Ventures, Lightspeed Faction, Arrington Capital, dan Hivemind Capital.

Di bidang pengindeksan dan validasi data, Ruang dan Waktu memperkenalkan jalur teknis baru - Bukti SQL. Ini adalah teknologi zero-knowledge proof (ZKP) inovatif yang dikembangkan oleh Space and Time yang memastikan bahwa kueri SQL yang dieksekusi pada gudang data terdesentralisasi tahan terhadap kerusakan dan dapat diverifikasi. Saat kueri dijalankan, Bukti SQL menghasilkan bukti kriptografi yang memverifikasi integritas dan keakuratan hasil kueri. Bukti ini dilampirkan pada hasil kueri, sehingga verifikasi apa pun (seperti kontrak pintar, dll.) dapat mengonfirmasi secara independen bahwa data tidak dirusak selama pemrosesan. Jaringan blockchain tradisional biasanya mengandalkan mekanisme konsensus untuk memverifikasi keaslian data, sementara Space and Time's Proof of SQL menerapkan metode verifikasi data yang lebih efisien. Khususnya, dalam sistem Ruang dan Waktu, satu node bertanggung jawab untuk memperoleh data, sementara node lainnya memverifikasi keaslian data melalui teknologi zk. Metode ini mengubah konsumsi sumber daya beberapa node yang berulang kali mengindeks data yang sama di bawah mekanisme konsensus hingga akhirnya tercapai konsensus untuk memperoleh data, dan meningkatkan kinerja sistem secara keseluruhan. Seiring dengan semakin matangnya teknologi ini, hal ini menciptakan batu loncatan bagi berbagai industri tradisional yang berfokus pada keandalan data untuk menggunakan produk terstruktur data di blockchain.

Pada saat yang sama, SxT telah bekerja sama dengan Microsoft AI Joint Innovation Lab untuk mempercepat pengembangan alat AI generatif guna memudahkan pengguna memproses data blockchain melalui bahasa alami. Saat ini di Space and Time Studio, pengguna dapat merasakan memasukkan kueri bahasa alami, dan AI akan secara otomatis mengubahnya menjadi SQL dan mengeksekusi pernyataan kueri atas nama pengguna untuk menyajikan hasil akhir yang dibutuhkan pengguna.

3.4 Perbandingan perbedaan

Kesimpulan dan pandangan

Singkatnya, teknologi pengindeksan data blockchain telah mengalami proses peningkatan bertahap dari sumber awal data node, melalui pengembangan penguraian dan pengindeksan data, dan akhirnya ke layanan data rantai penuh yang didukung AI. Evolusi berkelanjutan dari teknologi ini tidak hanya meningkatkan efisiensi dan akurasi akses data, namun juga menghadirkan pengalaman cerdas yang belum pernah ada sebelumnya bagi pengguna.

Di masa depan, dengan terus berkembangnya teknologi baru seperti teknologi AI dan zero-knowledge proof, layanan data blockchain akan semakin cerdas dan aman. Kami memiliki alasan untuk percaya bahwa layanan data blockchain akan terus memainkan peran penting sebagai infrastruktur di masa depan, memberikan dukungan kuat bagi kemajuan dan inovasi industri.