Klon e4eeb3 yang disetujui komunitas dalam proposal 13094 melengkapi tonggak sejarah Cyclotron dalam peta jalan ICP.
Tujuan dari pencapaian ini adalah untuk memungkinkan inferensi model AI secara on-chain dengan jutaan parameter, yang merupakan langkah pertama menuju tujuan yang lebih ambisius yaitu pelatihan on-chain dan inferensi model AI skala besar.
Seperti yang kita ketahui bersama, beban kerja AI bersifat komputasi intensif, dan inferensi pada model AI dengan jutaan parameter memerlukan miliaran operasi aritmatika, seperti perkalian dan penjumlahan, yang berarti, untuk mendukung inferensi on-chain, blockchain memerlukan kemampuan untuk memproses miliaran operasi per detik.
Tonggak sejarah Cyclotron meningkatkan kekuatan komputasi ICP dengan urutan besarnya (~10x), menjadikannya satu-satunya blockchain yang memiliki contoh kerja kontrak pintar yang melakukan pengenalan wajah sepenuhnya secara on-chain, serta kasus penggunaan lainnya seperti klasifikasi gambar dan eksekusi GPT2 (dikembangkan oleh DecideAI).
Lihat video demonstrasi pengenalan wajah Dominic Williams di awal artikel ini.
Dasar dari komputasi kecerdasan buatan on-chain
Mesin virtual adalah bagian dari blockchain dan sangat penting untuk perhitungan AI karena dapat mengeksekusi kode kontrak pintar. Fungsi dan kinerja mesin virtual secara langsung mempengaruhi seberapa banyak perhitungan AI yang dapat dilakukan oleh kontrak pintar.
Misalnya, EVM adalah mesin virtual Ethereum, yang dibuat khusus untuk kontrak pintar DeFi dan tidak memiliki fungsi seperti operasi floating point yang diperlukan untuk perhitungan AI. Sebaliknya, ICP menggunakan WebAssembly sebagai mesin virtual, dan WebAssembly mendukung angka floating point . Dan dirancang dari awal untuk performa yang mendekati aslinya.
Ide di balik tonggak sejarah Cyclotron adalah untuk memaksimalkan kinerja floating point dari mesin virtual ICP.
Optimasi 1: Operasi floating point deterministik
Sebagian besar pustaka dan kerangka kerja AI mengandalkan operasi floating point, dan dalam konteks ICP, operasi floating point harus bersifat deterministik, artinya operasi tersebut harus menghasilkan hasil yang dapat diprediksi dan menggunakan operan masukan yang sama.
Properti deterministik ini penting karena ICP mengeksekusi kode yang sama pada beberapa node dan kemudian menjalankan algoritma konsensusnya untuk menetapkan hasil yang benar. Jika operasi floating point tidak deterministik, node mungkin tidak setuju, sehingga menghambat kemajuan blockchain.
Insinyur DFINITY menemukan cara untuk membuat operasi floating point deterministik lebih cepat dalam implementasi mesin virtual WebAssembly yang disebut Wasmtime, optimasi kompiler tingkat rendah yang menghasilkan kode lebih cepat yang memberi manfaat lebih dari sekadar ICP, juga memberi manfaat pada platform dan blockchain lain yang menggunakan Wasmtime.
Optimasi 2: Instruksi Tunggal, Banyak Data (SIMD)
SIMD adalah teknologi yang didukung oleh semua CPU modern yang memungkinkan CPU melakukan beberapa operasi aritmatika menggunakan satu instruksi. Misalnya, WebAssembly dapat melakukan empat penambahan floating point paralel menggunakan satu instruksi, seperti yang ditunjukkan pada gambar di bawah.
SIMD WebAssembly juga dapat menangani bilangan bulat; misalnya, ia dapat melakukan 16 operasi aritmatika paralel pada bilangan bulat kecil 8-bit, berpotensi meningkatkan kinerja sebesar 4x hingga 16x tergantung pada jenis angka dan operasi.
Kontrak pintar yang berjalan di ICP sekarang dapat menggunakan instruksi SIMD deterministik dan memanfaatkan komputasi paralel. Pelajari cara menyusun kontrak pintar menggunakan SIMD:
github.com/dfinity/examples/tree/master/rust/simd
Optimasi 3: Dukungan SIMD di mesin inferensi AI
Bagian terakhir dari teka-teki Cyclotron adalah menambahkan dukungan SIMD WebAssembly ke perpustakaan AI, dengan insinyur DFINITY menyumbangkan implementasi SIMD WebAssembly ke mesin inferensi Sonos Tract open source.
Kode baru ini menggunakan instruksi SIMD untuk mengimplementasikan perkalian matriks dan algoritma numerik lainnya, mirip dengan optimasi pertama di Wasmtime, sebuah kontribusi yang tidak hanya menguntungkan ICP tetapi juga komunitas pengembang yang lebih luas.
hasil
Bersama-sama, pengoptimalan ini meningkatkan pengujian microbenchmark numerik sebesar 28x, dengan peningkatan yang diamati berkisar antara 5x hingga 19x bergantung pada model dalam beban kerja inferensi AI end-to-end, seperti yang ditunjukkan pada gambar di bawah.
Kode sumber untuk kontrak pintar yang berisi model AI ini tersedia di GitHub, sehingga siapa pun dapat mereproduksi dan memverifikasi hasilnya:
Klasifikasi Gambar: Ini adalah model MobileNet yang mengklasifikasikan gambar masukan dan mengembalikan label yang paling mungkin dari 1000 label yang diketahui, mengurangi jumlah instruksi Wasm yang diperlukan untuk menjalankan satu inferensi dari 24,7 miliar menjadi 3,7 miliar.
Deteksi Wajah: Ini adalah model Ultraface yang dapat menemukan kotak pembatas wajah dalam gambar masukan, mengurangi jumlah instruksi Wasm yang diperlukan untuk menjalankan satu inferensi dari 6,1 miliar menjadi 1,2 miliar.
Pengenalan wajah: Ini adalah model yang menghitung penyematan vektor gambar masukan wajah. Jumlah instruksi Wasm yang diperlukan untuk menjalankan satu inferensi dikurangi dari 77 miliar menjadi 9 miliar. Batas eksekusi pada jaringan utama adalah 40 miliar instruksi berarti pengenalan wajah sebelumnya tidak dapat berjalan di mainnet dan hanya dapat berjalan secara lokal pada replika yang dipatch.
GPT2: Ini adalah model GPT2 yang diubah DecideAI menjadi kontrak pintar menggunakan kerangka kerja rustic-connect-py-ai-to-ic, dan detail tolok ukurnya dijelaskan di GitHub.
Tolok ukur dijalankan di dfx versi 0.20.1 (Baseline) dan versi 0.22.0-beta.0 (Cyclotron).
Kesimpulannya
Tonggak sejarah Cyclotron membawa kinerja komputasi AI pada ICP mendekati kinerja CPU asli dengan mengoptimalkan operasi floating point dan mengaktifkan instruksi SIMD WebAssembly. Ini mendukung pemrosesan model secara on-chain dengan jutaan parameter, seperti klasifikasi gambar, pengenalan wajah, dan AI GPT2 pemikiran.
Ini adalah langkah pertama untuk sepenuhnya menjalankan model AI besar pada rantai untuk memecahkan masalah kepercayaan AI. Tonggak sejarah AI berikutnya dalam peta jalan ICP bertujuan untuk melampaui batasan CPU untuk melakukan inferensi AI dan pelatihan model besar pada rantai , kontrak pintar membutuhkan Metode menjalankan perhitungan komputasi dan memori intensif pada perangkat keras khusus seperti GPU.
Nantikan pencapaian Gyrotron.
#AI模型 #DEAI🤖🤖🤖 #gpt4 $BTC $ETH $ICP
Konten IC yang Anda minati
Kemajuan Teknologi |. Informasi Proyek |
Kumpulkan dan ikuti IC Binance Channel
Ikuti terus informasi terkini
