Judul asli: "Prime Intellect: Membuat Keajaiban untuk Meningkatkan Pelatihan AI"

Penulis asli: Teng Yan

Terjemahan asli: Siweiguai

Catatan penerjemah: Dengan nilai pasar Nvidia yang melampaui $3 triliun di pertengahan tahun, penyewaan daya komputasi GPU telah menjadi jalur terpanas di bidang AI terenkripsi pada tahun 2024. Namun, sebagian besar proyek hanya bertahan pada tahap agregasi sumber daya daya komputasi dan gagal memecahkan masalah inti pelatihan model AI terdesentralisasi di seluruh kluster GPU terdistribusi. Proyek mutakhir Prime Intellect mencoba memecahkan hambatan ini. Peneliti kripto Teng Yan menulis sebuah artikel untuk mengeksplorasi solusi inovatif Prime Intellect dan bagaimana ia diharapkan dapat memimpin masa depan pelatihan AI terdesentralisasi.

Sebagian besar pasar GPU biasa-biasa saja, sering kali hanya mengulang pengalaman produk yang sama, mensubsidi biaya dengan hanya menambahkan sedikit token.

Namun, pelatihan AI terdesentralisasi adalah permainan baru dengan potensi transformatif. Prime Intellect tengah membangun infrastruktur penting untuk pelatihan AI terdesentralisasi dalam skala besar.

Inilah alasan mengapa mereka melampaui proyek DePIN rata-rata:

Cetak biru besar Prime Intellect terdiri dari empat bagian:

1. Mengintegrasikan sumber daya komputasi global

2. Mengembangkan kerangka pelatihan terdistribusi untuk pengembangan model kolaboratif

3. Melatih model AI sumber terbuka secara kolaboratif

4. Memungkinkan kepemilikan kolektif model AI

Agregator Pasar GPU

Pada tanggal 1 Juli, mereka meluncurkan tahap pertama dengan meluncurkan GPU Marketplace, yang mengintegrasikan sumber daya komputasi dari vendor GPU utama yang tersentralisasi dan terdesentralisasi, termasuk Akash Network, io.net, Vast.ai, Lambda Cloud, dan lainnya. Tujuannya adalah untuk memberikan harga sewa terbaik kepada pengguna dengan menggabungkan sumber daya pemasok dan menyediakan alat yang mudah digunakan. Pengguna dapat langsung menggunakan platform Prime Intellect tanpa harus mengunjungi Akash atau io.net satu per satu untuk membandingkan harga.

Platform pengujian daring mereka intuitif dan mudah digunakan. Pengguna dapat menjalankan klaster dalam hitungan menit, tanpa KYC. Anda dapat memilih tempat untuk menyewa GPU dan tingkat keamanan jaringan (seperti cloud aman atau cloud komunitas), dan ada juga opsi "harga terendah".

Mereka menawarkan berbagai pilihan GPU, dari seri H100 teratas hingga seri RTX3000 dan 4000. Ukuran kluster saat ini dibatasi hingga 8 GPU, dan Prime Intellect berupaya memperluasnya hingga 16-128.

Pelatihan Terdesentralisasi Skala Besar

Bagian kedua dari cetak biru mereka, yaitu mengembangkan kerangka kerja pelatihan AI terdistribusi, adalah yang paling menarik perhatian.

Situasi saat ini adalah bahwa pelatihan model AI dasar berskala besar biasanya memerlukan pusat data yang dibangun sendiri. Ini melibatkan jaringan berkecepatan tinggi, penyimpanan data yang disesuaikan, perlindungan privasi, dan pengoptimalan efisiensi, yang sulit dicapai hanya dengan menyewa beberapa GPU. Jadi tidak mengherankan bahwa raksasa seperti Microsoft, Google, dan OpenAI mendominasi bidang ini, dan pemain kecil kekurangan sumber daya yang diperlukan.

Prime Intellect akan memungkinkan pelatihan model di beberapa kluster GPU yang terdistribusi.

Pelatihan terdesentralisasi menghadapi berbagai tantangan:

· Mengoptimalkan latensi komunikasi dan bandwidth antara node di seluruh dunia

· Mengakomodasi berbagai jenis GPU dalam jaringan ini

· Toleransi kesalahan: proses pelatihan harus mampu beradaptasi dengan perubahan ketersediaan cluster GPU, karena cluster ini dapat bergabung atau keluar kapan saja

Hal ini memerlukan penerjemahan penelitian mutakhir ke dalam sistem produksi yang sebenarnya:

· Pelatihan Komunikasi Rendah Terdistribusi (DiLoCo): Suatu metode untuk pelatihan paralel data pada perangkat yang terhubung buruk yang menyinkronkan gradien setiap 500 langkah, bukan setiap langkah.

· Prime Intellect baru-baru ini membuat kerangka kerja sumber terbuka yang mendukung pengembangan model kolaboratif pada GPU yang didistribusikan secara global, membuat kode tersedia bagi siapa saja.

· Mereka mereproduksi eksperimen DiLoCo milik Google DeepMind, melatih model di 3 negara dengan pemanfaatan komputasi 90-95%. Mereka juga meningkatkan skalanya hingga 3 kali lipat dari karya aslinya, menunjukkan keefektifannya pada model dengan satu miliar parameter.

Jika Prime Intellect dapat memecahkan masalah ini, hal itu akan sangat memengaruhi metode pelatihan model dan efisiensi pemanfaatan sumber daya.

Fitur terakhir yang dikembangkan Prime Intellect adalah protokol untuk memberi penghargaan kepada peserta yang menyumbangkan daya komputasi, kode, dan dana, serta untuk mencapai tata kelola kolektif model AI. Ini sesuai dengan konsep AI terdesentralisasi dan mendorong pengguna untuk berpartisipasi. Diharapkan mereka dapat menggunakan mata uang kripto sebagai media transaksi dan kepemilikan.

Pendapat saya

· Pasar GPU saat ini sangat homogen dan kurang menarik. Meskipun beberapa pasar telah mengumpulkan pasokan melalui insentif token, sisi permintaan tetap lemah karena tantangan pelatihan yang terdesentralisasi.

· Pasar GPU terdesentralisasi global sangat kompetitif. (Berikut ini perbandingan harga beberapa penyedia GPU:)

· Jika Prime Intellect dapat meningkatkan efisiensi pelatihan AI yang terdesentralisasi, hal itu akan membuka pintu bagi permintaan GPU.

· Prime Intellect memiliki dukungan investor terkenal seperti Clem Delangue (salah satu pendiri dan CEO Hugging Face), Erik Voorhees (pendiri dan CEO Shapeshift), dan Andrew Kang (salah satu pendiri dan mitra Mechanism Capital).