Peneliti dari University of Washington telah meluncurkan Guanaco, sebuah chatbot sumber terbuka yang bertujuan untuk menyaingi kinerja ChatGPT sekaligus mengurangi waktu dan sumber daya yang dibutuhkan untuk pelatihan secara signifikan. Dinamai berdasarkan kerabat llama di Amerika Selatan, Guanaco dibangun berdasarkan model bahasa LLaMA dan menggabungkan metode fine-tuning baru yang disebut QLoRA.
Pos Metaverse (mpost.io)
Para kreator Guanaco mengklaim bahwa ia mencapai kinerja yang sebanding dengan ChatGPT tetapi dapat dilatih hanya dalam satu hari. Prestasi luar biasa ini dimungkinkan oleh QLoRA, sebuah teknik penyempurnaan model bahasa yang secara substansial mengurangi jumlah memori GPU yang dibutuhkan untuk pelatihan. Sementara ChatGPT membutuhkan memori GPU sebesar 780 GB untuk model dengan 65 miliar parameter, versi Guanaco yang paling sederhana hanya membutuhkan 5 GB.
Dengan peningkatan efisiensi yang mengesankan ini, Guanaco dan model sumber terbuka serupa menantang anggapan bahwa pelatihan mahal diperlukan untuk model bahasa mutakhir. Munculnya Guanaco, Alpaca, dan model lain yang melatih dengan biaya yang jauh lebih murah telah menimbulkan spekulasi tentang masa depan model mahal seperti GPT.
Namun, tidak semua orang setuju dengan pandangan optimis tentang model sumber terbuka ini. Sebuah studi terkini yang dilakukan oleh University of California telah menimbulkan keraguan tentang kemampuan model seperti alpaka dan menimbulkan pertanyaan tentang potensi sebenarnya. Awalnya, para peneliti mencapai kesimpulan yang sama dengan para kreator Guanaco: jika dilatih dengan benar, model sumber terbuka dapat menyaingi GPT dalam hal kemampuan. Pengujian lebih lanjut mengungkapkan keterbatasan yang signifikan. Model "Dolly" ini, sebagaimana kadang-kadang disebut, mahir meniru solusi untuk masalah yang mereka hadapi selama pelatihan. Namun, mereka kesulitan untuk bekerja dengan baik pada tugas-tugas yang belum pernah mereka hadapi secara eksplisit, sehingga tertinggal dari model yang lebih maju.
Pengungkapan ini menunjukkan bahwa jutaan dolar yang diinvestasikan dalam pelatihan GPT dan model serupa mungkin tidak sia-sia. Sementara Guanaco dan mitranya menunjukkan hasil yang menjanjikan, masih ada area di mana model yang lebih canggih lebih unggul. Perlu dicatat bahwa penelitian yang dilakukan oleh University of California menantang anggapan umum bahwa model sumber terbuka dapat sepenuhnya menggantikan model mahal seperti GPT.
Seiring dengan berkembangnya bidang pemrosesan bahasa alami, akan menarik untuk melihat bagaimana Guanaco dan model sumber terbuka lainnya bersaing dengan tolok ukur yang sudah mapan seperti ChatGPT. Tingkat inovasi yang tinggi dan penelitian berkelanjutan, tanpa diragukan lagi, akan memengaruhi masa depan model bahasa dan menentukan model mana yang menjadi pilihan utama untuk aplikasi tertentu.
Dolly 2.0, Chat-LLM 12B sumber terbuka pertama yang tersedia secara komersial, telah diumumkan oleh Databricks. Ini merupakan kemajuan signifikan bagi industri pembelajaran mesin, yang memungkinkan bisnis untuk membuat model bahasa yang efektif tanpa berinvestasi dalam kluster GPU yang mahal. Databricks melibatkan 5.000 karyawan untuk membuat model bahasa sumber terbuka mereka, yang mencakup model bahasa Pythia-12B EleutherAI di bawah lisensi MIT. Dolly 2.0, serta kode terkait, tersedia di bawah lisensi MIT. Dolly 2.0 berpotensi mengubah industri dan merupakan langkah maju yang signifikan bagi pembelajaran mesin.
Baca lebih lanjut tentang AI:
Chatbot Bertenaga GPT dan Asisten AI untuk Dokter Mengubah Layanan Kesehatan
SoundStorm: Google Luncurkan Alat AI Menakutkan yang Mampu Mereplikasi Suara Secara Real-Time
Kinerja GPT-4 pada Ujian Advokat AS Bertentangan dengan Klaimnya
Postingan Guanaco Muncul sebagai Pesaing ChatGPT Open-Source yang Potensial muncul pertama kali di Metaverse Post.
