Coinbase telah melakukan eksperimen untuk menilai keakuratan model bahasa kecerdasan buatan, ChatGPT, yang dikembangkan oleh OpenAI, dalam mendeteksi kerentanan keamanan dalam kontrak pintar.
Tim Keamanan Blockchain di Coinbase membandingkan hasil skor risiko ChatGPT untuk 20 kontrak pintar dengan hasil yang diperoleh dari tinjauan keamanan manual, dengan tujuan menentukan apakah ChatGPT dapat diintegrasikan ke dalam proses tinjauan keamanan. Pengujian mengungkapkan bahwa ChatGPT memberikan hasil yang sama dengan tinjauan manual sebanyak 12 kali. Namun, dalam delapan kasus lainnya, ChatGPT gagal mengidentifikasi aset berisiko tinggi, dan lima di antaranya diberi label berisiko rendah.
ChatGPT adalah alat yang menjanjikan untuk meningkatkan produktivitas di berbagai tugas pengembangan dan rekayasa, termasuk mengoptimalkan kode dan mengidentifikasi kerentanan, antara lain, berdasarkan perintah yang diberikan. Namun, meskipun ChatGPT menunjukkan potensi untuk menilai risiko kontrak pintar dengan cepat, ChatGPT tidak memenuhi persyaratan akurasi yang diperlukan untuk diintegrasikan ke dalam proses peninjauan keamanan Coinbase.
Tim Keamanan Blockchain memanfaatkan alat otomatisasi internal yang dikembangkan untuk membantu insinyur keamanan dalam meninjau kontrak pintar ERC20/721 dalam skala besar. Untuk menguji kemampuan ChatGPT dalam meninjau risiko keamanan dalam kontrak pintar, tim memberikan alat tersebut perintah yang menentukan kerangka tinjauan risiko yang akan digunakan untuk membandingkan hasil dengan yang diperoleh dari tinjauan manual. Namun, tim mencatat bahwa ChatGPT tidak memiliki konteks atau informasi yang diperlukan untuk melakukan respons yang dapat dibandingkan dengan tinjauan manual. Oleh karena itu, Coinbase harus mengajarkan ChatGPT untuk mengidentifikasi risiko sesuai dengan kerangka tinjauan keamanan.
Rekayasa cepat, bidang AI yang sedang berkembang, memainkan peran penting dalam memastikan ChatGPT memberikan hasil yang diinginkan. Tim harus mengartikulasikan bagaimana tugas harus dilakukan atau ditangani untuk mendapatkan hasil yang diinginkan. Dengan menggunakan perintah yang dibuat oleh Coinbase, ChatGPT menghasilkan skor risiko yang digunakan untuk membandingkan keakuratan alat dengan tinjauan manual.
Terlepas dari efisiensi ChatGPT, eksperimen tersebut mengungkapkan beberapa keterbatasan yang mengganggu akurasi alat. ChatGPT tidak mampu mengenali ketika ia tidak memiliki konteks untuk melakukan analisis keamanan yang kuat, sehingga mengakibatkan kesenjangan cakupan ketika dependensi tambahan tidak ditinjau. Triase awal akan diperlukan untuk meninjau ulang alat tersebut setiap saat untuk mencegah kesenjangan cakupan. ChatGPT juga tidak konsisten, karena pertanyaan yang sama mungkin mendapat jawaban berbeda, dan alat tersebut dapat dipengaruhi oleh komentar dalam kode.
Terakhir, OpenAI terus melakukan iterasi pada ChatGPT, dan Coinbase optimis bahwa versi alat ini di masa depan mungkin lebih efektif dalam mengidentifikasi kerentanan keamanan dalam kontrak pintar.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Artikel ini diterbitkan ulang dari azcoinnews.com
