Ditulis oleh: Azuma, Odaily Planet Daily

Pada pukul 11:00 waktu Beijing, pendiri Slow Mist Yuxian memposting sebuah kasus aneh di X pribadi - dompet seorang pengguna 'dihack' oleh AI...

Berikut adalah urutan kejadian dari kasus ini.

Pagi ini, pengguna X r_ocky.eth mengungkapkan bahwa sebelumnya ia berharap memanfaatkan ChatGPT untuk membantu membuat bot perdagangan pump.fun.

r_ocky.eth memberikan kebutuhan kepada ChatGPT, dan ChatGPT mengembalikan kepadanya sepotong kode, yang memang dapat membantu r_ocky.eth menerapkan bot yang sesuai dengan kebutuhannya, tetapi ia tidak menyangka bahwa kode tersebut menyimpan konten phishing - r_ocky.eth menghubungkan dompet utamanya dan akibatnya kehilangan 2500 dolar.

Dari tangkapan layar yang diposting oleh r_ocky.eth, kode yang diberikan oleh ChatGPT akan mengirimkan kunci privat alamat ke situs API yang bersifat phishing, ini juga menjadi penyebab langsung pencurian tersebut.

Saat r_ocky.eth terjebak dalam perangkap, penyerang bereaksi sangat cepat, dalam waktu setengah jam semua aset di dompet r_ocky.eth telah dipindahkan ke alamat lain (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), dan segera r_ocky.eth menemukan alamat yang diduga merupakan dompet utama penyerang melalui jejak di blockchain (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).

Informasi di blockchain menunjukkan bahwa alamat tersebut saat ini telah mengumpulkan lebih dari 100.000 dolar 'uang curian', r_ocky.eth curiga bahwa serangan semacam ini mungkin bukan kasus yang terisolasi, tetapi merupakan serangan yang sudah memiliki skala tertentu.

Setelah kejadian tersebut, r_ocky.eth dengan kecewa menyatakan bahwa ia telah kehilangan kepercayaan kepada OpenAI (perusahaan pengembang ChatGPT), dan menyerukan OpenAI untuk segera membersihkan konten phishing yang tidak normal.

Lalu, mengapa ChatGPT, sebagai aplikasi AI paling populer saat ini, menyediakan konten phishing?

Terkait hal ini, Yuxian menetapkan penyebab mendasar dari kejadian ini sebagai 'serangan racun AI', dan menunjukkan bahwa ada perilaku penipuan yang umum dalam LLM seperti ChatGPT, Claude, dan lainnya.

Yang disebut 'serangan racun AI', merujuk pada tindakan sengaja merusak data pelatihan AI atau memanipulasi algoritma AI. Penyerang bisa jadi adalah orang dalam, seperti karyawan saat ini atau mantan yang tidak puas, atau bisa juga hacker eksternal, dengan motif yang mungkin termasuk merusak reputasi dan merek, memanipulasi kredibilitas keputusan AI, memperlambat atau merusak proses AI, dan lain-lain. Penyerang dapat menyisipkan data dengan label atau fitur yang menyesatkan, membengkokkan proses pembelajaran model, mengakibatkan model menghasilkan hasil yang salah saat diimplementasikan dan dijalankan.

Melihat kejadian ini, besar kemungkinan ChatGPT memberikan kode phishing kepada r_ocky.eth karena model AI terinfeksi data yang mengandung konten phishing selama pelatihan, tetapi AI tampaknya tidak dapat mengenali konten phishing yang tersembunyi di balik data biasa, setelah belajar AI justru memberikan konten phishing tersebut kepada pengguna, sehingga menyebabkan kejadian ini.

Seiring dengan perkembangan cepat AI dan penerapannya yang luas, ancaman 'serangan racun' semakin besar. Dalam kejadian ini, meskipun jumlah kerugian absolut tidak besar, dampak yang ditimbulkan dari risiko semacam ini cukup untuk menimbulkan kewaspadaan - misalkan terjadi di bidang lain, seperti mengemudi yang dibantu AI...

Dalam menjawab pertanyaan dari pengguna internet, Yuxian menyebutkan langkah potensial untuk menghindari risiko semacam ini, yaitu dengan menambahkan mekanisme audit kode tertentu oleh ChatGPT.

Korban r_ocky.eth juga menyatakan telah menghubungi OpenAI terkait masalah ini, meskipun belum menerima tanggapan, tetapi berharap kasus ini dapat menjadi kesempatan bagi OpenAI untuk memperhatikan risiko semacam ini dan mengajukan solusi potensial.