Ditulis oleh: Azuma, Odaily Planet Daily
Pada tanggal 22 November pukul 11 pagi waktu Beijing, pendiri Slow Fog, Yu Xian, memposting sebuah kasus aneh di X pribadi — dompet seorang pengguna di 'hack' oleh AI...
Kronologi dari kasus ini adalah sebagai berikut.
Pagi ini, pengguna X r_ocky.eth mengungkapkan bahwa sebelumnya ia berharap menggunakan ChatGPT untuk membuat bot perdagangan bantuan pump.fun.
r_ocky.eth memberikan kebutuhan dirinya kepada ChatGPT, dan ChatGPT mengembalikan sebuah kode yang memang dapat membantu r_ocky.eth untuk menerapkan bot sesuai kebutuhannya, tetapi dia tidak pernah menyangka bahwa kode tersebut menyembunyikan konten phishing — r_ocky.eth menghubungkan dompet utama miliknya dan akibatnya kehilangan 2500 dolar AS.
Dari tangkapan layar yang diposting oleh r_ocky.eth, kode yang diberikan oleh ChatGPT akan mengirimkan kunci pribadi alamat ke sebuah situs API yang bersifat phishing, ini juga menjadi alasan langsung mengapa terjadi pencurian.
Saat r_ocky.eth terjebak dalam perangkap, penyerang bereaksi sangat cepat, dalam waktu setengah jam, semua aset di dompet r_ocky.eth dipindahkan ke alamat lain (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), dan segera r_ocky.eth menemukan alamat yang dicurigai sebagai dompet utama penyerang melalui pelacakan di blockchain (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Informasi di blockchain menunjukkan bahwa alamat tersebut saat ini telah mengumpulkan lebih dari 100 ribu dolar AS 'uang curian', sehingga r_ocky.eth curiga bahwa serangan semacam ini mungkin bukan kejadian tunggal, melainkan sebuah insiden serangan yang sudah memiliki skala tertentu.
Setelah kejadian, r_ocky.eth dengan kecewa menyatakan telah kehilangan kepercayaan pada OpenAI (perusahaan pengembang ChatGPT), dan menyerukan OpenAI untuk segera membersihkan konten phishing yang tidak normal.
Lalu, mengapa ChatGPT, sebagai aplikasi AI yang paling populer saat ini, menyediakan konten phishing?
Mengenai hal ini, Yu Xian menentukan penyebab mendasar dari insiden ini sebagai 'serangan racun AI', dan menunjukkan bahwa terdapat perilaku penipuan yang umum dalam ChatGPT, Claude, dan LLM lainnya.
Apa yang disebut 'serangan racun AI', adalah tindakan yang sengaja merusak data pelatihan AI atau memanipulasi algoritma AI. Penyerang mungkin merupakan orang dalam, seperti karyawan saat ini atau mantan yang merasa tidak puas, atau mungkin hacker eksternal, dengan motivasi yang mungkin termasuk merusak reputasi dan merek, memanipulasi kredibilitas keputusan AI, memperlambat atau merusak proses AI, dan lain-lain. Penyerang dapat menyisipkan data yang memiliki label atau fitur yang menyesatkan, membelokkan proses pembelajaran model, yang mengakibatkan model menghasilkan hasil yang salah saat diterapkan dan dijalankan.
Melihat kejadian ini, alasan mengapa ChatGPT memberikan kode phishing kepada r_ocky.eth kemungkinan besar adalah karena model AI terkontaminasi data yang mengandung konten phishing saat pelatihan, tetapi AI tampaknya tidak dapat mengenali konten phishing yang tersembunyi di bawah data biasa, setelah AI mempelajarinya, ia kemudian memberikan konten phishing tersebut kepada pengguna, yang menyebabkan terjadinya insiden ini.
Dengan perkembangan cepat AI dan adopsi yang luas, ancaman 'serangan racun' telah menjadi semakin besar. Dalam insiden ini, meskipun jumlah kerugian absolut tidak besar, namun dampak risiko semacam ini cukup untuk memicu kewaspadaan — misalnya, jika terjadi di bidang lain, seperti pengemudian yang dibantu AI...
Dalam menjawab pertanyaan dari netizen, Yu Xian menyebutkan langkah potensial untuk menghindari risiko semacam ini, yaitu dengan menambahkan mekanisme audit kode tertentu oleh ChatGPT.
Korban r_ocky.eth juga menyatakan telah menghubungi OpenAI tentang masalah ini, meskipun belum menerima balasan, namun berharap insiden ini dapat menjadi kesempatan bagi OpenAI untuk memperhatikan risiko semacam ini dan mengusulkan solusi potensial.