Oriģināls | Odaily zvaigžņu ikdienas ziņojums（@OdailyChina）
Autors｜Azuma（@azuma_eth）
2023. gada 22. novembra rītā, Slow Mist dibinātājs Yuxian savā personīgajā X publicēja dīvainu gadījumu - kāda lietotāja maciņš tika "nobloķēts" ar AI...
Šī gadījuma attīstība ir šāda.
Šodienas agrā rītā, X lietotājs r_ocky.eth atklāja, ka iepriekš bija cerējis izmantot ChatGPT, lai veidotu pump.fun tirdzniecības botu.
r_ocky.eth sniedza savas prasības ChatGPT, un ChatGPT viņam atgrieza kodu, kas patiešām varēja palīdzēt r_ocky.eth izveidot botu, kas atbilst viņa prasībām, taču viņš nekad nedomāja, ka kodā būs slēpts makšķerēšanas saturs - r_ocky.eth savienoja savu galveno maciņu, kā rezultātā zaudēja 2500 ASV dolārus.
No r_ocky.eth publicētā ekrānuzņēmuma redzams, ka ChatGPT sniegtais kods nosūtīs adreses privāto atslēgu uz makšķerēšanas rakstura API vietni, kas ir tiešais zādzības iemesls.
r_ocky.eth iekļuva slazdā, uzbrucēja reakcija bija ļoti ātra, pusstundas laikā viņš pārvietoja visus r_ocky.eth maka aktīvus uz citu adresi (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), pēc tam r_ocky.eth ar ķēdes izsekošanas palīdzību atrada adresi, kas, visticamāk, ir uzbrucēja galvenais maciņš (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Ķēdes informācija rāda, ka šī adrese pašlaik ir savākusi vairāk nekā 100 000 ASV dolāru "laupījumus", tādēļ r_ocky.eth uzskata, ka šādi uzbrukumi varētu nebūt vienīgie, bet gan daļa no jau zināmas mēroga uzbrukuma.
Pēc tam r_ocky.eth izteica vilšanos, sakot, ka ir zaudējis uzticību OpenAI (ChatGPT izstrādātājam) un aicināja OpenAI steidzami rīkoties, lai iznīcinātu anomālo makšķerēšanas saturu.
Tātad, kāpēc pašreiz populārākais AI lietojums, ChatGPT, sniedz makšķerēšanas saturu?
Par šo incidentu Yuxian noteica pamatcēloni kā "AI indēšanas uzbrukumu" un norādīja, ka ChatGPT, Claude un citos LLM ir plaši izplatītas krāpnieciskas darbības.
Tā sauktais "AI indēšanas uzbrukums" attiecas uz apzinātu AI apmācību datu bojāšanu vai AI algoritmu manipulāciju. Uzbrukuma uzsācēji var būt iekšējie cilvēki, piemēram, neapmierināti esošie vai bijušie darbinieki, vai ārēji hakeri, kuru motivācija var ietvert reputācijas un zīmola bojāšanu, AI lēmumu uzticamības sagrozīšanu, AI procesu palēnināšanu vai bojāšanu utt. Uzbrucēji var iekļaut maldinošus marķējumus vai iezīmes datos, izkropļojot modeļa mācīšanās procesu, kas noved pie modeļa nepareiziem rezultātiem tā izvietošanas un darbības laikā.
Aplūkojot šo gadījumu, ChatGPT sniedza r_ocky.eth makšķerēšanas kodu, visticamāk, tāpēc, ka AI modelis apmācības laikā bija pakļauts makšķerēšanas saturam, taču AI, šķiet, nespēja atpazīt makšķerēšanas saturu, kas slēpās standarta datos; AI to iemācījās un pēc tam sniedza šo makšķerēšanas saturu lietotājam, izraisot šo incidentu.
Ar AI straujo attīstību un plašu izmantošanu, "indēšanas uzbrukumu" draudi ir kļuvuši arvien lielāki. Šajā gadījumā, lai gan zaudējumu absolūtais apjoms nav liels, šādi riski var radīt pietiekamas bažas - pieņemsim, ka tas notiek citās jomās, piemēram, AI palīgbraukšanā...
Atbildot uz lietotāju jautājumiem, Yuxian pieminēja potenciālu pasākumu, lai izvairītos no šādiem riskiem, proti, ChatGPT pievienojot kādu kodu pārbaudes mehānismu.
Cietušais r_ocky.eth arī apgalvoja, ka ir sazinājies ar OpenAI par šo lietu, lai gan pagaidām nav saņēmis atbildi, bet cer, ka šis gadījums varētu kļūt par iespēju OpenAI pievērst uzmanību šādiem riskiem un izstrādāt potenciālus risinājumus.