Autor: Azuma, Odaily Planet Daily
Dne 22. listopadu 2023 v 11:00 pekingského času zakladatel Slow Mist Yu Xian zveřejnil na svém osobním X podivný případ - peněženka jednoho uživatele byla „ukradena“ AI...
Průběh této záležitosti je následující.
Dnes ráno uživatel X r_ocky.eth odhalil, že předtím doufal, že využije ChatGPT k vytvoření pomocného obchodního bota pump.fun.
r_ocky.eth sdělil ChatGPT své požadavky, ChatGPT mu vrátil kód, který skutečně může pomoci r_ocky.eth nasadit bota podle jeho potřeb, ale netušil, že kód obsahuje skrytý phishingový obsah - r_ocky.eth připojil svou hlavní peněženku a tím ztratil 2500 dolarů.
Z screenshotu, který r_ocky.eth zveřejnil, je patrné, že kód poskytnutý ChatGPT posílá adresu soukromého klíče na phishingové API webové stránky, což je přímo důvodem krádeže.
Když r_ocky.eth spadl do pasti, útočník reagoval velmi rychle a během půl hodiny převedl všechny prostředky z peněženky r_ocky.eth na jinou adresu (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), poté r_ocky.eth prostřednictvím blockchainového sledování našel adresu, která se zdála být hlavní peněženkou útočníka (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Informace na blockchainu ukazují, že tato adresa již shromáždila více než 100 000 dolarů „nelegálních prostředků“, r_ocky.eth proto podezřívá, že takové útoky nemusí být ojedinělé, ale mohou představovat útok s určitou mírou rozsahu.
Poté r_ocky.eth zklamaně uvedl, že ztratil důvěru v OpenAI (společnost vyvíjející ChatGPT) a vyzval OpenAI, aby co nejdříve začala odstraňovat neobvyklý phishingový obsah.
Proč tedy, jakožto jedna z nejpopulárnějších AI aplikací, ChatGPT poskytuje phishingový obsah?
Na to Yu Xian označil základní příčinu této události jako „AI otravné útoky“ a poukázal na existenci všeobecného podvodu v LLM jako ChatGPT, Claude a dalších.
Takzvané „AI otravné útoky“ se vztahují na úmyslné poškozování tréninkových dat AI nebo manipulaci s algoritmy AI. Útočníci mohou být interní osoby, například nespokojení současní nebo bývalí zaměstnanci, nebo externí hackeři, jejichž motivací může být způsobení poškození pověsti a značky, zpochybnění důvěryhodnosti rozhodování AI, zpomalení nebo poškození procesů AI atd. Útočníci mohou implantovat data se zavádějícími štítky nebo charakteristikami, což zkresluje proces učení modelu a způsobuje, že model vyprodukuje chybné výsledky při nasazení a provozu.
Když se podíváme na tento incident, důvodem, proč ChatGPT poskytl r_ocky.eth phishingový kód, je pravděpodobně to, že AI model byl při trénování kontaminován materiály obsahujícími phishingový obsah, ale AI se zdálo, že nedokáže rozpoznat phishingový obsah skrytý pod běžnými materiály, a poté tento obsah poskytlo uživatelům, což vedlo k حدوث této události.
S rychlým rozvojem a širokým přijetím AI se hrozba „otravných útoků“ stala stále větší. V tomto incidentu, i když ztracená absolutní částka není velká, rozšířené efekty tohoto typu rizika jsou dostatečné k vyvolání obav - předpokládejme, že se to stane v jiných oblastech, jako je AI asistované řízení...
Při odpovědi na dotazy uživatelů Yu Xian zmínil jeden potenciální krok k vyhnutí se takovým rizikům, a to zavedení určitého mechanismu kontroly kódu ze strany ChatGPT.
Oběť r_ocky.eth také uvedla, že se ohledně této záležitosti spojila s OpenAI, i když zatím nedostala odpověď, doufá, že tento případ může být příležitostí pro OpenAI, aby věnovala pozornost tomuto riziku a navrhla potenciální řešení.