Autor: Azuma, Odaily Planet Daily
Dne 22. listopadu v 11:00 pekingského času zakladatel Slow Mist Cosine zveřejnil na svém osobním účtu X podivný případ - peněženka jednoho uživatele byla „hacknuta“ AI...
Průběh události je následující.
Dnes ráno r_ocky.eth odhalil, že předtím chtěl využít ChatGPT k vytvoření pomocného obchodního bota pro pump.fun.
r_ocky.eth předložil ChatGPT své požadavky, na což mu ChatGPT vrátil kód, který skutečně mohl pomoci r_ocky.eth nasadit bota vyhovujícího jeho potřebám, ale vůbec ho nenapadlo, že by kód mohl skrývat phishingový obsah - r_ocky.eth spojil svou hlavní peněženku a tím přišel o 2500 dolarů.
Z screenshotu zveřejněného r_ocky.eth vyplývá, že kód poskytnutý ChatGPT posílal adresu soukromého klíče na phishingové API stránky, což také bylo přímou příčinou ztráty.
Když r_ocky.eth spadl do pasti, útočníci reagovali velmi rychle a během půl hodiny převedli všechny prostředky z peněženky r_ocky.eth na jinou adresu (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), a poté r_ocky.eth prostřednictvím sledování na blockchainu našel adresu, která se zdála být hlavní peněženkou útočníka (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Informace na blockchainu ukazují, že tato adresa v současnosti shromáždila více než 100 000 dolarů „nelegálně získaných prostředků“, r_ocky.eth proto podezřívá, že takové útoky nemusí být ojedinělé, ale že se jedná o útoky, které již mají určitou míru rozsahu.
Po incidentu vyjádřil r_ocky.eth zklamání a uvedl, že ztratil důvěru v OpenAI (vývojáře ChatGPT) a vyzval OpenAI, aby co nejdříve začal čistit podezřelý phishingový obsah.
Jak je možné, že ChatGPT, jako jedna z nejpopulárnějších AI aplikací, poskytlo phishingový obsah?
Na to Cosine označil základní příčinu této události jako „útok na AI pomocí toxických dat“ a poukázal na to, že v ChatGPT, Claude a dalších LLM existují běžné podvody.
Takzvaný „útok na AI pomocí toxických dat“ označuje úmyslné poškození tréninkových dat AI nebo manipulaci s algoritmy AI. Útočníci mohou být interními osobami, například nespokojenými současnými nebo bývalými zaměstnanci, nebo externími hackery, jejichž motivace může zahrnovat poškození pověsti a značky, manipulaci s důvěryhodností rozhodování AI, zpomalení nebo poškození procesů AI atd. Útočníci mohou implantovat data s zavádějícími štítky nebo rysy, což zkresluje proces učení modelu a způsobuje, že model produkuje chybné výsledky při nasazení a provozu.
S ohledem na tuto událost je vysoce pravděpodobné, že ChatGPT poskytlo r_ocky.eth phishingový kód, protože AI model byl během tréninku infikován materiály obsahujícími phishingový obsah, ale AI se zdálo, že nebylo schopno identifikovat phishingový obsah skrytý pod běžnými materiály, a po naučení tyto phishingové obsahy poskytlo uživateli, což vedlo k této události.
S rychlým rozvojem a širokým používáním AI se hrozba „toxických útoků“ stala stále větší. V této události, ačkoliv absolutní ztráta nebyla velká, potenciální dopady takových rizik jsou dostatečné k vyvolání obav - například, pokud by se to stalo v jiných oblastech, jako je AI asistované řízení...
Při odpovědi na dotaz uživatele Cosine zmínil potenciální opatření k vyhnutí se takovým rizikům, a to přidání určitého mechanismu pro revizi kódu ze strany ChatGPT.
Oběť r_ocky.eth také uvedla, že se ohledně této záležitosti spojila s OpenAI, i když zatím neobdržela odpověď, doufá, že tato záležitost může být příležitostí pro OpenAI, aby začala brát tato rizika vážně a navrhla potenciální řešení.