Autor: Azuma, Odaily Planet Daily
Czas lokalny 22 listopada, rano, Yu Xian, założyciel Slow Mist, opublikował na swoim osobistym X dziwny przypadek — portfel pewnego użytkownika został „zhakowany” przez AI...
Przebieg sprawy jest następujący.
Dziś w nocy użytkownik X r_ocky.eth ujawnił, że wcześniej chciał wykorzystać ChatGPT do stworzenia pomocniczego bota handlowego dla pump.fun.
r_ocky.eth przedstawił ChatGPT swoje potrzeby, a ChatGPT zwrócił mu fragment kodu, który rzeczywiście mógł pomóc r_ocky.eth w wdrożeniu bota zgodnego z jego potrzebami, ale nie mógł się spodziewać, że w kodzie ukryta jest treść phishingowa — r_ocky.eth połączył się ze swoim głównym portfelem i w rezultacie stracił 2500 dolarów.
Z zamieszczonego przez r_ocky.eth zrzutu ekranu wynika, że kod podany przez ChatGPT wysyła adres prywatny do witryny API o charakterze phishingowym, co jest bezpośrednią przyczyną kradzieży.
W momencie, gdy r_ocky.eth wpadł w pułapkę, napastnik zareagował bardzo szybko, w ciągu pół godziny przenosząc wszystkie aktywa z portfela r_ocky.eth na inny adres (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), a następnie r_ocky.eth znalazł przez śledzenie blockchainu adres, który wydaje się być głównym portfelem napastnika (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Informacje z blockchainu pokazują, że adres ten obecnie zgromadził ponad 100 000 dolarów „zdobyczy”, dlatego r_ocky.eth podejrzewa, że tego rodzaju ataki mogą nie być incydentalne, lecz stanowić część ataku o pewnej skali.
Po fakcie r_ocky.eth z żalem stwierdził, że stracił zaufanie do OpenAI (firmy rozwijającej ChatGPT) i wezwał OpenAI do jak najszybszego zajęcia się usuwaniem nieprawidłowych treści phishingowych.
A więc, jako jedna z najpopularniejszych aplikacji AI, dlaczego ChatGPT dostarcza treści phishingowe?
W związku z tym Yu Xian określił zasadniczą przyczynę tego incydentu jako „atak zainfekowany przez AI” i wskazał na powszechne oszustwa w modelach LLM, takich jak ChatGPT i Claude.
Tak zwany „atak zainfekowany przez AI” odnosi się do celowego zniszczenia danych treningowych AI lub manipulacji algorytmem AI. Napastnikiem może być osoba wewnętrzna, na przykład niezadowolony obecny lub były pracownik, lub zewnętrzny haker, którego motywy mogą obejmować szkodzenie reputacji i marki, manipulowanie wiarygodnością decyzji AI, spowolnienie lub zakłócenie procesów AI itp. Napastnicy mogą wprowadzać dane z mylącymi etykietami lub cechami, aby zniekształcić proces uczenia się modelu, co prowadzi do błędnych wyników w trakcie wdrażania i działania modelu.
Biorąc pod uwagę tę sprawę, prawdopodobnie ChatGPT dostarczył r_ocky.eth kod phishingowy, ponieważ model AI podczas szkolenia został zainfekowany danymi zawierającymi treści phishingowe, ale AI zdaje się nie rozpoznać ukrytych w zwykłych danych treści phishingowych, a po nauczeniu się ich, dostarczył te treści użytkownikowi, co doprowadziło do zaistnienia tego incydentu.
Wraz z szybkim rozwojem AI i powszechnym wdrażaniem, zagrożenie związane z „atakami poprzez zainfekowanie” stało się coraz większe. W tej sprawie, chociaż absolutna kwota strat nie jest duża, to jednak dalekosiężne skutki tego rodzaju ryzyka są wystarczające, aby wzbudzić czujność — załóżmy, że wydarzy się to w innych dziedzinach, jak na przykład AI wspomagające jazdę...
W odpowiedzi na pytania internautów, Yu Xian wspomniał o potencjalnym działaniu mającym na celu uniknięcie tego rodzaju ryzyk, a mianowicie o dodaniu przez ChatGPT jakiegoś mechanizmu audytu kodu.
Ofiara r_ocky.eth również stwierdziła, że skontaktowała się z OpenAI w tej sprawie, chociaż na razie nie otrzymała odpowiedzi, ma nadzieję, że ta sprawa będzie impulsem dla OpenAI do zwrócenia uwagi na tego rodzaju ryzyka i zaproponowania potencjalnych rozwiązań.