Articolo scritto da: Azuma, Odaily Planet Daily
Il 22 novembre, ore 11:00 (ora di Pechino), il fondatore di Slow Fog, Yu Xian, ha pubblicato su X un caso strano: il portafoglio di un utente è stato "hackerato" da un'IA...
Il corso degli eventi è il seguente.
Nella notte di oggi, l'utente X r_ocky.eth ha rivelato di aver precedentemente sperato di utilizzare ChatGPT per creare un bot di trading ausiliario per pump.fun.
r_ocky.eth ha fornito a ChatGPT le proprie esigenze, e ChatGPT gli ha restituito un codice che in effetti può aiutare r_ocky.eth a implementare un bot conforme alle sue necessità, ma non si aspettava affatto che il codice nascondesse un contenuto di phishing: r_ocky.eth ha collegato il proprio portafoglio principale e ha perso così 2500 dollari.
Dallo screenshot postato da r_ocky.eth, risulta che il codice fornito da ChatGPT invia la chiave privata dell'indirizzo a un sito API di phishing, che è anche la causa diretta del furto.
Mentre r_ocky.eth cadeva nella trappola, l'attaccante ha reagito molto rapidamente, trasferendo tutti gli asset dal portafoglio di r_ocky.eth a un altro indirizzo (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX) entro mezz'ora; subito dopo, r_ocky.eth ha rintracciato on-chain un indirizzo sospettato di appartenere al portafoglio principale dell'attaccante (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Le informazioni on-chain mostrano che l'indirizzo ha attualmente accumulato oltre 100.000 dollari di "proventi illeciti"; r_ocky.eth sospetta quindi che questo tipo di attacco possa non essere un caso isolato, ma un evento di attacco di una certa scala.
Dopo l'accaduto, r_ocky.eth ha espresso delusione, affermando di aver perso fiducia in OpenAI (l'azienda che sviluppa ChatGPT) e ha esortato OpenAI a pulire rapidamente contenuti di phishing anomali.
Allora, perché ChatGPT, attualmente l'app AI più popolare, ha fornito contenuti di phishing?
In merito, Yu Xian ha qualificato la causa fondamentale di questo evento come "attacco di avvelenamento dell'IA" e ha sottolineato che esistono comportamenti ingannevoli comuni in LLM come ChatGPT e Claude.
L'espressione "attacco di avvelenamento dell'IA" si riferisce all'atto di danneggiare intenzionalmente i dati di addestramento dell'IA o manipolare gli algoritmi dell'IA. Gli aggressori possono essere insider, come dipendenti attuali o ex insoddisfatti, oppure hacker esterni, con motivazioni che possono includere causare danni alla reputazione e al marchio, alterare la credibilità delle decisioni dell'IA, rallentare o compromettere i processi dell'IA, ecc. Gli attaccanti possono inserire dati con etichette o caratteristiche fuorvianti, distorcendo il processo di apprendimento del modello, portando a risultati errati durante il dispiegamento e l'esecuzione.
Considerando questo evento, è molto probabile che ChatGPT abbia fornito il codice di phishing a r_ocky.eth perché il modello AI era contaminato da dati contenenti contenuti di phishing durante l'addestramento; ma l'AI sembra non essere riuscita a riconoscere i contenuti di phishing nascosti sotto dati regolari, e dopo averli appresi, ha fornito questi contenuti di phishing agli utenti, causando così l'accaduto.
Con lo sviluppo rapido e l'adozione diffusa dell'IA, la minaccia degli "attacchi di avvelenamento" è diventata sempre più grande. In questo evento, sebbene l'importo assoluto perso non sia elevato, l'impatto di tali rischi è sufficiente a destare allerta: supponendo che si verifichi in altri ambiti, come la guida assistita dall'IA...
Rispondendo a una domanda di un utente, Yu Xian ha menzionato una potenziale misura per evitare tali rischi, cioè che ChatGPT dovrebbe aggiungere qualche tipo di meccanismo di revisione del codice.
La vittima r_ocky.eth ha anche dichiarato di aver contattato OpenAI riguardo a questo problema; anche se non ha ancora ricevuto una risposta, spera che questo caso possa diventare un'opportunità per OpenAI per prestare attenzione a tali rischi e proporre potenziali soluzioni.