Originale | Odaily Planet Daily（@OdailyChina）
Autore｜Azuma（@azuma_eth）
Il 22 novembre, ora di Pechino, il fondatore di Slow Mist, Yu Xian, ha postato su X un caso strano - il portafoglio di un certo utente è stato 'hackato' da un AI...
La cronologia di questo caso è la seguente.
Questa mattina presto, l'utente X r_ocky.eth ha rivelato di aver sperato in passato di utilizzare ChatGPT per creare un bot di trading assistito per pump.fun.
r_ocky.eth ha fornito le proprie esigenze a ChatGPT, che ha restituito un codice che effettivamente può aiutare r_ocky.eth a implementare un bot conforme alle sue esigenze, ma non si aspettava affatto che il codice nascondesse un contenuto di phishing - r_ocky.eth ha collegato il proprio portafoglio principale e ha perso così 2500 dollari.
Dallo screenshot postato da r_ocky.eth, si può vedere che il codice fornito da ChatGPT invia la chiave privata dell'indirizzo a un sito API di phishing, che è anche la causa diretta del furto.
In r_ocky.eth è caduto in una trappola, l'attaccante ha reagito molto rapidamente, trasferendo tutti gli asset nel portafoglio r_ocky.eth a un altro indirizzo (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX) in meno di mezz'ora, e subito dopo r_ocky.eth ha rintracciato un indirizzo sospettato di essere il portafoglio principale dell'attaccante tramite un'analisi on-chain (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Le informazioni on-chain mostrano che questo indirizzo ha già accumulato oltre 100.000 dollari di 'fondi rubati', e r_ocky.eth sospetta quindi che tali attacchi potrebbero non essere casi isolati, ma facciano parte di un attacco di una certa scala.
Dopo l'accaduto, r_ocky.eth ha espresso delusione, affermando di aver perso fiducia in OpenAI (la società che sviluppa ChatGPT) e ha esortato OpenAI a pulire al più presto contenuti di phishing anomali.
Allora, perché ChatGPT, come l'applicazione AI più popolare al momento, fornisce contenuti di phishing?
In merito, Yu Xian ha qualificato la causa principale di questo evento come un 'attacco di avvelenamento AI', sottolineando che esistono comportamenti ingannevoli comuni in modelli come ChatGPT e Claude.
Il cosiddetto 'attacco di avvelenamento AI' si riferisce a comportamenti volti a compromettere i dati di addestramento dell'AI o a manipolare l'algoritmo dell'AI. Gli avversari che avviano l'attacco possono essere insider, come dipendenti attuali o ex insoddisfatti, oppure hacker esterni, i cui motivi possono includere la creazione di danni reputazionali e di marca, la manipolazione della credibilità delle decisioni dell'AI, il rallentamento o la compromissione del processo AI, ecc. Gli attaccanti possono distorcere il processo di apprendimento del modello introducendo dati con etichette o caratteristiche fuorvianti, portando a risultati errati durante il dispiegamento e l'esecuzione del modello.
Considerando l'evento in questione, è probabile che ChatGPT abbia fornito codice di phishing a r_ocky.eth perché il modello AI si è contaminato con dati contenenti contenuti di phishing durante l'addestramento, ma l'AI sembra non essere riuscita a riconoscere i contenuti di phishing nascosti sotto dati normali, e dopo averli appresi ha fornito questi contenuti di phishing agli utenti, causando così l'accaduto.
Con lo sviluppo rapido e l'adozione diffusa dell'AI, la minaccia degli 'attacchi di avvelenamento' è diventata sempre più grande. In questo evento, anche se l'importo assoluto perso non è elevato, l'impatto di tali rischi è sufficiente a sollevare allerta - immagina se si verificasse in altri settori, come la guida assistita dall'AI...
Rispondendo a una domanda di un utente, Yu Xian ha menzionato una potenziale misura per evitare tali rischi, cioè che ChatGPT aggiunga qualche meccanismo di revisione del codice.
La vittima r_ocky.eth ha anche dichiarato di aver contattato OpenAI riguardo a questo incidente, anche se non ha ancora ricevuto una risposta, spera che questo caso possa diventare un'opportunità per OpenAI di prestare attenzione a tali rischi e proporre potenziali soluzioni.