Rédaction : Azuma, Odaily Planet Daily
Le 22 novembre à 11h, heure de Beijing, le fondateur de Slow Fog, Yu Xian, a publié un cas étrange sur son personnel X – le portefeuille d'un utilisateur a été « hacké » par une IA...
Voici le déroulement de l'affaire.
Tôt ce matin, l'utilisateur X r_ocky.eth a révélé qu'il avait précédemment espéré utiliser ChatGPT pour créer un bot de trading auxiliaire pour pump.fun.
r_ocky.eth a donné ses besoins à ChatGPT, qui lui a renvoyé un code. Ce code peut effectivement aider r_ocky.eth à déployer un bot conforme à ses besoins, mais il ne s'attendait pas à ce qu'une partie de ce code contienne un contenu de phishing – r_ocky.eth a lié son portefeuille principal et a ainsi perdu 2500 dollars.
D'après la capture d'écran postée par r_ocky.eth, le code donné par ChatGPT envoie la clé privée d'adresse à un site API de phishing, ce qui est également la cause directe du vol.
Alors que r_ocky.eth tombait dans le piège, les attaquants ont réagi très rapidement et ont transféré tous les actifs du portefeuille de r_ocky.eth vers une autre adresse (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX) en moins d'une demi-heure. Par la suite, r_ocky.eth a également retrouvé une adresse soupçonnée d'être le portefeuille principal de l'attaquant grâce à une traçabilité on-chain (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Les informations on-chain montrent que cette adresse a actuellement collecté plus de 100 000 dollars de « fonds volés », r_ocky.eth soupçonne donc que ce type d'attaque n'est peut-être pas un cas isolé, mais un événement d'attaque d'une certaine ampleur.
Après coup, r_ocky.eth a exprimé sa déception et a déclaré avoir perdu confiance en OpenAI (la société qui développe ChatGPT), appelant OpenAI à nettoyer rapidement le contenu de phishing anormal.
Alors, pourquoi, en tant qu'application d'IA la plus populaire du moment, ChatGPT fournirait-il du contenu de phishing ?
À cet égard, Yu Xian a qualifié la cause fondamentale de cet incident d'« attaque par empoisonnement d'IA » et a souligné l'existence de comportements trompeurs généralisés dans des LLM tels que ChatGPT et Claude.
Ce qu'on appelle une « attaque par empoisonnement d'IA » désigne le fait de délibérément altérer les données d'entraînement de l'IA ou de manipuler les algorithmes d'IA. Les attaquants peuvent être des personnes internes, comme des employés actuels ou anciens mécontents, ou des hackers externes, dont les motivations peuvent inclure causer des dommages à la réputation et à la marque, altérer la crédibilité des décisions de l'IA, ralentir ou détruire les processus d'IA, etc. Les attaquants peuvent influencer le processus d'apprentissage du modèle en injectant des données avec des étiquettes ou des caractéristiques trompeuses, entraînant des résultats erronés lors du déploiement et de l'exécution du modèle.
En tenant compte de cet incident, il est très probable que ChatGPT ait fourni du code de phishing à r_ocky.eth parce que le modèle d'IA a été contaminé par des données contenant du contenu de phishing lors de l'entraînement, mais l'IA n'a apparemment pas pu identifier le contenu de phishing caché sous des données ordinaires. Après avoir appris cela, l'IA a fourni ces contenus de phishing à l'utilisateur, ce qui a conduit à cet incident.
Avec le développement rapide et l'adoption généralisée de l'IA, la menace des « attaques par empoisonnement » est devenue de plus en plus grande. Dans cet incident, bien que le montant perdu ne soit pas très élevé, les impacts potentiels de tels risques sont suffisants pour susciter l'alerte – supposons que cela se produise dans d'autres domaines, par exemple, la conduite assistée par IA...
En répondant à une question d'un internaute, Yu Xian a mentionné une mesure potentielle pour éviter de tels risques, à savoir que ChatGPT ajoute un certain mécanisme d'audit de code.
La victime, r_ocky.eth, a également déclaré avoir contacté OpenAI à ce sujet. Bien qu'il n'ait pas encore reçu de réponse, il espère que cette affaire pourra inciter OpenAI à prendre conscience de tels risques et à proposer des solutions potentielles.