Rédigé par : Azuma, Odaily Planet Daily
Le 22 novembre à Beijing, le fondateur de Slow Fog, Yu Xian, a posté sur son X personnel un cas étrange - le portefeuille d'un certain utilisateur a été « piraté » par l'IA...
Voici le contexte de cette affaire.
Dans la nuit d'aujourd'hui, l'utilisateur X r_ocky.eth a révélé qu'il avait précédemment espéré utiliser ChatGPT pour créer un bot de trading d'assistance pour pump.fun.
r_ocky.eth a donné à ChatGPT ses besoins, et ChatGPT lui a renvoyé un code. Ce code pouvait effectivement aider r_ocky.eth à déployer un bot répondant à ses besoins, mais il ne s'attendait pas à ce qu'une partie de phishing soit cachée dans le code - r_ocky.eth a lié son portefeuille principal et a ainsi perdu 2500 dollars.
D'après la capture d'écran publiée par r_ocky.eth, le code fourni par ChatGPT envoie la clé privée d'une adresse à un site API de phishing, ce qui est la cause directe du vol.
Alors que r_ocky.eth tombait dans le piège, les attaquants ont réagi très rapidement, transférant tous les actifs du portefeuille de r_ocky.eth vers une autre adresse (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX) dans les 30 minutes. Ensuite, r_ocky.eth a également retrouvé, grâce à une traçabilité en chaîne, une adresse suspectée d'appartenir au portefeuille principal de l'attaquant (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Les informations en chaîne montrent que cette adresse a actuellement accumulé plus de 100 000 dollars de « fonds volés », ce qui amène r_ocky.eth à soupçonner que ce type d'attaque n'est peut-être pas un cas isolé, mais fait partie d'un événement d'attaque de plus grande envergure.
Après coup, r_ocky.eth a exprimé sa déception en disant qu'il avait perdu confiance en OpenAI (la société qui développe ChatGPT) et a appelé OpenAI à nettoyer rapidement les contenus de phishing anormaux.
Alors, en tant qu'application d'IA la plus populaire du moment, pourquoi ChatGPT a-t-il fourni des contenus de phishing ?
À cet égard, Yu Xian a qualifié la cause fondamentale de cet incident de « attaques de pollution de l'IA » et a noté qu'il existe des comportements trompeurs généralisés dans des LLM tels que ChatGPT et Claude.
Les soi-disant « attaques de pollution de l'IA » désignent des actes intentionnels de sabotage des données d'entraînement de l'IA ou de manipulation des algorithmes de l'IA. Les attaquants peuvent être des initiés, tels que des employés actuels ou anciens mécontents, ou des hackers externes, dont les motivations peuvent inclure des dommages à la réputation et à la marque, la falsification de la crédibilité des décisions de l'IA, l'entrave ou la destruction des processus de l'IA, etc. Les attaquants peuvent déformer le processus d'apprentissage du modèle en injectant des données avec des étiquettes ou des caractéristiques trompeuses, entraînant ainsi des résultats erronés lors du déploiement et de l'exécution du modèle.
En tenant compte de cet incident, il est très probable que ChatGPT ait fourni du code de phishing à r_ocky.eth parce que le modèle d'IA a été contaminé par des ressources contenant des contenus de phishing pendant son entraînement, mais l'IA n'a apparemment pas pu identifier les contenus de phishing cachés sous des ressources ordinaires. Après avoir appris, l'IA a ensuite fourni ces contenus de phishing à l'utilisateur, ce qui a conduit à la survenue de cet incident.
Avec le développement rapide de l'IA et son adoption généralisée, la menace des « attaques de pollution » est devenue de plus en plus grande. Dans cet incident, bien que le montant absolu des pertes ne soit pas élevé, les impacts indirects de ce type de risque sont suffisants pour susciter des inquiétudes - supposons qu'il se produise dans d'autres domaines, comme la conduite assistée par l'IA...
En répondant aux questions des internautes, Yu Xian a mentionné une mesure potentielle pour éviter ce type de risque, à savoir l'ajout par ChatGPT d'un certain mécanisme d'audit de code.
La victime r_ocky.eth a également déclaré avoir contacté OpenAI à ce sujet, bien qu'il n'ait pas encore reçu de réponse, il espère que cet incident pourra être l'occasion pour OpenAI de prendre conscience de ce type de risque et de proposer des solutions potentielles.