Source de la réimpression de l'article : Odaily Planet Daily
Auteur : Azuma, Odaily Planet Daily
Le matin du 22 novembre, heure de Pékin, le fondateur de SlowMist, Yu Xian, a publié un cas bizarre sur son X personnel : le portefeuille d'un utilisateur a été "piraté" par l'IA...
Les tenants et aboutissants de l’affaire sont les suivants.
Tôt ce matin, l'utilisateur X r_ocky.eth a révélé qu'il avait auparavant espéré utiliser ChatGPT pour porter un robot de trading auxiliaire Pump.fun.
r_ocky.eth a confié ses besoins à ChatGPT, et ChatGPT lui a renvoyé un morceau de code. Ce code pourrait en effet aider r_ocky.eth à déployer un bot répondant à ses besoins, mais il ne s'attendait pas à ce qu'il y ait un morceau de contenu de phishing caché dans le fichier. code. —— r_ocky.eth a lié son portefeuille principal et a perdu 2 500 $.
À en juger par la capture d'écran publiée par r_ocky.eth, le code fourni par ChatGPT enverra la clé privée de l'adresse à un site Web API de phishing, qui est également la cause directe du vol.
Lorsque r_ocky.eth est tombé dans le piège, l'attaquant a réagi très rapidement. En une demi-heure, il a transféré tous les actifs du portefeuille r_ocky.eth vers une autre adresse (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), puis r_ocky.eth. L’adresse soupçonnée d’être le portefeuille principal de l’attaquant (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC) a été trouvée grâce au traçage en chaîne.
Les informations sur la chaîne montrent que l'adresse a collecté plus de 100 000 $ en « argent volé ». r_ocky.eth soupçonne donc que ce type d'attaque n'est peut-être pas un cas isolé, mais une attaque d'une certaine ampleur.
Par la suite, r_ocky.eth a exprimé sa déception d'avoir perdu confiance dans OpenAI (société de développement ChatGPT) et a appelé OpenAI à nettoyer les contenus de phishing anormaux dès que possible.
Alors, en tant qu'application d'IA la plus populaire à l'heure actuelle, pourquoi ChatGPT fournit-il du contenu de phishing ?
À cet égard, Cosine a qualifié la cause fondamentale de l'incident d'« attaque d'empoisonnement par l'IA » et a souligné qu'il existe une tromperie généralisée dans les LLM tels que ChatGPT et Claude.
La soi-disant « attaque d'empoisonnement de l'IA » fait référence au comportement consistant à détruire délibérément les données d'entraînement de l'IA ou à manipuler les algorithmes de l'IA. L'adversaire qui lance l'attaque peut être un interne, tel qu'un employé actuel ou ancien mécontent, ou un pirate informatique externe, et ses motivations peuvent inclure le fait de nuire à la réputation et à la marque, de falsifier la crédibilité des décisions d'IA, de ralentir ou de perturber les processus d'IA, et plus. Un attaquant peut fausser le processus d'apprentissage du modèle en implantant des données avec des étiquettes ou des fonctionnalités trompeuses, ce qui amènerait le modèle à produire des résultats incorrects lors de son déploiement et de son exécution.
Sur la base de cet incident, la raison pour laquelle ChatGPT a fourni le code de phishing à r_ocky.eth est très probablement parce que le modèle d'IA a été contaminé par des données contenant du contenu de phishing pendant la formation, mais l'IA semble n'avoir pas réussi à identifier le code de phishing. caché sous les données régulières. Après avoir appris le contenu de phishing, l'IA a fourni le contenu de phishing à l'utilisateur, ce qui a provoqué l'incident.
Avec le développement rapide et l’adoption généralisée de l’IA, la menace d’« attaques par empoisonnement » est devenue de plus en plus grande. Dans cet incident, même si le montant absolu des pertes n'est pas important, l'impact étendu de ces risques est suffisant pour déclencher la vigilance - en supposant que cela se produise dans d'autres domaines, comme la conduite assistée par l'IA...
En répondant aux questions des internautes, Yusian a mentionné une mesure potentielle pour éviter de tels risques, qui consiste à ajouter une sorte de mécanisme de révision de code par ChatGPT.
La victime r_ocky.eth a également déclaré avoir contacté OpenAI à ce sujet. Bien qu'elle n'ait pas encore reçu de réponse, elle espère que cette affaire sera l'occasion pour OpenAI de prêter attention à ces risques et de proposer des solutions potentielles.