Verfasst von: Azuma, Odaily Planet Daily
Am 22. November um 11 Uhr chinesischer Zeit veröffentlichte Yuxian, der Gründer von Slow Mist, auf seinem persönlichen X einen seltsamen Fall - das Wallet eines Nutzers wurde von einer KI „gehackt“...
Der Verlauf dieses Vorfalls ist wie folgt.
Heute Morgen enthüllte der X-Nutzer r_ocky.eth, dass er zuvor gehofft hatte, ChatGPT zur Erstellung eines pump.fun Handelsbots zu nutzen.
r_ocky.eth gab ChatGPT seine Anforderungen, und ChatGPT gab ihm einen Code zurück, der r_ocky.eth tatsächlich helfen konnte, einen Bot zu erstellen, der seinen Anforderungen entsprach, aber er hätte nie gedacht, dass im Code ein Phishing-Inhalt versteckt war - r_ocky.eth verband sein Hauptwallet und verlor dadurch 2.500 US-Dollar.
Aus dem Screenshot, den r_ocky.eth gepostet hat, geht hervor, dass der von ChatGPT bereitgestellte Code eine private Adresse an eine Phishing-API-Website sendet, was auch die direkte Ursache des Diebstahls ist.
Als r_ocky.eth in die Falle tappte, reagierte der Angreifer extrem schnell und transferierte innerhalb einer halben Stunde alle Vermögenswerte aus der r_ocky.eth-Wallet auf eine andere Adresse (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), anschließend fand r_ocky.eth durch On-Chain-Tracking eine Adresse, die vermutlich das Hauptwallet des Angreifers war (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
On-Chain-Informationen zeigen, dass diese Adresse derzeit über 100.000 US-Dollar an „Diebesgut“ gesammelt hat, weshalb r_ocky.eth befürchtet, dass diese Art von Angriff möglicherweise kein Einzelfall ist, sondern ein bereits in gewissem Umfang stattfindender Angriff.
Nach den Ereignissen äußerte r_ocky.eth enttäuscht, dass er das Vertrauen in OpenAI (das Unternehmen, das ChatGPT entwickelt hat) verloren hat, und forderte OpenAI auf, schnellstmöglich an der Bereinigung abnormaler Phishing-Inhalte zu arbeiten.
Warum bietet ChatGPT als derzeit beliebteste KI-Anwendung Phishing-Inhalte an?
In Bezug auf diesen Vorfall identifizierte Yuxian die Grundursache als „AI-Poisoning-Angriff“ und stellte fest, dass in ChatGPT, Claude und anderen LLMs weit verbreitete betrügerische Aktivitäten existieren.
Ein „AI-Poisoning-Angriff“ bezieht sich auf absichtliche Manipulation von KI-Trainingsdaten oder KI-Algorithmen. Die Angreifer können interne Personen sein, wie unzufriedene aktuelle oder ehemalige Mitarbeiter, oder externe Hacker, deren Motiv möglicherweise darin besteht, Reputation und Markenschaden zu verursachen, die Glaubwürdigkeit von KI-Entscheidungen zu untergraben, den KI-Prozess zu verzögern oder zu stören usw. Angreifer können durch das Einpflegen irreführender Labels oder Merkmale in die Daten den Lernprozess des Modells verzerren, was dazu führt, dass das Modell bei der Bereitstellung und Ausführung falsche Ergebnisse erzeugt.
In Anbetracht dieses Vorfalls ist es sehr wahrscheinlich, dass ChatGPT r_ocky.eth Phishing-Code angeboten hat, weil das KI-Modell während des Trainings mit Daten, die Phishing-Inhalte enthielten, infiziert wurde, aber die KI anscheinend die versteckten Phishing-Inhalte unter den regulären Daten nicht erkennen konnte, und nachdem die KI gelernt hatte, gab sie diese Phishing-Inhalte an die Nutzer weiter, was zu diesem Vorfall führte.
Mit der schnellen Entwicklung und allgemeinen Akzeptanz von KI ist die Bedrohung durch „Poisoning-Angriffe“ immer größer geworden. In diesem Vorfall war der absolute Verlust zwar nicht groß, aber die weitreichenden Auswirkungen solcher Risiken sind alarmierend - angenommen, sie treten in anderen Bereichen auf, wie zum Beispiel bei KI-gestütztem Fahren...
In der Antwort auf die Fragen der Nutzer erwähnte Yuxian eine potenzielle Maßnahme zur Vermeidung solcher Risiken, nämlich dass ChatGPT eine Art Code-Überprüfungsmechanismus hinzufügen sollte.
Das Opfer r_ocky.eth gab ebenfalls an, dass es OpenAI zu diesem Vorfall kontaktiert hat, obwohl bisher keine Antwort eingegangen ist, hofft er, dass dieser Fall eine Gelegenheit für OpenAI sein kann, solche Risiken ernst zu nehmen und potenzielle Lösungen vorzuschlagen.