執筆：Azuma、Odaily 星球日報
北京時間 11 月 22 日午前、SlowMist の創設者余弦が個人の X に奇妙なケースを投稿しました —— あるユーザーのウォレットが AI に「ハッキング」されました……
この事件の経緯は次の通りです。
今朝、X ユーザー r_ocky.eth は、以前 ChatGPT を利用して pump.fun の補助取引ボットを作成しようとしていたことを明らかにしました。
r_ocky.eth は ChatGPT に自分のニーズを伝え、ChatGPT は彼にコードの一部を返しました。このコードは実際に r_ocky.eth が自分のニーズに合ったボットを展開するのを助けることができましたが、彼はそのコードの中にフィッシングコンテンツが隠されているとは思ってもいませんでした —— r_ocky.eth は自分のメインウォレットを接続し、その結果 2500 ドルを失いました。
r_ocky.eth が投稿したスクリーンショットから見ると、ChatGPT が提供したそのコードは、フィッシング性の API サイトにアドレスの秘密鍵を送信するものであり、これが盗まれた直接の原因です。
r_ocky.eth が罠にかかった際、攻撃者は非常に迅速に反応し、30 分以内に r_ocky.eth のウォレット内のすべての資産を別のアドレス（FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX）に移動しました。続いて、r_ocky.eth はブロックチェーンを追跡し、攻撃者の主要なウォレットのアドレス（2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC）を特定しました。
オンチェーン情報によれば、このアドレスには現在 10 万ドル以上の「不正資金」が集まっており、r_ocky.eth はこの種の攻撃が孤立したものではなく、一定の規模を持つ攻撃事件である可能性があると疑っています。
その後、r_ocky.eth は失望を表明し、OpenAI（ChatGPT の開発会社）に対する信頼を失い、OpenAI に異常なフィッシングコンテンツの清掃を早急に行うよう呼びかけました。
では、現在最も人気のある AI アプリである ChatGPT は、なぜフィッシングコンテンツを提供するのでしょうか？
これについて、余弦はこの事件の根本原因を「AI 毒物攻撃」と定義し、ChatGPT や Claude などの LLM に一般的な欺瞞行為が存在することを指摘しました。
いわゆる「AI 毒物攻撃」とは、AI トレーニングデータを故意に破壊したり、AI アルゴリズムを操作したりする行為を指します。攻撃を仕掛ける相手は、内部の人間（不満を抱く現職または元従業員など）である場合や、外部のハッカーである場合もあり、その動機には評判やブランドの損害を引き起こすこと、AI の意思決定の信頼性を改ざんすること、AI のプロセスを遅らせたり破壊したりすることなどが含まれます。攻撃者は、誤解を招くラベルや特徴を持つデータを埋め込むことで、モデルの学習プロセスを歪め、モデルが展開および運用される際に誤った結果を生じさせることができます。
この事件を考慮すると、ChatGPT が r_ocky.eth にフィッシングコードを提供したのは、おそらく AI モデルがトレーニング中にフィッシングコンテンツを含むデータに感染してしまい、AI が通常のデータの背後に隠れたフィッシングコンテンツを認識できなかったためです。AIはそれを学習した後、これらのフィッシングコンテンツをユーザーに提供し、結果としてこの事件が発生しました。
AI の急速な発展と普及に伴い、「毒物攻撃」の脅威はますます大きくなっています。この事件では、損失の絶対額はそれほど大きくありませんが、この種のリスクが引き起こす影響は警戒を促すには十分です —— もし他の分野、例えば AI 補助運転で発生した場合……
返信の際に、余弦はこの種のリスクを回避するための潜在的な手段として、ChatGPT に何らかのコードレビューのメカニズムを追加することを提案しました。
被害者 r_ocky.eth もこの件について OpenAI に連絡を取ったと述べていますが、まだ返信は受け取っていないものの、この事件が OpenAI がこの種のリスクを重視し、潜在的な解決策を提案する契機になることを期待しています。