Оригинал | Odaily星球日报（@OdailyChina）
Автор｜Azuma（@azuma_eth）
По пекинскому времени 22 ноября утром, основатель Slow Fog Ю Сян опубликовал на личном X странный случай — кошелек одного пользователя был «взломан» AI...
События этого дела развивались следующим образом.
Сегодня рано утром пользователь X r_ocky.eth раскрыл, что ранее надеялся использовать ChatGPT для создания вспомогательного торгового бота pump.fun.
r_ocky.eth предоставил свои требования ChatGPT, и ChatGPT вернул ему код, который действительно может помочь r_ocky.eth развернуть бота, соответствующего его требованиям, но он никогда не подумал, что в коде будет скрыт фишинговый контент — r_ocky.eth связал свой основной кошелек и в результате потерял 2500 долларов.
Согласно скриншоту, размещенному r_ocky.eth, код, предоставленный ChatGPT, отправляет адрес приватного ключа на сайт API с фишинговым характером, что и стало непосредственной причиной кражи.
На r_ocky.eth попалась в ловушку, злоумышленник среагировал очень быстро, в течение получаса переведя все активы из кошелька r_ocky.eth на другой адрес (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), после чего r_ocky.eth снова через отслеживание в блокчейне нашел адрес, который предположительно принадлежит основному кошельку злоумышленника (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Информация в блокчейне показывает, что на данный момент этот адрес собрал более 100 тысяч долларов «краденых средств», и r_ocky.eth подозревает, что такие атаки могут быть не единичным случаем, а частью атаки определенного масштаба.
После инцидента r_ocky.eth разочарованно заявил, что потерял доверие к OpenAI (компания-разработчик ChatGPT) и призвал OpenAI как можно скорее заняться очисткой аномального фишингового контента.
Так почему, как одно из самых популярных AI приложений, ChatGPT предоставляет контент для фишинга?
На это Ю Сян охарактеризовал основную причину инцидента как «атаку с использованием отравления AI» и указал на наличие повсеместного обмана в таких LLM, как ChatGPT, Claude и других.
Так называемая «атака с использованием отравления AI» подразумевает умышленное разрушение данных для обучения AI или манипуляцию алгоритмами AI. Нападающий может быть внутренним лицом, например, недовольным нынешним или бывшим сотрудником, или внешним хакером, чьи мотивы могут включать причинение ущерба репутации и бренду, подрыв доверия к решениям AI, замедление или разрушение процессов AI и т.д. Нападающий может ввести вводящие в заблуждение метки или характеристики в данные, искажая процесс обучения модели, что приводит к ошибочным результатам при развертывании и работе модели.
С учетом этого инцидента, причина, по которой ChatGPT предоставил код для фишинга r_ocky.eth, вероятно, заключается в том, что AI модель в процессе обучения была загрязнена данными, содержащими фишинговый контент, однако AI, похоже, не смог распознать фишинговый контент, скрытый под обычными данными, и после обучения предоставил этот фишинговый контент пользователю, что и привело к инциденту.
С быстрым развитием и широким применением AI угроза «атак с использованием отравления» становится все более значительной. В данном инциденте, хотя абсолютные потери и не велики, однако потенциальное влияние таких рисков достаточно для того, чтобы вызвать настороженность — представьте, если бы это произошло в других областях, например, в AI-помощниках для вождения...
Отвечая на вопросы пользователей, Ю Сян упомянул о потенциальной мере для избежания таких рисков, а именно о добавлении ChatGPT определенного механизма проверки кода.
Пострадавший r_ocky.eth также заявил, что связался с OpenAI по этому вопросу, хотя пока не получил ответа, но надеется, что этот случай станет поводом для OpenAI обратить внимание на такие риски и предложить потенциальные решения.
