Авторы: Azuma, Odaily 星球日报
По пекинскому времени 22 ноября утром основатель Slow Mist Юань Син опубликовал на своем личном X странный случай — кошелек одного пользователя был 'взломан' AI...
События этого дела разворачивались следующим образом.
Сегодня ранним утром пользователь X r_ocky.eth раскрыл, что ранее он хотел использовать ChatGPT для создания вспомогательного торгового бота pump.fun.
r_ocky.eth представил ChatGPT свои потребности, и ChatGPT вернул ему фрагмент кода, который действительно мог помочь r_ocky.eth развернуть бот, соответствующий его потребностям, но он никогда не ожидал, что в коде скрыт фишинговый контент — r_ocky.eth связал свой основной кошелек и в результате потерял 2500 долларов.
Скриншот, опубликованный r_ocky.eth, показывает, что данный код, предоставленный ChatGPT, отправляет адрес и приватный ключ на фишинговый API-сайт, что и является непосредственной причиной кражи.
Когда r_ocky.eth попал в ловушку, атакующий среагировал очень быстро и за полчаса перевел все активы из кошелька r_ocky.eth на другой адрес (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), после чего r_ocky.eth снова нашел адрес, подозреваемый в принадлежности атакующему, через цепочку (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Информация в блокчейне показывает, что этот адрес в настоящее время собрал более 100 тысяч долларов 'незаконных средств', поэтому r_ocky.eth подозревает, что такая атака может быть не единичным случаем, а частью атаки, имеющей определенный масштаб.
После этого r_ocky.eth с разочарованием заявил, что потерял доверие к OpenAI (компания-разработчик ChatGPT), и призвал OpenAI как можно скорее начать очистку от аномального фишингового контента.
Так почему же, как самое популярное AI-приложение, ChatGPT предоставляет фишинговый контент?
В связи с этим, Юань Син определил коренную причину этого инцидента как 'атака с подменой AI' и указал на наличие универсального обмана в таких LLM, как ChatGPT и Claude.
Так называемая 'атака с подменой AI' подразумевает преднамеренное разрушение данных для обучения AI или манипуляцию алгоритмами AI. Нападающими могут быть инсайдеры, такие как недовольные нынешние или бывшие сотрудники, а также внешние хакеры, чьи мотивы могут включать причинение ущерба репутации и бренду, подрыв доверия к решениям AI, замедление или разрушение процессов AI и так далее. Нападающие могут внедрять вводящие в заблуждение метки или характеристики в данные, искажая процесс обучения модели, что приводит к неправильным результатам при развертывании и работе модели.
С учетом данного инцидента, ChatGPT, вероятно, предоставил r_ocky.eth фишинговый код, потому что AI-модель при обучении была заражена данными, содержащими фишинговый контент, но AI, похоже, не смог распознать фишинговый контент, скрытый под обычными данными, и, обучившись, предоставил этот фишинговый контент пользователю, что и привело к этому инциденту.
С быстрым развитием AI и его широким использованием угроза "атаки с подменой" становится все более значительной. В данном инциденте, хотя абсолютная сумма потерь не велика, но последствия подобных рисков могут вызвать настороженность — предположим, что это произойдет в других областях, например, в AI-помощи в вождении...
В ответ на вопросы пользователей, Юань Син упомянул о потенциальной мере по избеганию подобных рисков, а именно о добавлении ChatGPT некоторого механизма проверки кода.
Пострадавший r_ocky.eth также заявил, что уже связался с OpenAI по этому поводу, хотя пока не получил ответа, но надеется, что этот случай станет возможностью для OpenAI обратить внимание на такие риски и предложить потенциальные решения.
