Автор: Azuma, Odaily 星球日报
22 ноября в 11:00 по пекинскому времени, основатель Slow Fog Ю Сян опубликовал в личном X странный случай — кошелек одного пользователя был «взломан» ИИ…
Суть этого дела следующая.
Сегодня рано утром пользователь X r_ocky.eth раскрыл, что ранее хотел использовать ChatGPT для создания вспомогательного торгового бота для pump.fun.
r_ocky.eth сообщил ChatGPT о своих потребностях, и ChatGPT вернул ему код, который действительно может помочь r_ocky.eth развернуть бота, соответствующего его требованиям, но он и не подозревал, что в коде скрыто фишинговое содержимое — r_ocky.eth связал свой основной кошелек и в результате потерял 2500 долларов.
Скриншот, опубликованный r_ocky.eth, показывает, что код, предоставленный ChatGPT, отправляет адреса приватных ключей на фишинговый API-сайт, что и стало непосредственной причиной кражи.
Когда r_ocky.eth попал в ловушку, атакующий отреагировал очень быстро, в течение получаса переведя все активы из кошелька r_ocky.eth на другой адрес (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), после чего r_ocky.eth через блокчейн отследил адрес, который предположительно является адресом основного кошелька атакующего (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Данные на блокчейне показывают, что данный адрес в настоящее время собрал свыше 100 тысяч долларов «добычи», и r_ocky.eth подозревает, что такие атаки могут быть не единственными, а частью атаки, имеющей определенный масштаб.
После этого r_ocky.eth с разочарованием заявил, что утратил доверие к OpenAI (компании-разработчику ChatGPT) и призвал OpenAI как можно скорее очистить аномальное фишинговое содержимое.
Так что, как одно из самых популярных приложений ИИ, почему ChatGPT предоставил фишинговое содержимое?
В связи с этим Ю Сян определил коренную причину данного инцидента как «атака с отравлением ИИ» и указал на наличие повсеместного обмана в таких LLM, как ChatGPT и Claude.
Так называемая «атака с отравлением ИИ» относится к преднамеренному разрушению данных для обучения ИИ или манипуляции алгоритмами ИИ. Нападающим может быть внутренний человек, например, недовольный нынешний или бывший сотрудник, или внешний хакер, чьи мотивы могут включать ущерб репутации и бренду, подрыв доверия к решениям ИИ, замедление или разрушение процессов ИИ и т.д. Атакующий может внедрить данные с вводящими в заблуждение метками или характеристиками, искажая процесс обучения модели, что приводит к ошибочным результатам при развертывании и работе модели.
Учитывая этот инцидент, можно предположить, что ChatGPT предоставил фишинговый код r_ocky.eth, скорее всего, потому что модель ИИ была загрязнена материалами, содержащими фишинговое содержимое во время обучения, но ИИ, похоже, не смог распознать фишинговое содержимое, скрытое под обычными материалами, и после обучения предоставил эти фишинговые материалы пользователю, что и привело к инциденту.
С быстрым развитием и широким внедрением ИИ угроза «атаки с отравлением» стала все более значительной. В данном инциденте, хотя абсолютная сумма потерь и не велика, но последствия такого рода рисков могут вызвать настороженность — предположим, это случится в других областях, например, в ИИ-ассистируемом вождении…
Отвечая на вопросы пользователей, Ю Сян упомянул потенциальную меру по предотвращению таких рисков, а именно добавление ChatGPT некоторого механизма проверки кода.
Пострадавший r_ocky.eth также сообщил, что уже связался с OpenAI по этому вопросу, хотя пока не получил ответа, но надеется, что этот случай станет возможностью для OpenAI обратить внимание на такие риски и предложить потенциальные решения.
