Автор: Azuma, Odaily 星球日報
22 ноября утром основатель SlowMist косинус разместил в своем личном X странный случай — кошелек какого-то пользователя был "взломан" AI...
Суть дела такова.
22 ноября в 00:00 пользователь r_ocky.eth сообщил, что ранее хотел использовать ChatGPT для создания вспомогательного торгового бота pump.fun.
r_ocky.eth обратился к ChatGPT с просьбой, и ChatGPT вернул ему код, который действительно мог помочь r_ocky.eth развернуть бота, соответствующего его требованиям, но он совершенно не ожидал, что в коде будет скрыт фишинговый контент — r_ocky.eth подключил свой основной кошелек и, в результате, потерял 2500 долларов.
Согласно скриншотам, опубликованным r_ocky.eth, данный код, предоставленный ChatGPT, отправляет закрытый ключ адреса на фишинговый API-сайт, что и стало непосредственной причиной кражи.
Когда r_ocky.eth попал в ловушку, нападающий отреагировал очень быстро и в течение получаса перевел все активы из кошелька r_ocky.eth на другой адрес (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), после чего r_ocky.eth также через блокчейн-трекинг нашел адрес, который предположительно является основным кошельком нападающего (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Информация в блокчейне показывает, что на данный момент этот адрес скопил более 100 тысяч долларов "краденных средств", и r_ocky.eth подозревает, что такие атаки могут быть не единичными, а представлять собой атаку, имеющую определенный масштаб.
После инцидента r_ocky.eth с разочарованием заявил, что потерял доверие к OpenAI (компания-разработчик ChatGPT) и призвал OpenAI как можно быстрее заняться очисткой аномального фишингового контента.
Итак, почему ChatGPT, как одно из самых популярных AI-приложений, предоставляет фишинговый контент?
На это косинус охарактеризовал коренные причины этого события как "атака с отравлением AI" и указал на наличие повсеместного обмана в таких LLM, как ChatGPT и Claude.
Так называемая "атака с отравлением AI" подразумевает преднамеренное разрушение данных для обучения AI или манипуляцию алгоритмами AI. Нападающими могут быть как внутренние лица, такие как недовольные текущие или бывшие сотрудники, так и внешние хакеры, чьи мотивы могут включать причинение ущерба репутации и бренду, подрыв доверия к решениям AI, замедление или разрушение процессов AI и так далее. Нападающие могут внедрять данные с вводящими в заблуждение метками или характеристиками, искажая процесс обучения модели, что приводит к ошибочным результатам при развертывании и эксплуатации модели.
С учетом данного инцидента, причина, по которой ChatGPT предоставил f_ocky.eth фишинговый код, вероятно, связана с тем, что AI-модель "усвоила" данные, содержащие фишинговый контент, во время обучения, но AI, похоже, не смог распознать фишинговый контент, скрытый под обычными данными, и, изучив это, AI предоставил этот фишинговый контент пользователю, что и привело к данному инциденту.
С быстрым развитием и широким принятием AI угроза "атак с отравлением" становится все более значительной. В данном случае, хотя абсолютная сумма потерь не велика, последствия такого рода рисков достаточно серьезны, чтобы вызвать настороженность — предположим, если бы это произошло в других областях, например, в AI-помощниках для вождения...
В ответ на вопросы пользователей косинус упомянул о потенциальной мере по избежанию таких рисков, а именно о добавлении ChatGPT какой-то системы аудита кода.
Пострадавший r_ocky.eth также сообщил, что связался с OpenAI по этому вопросу, хотя на данный момент не получил ответа, но надеется, что этот случай станет возможностью для OpenAI обратить внимание на такие риски и предложить потенциальные решения.
(Вышеуказанное содержание было извлечено и перепечатано с разрешения партнера PANews, оригинальная ссылка | Источник: Odaily 星球日報)
Заявление: Статья отражает только личные взгляды автора и не представляет мнения и позиции блокчейн-компании; все материалы и мнения предназначены только для справки и не являются инвестиционным советом. Инвесторы должны самостоятельно принимать решения и проводить сделки, и авторы статьи и блокчейн-компания не несут никакой ответственности за любые прямые или косвенные убытки, возникшие в результате сделок инвесторов.
"Использование AI для написания кода скрывает "ловушки": пользователи обращаются к ChatGPT и становятся жертвами фишинга". Эта статья впервые была опубликована на (блокчейн-компания).
