Оригінал | Odaily зірковий щоденник（@OdailyChina）
Автор｜Azuma（@azuma_eth）
22 листопада, за пекінським часом, засновник Slow Fog Юй Сян опублікував на особистому X дивний випадок — гаманець одного користувача був «зламаний» AI...
Суть і розвиток цієї справи такі.
Сьогодні вночі користувач X r_ocky.eth розкрив, що раніше сподівався використати ChatGPT для створення допоміжного торгового бота pump.fun.
r_ocky.eth висловив свої побажання ChatGPT, а ChatGPT повернув йому фрагмент коду, який дійсно може допомогти r_ocky.eth розгорнути бота відповідно до своїх потреб, але він зовсім не очікував, що в коді буде приховано фішинговий контент — r_ocky.eth підключив свій основний гаманець і в результаті втратив 2500 доларів.
Зі скріншота, опублікованого r_ocky.eth, видно, що цей фрагмент коду, наданий ChatGPT, відправляє адресу приватного ключа до фішингового API-сайту, що і стало прямою причиною крадіжки.
На r_ocky.eth потрапив у пастку, зловмисник відреагував дуже швидко, за півгодини він перевів всі активи з гаманця r_ocky.eth на іншу адресу (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), після чого r_ocky.eth через ланцюговий аналіз знайшов адресу, яка, ймовірно, є основним гаманцем зловмисника (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
Інформація з ланцюга показує, що на цій адресі вже зібрано понад 100 тисяч доларів «грошей», тому r_ocky.eth підозрює, що ця атака може бути не єдиною, а частиною масштабної атаки.
Після інциденту r_ocky.eth з розчаруванням заявив, що втратив довіру до OpenAI (компанії-розробника ChatGPT) і закликав OpenAI терміново почати очищення від аномального фішингового контенту.
Отже, як найпопулярніший AI-додаток, чому ChatGPT пропонує фішинговий контент?
Щодо цього, Юй Сян визначив основну причину події як «атака з отруєння AI» і зазначив, що в ChatGPT, Claude та інших LLM існує загальна проблема обману.
Термін «атака з отруєння AI» означає навмисне знищення даних для навчання AI або маніпулювання алгоритмами AI. Атакуючими можуть бути внутрішні особи, наприклад, незадоволені нинішні або колишні працівники, або зовнішні хакери, чиї мотиви можуть включати завдання шкоди репутації та бренду, зміна надійності рішень AI, уповільнення або знищення процесів AI тощо. Атакуючі можуть вбудовувати дані з оманливими мітками або характеристиками, викривляючи процес навчання моделі, що призводить до помилкових результатів під час розгортання та виконання.
Виходячи з цієї події, ймовірно, ChatGPT надав r_ocky.eth фішинговий код, оскільки модель AI під час навчання захопила дані, що містять фішинговий контент, але AI, схоже, не зміг розпізнати фішинговий контент, схований під звичайними даними, і після навчання знову надала цей фішинговий контент користувачеві, що призвело до цієї події.
З rapid розвитком AI і його широким використанням загроза «атак з отруєння» стає все більшою. У цьому випадку, хоча абсолютна втрата не велика, але наслідки таких ризиків можуть бути достатніми, щоб викликати занепокоєння — припустимо, це відбувається в інших сферах, наприклад, у AI-помічниках водіїв...
Відповідаючи на питання користувачів, Юй Сян згадував про один потенційний захід для уникнення таких ризиків, а саме про необхідність введення в ChatGPT певного механізму перевірки коду.
Потерпіла сторона r_ocky.eth також заявила, що вже зв'язалася з OpenAI з цього приводу, хоча поки не отримала відповіді, сподівається, що ця справа стане приводом для OpenAI звернути увагу на такі ризики та запропонувати потенційні рішення.