В последние несколько лет моральные и практические проблемы были сосредоточены на ИИ из-за его огромного потенциала как для полезного, так и для вредного использования. Один из лидеров отрасли, OpenAI, стремится соблюдать строгие правила, предотвращающие злоупотребления моделями искусственного интеллекта.

Эта приверженность особенно важна для выявления и предотвращения тайных операций влияния (ОП), которые представляют собой попытки повлиять на общественное мнение или повлиять на политические результаты без раскрытия реальных личностей или мотивов участвующих сторон. За последние три месяца OpenAI вмешалась в пять из этих мероприятий, доказав свою приверженность сокращению злоупотреблений технологией искусственного интеллекта.

Неожиданные сбои в тайных операциях по оказанию влияния в последнее время

30 мая 2024 года OpenAI вошла в историю, сообщив миру, что она успешно пресекла пять таких скрытых кампаний влияния, которые исходили от Ирана, Китая, России и даже израильской частной компании. Компания опубликовала открытый отчет, в котором подробно описывались кропотливые расследования, которые разоблачили эти вредоносные усилия, направленные на использование современных языковых моделей OpenAI для мошенничества в Интернете.

Генеральный директор OpenAI Сэм Альтман подтвердил приверженность компании созданию надежных и безопасных приложений для разведки. Он также заявил, что компания стремится внедрять правила, которые пресекают нецелевое использование и повышают открытость информации, генерируемой ИИ, уделяя особое внимание выявлению и пресечению скрытых действий по влиянию.

Конкретная операция, названная аналитиками OpenAI «Bad Grammar», пришла из России. В попытке изменить общественное восприятие, лица, стоящие за этой операцией, использовали ботов Telegram для запуска моделей OpenAI и создания кратких социальных комментариев на русском и английском языках. Затем эти комментарии были распространены в известном чат-приложении.

Фото: Публичный комментарий Telegram, соответствующий тексту, сгенерированному этой сетью. Отчет об угрозах

Другая организация под названием «Doppelganger» приняла более международную стратегию, используя искусственный интеллект OpenAI для создания ответов на разных языках ЕС.

Исследование также дало представление о китайской системе, известной как «Spamouflage», которая использовала модели OpenAI для ряда приложений, включая создание многоязычных материалов для таких сайтов, как X, Medium и Blogspot, а также расследование публичной активности в социальных сетях. Исследователи даже использовали ИИ OpenAI для отладки кода управления базой данных и веб-сайтом, в частности ранее нераскрытого домена, который, возможно, вызывает наибольшее беспокойство из всех.

Фото: Скриншот веб-сайта revealscum[.]com, показывающий страницу с названием «汉奸» («предатель»). Отчет об угрозах

Аналитики организации также обнаружили «Международный союз виртуальных медиа» (IUVM) — иранскую организацию, которая использовала ИИ OpenAI для создания и интерпретации длинных документов, новостей и веб-тегов.

Фото: Теги в статье, опубликованной iuvmpress[.]co. Обратите внимание на первые два тега, которые включают ответ модели. Отчет Threat Intel

Неожиданно OpenAI также вмешался в деятельность израильского бизнеса, который носил прозвище «Zero Zeno». Используя модели OpenAI, STOIC создавал истории и ответы, которые затем распространялись на различных платформах, таких как Facebook, Instagram, X и корпоративных страницах. Это могло быть сделано в попытке повлиять на общественное мнение или продвинуть бизнес-цели.

Фото: англоязычные комментарии, сгенерированные этой сетью и опубликованные в Instagram. И исходный пост, и ответы были сгенерированы этой кампанией. Отчет Threat Intel

Исследование подчеркивает, что широкий спектр тем был охвачен информацией, которая распространялась этими различными организациями. Этот широкий спектр тем подчеркивает, насколько адаптивными были эти субъекты угроз в своих попытках использовать языковые модели OpenAI в своих собственных злых целях.

Однако OpenAI утверждает, что, несмотря на все усилия, эти тайные кампании влияния не получили большой выгоды от использования ее услуг для повышения популярности или охвата. При оценке воздействия IO использовалась «шкала прорыва» Института Брукингса. Ни одна из 5 инициатив не получила оценку выше 2, что означает, что их деятельность была ограничена несколькими платформами и не проникла в значительной степени в легитимные онлайн-группы.

Фото: Исследователи определили следующий домен как связанный с этой кампанией. Отчет об угрозах

Изучение стратегий атакующих

В статье OpenAI также определяется ряд существенных закономерностей в том, как эти субъекты угроз пытались злоупотреблять моделями ИИ. Чтобы создать видимость участия в социальных сетях, все они использовали сгенерированный ИИ материал в дополнение к более традиционным форматам, таким как рукописные письма или переделанные мемы. Кроме того, несколько субъектов продемонстрировали адаптивность этих технологий, используя ИИ для повышения своей производительности путем анализа постов в социальных сетях или устранения неполадок в коде.

Интересно, что бизнес подчеркивает преимущества, которые ИИ обеспечивает для защиты от подобных атак. Меры безопасности OpenAI, которые отдают приоритет этическому развертыванию ИИ, постоянно создают неудобства для субъектов угроз, отказываясь предоставлять предполагаемый деструктивный материал. Например, в исследовании подробно описываются ситуации, в которых модели компании отказывались генерировать желаемый текст или графику, препятствуя попыткам операторов распространять дезинформацию или пропаганду.

Кроме того, чтобы улучшить навыки распознавания и оценки и ускорить расследования, которые могли бы длиться неделями или месяцами, OpenAI создала собственные инструменты на базе ИИ. Компания показала, как ИИ может усилить защиту от своего собственного злонамеренного использования, используя именно ту технологию, которую он призван защищать.

OpenAI подчеркивает, насколько важны деловое сотрудничество и обмен данными разведки с открытым исходным кодом для предотвращения этих тайных операций. В результате многолетнего изучения данных с открытым исходным кодом более крупным исследовательским сообществом корпорация поделилась точными индикаторами опасности с коллегами в отрасли и укрепила идею о том, что борьба с дезинформацией и онлайн-манипуляцией — это командная работа, требующая сотрудничества между отраслями.

Будущий курс OpenAI на безопасность

Используя эту стратегию, OpenAI стремится усилить воздействие своих помех на этих злоумышленников, ограничивая их возможности использовать технологию ИИ для незаконной деятельности. Согласно статье, «Распространение имеет значение: как и традиционные формы контента, материалы, созданные ИИ, должны распространяться, чтобы достичь аудитории».

Подводя итог, исследование OpenAI подчеркивает, что эти скрытые операции по влиянию все еще были ограничены человеческими факторами, такими как ошибки оператора и дефекты принятия решений, даже при том, что оно признает потенциальные угрозы, представляемые злоупотреблением технологией ИИ. В статье приводятся примеры операторов, которые по ошибке размещали сигналы отклонения от моделей OpenAI на своих веб-сайтах и ​​в социальных сетях, раскрывая недостатки и ограничения даже в самых продвинутых усилиях по дезинформации.

На данный момент ликвидация компанией OpenAI этих пяти тайных кампаний влияния является свидетельством усердия и приверженности компании сохранению целостности своих систем искусственного интеллекта. Однако борьба с дезинформацией и онлайн-манипуляцией далека от завершения, и по мере развития технологий ИИ будет все больше ощущаться потребность в сотрудничестве, креативности и этических проблемах.

Публикация OpenAI раскрывает и останавливает 5 вредоносных операций с использованием технологий ИИ впервые появилась на Metaverse Post.