Созданные искусственным интеллектом фотографии профилей становятся важным инструментом для скоординированной манипуляции в сети X: исследователи из Германии выявили около 8000 аккаунтов, использующих синтетические лица, в первую очередь направленные на усиление политических сообщений и криптосхем.
«Последние достижения в области генеративного искусственного интеллекта (ИИ) размыли границы между подлинным и созданным машиной контентом, сделав практически невозможным для людей различать такие медиа», — отмечается в исследовании.
Исследование, проведенное группами из Рурского университета в Бохуме, Института имени Лейбница GESIS и Центра имени Гельмгольца CISPA, показало, что более половины этих учетных записей были созданы в 2023 году, часто в ходе подозрительных массовых акций.
"Значительная часть аккаунтов была создана оптом незадолго до нашего сбора данных, что является распространенным паттерном для аккаунтов, созданных для усиления сообщений, дезинформационных кампаний или аналогичной разрушительной активности," объясняют исследователи.
Эта находка получает дополнительный контекст из недавнего анализа платформы, проведенного Центром противодействия цифровой ненависти, который показал, что политические посты владельца X Илона Маска, поддерживающие Дональда Трампа, получили 17,1 миллиарда просмотров — это более чем в два раза больше, чем все рекламные объявления политических кампаний в США за тот же период.
«По крайней мере, 87 постов Маска в этом году продвигали утверждения о выборах в США, которые проверяющие факты оценили как ложные или вводящие в заблуждение, собрав 2 миллиарда просмотров. Ни один из этих постов не содержал заметки сообщества, название X для проверок фактов, созданных пользователями», — говорится в отчете CCDH.
Использование генеративного ИИ — будь то для создания поддельных изображений или текста — было легко заметить, так как аккаунты с синтетическими лицами демонстрировали четкие паттерны, отделяющие их от законных пользователей. "Аккаунты с поддельными изображениями имеют меньше подписчиков (среднее: 393,35, медиана: 60) по сравнению с аккаунтами с реальными изображениями (среднее: 5 086,38, медиана: 165)." Исследование также показало, что фальшивые аккаунты, как правило, меньше взаимодействуют со своей экосистемой подписчиков и вместо этого публикуют сообщения, не отвечая и не взаимодействуя с другими аккаунтами.
Исследование также подчеркивало определенные паттерны, свидетельствующие о скоординированной активности: "Мы замечаем, что 1 996 аккаунтов с поддельными изображениями (25,84%) имеют ровно 106 подписчиков. Наш контент-анализ показывает, что эти аккаунты принадлежат к большому кластеру фальшивых аккаунтов, участвующих в скоординированном неаутентичном поведении."
Сложные методы обнаружения исследовательской группы достигли замечательной точности, при этом исследователи сообщают о почти 100% уверенности в своих выводах.
Исследователи также отметили, что многие из аккаунтов не живут долго, более половины из них были приостановлены менее чем за год.
Анализ контента также выявил тщательно скоординированные паттерны публикаций на нескольких языках. В исследовании были выявлены "большие сети аккаунтов с поддельными изображениями, которые, вероятно, были созданы автоматически и принимали участие в масштабных спам-атаках." Аккаунты на английском языке сосредоточились на спорных темах, при этом исследователи обнаружили, что аккаунты предпочитают обсуждать такие вопросы, как война в Украине, выборы в США и дебаты по COVID-19 и вакцинационным политикам.
Помимо политики, многие из этих аккаунтов также продвигали крипто-мошенничество и контент, связанный с сексом.
Смотря в будущее, исследователи планируют расширить возможности обнаружения, чтобы выявлять изображения ИИ, сгенерированные с использованием других моделей, основанных на различных технологиях — таких как модели диффузии вместо генеративных состязательных сетей (GAN). Они также хотят улучшить свою методологию, чтобы найти больше способов идентифицировать то, что они классифицируют как "скоординированное неаутентичное поведение на социальных платформах."
Отредактировано Джошем Квитнером и Себастьяном Синклером
