Fotos de perfil geradas por IA estão se tornando uma ferramenta significativa para manipulação coordenada no X, com pesquisadores da Alemanha identificando quase 8.000 contas usando rostos sintéticos, focados principalmente em amplificar mensagens políticas e esquemas de criptomoedas.
"Avanços recentes no campo da inteligência artificial generativa (IA) confundiram os limites entre conteúdo autêntico e gerado por máquina, tornando quase impossível para humanos distinguir entre essas mídias", observa o estudo.
A pesquisa, conduzida por equipes da Universidade Ruhr de Bochum, do Instituto GESIS Leibniz e do Centro Helmholtz da CISPA, descobriu que mais da metade dessas contas foram criadas em 2023, geralmente em eventos suspeitos de criação em massa.
"Uma parte significativa das contas foi criada em massa logo antes da nossa coleta de dados, que é um padrão comum para contas criadas para amplificação de mensagens, campanhas de desinformação ou atividades disruptivas semelhantes," explicam os pesquisadores.
Essa descoberta ganha contexto adicional a partir de uma análise recente da plataforma realizada pelo Centro de Combate ao Ódio Digital, mostrando que os posts políticos do proprietário do X, Elon Musk, a favor de Donald Trump receberam 17,1 bilhões de visualizações—mais do que o dobro de todos os anúncios de campanha política dos EUA combinados durante o mesmo período.
“Pelo menos 87 dos posts de Musk este ano promoveram alegações sobre as eleições nos EUA que verificadores de fatos classificaram como falsas ou enganosas, acumulando 2 bilhões de visualizações. Nenhum desses posts apresentou uma Nota da Comunidade, o nome do X para verificações de fatos geradas por usuários,” diz o relatório do CCDH.
O uso de IA generativa—seja para gerar imagens ou textos falsos—era fácil de identificar, pois contas com rostos sintéticos exibiam padrões distintos que as separavam de usuários legítimos. "Contas de imagens falsas têm menos seguidores (média: 393,35, mediana: 60) em comparação com contas de imagens reais (média: 5.086,38, mediana: 165)." O estudo também descobriu que contas falsas tendem a interagir menos com seu ecossistema de seguidores e, em vez disso, postam mensagens sem responder ou se envolver com outras contas.
O estudo também enfatizou padrões específicos sugerindo atividade coordenada: "Notamos que 1.996 contas de imagens falsas (25,84%) têm exatamente 106 seguidores. Nossa análise de conteúdo revela que essas contas pertencem a um grande grupo de contas falsas envolvidas em comportamentos inautênticos coordenados."
Os sofisticados métodos de detecção da equipe de pesquisa alcançaram uma precisão notável, com os pesquisadores relatando quase 100% de certeza em suas descobertas.
Os pesquisadores também disseram que muitas das contas não duram muito, com mais da metade delas sendo suspensas em menos de um ano.
A análise de conteúdo também revelou padrões de postagem cuidadosamente orquestrados em vários idiomas. O estudo identificou "grandes redes de contas de imagens falsas que provavelmente foram criadas automaticamente e que participaram de ataques de spam em grande escala." Contas em inglês se concentraram fortemente em tópicos controversos, com os pesquisadores descobrindo que as contas preferem abordar questões como a guerra na Ucrânia, as eleições nos EUA e debates sobre COVID-19 e políticas de vacinação.
Fora da política, muitas dessas contas também promoveram fraudes relacionadas a criptomoedas e conteúdo sexual.
Olhando para o futuro, os pesquisadores planejam expandir as capacidades de detecção para identificar imagens geradas por IA com outros modelos baseados em diferentes tecnologias—como modelos de Difusão em vez de Redes Adversariais Generativas (GANs). Eles também querem melhorar sua metodologia para encontrar mais maneiras de identificar o que eles categorizam como “comportamento inautêntico coordenado em plataformas sociais."
Editado por Josh Quittner e Sebastian Sinclair