Las fotografías de perfil generadas por inteligencia artificial se están convirtiendo en una herramienta importante para la manipulación coordinada en X; investigadores de Alemania han identificado casi 8.000 cuentas que utilizan caras sintéticas enfocadas principalmente en amplificar mensajes políticos y esquemas criptográficos.
"Los recientes avances en el campo de la inteligencia artificial (IA) generativa han desdibujado las líneas entre el contenido auténtico y el generado por máquinas, haciendo casi imposible para los humanos distinguir entre dichos medios", señala el estudio.
La investigación, realizada por equipos de la Universidad del Ruhr de Bochum, el Instituto GESIS Leibniz y el Centro Helmholtz CISPA, descubrió que más de la mitad de estas cuentas se crearon en 2023, a menudo en eventos de creación masiva sospechosos.
"Una porción significativa de cuentas fue creada en masa poco antes de nuestra recolección de datos, lo cual es un patrón común para cuentas creadas para amplificación de mensajes, campañas de desinformación u otra actividad disruptiva similar," explican los investigadores.
Este hallazgo gana contexto adicional de un análisis reciente de la plataforma realizado por el Centro para Contrarrestar el Odio Digital, que muestra que las publicaciones políticas del propietario de X, Elon Musk, a favor de Donald Trump recibieron 17.1 mil millones de vistas, más del doble de todos los anuncios de campaña política de EE. UU. combinados durante el mismo período.
“Al menos 87 de las publicaciones de Musk este año han promovido afirmaciones sobre las elecciones en EE. UU. que los verificadores de hechos han calificado como falsas o engañosas, acumulando 2 mil millones de vistas. Ninguna de estas publicaciones presentó una Nota de Comunidad, el nombre de X para las verificaciones de hechos generadas por usuarios,” dice el informe del CCDH.
El uso de IA generativa—ya sea para generar imágenes o texto falsas—fue fácil de detectar ya que las cuentas de caras sintéticas exhibieron patrones distintos que las separan de los usuarios legítimos. "Las cuentas de imágenes falsas tienen menos seguidores (media: 393.35, mediana: 60) en comparación con las cuentas de imágenes reales (media: 5,086.38, mediana: 165)." El estudio también encontró que las cuentas falsas tienden a interactuar menos con su ecosistema de seguidores y en su lugar publican mensajes sin responder o interactuar con otras cuentas.
El estudio también enfatizó patrones específicos que sugieren actividad coordinada: "Notamos que 1,996 cuentas de imágenes falsas (25.84%) tienen exactamente 106 seguidores. Nuestro análisis de contenido revela que estas cuentas pertenecen a un gran grupo de cuentas falsas involucradas en un comportamiento inauténtico coordinado."
Los sofisticados métodos de detección del equipo de investigación lograron una precisión notable, con los investigadores informando casi un 100% de certeza en sus hallazgos.
Los investigadores también dijeron que muchas de las cuentas no viven mucho tiempo, con más de la mitad de ellas siendo suspendidas en menos de un año.
El análisis de contenido también reveló patrones de publicación cuidadosamente orquestados en múltiples idiomas. El estudio identificó "grandes redes de cuentas de imágenes falsas que probablemente fueron creadas automáticamente y que participaron en ataques de spam a gran escala." Las cuentas en inglés se centraron fuertemente en temas controvertidos, encontrando los investigadores que las cuentas prefieren abordar cuestiones como la guerra en Ucrania, las elecciones en EE. UU. y debates sobre COVID-19 y políticas de vacunación.
Fuera de la política, muchas de estas cuentas también promovieron estafas de criptomonedas y contenido relacionado con sexo.
De cara al futuro, los investigadores planean expandir las capacidades de detección para identificar imágenes generadas por IA con otros modelos basados en diferentes tecnologías, como modelos de difusión en lugar de Redes Generativas Antagónicas (GANs). También quieren mejorar su metodología para encontrar más formas de identificar lo que categorizan como "comportamiento inauténtico coordinado a través de plataformas sociales."
Editado por Josh Quittner y Sebastian Sinclair