Foto profil yang dihasilkan AI menjadi alat penting untuk manipulasi terkoordinasi di X, dengan peneliti dari Jerman mengidentifikasi hampir 8.000 akun yang menggunakan wajah sintetis yang terutama difokuskan pada penguatan pesan politik dan skema kripto.
"Kemajuan terkini dalam bidang kecerdasan buatan (AI) generatif telah mengaburkan batasan antara konten autentik dan konten buatan mesin, sehingga hampir mustahil bagi manusia untuk membedakan media semacam itu," catat studi tersebut.
Penelitian yang dilakukan oleh tim dari Universitas Ruhr Bochum, Institut GESIS Leibniz, dan Pusat CISPA Helmholtz menemukan bahwa lebih dari separuh akun tersebut dibuat pada tahun 2023, sering kali dalam peristiwa pembuatan massal yang mencurigakan.
"Sebagian besar akun dibuat secara massal tidak lama sebelum pengumpulan data kami, yang merupakan pola umum untuk akun yang dibuat untuk amplifikasi pesan, kampanye disinformasi, atau aktivitas mengganggu serupa," jelas para peneliti.
Temuan ini mendapatkan konteks tambahan dari analisis platform baru-baru ini yang dilakukan oleh Pusat untuk Melawan Kebencian Digital yang menunjukkan bahwa pos politik pemilik X, Elon Musk, yang mendukung Donald Trump menerima 17,1 miliar tayangan—lebih dari dua kali lipat semua iklan kampanye politik AS yang digabungkan selama periode yang sama.
“Setidaknya 87 pos Musk tahun ini telah mempromosikan klaim tentang pemilihan umum AS yang telah dinilai sebagai palsu atau menyesatkan oleh pemeriksa fakta, mengumpulkan 2 miliar tayangan. Tidak ada dari pos-pos ini yang menampilkan Catatan Komunitas, sebutan X untuk pemeriksaan fakta yang dihasilkan pengguna,” kata laporan CCDH.
Penggunaan AI generatif—baik itu untuk menghasilkan gambar palsu atau teks—mudah dikenali karena akun wajah sintetis menunjukkan pola yang berbeda yang memisahkan mereka dari pengguna yang sah. "Akun gambar palsu memiliki lebih sedikit pengikut (rata-rata: 393,35, median: 60) dibandingkan dengan akun gambar nyata (rata-rata: 5.086,38, median: 165)." Studi ini juga menemukan bahwa akun palsu cenderung berinteraksi lebih sedikit dengan ekosistem pengikut mereka dan malah memposting pesan tanpa membalas atau berinteraksi dengan akun lain.
Studi ini juga menekankan pola-pola tertentu yang menunjukkan aktivitas terkoordinasi: "Kami memperhatikan bahwa 1.996 akun gambar palsu (25,84%) memiliki tepat 106 pengikut. Analisis konten kami mengungkapkan bahwa akun-akun ini termasuk dalam kluster besar akun palsu yang terlibat dalam perilaku tidak otentik yang terkoordinasi."
Metode deteksi canggih tim penelitian mencapai akurasi yang luar biasa, dengan para peneliti melaporkan hampir 100% kepastian dalam temuan mereka.
Para peneliti juga menyatakan bahwa banyak dari akun-akun tersebut tidak bertahan lama, dengan lebih dari setengahnya ditangguhkan dalam waktu kurang dari satu tahun.
Analisis konten juga mengungkapkan pola posting yang diorkestrasi dengan hati-hati di berbagai bahasa. Studi ini mengidentifikasi "jaringan besar akun gambar palsu yang mungkin dibuat secara otomatis dan berpartisipasi dalam serangan spam berskala besar." Akun berbahasa Inggris sangat fokus pada topik kontroversial, dengan para peneliti menemukan bahwa akun-akun tersebut lebih suka membahas isu-isu seperti perang di Ukraina, pemilihan umum AS, dan perdebatan tentang COVID-19 dan kebijakan vaksinasi.
Di luar politik, banyak dari akun-akun ini juga mempromosikan penipuan kripto dan konten terkait seks.
Melihat ke depan, para peneliti berencana untuk memperluas kemampuan deteksi untuk menemukan gambar AI yang dihasilkan dengan model lain berdasarkan teknologi yang berbeda—seperti model Difusi alih-alih Jaringan Adversarial Generatif (GANs). Mereka juga ingin meningkatkan metodologi mereka untuk menemukan lebih banyak cara untuk mengidentifikasi apa yang mereka kategorikan sebagai "perilaku tidak otentik yang terkoordinasi di berbagai platform sosial."
Diedit oleh Josh Quittner dan Sebastian Sinclair