Wie das US-Justizministerium (DOJ) am Dienstag mitteilte, beschlagnahmten US-Strafverfolgungsbehörden zwei Domänen, die mit einer KI-gestützten Social-Media-Botfarm in Verbindung stehen, die mit der russischen Regierung in Verbindung steht.

„Dies ist ein starkes Beispiel für die Strategie, die das Ministerium, einschließlich des FBI, verfolgt, wenn es um Cyber- und Cyber-gestützte Bedrohungen der nationalen Sicherheit geht“, sagte ein Sprecher des DOJ gegenüber Decrypt. „Wir entwickeln die Art und Weise, wie wir diese Akteure verteidigen und identifizieren, ständig weiter.“

Von der Agentur veröffentlichte Dokumente zeigen, dass die Cyberkriminellen mithilfe generativer künstlicher Intelligenz falsche Social-Media-Profile erstellten. Viele von ihnen gaben sich als Amerikaner aus und nutzten diese Profile dann, um pro-russische Nachrichten auf Twitter zu veröffentlichen.

„Die heutigen Maßnahmen stellen eine Premiere bei der Zerschlagung einer von Russland gesponserten, auf generativer KI basierenden Social-Media-Bot-Farm dar“, sagte der Direktor des US-amerikanischen Federal Bureau of Investigation (FBI), Christopher Wray, in einer Erklärung.

„Russland beabsichtigte, diese Botfarm zu nutzen, um von KI generierte ausländische Desinformationen zu verbreiten und seine Arbeit mit Hilfe der KI auszuweiten, um unsere Partner in der Ukraine zu schwächen und geopolitische Narrative zu beeinflussen, die für die russische Regierung günstig sind.“

Die Botfarm verwendete mutmaßlich Domänen (mlrtr.com und otanmail.com), die vom in Arizona ansässigen Domänenanbieter Namecheap herausgegeben wurden, private E-Mail-Dienste zur Generierung zufälliger E-Mail-Adressen und erstellte Profile auf Twitter. 

In einem Beispiel gab ein Bot-Konto vor, einem Einwohner von Minneapolis zu gehören, der sich selbst als „Humanist“ bezeichnete und einen Hashtag für Bitcoin enthielt.

Insgesamt hat die Botfarm zwischen dem 11. Juni 2022 und dem 1. März 2024 über 968 Twitter-Konten erstellt.

Obwohl Namecheap sagte, es könne keine konkrete Untersuchung kommentieren, teilte das Unternehmen Decrypt mit, dass es „alle Formen von Missbrauch auf unserer Plattform aktiv bekämpft“.

„Wir sind weithin bekannt für unsere effektiven Taktiken, mit denen wir Betrüger, die unsere Dienste nutzen, identifizieren und schnell ausschalten“, schrieb Namecheap über Twitter. „Wir arbeiten mit den Strafverfolgungsbehörden zusammen und setzen US-Vorladungen, Gerichtsbeschlüsse und/oder Haftbefehle im Zusammenhang mit Missbrauch oder illegalen Aktivitäten auf unserer Plattform um.“

Für Cybersicherheitsexperten sind öffentlich verfügbare generative KI-Modelle und standardisierte Entwicklertools für staatlich geförderte Cyberkriminelle attraktiv.

„Die Kombination aus generativer KI und Entwickler-APIs, die von Plattformen wie Telegram, X und Meta bereitgestellt werden, kann bei böswilliger Verwendung sehr gefährlich sein“, sagte Steve Walbroehl, Mitbegründer und CTO des Blockchain-Sicherheitsunternehmens Halborn, über Telegram.

„Normalerweise ermöglicht diese Funktion den Benutzern, ihre Social-Media-Präsenz zu automatisieren, zu verwalten oder zu steigern. In den Händen eines böswilligen Akteurs ist dies jedoch eine sehr überzeugende Methode, um Menschen und Online-Communitys in die Irre zu führen.“

Walbroehl verwies auf Telegram-Gruppen, die ausschließlich aus KI-gesteuerten Bots bestehen und dazu verwendet werden könnten, falsche Hypes und soziale Beweise zu erzeugen und ahnungslose Opfer auf der Grundlage dieser vorgetäuschten Begeisterung davon zu überzeugen, in Betrügereien zu investieren, nur um dann zu sehen, dass ihre Investitionen von den Betrügern, die die Bots kontrollieren, gestohlen werden.

„Es handelt sich einerseits um eine Social-Engineering-Taktik, die zur Verbreitung von Desinformationen in großem Maßstab eingesetzt wird, andererseits ist es auch eine Taktik, die von Betrügern verwendet wird, um Meme-Coins ‚aufzupumpen und abzuladen‘ und naiven Benutzern damit große Mengen Kapital zu stehlen“, fügte Walbroehl hinzu.

„Die Abschaltungen und die dazugehörigen Hinweise deuten darauf hin, dass die USA und ihre Verbündeten verschiedene Techniken wie diese Störungen und Beschlagnahmungen ausprobieren … weil die Betreiber derzeit außerhalb ihrer direkten Reichweite sind“, bemerkte John Scott-Railton, leitender Forscher am Citizen Lab, in einem Twitter-Thread.

„Erwarten Sie, dass die Betreiber lernen, sich weiterentwickeln und gleich wieder auf die USA zielen.“

NEU: @TheJusticeDept hat gerade eine von Russland betriebene, KI-gestützte Twitter-Botfarm zur Desinformation gestört.

Fast 1000 Konten auf @X.

Sie gaben sich als Amerikaner aus und verbreiteten die Darstellung der russischen Regierung.

Faszinierende Ermittlungen dahinter 1/https://t.co/QOsWnoVUCf pic.twitter.com/pvbVZM3nLj

– John Scott-Railton (@jsrailton), 9. Juli 2024

Die Operation zur Ausrottung der gefälschten Konten begann im Juni mit der Einreichung von zwei Durchsuchungs- und Beschlagnahmebefehlen des US-Bezirksgerichts für Arizona, die die Durchsuchung der Server von X Corp (alias Twitter) und die Beschlagnahme der Domänen von Namecheap genehmigten. Twitter hat die gemeldeten Konten freiwillig gesperrt und Verstöße gegen die Nutzungsbedingungen als Grund angegeben.

„X ist in diesem Fall ein wichtiger Partner und wir schätzen ihre freiwilligen Bemühungen, diese Bots zu entfernen und ihre eigenen Ermittlungen durchzuführen“, sagte der Sprecher des Justizministeriums.

„Da böswillige Akteure ihren kriminellen Missbrauch von KI beschleunigen, wird das Justizministerium reagieren und wir werden gemeinsam mit unseren internationalen Partnern und dem privaten Sektor disruptive Maßnahmen priorisieren“, sagte die stellvertretende Generalstaatsanwältin Lisa Monaco in einer Erklärung.

„Wir werden nicht zögern, Botfarmen zu schließen, illegal erworbene Internetdomänen zu beschlagnahmen und unseren Gegnern den Kampf anzusagen.“

Die Operation sei in Zusammenarbeit mit dem FBI, der Cyber ​​National Mission Force, Regierungspartnern in Kanada und den Niederlanden sowie Social-Media-Unternehmen wie Twitter durchgeführt worden, teilte das Justizministerium mit.

„Mit diesen Maßnahmen hat das Justizministerium eine von der russischen Regierung unterstützte, KI-gestützte Propagandakampagne vereitelt, die mithilfe einer Botfarm Desinformationen in den USA und im Ausland verbreitete“, sagte Generalstaatsanwalt Merrick B. Garland in einer Erklärung.

„Während die russische Regierung ihren brutalen Krieg in der Ukraine fortsetzt und Demokratien auf der ganzen Welt bedroht, wird das Justizministerium weiterhin alle unsere rechtlichen Befugnisse einsetzen, um der russischen Aggression entgegenzutreten und das amerikanische Volk zu schützen.“

Es sind nicht nur gefälschte Twitter-Konten, die zur Verbreitung von Betrug und Desinformation genutzt werden. In jüngster Zeit wurden eine Reihe von Cyberangriffen auf legitime Twitter-Konten prominenter Entertainer, darunter der Musikerin Doja Cat, der Schauspielerin Sydney Sweeney und der legendären Heavy-Metal-Band Metallica, zur Verbreitung von Krypto-Betrug genutzt.