OpenAI Exposes and Stops 5 Malicious Influence Operations Leveraging AI Technology

MetaversePost · 2024-05-31T14:43:11.000Z

In the past few years, moral and practical concerns have focused on AI due to its enormous potential for both beneficial and detrimental uses. One of the industry leaders, OpenAI, is dedicated to implementing strict guidelines to stop its AI models from being abused. This dedication is especially important for identifying and foiling covert influence operations (IO), which are efforts to sway public opinion or impact political results without disclosing the real identities or motivations of the parties involved. In the last three months, OpenAI has interfered with five of these activities, proving its commitment to reducing the misuse of AI technology. Unexpected Breakdowns in Covert Influence Operations Lately On May 30, 2024, OpenAI made history by disclosing to the world that it had successfully thwarted five such covert influence campaigns that came from Iran, China, Russia, and even an Israeli private company. The business published an open report detailing the painstaking investigations that exposed these malicious efforts, which aimed to use OpenAI’s state-of-the-art language models for fraud on the web. The CEO of OpenAI, Sam Altman, reaffirmed the company’s dedication to creating intelligence applications that are reliable and secure. He also stated that the company is committed to implementing regulations that stop misuse and enhance openness surrounding information generated by AI, with a particular focus on identifying and affecting hidden influence activities. A particular operation—dubbed “Bad Grammar” by OpenAI analysts—came from Russia. In an effort to change public perceptions, the individuals behind this operation used Telegram bots to run OpenAI’s models and produce brief social remarks in both Russian and English. These comments were then shared on the well-known chat app. Photo: Public Telegram comment matching a text generated by this network. Threat Intel Report Another organization called “Doppelganger,” adopted a more international strategy, using OpenAI’s AI to create replies in different EU languages. The study also provided insight into a Chinese system known as “Spamouflage,” which made use of OpenAI’s models for a range of applications, including the creation of multilingual material for sites like X, Medium, and Blogspot, as well as the investigation of public social media activity. The researchers even used OpenAI’s AI to debug database and website management code, particularly a previously undisclosed domain, which is maybe the most concerning of all. Photo: Screenshot of the website revealscum[.]com, showing the page titled “汉奸” (“traitor”). Threat Intel Report The “International Union of Virtual Media” (IUVM), an Iranian organization that used OpenAI’s AI to create and interpret long-form documents, news, and web tags, was also discovered by the organization’s analysts. Photo: Tags on an article published by iuvmpress[.]co. Note the first two tags, which include the model’s response. Threat Intel Report Unexpectedly, OpenAI also interfered with the operations of an Israeli business that went by the moniker “Zero Zeno.” Using OpenAI’s models, STOIC created stories and replies that were then shared on various platforms, such as Facebook, Instagram, X, and corporate pages. This may have been done in an effort to sway public opinion or advance business objectives. Photo: English-language comments generated by this network and posted on Instagram. Both the original post and the replies were generated by this campaign. Threat Intel Report The research highlights that a wide range of topics were covered by the information that was distributed by these different organizations. This wide range of subjects highlights how adaptable these threat actors were in their attempts to use OpenAI’s language models for their own evil purposes. OpenAI, however, claims that despite their best efforts, these secret influence campaigns did not gain much from using its services to boost popularity or reach. When evaluating the impact of IOs, the Brookings Institution’s “Breakout Scale” was used. None of the 5 initiatives received a score greater than 2, meaning that their activities were restricted to a few platforms and did not significantly penetrate legitimate online groups. Photo: Researchers identified the following domain as being associated with this campaign. Threat Intel Report Examination of Attacker Strategies The paper from OpenAI also identifies a number of significant patterns in the way that these threat actors tried to abuse AI models. To create the appearance of participation on social media, they all used AI-generated material in addition to more conventional formats like handwritten letters or repurposed memes. Furthermore, a few actors demonstrated the adaptability of these technologies by using AI to increase their productivity by analyzing social media postings or troubleshooting code. Interestingly, the business highlights the benefits AI provides to defenses against these kinds of attacks. OpenAI’s safety measures, which prioritized ethical AI deployment, have consistently caused inconvenience to threat actors by declining to provide the intended destructive material. The study, for example, details situations in which the company’s models refused to generate the desired text or graphics, impeding the operators’ attempts to spread misinformation or propaganda. Additionally, in order to improve recognition and evaluation skills and speed up investigations that could have gone on for weeks or months, OpenAI has built its own AI-powered tools. The business has shown how AI can strengthen safeguards against its own malevolent use by utilizing the exact technology it aims to protect. OpenAI emphasizes how crucial business cooperation and the sharing of open-source intelligence are to thwarting these clandestine operations. As a result of years of open-source study by the larger research community, the corporation shared precise danger indicators with peers in the industry and strengthened the idea that fighting misinformation and online manipulation is a team effort requiring collaboration across industries. OpenAI’s Future Course for Safety By using this strategy, OpenAI seeks to strengthen the effect of its disruptions on these bad actors, restricting their capacity to utilize AI technology for illicit activities. According to the paper, “Distribution matters: Like traditional forms of content, AI-generated material must be distributed if it is to reach an audience.” Summing it up, OpenAI’s research highlights that these stealth influence operations were still constrained by human variables, such as operator mistakes and decision-making defects, even while it acknowledges the potential threats presented by the abuse of AI technology. The paper includes examples of operators posting rejection signals from OpenAI’s models on their websites and social media by mistake, exposing the flaws and restrictions in even the most advanced misinformation efforts. As for now, OpenAI’s dismantling of these five clandestine influence campaigns is evidence of the company’s diligence and commitment to maintaining the integrity of its artificial intelligence systems. However, the fight against misinformation and online manipulation is far from ending, and as AI technologies develop, there will be much more need for cooperation, creativity, and ethical concerns. The post OpenAI Exposes and Stops 5 Malicious Influence Operations Leveraging AI Technology appeared first on Metaverse Post.

Au cours des dernières années, les préoccupations morales et pratiques se sont concentrées sur l’IA en raison de son énorme potentiel d’utilisation à la fois bénéfique et préjudiciable. L'un des leaders du secteur, OpenAI, s'engage à mettre en œuvre des directives strictes pour empêcher tout abus de ses modèles d'IA.
Ce dévouement est particulièrement important pour identifier et déjouer les opérations d’influence secrètes (OI), qui sont des efforts visant à influencer l’opinion publique ou à influencer les résultats politiques sans révéler l’identité ou les motivations réelles des parties impliquées. Au cours des trois derniers mois, OpenAI a interféré avec cinq de ces activités, prouvant ainsi son engagement à réduire l’utilisation abusive de la technologie de l’IA.
Pannes inattendues dans les opérations d'influence secrètes ces derniers temps
Le 30 mai 2024, OpenAI a marqué l’histoire en révélant au monde entier qu’elle avait réussi à déjouer cinq campagnes d’influence secrètes de ce type, provenant d’Iran, de Chine, de Russie et même d’une entreprise privée israélienne. L’entreprise a publié un rapport public détaillant les enquêtes minutieuses qui ont révélé ces efforts malveillants, qui visaient à utiliser les modèles linguistiques de pointe d’OpenAI pour commettre des fraudes sur le Web.
Le PDG d’OpenAI, Sam Altman, a réaffirmé l’engagement de l’entreprise à créer des applications de renseignement fiables et sécurisées. Il a également déclaré que l’entreprise s’engageait à mettre en œuvre des réglementations visant à mettre fin aux abus et à renforcer la transparence autour des informations générées par l’IA, en mettant l’accent sur l’identification et la lutte contre les activités d’influence cachées.
Une opération particulière, baptisée « Bad Grammar » par les analystes d’OpenAI, est venue de Russie. Dans le but de changer l’opinion publique, les individus à l’origine de cette opération ont utilisé des robots Telegram pour exécuter les modèles d’OpenAI et produire de brèves remarques sociales en russe et en anglais. Ces commentaires ont ensuite été partagés sur la célèbre application de chat.
Photo : commentaire public sur Telegram correspondant à un texte généré par ce réseau. Threat Intel Report
Une autre organisation, appelée « Doppelganger », a adopté une stratégie plus internationale, en utilisant l’IA d’OpenAI pour créer des réponses dans différentes langues de l’UE.
L’étude a également permis de mieux comprendre un système chinois connu sous le nom de « Spamouflage », qui utilisait les modèles d’OpenAI pour une série d’applications, notamment la création de contenu multilingue pour des sites comme X, Medium et Blogspot, ainsi que l’étude de l’activité publique sur les réseaux sociaux. Les chercheurs ont même utilisé l’IA d’OpenAI pour déboguer le code de gestion de bases de données et de sites Web, en particulier un domaine jusqu’alors non divulgué, ce qui est peut-être le plus inquiétant de tous.
Photo : Capture d'écran du site Web revealscum[.]com, montrant la page intitulée « 汉奸 » (« traître »). Rapport de renseignement sur les menaces
L’« International Union of Virtual Media » (IUVM), une organisation iranienne qui a utilisé l’IA d’OpenAI pour créer et interpréter des documents longs, des actualités et des balises Web, a également été découverte par les analystes de l’organisation.
Photo : Tags sur un article publié par iuvmpress[.]co. Notez les deux premiers tags, qui incluent la réponse du modèle. Threat Intel Report
De manière inattendue, OpenAI a également interféré dans les activités d’une entreprise israélienne connue sous le nom de « Zero Zeno ». En utilisant les modèles d’OpenAI, STOIC a créé des histoires et des réponses qui ont ensuite été partagées sur diverses plateformes, telles que Facebook, Instagram, X et des pages d’entreprise. Cela a peut-être été fait dans le but d’influencer l’opinion publique ou de faire avancer des objectifs commerciaux.
Photo : commentaires en anglais générés par ce réseau et publiés sur Instagram. La publication originale et les réponses ont été générées par cette campagne. Threat Intel Report
L’étude montre qu’un large éventail de sujets a été couvert par les informations diffusées par ces différentes organisations. Ce large éventail de sujets met en évidence la capacité d’adaptation de ces acteurs malveillants dans leurs tentatives d’utiliser les modèles linguistiques d’OpenAI à leurs propres fins malveillantes.
OpenAI affirme toutefois que malgré tous leurs efforts, ces campagnes d’influence secrètes n’ont pas beaucoup profité de l’utilisation de ses services pour accroître leur popularité ou leur portée. Pour évaluer l’impact des IO, l’« échelle d’évaluation » de la Brookings Institution a été utilisée. Aucune des cinq initiatives n’a reçu un score supérieur à 2, ce qui signifie que leurs activités se sont limitées à quelques plateformes et n’ont pas pénétré de manière significative les groupes en ligne légitimes.
Photo : Les chercheurs ont identifié le domaine suivant comme étant associé à cette campagne. Rapport de renseignement sur les menaces
Examen des stratégies des attaquants
L’étude d’OpenAI identifie également un certain nombre de schémas significatifs dans la manière dont ces acteurs malveillants ont tenté d’abuser des modèles d’IA. Pour créer l’apparence d’une participation sur les réseaux sociaux, ils ont tous utilisé du matériel généré par l’IA en plus de formats plus conventionnels comme des lettres manuscrites ou des mèmes réutilisés. En outre, quelques acteurs ont démontré l’adaptabilité de ces technologies en utilisant l’IA pour augmenter leur productivité en analysant les publications sur les réseaux sociaux ou en résolvant les problèmes de code.
Il est intéressant de noter que l’entreprise met en avant les avantages que l’IA apporte aux défenses contre ce type d’attaques. Les mesures de sécurité d’OpenAI, qui privilégient le déploiement éthique de l’IA, ont systématiquement causé des désagréments aux acteurs malveillants en refusant de fournir le matériel destructeur prévu. L’étude, par exemple, détaille les situations dans lesquelles les modèles de l’entreprise ont refusé de générer le texte ou les graphiques souhaités, entravant les tentatives des opérateurs de diffuser de la désinformation ou de la propagande.
De plus, afin d’améliorer les capacités de reconnaissance et d’évaluation et d’accélérer les enquêtes qui auraient pu durer des semaines ou des mois, OpenAI a développé ses propres outils basés sur l’IA. L’entreprise a montré comment l’IA peut renforcer les mesures de protection contre sa propre utilisation malveillante en utilisant la technologie exacte qu’elle vise à protéger.
OpenAI souligne l’importance de la coopération entre entreprises et du partage de renseignements en open source pour contrecarrer ces opérations clandestines. Grâce à des années d’études en open source menées par la communauté scientifique, l’entreprise a pu partager des indicateurs de danger précis avec ses pairs du secteur et renforcer l’idée selon laquelle la lutte contre la désinformation et la manipulation en ligne est un effort d’équipe nécessitant une collaboration entre les secteurs.
Le futur de OpenAI en matière de sécurité
En utilisant cette stratégie, OpenAI cherche à renforcer l’effet de ses perturbations sur ces acteurs malveillants, en limitant leur capacité à utiliser la technologie de l’IA pour des activités illicites. Selon le document, « la distribution est importante : comme les formes traditionnelles de contenu, le matériel généré par l’IA doit être distribué pour atteindre un public ».
En résumé, les recherches d’OpenAI soulignent que ces opérations d’influence furtives sont toujours limitées par des variables humaines, telles que les erreurs des opérateurs et les défauts de prise de décision, même si elles reconnaissent les menaces potentielles présentées par l’utilisation abusive de la technologie de l’IA. L’étude comprend des exemples d’opérateurs publiant par erreur des signaux de rejet des modèles d’OpenAI sur leurs sites Web et sur les réseaux sociaux, exposant ainsi les failles et les restrictions des efforts de désinformation même les plus avancés.
Pour l’heure, le démantèlement de ces cinq campagnes d’influence clandestines par OpenAI témoigne de la diligence et de l’engagement de l’entreprise à préserver l’intégrité de ses systèmes d’intelligence artificielle. Cependant, la lutte contre la désinformation et la manipulation en ligne est loin d’être terminée, et à mesure que les technologies d’IA se développent, la coopération, la créativité et les préoccupations éthiques deviendront de plus en plus nécessaires.
L'article OpenAI expose et arrête 5 opérations d'influence malveillantes exploitant la technologie de l'IA est apparu en premier sur Metaverse Post.

Découvrez-en plus sur le créateur

Dernières actualités