WeChat s'attaque aux impostures de célébrités générées par IA pour un marketing frauduleux
La plateforme de médias sociaux chinois WeChat a pris des mesures décisives pour s'attaquer à la problématique croissante des impostures de célébrités générées par IA utilisées à des fins de marketing malveillant.
Dans une annonce récente via son compte officiel "WeChat Coral Security" le 15 décembre 2024, la plateforme a révélé qu'elle avait fermé 209 comptes impliqués dans des tactiques de marketing éthiques basées sur l'IA, visant à manipuler la confiance des consommateurs et à obtenir un trafic frauduleux.
Elle a rapidement traité une série de violations où l'IA a été utilisée pour imiter des célébrités à des fins promotionnelles inappropriées.
La plateforme a déclaré avoir reçu plusieurs rapports d'utilisateurs et effectué des vérifications régulières, permettant l'identification rapide et la suppression de ces activités trompeuses.
WeChat a déclaré dans le communiqué :
"Pour protéger les droits des utilisateurs et prévenir la fraude à la consommation, nous avons agi de manière décisive pour lutter contre l'utilisation abusive de la technologie IA dans le marketing frauduleux."
La technologie IA alimente les pratiques trompeuses
L'utilisation de la technologie IA pour imiter des figures publiques bien connues a pris de l'ampleur, notamment à des fins commerciales.
Ces outils alimentés par l'IA peuvent créer des vidéos et des enregistrements vocaux faux convaincants en clonant l'image de personnalités célèbres, conduisant à une large désinformation en ligne.
La répression de WeChat a été déclenchée par plusieurs rapports d'utilisateurs et un suivi de routine, ce qui a conduit à l'identification de comptes abusant de cette technologie.
WeChat a désormais supprimé 532 pièces de contenu nuisible dans le cadre de son initiative plus large pour lutter contre ces activités de marketing frauduleuses.
L'engagement de la plateforme à améliorer la protection des consommateurs est clair, la société déclarant qu'elle continuera à se concentrer sur la lutte contre de telles pratiques trompeuses.
Une tendance croissante d'imposture frauduleuse par IA
La sophistication croissante du contenu généré par l'IA a suscité des inquiétudes, car elle permet la manipulation des consommateurs par des endorsements fabriqués.
Des cas très médiatisés d'impostures par IA ont déjà fait surface, y compris des instances où les voix et les images de célébrités ont été utilisées pour promouvoir des produits sans leur consentement.
Un de ces cas impliquait l'acteur de Hong Kong Raymond Wong, qui a publiquement dénoncé l'utilisation frauduleuse de son image et de sa voix dans une publicité générée par IA.
Wong a déclaré dans une déclaration publiée sur les réseaux sociaux :
“Ce comportement est une pure fraude. Il vise à tromper le public et à en tirer profit.”
Cette situation expose les dangers des impostures alimentées par l'IA, où la confiance est manipulée pour tromper les consommateurs en leur faisant acheter des produits par le biais de faux endorsements.
Préoccupations juridiques et éthiques entourant la fraude alimentée par l'IA
Les experts avertissent que les impostures par IA pourraient enfreindre les droits des individus.
L'avocat Xu Wei du cabinet d'avocats Jingdu de Pékin a souligné que l'utilisation de l'IA pour altérer l'image de quelqu'un à des fins commerciales sans consentement viole ses droits d'image.
Si les produits promus par ces endorsements créés par IA sont exagérés ou au prix élevé, cela pourrait même constituer une fraude, car les consommateurs pourraient être trompés en faisant des achats basés sur ces faux endorsements.
Xu a également souligné le potentiel de dommages à la réputation, notant que les utilisations malveillantes de l'IA, telles que la création de contenu offensant ou la mise en contexte inappropriée du visage de quelqu'un, pourraient entraîner des violations des droits personnels d'une personne.
Responsabilité des plateformes et mesures futures
Le rôle des fournisseurs de plateformes comme WeChat est également scruté.
Les plateformes sont appelées à assumer la responsabilité du contenu hébergé sur leurs sites, s'assurant que les vidéos générées par IA soient clairement étiquetées pour éviter la confusion des utilisateurs.
Cette réglementation exige que les prestataires de services marquent clairement le contenu généré par IA avec des indicateurs visibles à des points clés, tels que le début, la fin ou d'autres zones proéminentes, à travers divers formats tels que texte, audio, images et vidéos.
Les grandes plateformes ont déjà commencé à ajouter des avertissements, tels que "contenu généré par IA" ou "création suspecte par IA", pour aider les spectateurs à différencier le média réel et synthétique.
Cependant, dans les cas où les plateformes ne parviennent pas à étiqueter ou à supprimer de manière appropriée le contenu trompeur, elles pourraient être tenues responsables d'avoir facilité la diffusion de matériel frauduleux.
WeChat a déclaré qu'il intensifierait ses efforts pour empêcher ce type de contenu d'atteindre les utilisateurs, en resserrant encore ses pratiques réglementaires.
Réglementation plus stricte sur les services de synthèse d'IA
Selon des directives récentes des autorités chinoises, les services d'IA qui génèrent du contenu deepfake doivent clairement indiquer quand le contenu pourrait mener à la confusion.
WeChat s'engage à renforcer davantage sa gouvernance, s'assurant que les utilisateurs et les prestataires de services restent responsables du contenu généré à l'aide des technologies IA.
Le rôle du public dans l'identification et le signalement du contenu frauduleux généré par IA est également essentiel pour maintenir un environnement en ligne sûr et fiable.
Avec les outils IA devenant plus largement accessibles, la responsabilité incombe aux fournisseurs de plateformes et aux utilisateurs pour prévenir l'exploitation et la tromperie dans le monde numérique.