WeChat zasahuje proti AI-generovaným impersonacím celebrit pro podvodný marketing
Čínská sociální média platforma WeChat podnikla rozhodné kroky k řešení rostoucího problému AI-generovaných impersonací celebrit, které se používají pro zlovolné marketingové praktiky.
V nedávném oznámení prostřednictvím svého oficiálního účtu "WeChat Coral Security" 15. prosince 2024 platforma oznámila, že uzavřela 209 účtů zapojených do neetických marketingových taktik založených na AI, které měly za cíl manipulovat důvěrou spotřebitelů a získávat podvodný provoz.
Rychle se vypořádala se sérií porušení, kdy byla AI použita k impersonaci celebrit pro nevhodné propagační účely.
Platforma uvedla, že obdržela několik hlášení od uživatelů a prováděla pravidelné kontroly, což umožnilo rychlou identifikaci a odstranění těchto klamných aktivit.
WeChat uvedl ve svém prohlášení:
"Abychom chránili práva uživatelů a zabránili podvodům, rozhodně jsme zakročili proti zneužívání technologie AI v podvodném marketingu."
Technologie AI podporuje klamné praktiky
Použití technologie AI k napodobování známých veřejných osobností získalo na popularitě, zejména pro komerční účely.
Tyto nástroje poháněné AI mohou vytvářet přesvědčivá falešná videa a hlasové nahrávky klonováním podob slavných osobností, což vede k rozsáhlému zkreslení online.
Zásah WeChat byl vyvolán několika hlášeními od uživatelů a rutinním monitorováním, což vedlo k identifikaci účtů zneužívajících tuto technologii.
WeChat nyní odstranil 532 kusů škodlivého obsahu jako součást své širší iniciativy k boji proti těmto podvodným marketingovým aktivitám.
Závazek platformy zlepšit ochranu spotřebitelů je jasný, přičemž společnost uvedla, že se bude i nadále soustředit na potlačování takových klamných praktik.
Rostoucí trend podvodných impersonací AI
Zvyšující se sofistikovanost obsahu generovaného AI vyvolala obavy, protože umožňuje manipulaci s spotřebiteli prostřednictvím vykonstruovaných doporučení.
Případy AI impersonací s vysokým profilem se již objevily, včetně případů, kdy byly hlasy a obrázky celebrit použity k propagaci produktů bez jejich souhlasu.
Jeden takový případ se týkal hongkongského herce Raymonda Wonga, který veřejně odsoudil podvodné použití své podoby a hlasu v AI-generované reklamě.
Wong uvedl ve vyjádření zveřejněném na sociálních médiích:
„Toto chování je čistý podvod. Má za cíl zmást veřejnost a profitovat z toho.”
Tato situace odhaluje nebezpečí impersonací poháněných AI, kde je důvěra manipulována k tomu, aby spotřebitele podvedla k nákupu produktů prostřednictvím falešných doporučení.
Právní a etické obavy kolem podvodů poháněných AI
Odborníci varují, že impersonace AI by mohly porušovat práva jednotlivců.
Právník Xu Wei z pekingské právní firmy Jingdu poukázal na to, že použití AI k pozměnění něčí podoby pro komerční účely bez souhlasu porušuje jejich práva na podobu.
Pokud jsou produkty propagované prostřednictvím těchto AI-vytvořených doporučení nadhodnocené nebo přehnané, mohlo by to dokonce představovat podvod, protože mohou být spotřebitelé uvedeni v omyl k nákupu na základě těchto falešných doporučení.
Xu také zdůraznil potenciál poškození reputace, poznamenávaje, že zlovolné použití AI, jako je vytváření urážlivého obsahu nebo umístění něčí tváře do nevhodného kontextu, může vést k porušení osobních práv jednotlivce.
Odpovědnost platformy a budoucí opatření
Úloha poskytovatelů platforem, jako je WeChat, je také podrobována zkoumání.
Platformy jsou vyzývány, aby převzaly odpovědnost za obsah hostovaný na svých stránkách, a zajistily, aby videa generovaná AI byla jasně označena, aby se předešlo zmatku uživatelů.
Tato regulace nařizuje poskytovatelům služeb jasně označit obsah generovaný AI viditelnými indikátory na klíčových místech, jako je začátek, konec nebo jiné prominentní oblasti, napříč různými formáty, jako jsou text, audio, obrázky a videa.
Hlavní platformy již začaly přidávat prohlášení, jako například „obsah generovaný AI“ nebo „podezřelá AI tvorba“, aby pomohly divákům rozlišovat mezi skutečnými a syntetickými médii.
Však v případech, kdy platformy selhávají v řádném označení nebo odstranění klamného obsahu, by mohly být odpovědné za usnadnění šíření podvodného materiálu.
WeChat uvedl, že intenzivně posílí své úsilí, aby zabránil takovému obsahu, aby se dostal k uživatelům, a dále zpřísní své regulační praktiky.
Přísnější regulace služeb syntézy AI
Podle nedávných pokynů čínských úřadů musí služby AI, které generují deepfake obsah, jasně uvádět, kdy obsah může vést k záměně.
WeChat se zavázal k dalšímu posílení své správy, aby zajistil, že jak uživatelé, tak poskytovatelé služeb zůstanou odpovědní za obsah generovaný pomocí technologií AI.
Úloha veřejnosti při pomoci identifikovat a hlásit podvodný obsah AI je také klíčová pro udržení bezpečného a důvěryhodného online prostředí.
S tím, jak se nástroje AI stávají stále více dostupnými, je odpovědnost na poskytovatelích platforem i uživatelích, aby zabránili zneužívání a podvodům v digitálním světě.