Character.ai, une plateforme qui permet aux utilisateurs de créer une version numérique de personnes de leur choix, fait face à une réaction négative après que des versions chatbot de adolescentes décédées, Molly Russell et Brianna Ghey, ont été trouvées sur leur plateforme.
La plateforme a été condamnée parce que Molly Russel était une adolescente de 14 ans qui a mis fin à ses jours après avoir regardé du contenu lié au suicide en ligne, tandis que Brianna Ghey, 16 ans, a été brutalement assassinée par deux adolescents en 2023.
Character.ai a exhibé une mauvaise modération.
La plateforme a reçu des critiques de divers côtés en raison de son manque de modération appropriée, ce qui a entraîné l'apparition de chatbots imitant de jeunes filles adolescentes décédées. La fondation mise en place en mémoire de Molly Russell a qualifié cela de « répugnant » et d'un « échec totalement répréhensible de la modération ».
Le Telegraph a découvert des avatars imitant les deux enfants en ligne, et le journal a rapporté qu'ils pouvaient interagir avec les chatbots. De plus, le journal a déclaré qu'il suffisait d'un compte avec l'âge auto-déclaré de 14 ans.
Un bot de Briana s'est décrit comme « un expert dans la navigation des défis d'être un adolescent transgenre au lycée », tandis qu'un bot utilisant l'avatar de Molly a déclaré qu'elle était « une experte des dernières années de la vie de Molly ».
« Nous devons agir maintenant pour protéger les enfants des dangers du monde en ligne », a déclaré la mère de Brianna, seulement identifiée comme Esther.
La Molly Rose Foundation, qui a été établie en mémoire de Molly Russell par son directeur général, Andy Burrows, a déclaré : « C'est un échec totalement répréhensible de la modération et une action répugnante qui causera davantage de chagrin à tous ceux qui connaissaient et aimaient Molly. »
Le PDG a ajouté que les entreprises d'IA sont autorisées à être immorales et à ne pas être punies pour leurs actes.
« L'histoire est en train de se répéter alors que les entreprises d'IA sont autorisées à considérer la sécurité et la modération comme des priorités non essentielles ou secondaires », a déclaré Burrows.
L'incident de Character.ai a suscité des appels à une réglementation accrue.
Burrow a exprimé sa déception envers Character.ai pour son irresponsabilité en permettant la création et l'hébergement de tels chatbots sur sa plateforme. Cela, a déclaré Burrow, appelle à une réglementation plus stricte pour le secteur.
« C'est un coup dur de voir Character.ai montrer un manque de responsabilité et cette affaire nous rappelle la nécessité de réglementations plus strictes pour l'IA et les plateformes générées par les utilisateurs qui devraient être accélérées dès que possible. »
Burrows.
Le Telegraph a rapporté que Character.ai a déclaré qu'il donnait la priorité au traitement de tels cas et qu'il modérait sérieusement les personnages de manière proactive et en réponse aux rapports d'utilisateurs. Cependant, après avoir contacté Le Telegraph, l'entreprise semblait avoir supprimé les chatbots de personnage en question.
Character.ai a déclaré à la BBC qu'ils avaient supprimé les chatbots en question et prenaient la sécurité au sérieux, modérant les avatars et les personnes créées « de manière proactive et en réponse aux rapports d'utilisateurs ».
« Nous avons une équipe dédiée à la confiance et à la sécurité qui examine les rapports et prend des mesures conformément à nos politiques », a déclaré Character.ai.
Fondé par Noam Shazeer et Daniel De Freitas, anciens ingénieurs de Google, Character.ai est l'une de ces plateformes.
L'essor des amis artificiels.
Les développements continus et rapides de la technologie ont vu les chatbots IA devenir plus sophistiqués, ce qui a conduit les entreprises à les utiliser comme intermédiaires avec les clients à travers l'interaction.
Les chatbots sont des programmes générés par ordinateur qui imitent la conversation humaine. Character.ai a déclaré que les chatbots sur sa plateforme ne devraient pas donner de réponses jugées offensantes ou susceptibles de causer du tort aux utilisateurs ou à d'autres.
« Notre plateforme a des conditions de service qui interdisent l'utilisation du service pour usurper l'identité de toute personne ou entité et dans le centre de sécurité, notre principe directeur est que notre produit ne doit pas et ne devrait jamais produire de réponses susceptibles de causer du tort aux utilisateurs ou à d'autres. »
Character.ai.
Pour identifier toute action qui enfreint ses règles, Character.ai a déclaré qu'elle utilisait des outils automatisés et des rapports d'utilisateurs. L'entreprise a ajouté qu'elle construisait également une équipe de confiance et de sécurité pour surveiller de telles activités sur sa plateforme.
Cependant, l'entreprise a déclaré qu'il n'existe pas de version parfaite de l'IA et que la sécurité liée à l'IA est un domaine en évolution.
Pendant ce temps, une femme en Floride aux États-Unis, mère d'un fils de 14 ans, Sewell Setzer, qui s'est suicidé après être devenu obsédé par un avatar inspiré d'un personnage de Game of Thrones, a poursuivi Character.ai et l'affaire est actuellement devant les tribunaux.
Setzer a discuté de l'idée de mettre fin à ses jours avec le chatbot de Character.ai, selon les transcriptions de ses discussions avec le chatbot fournies par Garcia devant le tribunal.
« Je rentre à la maison » a été la dernière conversation que Setzer a eue avec le chatbot, à laquelle il a répondu : « fais-le dès que possible », et il a mis fin à ses jours peu après.
« Nous avons des protections spécifiquement axées sur les comportements suicidaires et d'automutilation, et nous allons introduire prochainement des réglementations de sécurité plus strictes pour les moins de 18 ans », a déclaré Character.ai à CBS News.