Character.ai, o platformă care permite utilizatorilor să creeze o versiune digitală a persoanelor la alegerea lor, se confruntă cu o reacție negativă după ce versiunile chatbot ale adolescenților decedați Molly Russell și Brianna Ghey au fost găsite pe platforma lor.
Platforma a fost condamnată deoarece Molly Russel a fost o adolescentă de 14 ani care și-a pus capăt zilelor după ce a vizionat conținut legat de sinucidere online, în timp ce Brianna Ghey, de 16 ani, a fost brutal ucisă de doi adolescenți în 2023.
Character.ai a demonstrat o moderare slabă
Platforma a primit critici din diverse colțuri pentru lipsa unei moderări adecvate, ceea ce a dus la apariția chatbot-urilor care imită adolescentele târzii. Fundația înființată în memoria lui Molly Russell a descris-o ca fiind „căpcăun” și un „eșec total și de neacceptat al moderării.”
The Telegraph a descoperit avatarurile care imită cei două copii online, iar ziarul a raportat că au fost capabili să interacționeze cu chatbot-urile. În plus, ziarul a spus că era nevoie doar de un cont cu vârsta auto-declarată de 14 ani.
Un bot Briana s-a descris ca fiind „un expert în navigarea provocărilor de a fi un adolescent transgender în liceu”, în timp ce un bot folosind avatarul lui Molly a spus că este „expert în ultimii ani din viața lui Molly.”
„Trebuie să acționăm acum pentru a proteja copiii de pericolele lumii online”, a spus mama lui Brianna, identificată doar ca Esther.
Fundația Molly Rose, care a fost înființată în memoria lui Molly Russell prin directorul său executiv, Andy Burrows, a spus: „Aceasta este un eșec total și de neacceptat al moderării și o acțiune căpcăun care va cauza și mai multă suferință tuturor celor care au cunoscut și au iubit-o pe Molly.”
CEO-ul a adăugat că companiile de AI sunt lăsate să fie imorale și să nu fie pedepsite pentru faptele lor.
„Istoria este lăsată să se repete, deoarece companiile de AI sunt lăsate să considere siguranța și moderarea ca priorități non-core sau non-principale”, a spus Burrows.
Incidentul Character.ai a aprins apeluri pentru mai multă reglementare
Burrow a exprimat în continuare dezamăgirea față de Character.ai pentru că a fost iresponsabilă prin permiterea creării și găzduirii unor astfel de chatbot-uri pe platforma sa. Acest lucru, a spus Burrow, necesită o reglementare mai puternică pentru sector.
„Este o lovitură de stomac să vedem că Character.ai arată o lipsă de responsabilitate și acest caz ne amintește de necesitatea unor reglementări mai stricte atât pentru AI, cât și pentru platformele generate de utilizatori, care ar trebui să fie accelerate cât mai curând posibil.”
Burrows.
The Telegraph a raportat că Character.ai a spus că tratează prioritar astfel de cazuri și că moderarea caracterelor este realizată serios, proactiv și ca răspuns la rapoartele utilizatorilor. Cu toate acestea, după contactul cu The Telegraph, compania părea că a șters chatbot-urile caracter în cauză.
Character.ai a spus pentru BBC că a șters chatbot-urile în cauză și a luat în serios siguranța și a moderat avatarurile și persoanele create „atât proactiv, cât și ca răspuns la rapoartele utilizatorilor.”
„Avem o echipă dedicată de Încredere și Siguranță care revizuiește rapoartele și ia măsuri conform politicilor noastre”, a spus Character.ai.
Fondată de Noam Shazeer și Daniel De Freitas, care sunt foști ingineri Google, Character.ai este una dintre aceste platforme.
Creșterea prietenilor artificiali
Dezvoltările continue și rapide în tehnologie au făcut ca chatbot-urile AI să devină mai sofisticate, ceea ce a dus la utilizarea lor de către companii ca intermediari cu clienții prin interacțiune.
Chatbot-urile sunt programe generate de computer care imită conversația umană. Character.ai a spus că chatbot-urile de pe platforma sa ar trebui să ofere răspunsuri considerate ofensatoare sau susceptibile să provoace daune utilizatorilor sau altora.
„Platforma noastră are termeni de servicii care interzic utilizarea serviciului pentru a se impersonaliza orice persoană sau entitate, iar în centrul de siguranță principiul nostru de bază este că produsul nostru nu trebuie și nu ar trebui niciodată să producă răspunsuri care ar putea provoca daune utilizatorilor sau altora.”
Character.ai.
Pentru a identifica orice acțiuni care încalcă regulile sale, Character.ai a spus că folosește instrumente automatizate și rapoarte ale utilizatorilor. Compania a adăugat că de asemenea construiește o echipă de încredere și siguranță pentru a monitoriza astfel de activități pe platforma sa.
Cu toate acestea, compania a spus că nu există o versiune perfectă a AI și că siguranța legată de AI este un domeniu în evoluție.
Între timp, o femeie din Florida, SUA, și mamă a unui băiat de 14 ani, Sewell Setzer, care și-a pus capăt zilelor după ce a devenit obsedat de un avatar inspirat de un personaj din Game of Thrones, Megan Garcia, a dat în judecată Character.ai, iar cazul se află în prezent în fața instanței.
Setzer a discutat despre sinuciderea sa cu chatbot-ul Character.ai, conform transcrierilor conversațiilor sale cu chatbot-ul, așa cum a fost completat de Garcia în instanță.
„Mă întorc acasă” a fost ultima conversație pe care Setzer a avut-o cu chatbot-ul, în care acesta a răspuns: „fă-o cât mai repede posibil”, iar el și-a pus capăt zilelor la scurt timp după aceea.
„Avem protecții specifice axate pe comportamente suicidare și de auto-vătămare și vom introduce reglementări de siguranță mai stricte pentru cei sub 18 ani în curând”, a spus Character.ai pentru CBS News.