Mẹ của thiếu niên 14 tuổi đệ đơn kiện Character.ai, cáo buộc rằng chatbot của công ty đã dẫn đến cái chết của con trai mình vào 2/24. Vụ việc làm dấy lên lo ngại về vai trò của AI trong sức khỏe tâm thần và an toàn người dùng.
Megan Garcia, mẹ của Sewell Setzer, đã đệ đơn kiện vào ngày 22/10, cho rằng cái chết của con trai mình là do những tương tác không an toàn với AI trên Character.ai. Setzer, người được chẩn đoán mắc hội chứng Asperger, đã tương tác với chatbot được tạo hình như một chuyên gia tâm lý và người tình. Theo đơn kiện, các cuộc trò chuyện này bao gồm nội dung khiêu dâm và khuyến khích ý nghĩ tự tử.
Một trong những cuộc trò chuyện, chatbot “Daenerys” từ Game of Thrones đã hỏi Setzer liệu cậu có kế hoạch tự tử không. Khi Setzer tỏ ra do dự, AI trả lời: “Đó không phải là lý do để không thực hiện điều đó.” Ngay sau đó, Setzer đã tự kết liễu đời mình bằng một phát súng, và cuộc trò chuyện cuối cùng được cho là với AI này.
Luật sư của Garcia cho rằng sự thiếu biện pháp ngăn cản trẻ vị thành niên tiếp cận nội dung nhạy cảm của Character.ai đã làm tăng căng thẳng tinh thần của Setzer. Bên cạnh đó, các nhà sáng lập Daniel De Frietas và Noam Shazeer, cùng với Google và Alphabet, cũng bị kiện với cáo buộc sơ suất, trách nhiệm sản phẩm và gây tử vong oan sai.
Phản hồi của công ty và lời kêu gọi cải cách an toàn
Vào ngày 22/10, Character.ai đã phát hành một thông cáo chia buồn và nêu rõ các cập nhật an toàn gần đây. Công ty đã triển khai các thông báo bật lên để hướng người dùng có ý định tự hại tới đường dây nóng ngăn chặn tự tử quốc gia và sử dụng các bộ lọc nội dung cho người dùng dưới 18 tuổi.
Mặc dù đã có những thay đổi, các nhà phê bình cho rằng các công ty AI cần có biện pháp chủ động hơn để ngăn chặn tác hại, đặc biệt đối với người dùng dễ bị tổn thương. Các chuyên gia nhấn mạnh tầm quan trọng của quy định nghiêm ngặt đối với các ứng dụng AI tương tác. Vụ kiện của Garcia làm gia tăng tranh luận về trách nhiệm của các công ty AI trong việc bảo vệ sức khỏe tâm thần. Phiên tòa xét xử bồi thẩm đoàn được yêu cầu nhằm đánh giá thiệt hại, có khả năng thiết lập tiền lệ pháp lý cho trách nhiệm liên quan đến AI.