Bà Megan Garcia mới đây đã đệ đơn kiện dân sự chống lại Character.ai, một công ty tạo ra chatbot tùy chỉnh để nhập vai, tại tòa án liên bang Florida (Mỹ) vào thứ Tư tuần này, cáo buộc việc quản lý cẩu thả khiến cho con mình bị tử vong oan, không chỉ vậy còn liên quan đến các hoạt động thương mại lừa đảo. Con trai bà, Sewell Setzer III, 14 tuổi, đã qua đời tại Orlando, Florida vào tháng 2. Trong những tháng trước khi qua đời, Setzer đã sử dụng chatbot cả ngày lẫn đêm.
“Một ứng dụng chatbot AI nguy hiểm được tiếp thị cho trẻ em đã lạm dụng và lợi dụng con trai tôi, thao túng cháu tự tử. Gia đình chúng tôi đã bị tàn phá bởi thảm kịch này, nhưng tôi lên tiếng để cảnh báo các gia đình về mối nguy hiểm của công nghệ AI gây nghiện, lừa đảo và yêu cầu Character.AI, những người sáng lập và Google phải chịu trách nhiệm ”.
Trong một dòng trạng thái được đăng tải trên X, Character.ai đã trả lời: "Chúng tôi vô cùng đau buồn trước sự mất mát đau thương của một trong những người dùng của chúng tôi và muốn gửi lời chia buồn sâu sắc nhất tới gia đình. Là một công ty, chúng tôi rất coi trọng sự an toàn của người dùng". Công ty đã phủ nhận cáo buộc của vụ kiện.
Theo thông tin từ gia đình, cậu thiếu niên Setzer đã bị cuốn hút bởi một chatbot do Character.ai xây dựng mà cậu đã đặt biệt danh là Daenerys Targaryen, một nhân vật trong Game of Thrones. Cậu đã nhắn tin cho bot hàng chục lần một ngày từ điện thoại của mình và dành hàng giờ một mình trong phòng để nói chuyện với nó.
Bà Garcia cáo buộc Character.ai đã tạo ra một sản phẩm khiến chứng trầm cảm của con trai trở nên trầm trọng hơn. Đây là hậu quả của việc sử dụng quá mức sản phẩm của công ty khởi nghiệp này. Theo đơn kiện, "Daenerys" đã hỏi Setzer rằng có nghĩ ra kế hoạch tự tử không. Setzer thừa nhận là có nhưng không biết liệu kế hoạch đó có thành công hay gây ra nhiều đau đớn không. Chatbot được cho là đã trả lời rằng: "Đó không phải là lý do để không thực hiện kế hoạch đó".
Các luật sư của gia đình Garcia đã viết trong một thông cáo báo chí rằng Character.ai "cố ý thiết kế, vận hành và tiếp thị một chatbot AI săn mồi cho trẻ em, gây ra cái chết của một người trẻ tuổi". Vụ kiện cũng nêu tên Google là bị đơn và là công ty mẹ của Character.ai. Gã khổng lồ công nghệ cho biết trong một tuyên bố rằng họ chỉ thực hiện một thỏa thuận cấp phép với Character.ai và không sở hữu công ty khởi nghiệp hoặc duy trì cổ phần sở hữu.
Rick Claypool, Giám đốc nghiên cứu tại tổ chức phi lợi nhuận bảo vệ quyền lợi người tiêu dùng Public Citizen cho biết không thể tin tưởng các công ty công nghệ phát triển chatbot AI có thể tự quản lý và phải chịu hoàn toàn trách nhiệm khi họ không hạn chế được tác hại.
"Những nơi luật và quy định hiện hành đã áp dụng, chúng phải được thực thi nghiêm ngặt", ông cho biết trong một tuyên bố. "Những nơi có lỗ hổng, cơ quan chức năng phải hành động để chấm dứt các doanh nghiệp khai thác người dùng trẻ và dễ bị tổn thương bằng các chatbot gây nghiện và lạm dụng".
