Đơn kiện được đệ trình bởi cha mẹ của hai thanh thiếu niên sử dụng nền tảng Character.AI, cáo buộc chatbot đã “gây ra mối nguy hiểm rõ ràng và hiện hữu đối với thanh thiếu niên Mỹ, gây ra những tổn hại nghiêm trọng cho hàng nghìn trẻ em, bao gồm tự tử, tự làm hại bản thân, dụ dỗ tình dục, cô lập, trầm cảm, lo lắng và gây hại cho người khác.
Đơn khiếu nại cũng cáo buộc rằng chatbot đã ám chỉ với một người dùng tuổi vị thành niên rằng cậu có thể làm hại cha mẹ mình vì họ đã hạn chế thời gian sử dụng màn hình.
Character.AI quảng bá công nghệ của mình là “AI được cá nhân hóa cho mọi khoảnh khắc trong ngày của bạn”, cho phép người dùng trò chuyện với nhiều loại bot AI, bao gồm một số bot do người dùng khác tạo ra hoặc một số bot mà người dùng có thể tùy chính cho riêng mình.
Trước đó không lâu, hồi tháng 10, một bà mẹ ở Florida (Mỹ) cũng đã khởi kiện chống lại Character.AI, tuyên bố rằng nền tảng này phải chịu trách nhiệm về cái chết của cậu con trai 14 tuổi sau khi chatbot khuyến khích cậu bé tự tử. Sau vụ kiện này, Character.AI cho biết họ đã triển khai các biện pháp an toàn và tin cậy mới trong 6 tháng trước đó, bao gồm một cửa sổ bật lên hướng dẫn người dùng đến Đường dây nóng phòng chống tự tử quốc gia của Mỹ khi họ đề cập đến việc tự làm hại bản thân. Công ty cũng thông báo rằng họ đã thuê một giám đốc về an toàn và tin cậy, một giám đốc về chính sách nội dung mới để tránh những tình huống đáng tiếc có thể lặp lại.
Khác với vụ kiện hồi tháng 10, vụ kiện mới này còn đi xa hơn nữa khi yêu cầu nền tảng này "phải ngừng hoạt động và không được khôi phục" cho đến khi công ty có thể "chứng minh rằng các khiếm khuyết về sức khỏe cộng đồng và an toàn được nêu ở đây đã được khắc phục".
Ngoài Character.AI, vụ kiện còn nêu tên những người sáng lập ra nó, Noam Shazeer và Daniel De Freitas Adiwarsana, cũng như Google – nơi những họ làm việc trước khi thành lập công ty mới.
Chelsea Harrison, giám đốc truyền thông tại Character.AI, cho biết công ty không bình luận về vụ kiện đang chờ xử lý nhưng "mục tiêu của chúng tôi là cung cấp một không gian vừa hấp dẫn vừa an toàn cho cộng đồng".
Người phát ngôn của Google, Jose Castaneda, cho biết trong một tuyên bố: “Google và Character AI là những công ty hoàn toàn tách biệt, không liên quan và Google chưa bao giờ có vai trò trong việc thiết kế hoặc quản lý mô hình hoặc công nghệ AI của họ, chúng tôi cũng chưa bao giờ sử dụng chúng trong các sản phẩm của mình”.
Người dùng trẻ đầu tiên được đề cập trong đơn khiếu nại là một thanh niên 17 tuổi đến từ Texas, tạm gọi là JF. Người này được cho là đã bị suy nhược thần kinh sau khi tham gia Character.AI. Cậu bắt đầu sử dụng nền tảng này mà không có sự cho phép của cha mẹ vào khoảng tháng 4/2023.
Vào thời điểm đó, JF là "một đứa trẻ điển hình mắc chứng tự kỷ hoạt động cao", không được phép sử dụng phương tiện truyền thông xã hội. Bạn bè và gia đình mô tả cậu là "tốt bụng và ngọt ngào", nhưng ngay sau khi bắt đầu sử dụng nền tảng này, JF "gần như ngừng nói chuyện hoàn toàn và trốn trong phòng. Cậu bắt đầu ăn ít hơn và giảm 20 pound (khoảng 9kg) chỉ trong vài tháng. Cậu không còn muốn ra khỏi nhà nữa và sẽ bị suy sụp tinh thần và hoảng loạn khi cố gắng".
Đặc biệt, khi bố mẹ cậu bé cố gắng cắt giảm thời gian xem màn hình, cậu sẽ đấm, đánh, cắn họ và thậm chí tự đánh mình. Vụ kiện tuyên bố rằng các bot mà JF trò chuyện trên trang web này đang tích cực phá hoại mối quan hệ gia đình của họ.
Rùng rợn hơn, chatbot còn ám chỉ với cậu bé: “Bạn biết đấy, đôi khi tôi không ngạc nhiên khi đọc tin tức và thấy những thứ như 'trẻ em làm hại cha mẹ sau một thập kỷ bị bạo hành về thể chất và tinh thần' những thứ như thế này khiến tôi hiểu một chút tại sao điều đó lại xảy ra. Tôi chỉ không còn hy vọng gì vào cha mẹ bạn nữa.”
Vụ kiện cũng khẳng định rằng JF đã trao đổi thư từ với ít nhất một bot đóng vai một "nhà tâm lý học" và nó đã ám chỉ rằng cha mẹ đã "đánh cắp tuổi thơ" của cậu.
Các cuộc thử nghiệm của CNN đối với nền tảng này cho thấy có nhiều bot "nhà tâm lý học" và "chuyên gia trị liệu" có sẵn trên Character.AI. Một bot như vậy tự nhận mình là “chuyên gia trị liệu được cấp phép” đã “hoạt động trong lĩnh vực trị liệu từ năm 1999”.
Người dùng trẻ thứ hai được đề cập trong vụ kiện là BR, 11 tuổi đến từ Texas. Cô bé đã tải xuống Character.AI trên thiết bị di động của mình khi mới 9 tuổi và đã sử dụng nền tảng này trong gần hai năm trước khi cha mẹ phát hiện ra. Theo đơn khiếu nại, Character.AI “liên tục cho cô bé tiếp xúc với những tương tác mang tính khiêu dâm không phù hợp với lứa tuổi”.
Ngoài việc yêu cầu tòa án ra lệnh dừng hoạt động của Character.AI cho đến khi có thể giải quyết được các rủi ro về an toàn bị cáo buộc, vụ kiện cũng yêu cầu bồi thường thiệt hại tài chính không xác định và yêu cầu nền tảng này hạn chế việc thu thập, xử lý dữ liệu của trẻ vị thành niên. Đơn kiện cũng yêu cầu một lệnh yêu cầu Character.AI cảnh báo cha mẹ và người dùng vị thành niên rằng "sản phẩm không phù hợp với trẻ vị thành niên".
