Nhân bản giọng nói AI cũng được báo cáo là đang bị những kẻ lừa đảo sử dụng để thực hiện một phiên bản lừa đảo "hi mum", trong đó những kẻ lừa đảo đóng giả là trẻ em cần cha mẹ gửi tiền gấp. Với tâm lý thông thường của các bậc cha mẹ, khi được đưa ra những lý do khẩn cấp, thường ít người có đủ bình tĩnh để xác nhận thông tin xem đó có phải là giọng nói giả mạo hay không. Trong trường hợp này, người dân được khuyên nên kiểm tra bằng cách cúp máy và gọi lại vào số điện thoại đáng tin cậy.
Nhiều vụ lừa đảo "hi mum", giả mạo giọng nói của trẻ trong tin nhắn thoại gửi cho cha mẹ để chiếm đoạt tiền đã được ghi nhận thời gian qua tại Anh.
Tình trạng lừa đảo giọng nói được ghi nhận ngày càng nghiêm trọng, đặc biệt với những người nổi tiếng. Jennifer Aniston, Oprah Winfrey và Kylie Jenner đều đã bị những kẻ lừa đảo sao chép giọng nói. Chúng còn sử dụng trí tuệ nhân tạo để làm giả giọng nói của nhà báo tài chính, cố vấn tài chính truyền hình người Anh Tiggerish của Martin Lewis. Mới đây nhất, là David Attenborough (nhà sinh học, nhà lịch sử tự nhiên và nhà văn người Anh) cũng đã trở thành nạn nhân của tình trạng này. Attenborough cho biết, ông vô cùng bối rối khi phát hiện ra rằng giọng nói sao chép của mình được sử dụng để truyền tải các tin tức đảng phái của Hoa Kỳ.
Những người có giọng nói bị sao chép mà không có sự đồng ý thấy rằng vấn đề không chỉ dừng lại ở mức độ phiền toái. Attenborough nói với BBC vào Chủ Nhật: "Sau khi dành cả cuộc đời để cố gắng nói lên những gì tôi tin là sự thật, tôi vô cùng bối rối khi thấy rằng ngày nay danh tính của tôi đang bị người khác đánh cắp và tôi rất phản đối việc họ sử dụng nó để nói những gì họ muốn."
Khi tùy chọn giọng nói mới trên mô hình AI mới nhất của OpenAI, ChatGPT-4o, có tông giọng rất giống với giọng của nữ diễn viên Scarlett Johansson, cô cho biết cô đã bị sốc và tức giận vì giọng nói này "nghe rất giống giọng của tôi đến nỗi những người bạn thân nhất và các hãng tin tức không thể phân biệt được".
Nhà sinh học, nhà lịch sử tự nhiên và nhà văn người Anh David Attenborough bị sốc khi giọng nói của mình bị lợi dụng để tạo ra các video deepfake trong chiến dịch tranh cử tổng thống Mỹ thời gian qua.
Trước thực trạng đó, nhiều chuyên gia đã cảnh báo việc sao chép giọng nói của người nổi tiếng đang vượt qua các giới hạn của luật pháp khi các công ty công nghệ cải tiến các máy tạo giọng nói thô sơ trước đây thành các mô hình có khả năng mô phỏng cả những điểm dừng và nhịp thở tinh tế nhất của ngữ điệu con người.
Tiến sĩ Dominic Lees, một chuyên gia về AI trong lĩnh vực phim và truyền hình, hiện đang cố vấn cho một ủy ban quốc hội Anh, đã nói với tờ Guardian vào thứ Hai: “Luật về quyền riêng tư và bản quyền của chúng ta chưa theo kịp với những gì công nghệ mới này mang lại, vì vậy David Attenborough không thể làm được gì nhiều (để chống lại việc bị sao chép giọng nói của mình)".
Lees đang tư vấn cho ủy ban tuyển chọn văn hóa, truyền thông và thể thao của Hạ viện Anh trong một cuộc điều tra sẽ xem xét việc sử dụng AI một cách có đạo đức trong làm phim.
“Chính phủ chắc chắn cần phải xem xét (về việc nhân bản giọng nói con người), vì đây là vấn đề lớn về gian lận. Nó cần sự quản lý của các chính phủ để ngăn chặn việc sử dụng sai mục đích … chúng ta không thể để nó trở thành trò chơi tự do cho tất cả mọi người”, chuyên gia này cho hay.