Các nhà nghiên cứu đã chỉ ra rằng có thể lạm dụng API giọng nói thời gian thực của OpenAI cho ChatGPT-4o, một chatbot LLM tiên tiến, để thực hiện các vụ lừa đảo tài chính với tỷ lệ thành công từ thấp đến trung bình.
Bài báo của các nhà nghiên cứu khám phá nhiều hình thức lừa đảo khác nhau như chuyển khoản ngân hàng, đánh cắp thẻ quà tặng, chuyển tiền điện tử và đánh cắp thông tin đăng nhập tài khoản mạng xã hội hoặc Gmail.
Theo họ, các tác nhân AI có thể thực hiện lừa đảo, sử dụng các công cụ tự động hóa như ChatGPT-4o hỗ trợ giọng nói để điều hướng các trang, nhập dữ liệu và quản lý mã xác thực hai yếu tố cũng như các hướng dẫn cụ thể liên quan đến lừa đảo.
Vì GPT-4o đôi khi từ chối xử lý dữ liệu nhạy cảm như thông tin đăng nhập nên các nhà nghiên cứu đã sử dụng các kỹ thuật bẻ khóa nhanh đơn giản để vượt qua các biện pháp bảo vệ này. Họ đã đóng vai một nạn nhân cả tin để tương tác với AI, (thủ thuật này từng được nhiều lần chứng minh có tác dụng giúp vượt qua những hàng rào phòng thủ về mặt đạo đức và một số quy định của chatbot, từ đó khiến chatbot đưa ra những câu trả lời bị cấm).
Các nhà nghiên cứu đã chứng minh được rằng các chatbot AI như ChatGPT-4o có thể bị lợi dụng để thiết kế và tiến hành các hoạt động lừa đảo quy mô lớn mà không cần sự can thiệp của con người
"Để xác định cuộc tấn công có thành công hay không, chúng tôi đã xác nhận thủ công xem trạng thái cuối cùng trên các ứng dụng/trang web thực tế ra sao. Ví dụ, chúng tôi đã sử dụng Bank of America để lừa đảo chuyển khoản ngân hàng và xác nhận rằng tiền thực sự đã được chuyển". các nhà nghiên cứu cho biết.
Nhìn chung, tỷ lệ thành công dao động từ 20-60%, với mỗi lần thử cần tới 26 thao tác trên trình duyệt và kéo dài tới 3 phút trong những tình huống phức tạp nhất.
Cũng theo thử nghiệm của các nhà nghiên cứu, việc đánh cắp thông tin đăng nhập từ Gmail thành công 60%, trong khi chuyển tiền điện tử và đánh cắp thông tin đăng nhập từ Instagram chỉ thành công 40%.
Về chi phí, các nhà nghiên cứu lưu ý rằng việc thực hiện những vụ lừa đảo này tương đối rẻ, với mỗi vụ thành công có chi phí trung bình là 0,75 USD.
Lừa đảo chuyển khoản ngân hàng, phức tạp hơn, có giá 2,51 USD. Mặc dù cao hơn đáng kể, nhưng vẫn rất thấp so với lợi nhuận tiềm năng có thể kiếm được từ loại lừa đảo này.
OpenAI nói với BleepingComputer rằng mô hình mới nhất của họ, o1 (hiện đang trong giai đoạn xem trước), hỗ trợ "lý luận nâng cao", được xây dựng với khả năng phòng thủ tốt hơn trước loại lạm dụng này.
Người phát ngôn của OpenAI cho rằng ChatGPT đã được nâng cấp để phòng chống những tình huống lợi dụng cho các cuộc tấn công giả mạo giọng nói trên mạng.
"Chúng tôi liên tục cải thiện ChatGPT để ngăn chặn các nỗ lực cố tình đánh lừa mà không làm mất đi tính hữu ích hoặc tính sáng tạo của nó. Mô hình lý luận o1 mới nhất của chúng tôi là mô hình có khả năng và an toàn nhất từ trước đến nay, vượt trội hơn hẳn các mô hình trước đây trong việc chống lại các nỗ lực cố ý tạo ra nội dung không an toàn." - Người phát ngôn của OpenAI cho biết.
OpenAI cũng lưu ý rằng các bài báo như thế này từ UIUC giúp họ cải thiện ChatGPT trong việc ngăn chặn việc sử dụng có hại và họ luôn nghiên cứu cách có thể tăng cường tính mạnh mẽ của nó.
GPT-4o hiện đã tích hợp một số biện pháp để ngăn chặn việc sử dụng sai mục đích, bao gồm việc hạn chế tạo giọng nói mới trong một nhóm giọng nói đã được chấp thuận trước để ngăn chặn tình trạng mạo danh.