Được hỗ trợ bởi trí tuệ nhân tạo, tính năng theo dõi mắt cung cấp cho người dùng tùy chọn tích hợp để điều hướng iPad và iPhone chỉ bằng mắt. Được thiết kế dành cho người dùng khuyết tật về thể chất, tính năng này sử dụng camera mặt trước để thiết lập và hiệu chỉnh trong vài giây. Tất cả dữ liệu dùng để thiết lập và kiểm soát tính năng này sẽ được lưu giữ an toàn trên thiết bị và không được chia sẻ với Apple.
Tính năng theo dõi mắt tích hợp cho iPhone và iPad được xem là hấp dẫn nhất trong các khả năng mà Apple dự kiến đưa vào các sản phẩm tiếp theo của mình. Tuy nhiên, nó chỉ có thể tương thích với những thiết bị sử dụng chip A12 trở lên, giúp điều hướng phần mềm mà không cần thêm phần cứng hoặc phụ kiện.
Apple sẽ sớm bổ sung tính năng theo dõi ánh mắt để điều hướng trên iPhone, iPad.
Khi tính năng này được bật, mọi người có thể nhìn vào màn hình iPhone, iPad của họ để di chuyển qua các thành phần như ứng dụng và menu, sau đó nán ánh mắt lại ở một mục để lựa chọn, truy cập các chức năng bổ sung như nút vật lý, thao tác vuốt và các cử chỉ khác chỉ bằng mắt.
Việc tạm dừng ánh mắt tại một vị trí để lựa chọn ứng dụng được Apple gọi là Dwell Control. Tính năng này đã có sẵn ở một số sản phẩm trong hệ sinh thái của công ty như trong cài đặt trợ năng của Macbook. Quá trình thiết lập và hiệu chỉnh chỉ mất vài giây và AI trên thiết bị sẽ hoạt động để hiểu được ánh mắt của người dùng đang có ý gì.
Tính năng cũng sẽ hoạt động với các ứng dụng của bên thứ ba vì nó sẽ hoạt động tương tự như Assistive Touch.
Apple đã hỗ trợ tính năng theo dõi bằng mắt trong iOS và iPadOS với các thiết bị phát hiện mắt được kết nối nên việc sử dụng ánh mắt để điều hướng iOS và iPasOS sẽ trở nên dễ dàng hơn mà không cần bổ sung thêm phần cứng hay phụ kiện nào.
Bên cạnh tính năng hấp dẫn này, Apple cũng được cho là đang phát triển các khả năng truy cập thiết bị bằng giọng nói trên iPad và iPhone. Tính năng này cũng được phát triển dựa trên AI để cá nhân hóa thiết bị bằng giọng nói người dùng.
Người dùng có thể thiết lập lệnh cho một từ hoặc cụm từ, thậm chí một cách phát âm (chẳng hạn “Oy!”), Siri sẽ hiểu những điều này và thực hiện phím tắt hoặc tác vụ được chỉ định.
Một cải tiến khác đối với tương tác bằng giọng nói là “nghe giọng nói không điển hình”, trong đó iPhone và iPad sử dụng máy học trên thiết bị để nhận dạng các mẫu giọng nói và tùy chỉnh theo cách phát âm độc đáo của bạn. Điều này có ít nhiều sự tương đồng với tính năng Project Relate của Google – cũng được thiết kế để giúp thiết bị có thể hiểu rõ hơn yêu cầu của những người bị khiếm khuyết khả năng nói hoặc lời nói không điển hình. Nói một cách đơn giản, kể cả những người sử dụng tiếng địa phương, những người “ngọng” cũng có thể tương tác dễ dàng với trợ lý giọng nói của thiết bị.
Để xây dựng những công cụ thông minh mới kể trên, Apple đã hợp tác với Dự án Hỗ trợ giọng nói tại Viện Khoa học và Công nghệ tiên tiến Beckman của Đại học Illinois Urbana-Champaign. Viện này cũng đang hợp tác với Google và Amazon để phát triển hơn nữa thế mạnh của mình trên các sản phẩm của những “gã khổng lồ” công nghệ.
Việc cá nhân hóa thiết bị bằng giọng nói trên các sản phẩm của Apple ngày càng thông minh hơn.
Được biết, Apple cũng đang phát triển nhiều tính năng trợ năng khác trong các sản phẩm của mình, bao gồm Phụ đề trực tiếp trong VisionOS, chế độ Render mới trong Magnifier, hỗ trợ chữ nổi nhiều dòng và bàn di chuột ảo cho những người sử dụng Assistive Touch.
Chưa rõ, khi nào tất cả các cập nhật kể trên sẽ được công bố. Khả năng, nhiều trong số chúng sẽ được giới thiệu tại Hội nghị các nhà phát triển WWDC của hãng trong vài tuần tới.