DLLM-VSR của KAIST: AI đọc khẩu hình đạt tỷ lệ lỗi 19.4%

XTelegram
Mô hình AI DLLM-VSR đọc khẩu hình từ video không có âm thanh

DLLM-VSR của KAIST đọc khẩu hình và chuyển thành văn bản với tỷ lệ lỗi từ chỉ 19.4%, mở ra hướng mới cho thiết bị hỗ trợ người khiếm thính.

⚡ MIGOVI TL;DR

  • KAIST phát triển DLLM-VSR, hệ thống AI đọc khẩu hình rồi chuyển thành văn bản mà không cần âm thanh.
  • Hệ thống đạt tỷ lệ lỗi từ 19.4% trên bộ chuẩn LRS3, dùng 433 giờ video có gán nhãn.
  • Thay vì đọc từ trái sang phải, AI chốt trước những từ chắc chắn nhất rồi suy ra phần còn lại.
  • Ứng dụng tiềm năng gồm môi trường công nghiệp ồn ào và thiết bị hỗ trợ người khiếm thính.
  • Công nghệ chưa sẵn sàng dùng đại trà, đồng thời đặt ra lo ngại về quyền riêng tư.

Đọc khẩu hình khó ở đâu

Nhóm nghiên cứu tại Viện Khoa học và Công nghệ Tiên tiến Hàn Quốc (KAIST) vừa giới thiệu DLLM-VSR, hệ thống AI nhận diện chuyển động môi để chuyển lời nói thành văn bản. Theo thông báo chính thức, hệ thống đạt tỷ lệ lỗi từ (word error rate) 19.4% trên một bộ chuẩn đọc khẩu hình phổ biến. Đây là mức tốt nhất trong các phương pháp được huấn luyện bằng cùng tập dữ liệu có gán nhãn.

Bản thân việc đọc khẩu hình vốn phức tạp, kể cả với AI. Các âm như "p", "b" và "m" tạo ra hình miệng gần như giống hệt nhau nên rất khó biết người nói đang phát âm gì khi không nghe được tiếng. Những hệ thống nhận dạng giọng nói truyền thống thường xử lý từng từ theo thứ tự từ trái sang phải. Vấn đề là một dự đoán sai ở đầu câu sẽ kéo theo sai lệch cho toàn bộ phần phía sau.

Cách tiếp cận bằng diffusion LLM

Nhóm nghiên cứu chọn hướng đi khác, dùng mô hình ngôn ngữ lớn dạng khuếch tán (diffusion large language model, DLLM). AI không bị ép phải diễn giải lần lượt từng từ. Nó xác định trước những phần của câu mà mình tự tin nhất, sau đó lấy các từ này làm ngữ cảnh để điền dần chỗ còn thiếu. Quá trình điền có tham chiếu thông tin ở cả phần đứng trước lẫn phần đứng sau trong câu.

Khuôn mặt người minh họa công nghệ AI đọc khẩu hình DLLM-VSR
Khuôn mặt người, đối tượng mà hệ thống đọc khẩu hình phân tích

Hệ thống cũng ước lượng nhiều độ dài câu khả dĩ dựa trên thời lượng video. Với mỗi độ dài, AI tạo một bản chép lời riêng rồi chọn kết quả hợp lý nhất. Trong bài nghiên cứu, nhóm báo cáo tỷ lệ lỗi 19.4% trên bộ chuẩn LRS3 với 433 giờ video có gán nhãn. Con số này đo các từ nhận sai, bị thiếu và dư thừa, chứ không phải tỷ lệ hội thoại được hiểu đúng hoàn toàn.

Ứng dụng và giới hạn

Phạm vi ứng dụng không dừng ở việc hiểu hội thoại trong nhà hàng ồn ào. Các nhà nghiên cứu hình dung công nghệ này dùng được trong môi trường công nghiệp, nơi tiếng máy móc làm giao tiếp bằng lời trở nên khó khăn. Nó cũng có thể hỗ trợ thiết bị chuyển chuyển động môi thành văn bản cho người khiếm thính hoặc nghe kém.

DLLM-VSR

Tuy vậy, DLLM-VSR chưa sẵn sàng cho nhu cầu hằng ngày. Hiệu năng vẫn thay đổi tùy tập dữ liệu, trong khi nhóm đang tìm cách giảm yêu cầu tính toán. Mục tiêu là để hệ thống chạy thời gian thực trên thiết bị đeo (wearable) và robot mà không cần kết nối Internet. Bên cạnh đó, công nghệ có thể diễn giải hội thoại từ video không tiếng cũng làm dấy lên những lo ngại chính đáng về quyền riêng tư.

GÓC NHÌN MIGOVI

Tỷ lệ lỗi 19.4% nghe có vẻ ấn tượng, nhưng trên thực tế vẫn tương đương khoảng 1 trong 5 từ bị nhận sai, nên chưa đủ tin cậy cho các tình huống cần chính xác cao. Điểm đáng chú ý hơn nằm ở hướng tiếp cận: chốt trước phần chắc chắn rồi suy luận phần còn lại là cách tiếp cận có thể áp dụng cho nhiều bài toán nhận dạng khác. Độc giả nên theo dõi tiến độ giảm tài nguyên tính toán, vì đó là điều kiện để công nghệ này chạy được trên thiết bị đeo. Song song đó, các nhà sản xuất cũng cần có cơ chế kiểm soát rõ ràng về quyền riêng tư trước khi đưa vào sản phẩm.

Nguồn: Digital Trends

Kiểm duyệt bởi: Hero Association

Chia sẻ cảm nhận nhé ^^

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Góc nhìn

Mục lục

  1. Đọc khẩu hình khó ở đâu
  2. Cách tiếp cận bằng diffusion LLM
  3. Ứng dụng và giới hạn