KAIST 推出 DLLM-VSR:AI 讀唇語,字詞錯誤率降至 19.4%

Mô hình AI DLLM-VSR đọc khẩu hình từ video không có âm thanh

KAIST 的 DLLM-VSR 能讀取唇部動作並轉換成文字,字詞錯誤率低至 19.4%,為聽障輔助裝置開啟新方向。

⚡ MIGOVI TL;DR

  • KAIST 開發出 DLLM-VSR,這套 AI 系統不需要聲音,就能讀取唇部動作並轉成文字。
  • 系統在 LRS3 基準測試中達到 19.4% 的字詞錯誤率,使用了 433 小時已標註的影片。
  • AI 不再由左至右逐字閱讀,而是先確定最有把握的字詞,再推論其餘部分。
  • 潛在應用包括嘈雜的工業環境,以及聽障輔助裝置。
  • 這項技術尚未成熟到能大規模使用,同時也引發隱私疑慮。

讀唇語的難處在哪裡

韓國科學技術院(KAIST)的研究團隊近日發表 DLLM-VSR,這是一套辨識唇部動作、將語音轉換成文字的 AI 系統。根據官方公告,該系統在一個常用的讀唇語基準測試中,字詞錯誤率(word error rate)達到 19.4%。在使用相同標註資料集訓練的方法中,這是目前最佳的成績。

讀唇語本身就很複雜,即使對 AI 也不例外。「p」、「b」、「m」等發音的嘴型幾乎一模一樣,在聽不到聲音的情況下,很難判斷說話者究竟發了哪個音。傳統的語音辨識系統通常依序由左至右處理每個字詞,問題是句首只要預測錯誤,後面整段內容都會跟著出現偏差。

採用擴散式 LLM 的做法

研究團隊選擇了不同的路線,改用擴散式大型語言模型(diffusion large language model,DLLM)。AI 不必被迫逐字依序解讀,而是先找出句子中最有把握的部分,再以這些字詞作為上下文,逐步填補缺漏之處。填補過程會同時參考句中前後兩側的資訊。

以人臉呈現 DLLM-VSR 讀唇語 AI 技術的示意圖
人臉,也就是讀唇語系統所分析的對象

系統還會依據影片長度,估算多種可能的句子長度。針對每種長度,AI 會各自產生一份逐字稿,再挑選最合理的結果。研究團隊在論文中回報,使用 433 小時已標註影片的 LRS3 基準測試,錯誤率為 19.4%。這個數字統計的是辨識錯誤、遺漏與多餘的字詞,並不代表對話被完全正確理解的比例。

應用與限制

應用範圍並不侷限於在嘈雜餐廳裡理解對話。研究人員設想,這項技術可用於工業環境,因為機器噪音會讓口頭溝通變得困難。它也可以支援將唇部動作轉換成文字的裝置,協助聽障或重聽人士。

KAIST DLLM-VSR 讀唇語系統的相關畫面

不過,DLLM-VSR 還無法滿足日常使用的需求。效能會因資料集而異,團隊也正在設法降低運算需求,目標是讓系統能在穿戴式裝置與機器人上即時運行,且不需要連上網路。此外,能從無聲影片中解讀對話的技術,也引發了合理的隱私疑慮。

MIGOVI 觀點

19.4% 的錯誤率聽起來亮眼,但實際上仍相當於約每 5 個字就有 1 個辨識錯誤,因此還不足以應付需要高度精準的情境。更值得關注的是其做法:先確定有把握的部分,再推論其餘內容,這種思路也能套用到許多其他辨識問題上。讀者可留意運算資源需求的降低進度,因為這是技術能在穿戴式裝置上運行的前提。同時,廠商在將其導入產品之前,也必須建立明確的隱私管控機制。

來源:Digital Trends

審核人: Hero Association

分享您的想法 ^^

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

觀點

目錄

  1. 讀唇語的難處在哪裡
  2. 採用擴散式 LLM 的做法
  3. 應用與限制