KAIST 的 DLLM-VSR 能讀取唇部動作並轉換成文字,字詞錯誤率低至 19.4%,為聽障輔助裝置開啟新方向。
- KAIST 開發出 DLLM-VSR,這套 AI 系統不需要聲音,就能讀取唇部動作並轉成文字。
- 系統在 LRS3 基準測試中達到 19.4% 的字詞錯誤率,使用了 433 小時已標註的影片。
- AI 不再由左至右逐字閱讀,而是先確定最有把握的字詞,再推論其餘部分。
- 潛在應用包括嘈雜的工業環境,以及聽障輔助裝置。
- 這項技術尚未成熟到能大規模使用,同時也引發隱私疑慮。
文章目錄
讀唇語的難處在哪裡
韓國科學技術院(KAIST)的研究團隊近日發表 DLLM-VSR,這是一套辨識唇部動作、將語音轉換成文字的 AI 系統。根據官方公告,該系統在一個常用的讀唇語基準測試中,字詞錯誤率(word error rate)達到 19.4%。在使用相同標註資料集訓練的方法中,這是目前最佳的成績。
讀唇語本身就很複雜,即使對 AI 也不例外。「p」、「b」、「m」等發音的嘴型幾乎一模一樣,在聽不到聲音的情況下,很難判斷說話者究竟發了哪個音。傳統的語音辨識系統通常依序由左至右處理每個字詞,問題是句首只要預測錯誤,後面整段內容都會跟著出現偏差。
採用擴散式 LLM 的做法
研究團隊選擇了不同的路線,改用擴散式大型語言模型(diffusion large language model,DLLM)。AI 不必被迫逐字依序解讀,而是先找出句子中最有把握的部分,再以這些字詞作為上下文,逐步填補缺漏之處。填補過程會同時參考句中前後兩側的資訊。

系統還會依據影片長度,估算多種可能的句子長度。針對每種長度,AI 會各自產生一份逐字稿,再挑選最合理的結果。研究團隊在論文中回報,使用 433 小時已標註影片的 LRS3 基準測試,錯誤率為 19.4%。這個數字統計的是辨識錯誤、遺漏與多餘的字詞,並不代表對話被完全正確理解的比例。
應用與限制
應用範圍並不侷限於在嘈雜餐廳裡理解對話。研究人員設想,這項技術可用於工業環境,因為機器噪音會讓口頭溝通變得困難。它也可以支援將唇部動作轉換成文字的裝置,協助聽障或重聽人士。

不過,DLLM-VSR 還無法滿足日常使用的需求。效能會因資料集而異,團隊也正在設法降低運算需求,目標是讓系統能在穿戴式裝置與機器人上即時運行,且不需要連上網路。此外,能從無聲影片中解讀對話的技術,也引發了合理的隱私疑慮。
19.4% 的錯誤率聽起來亮眼,但實際上仍相當於約每 5 個字就有 1 個辨識錯誤,因此還不足以應付需要高度精準的情境。更值得關注的是其做法:先確定有把握的部分,再推論其餘內容,這種思路也能套用到許多其他辨識問題上。讀者可留意運算資源需求的降低進度,因為這是技術能在穿戴式裝置上運行的前提。同時,廠商在將其導入產品之前,也必須建立明確的隱私管控機制。
審核人: Hero Association








