# KAIST 推出 DLLM-VSR：AI 讀唇語，字詞錯誤率降至 19.4%

> **TL;DR:** KAIST 開發出 DLLM-VSR，這套 AI 系統不需要聲音，就能讀取唇部動作並轉成文字。 系統在 LRS3 基準測試中達到 19.4% 的字詞錯誤率，使用了 433 小時已標註的影片。 AI 不再由左至右逐字閱讀，而是先確定最有把握的字詞，再推論其餘部分。 潛在應用包括嘈雜的工業環境，以及聽障輔助裝置。 這項技術尚未成熟到能大規模使用，同時也引發隱私疑慮。

- 原文: https://migovi.com/tw/dllm-vsr-ai-doc-khau-hinh-kaist/
- 作者: [Zombieman](https://migovi.com/tw/author/domkhung/)
- 發布日期: 2026-11-16T17:57:06+07:00
- 分類: 人工智慧, 新聞
- 來源: [Digital Trends](https://www.digitaltrends.com/cool-tech/scientists-taught-ai-to-read-lips-in-total-silence/)

---

KAIST 的 DLLM-VSR 能讀取唇部動作並轉換成文字，字詞錯誤率低至 19.4%，為聽障輔助裝置開啟新方向。

## 讀唇語的難處在哪裡

韓國科學技術院（KAIST）的研究團隊近日發表 DLLM-VSR，這是一套辨識唇部動作、將語音轉換成文字的 AI 系統。根據官方公告，該系統在一個常用的讀唇語基準測試中，字詞錯誤率（word error rate）達到 19.4%。在使用相同標註資料集訓練的方法中，這是目前最佳的成績。

讀唇語本身就很複雜，即使對 AI 也不例外。「p」、「b」、「m」等發音的嘴型幾乎一模一樣，在聽不到聲音的情況下，很難判斷說話者究竟發了哪個音。傳統的語音辨識系統通常依序由左至右處理每個字詞，問題是句首只要預測錯誤，後面整段內容都會跟著出現偏差。

## 採用擴散式 LLM 的做法

研究團隊選擇了不同的路線，改用擴散式大型語言模型（diffusion large language model，DLLM）。AI 不必被迫逐字依序解讀，而是先找出句子中最有把握的部分，再以這些字詞作為上下文，逐步填補缺漏之處。填補過程會同時參考句中前後兩側的資訊。

![以人臉呈現 DLLM-VSR 讀唇語 AI 技術的示意圖](https://migovi.com/wp-content/uploads/2026/11/dllm-vsr-ai-doc-khau-hinh-kaist-1.jpg)

*人臉，也就是讀唇語系統所分析的對象*

系統還會依據影片長度，估算多種可能的句子長度。針對每種長度，AI 會各自產生一份逐字稿，再挑選最合理的結果。研究團隊在論文中回報，使用 433 小時已標註影片的 LRS3 基準測試，錯誤率為 19.4%。這個數字統計的是辨識錯誤、遺漏與多餘的字詞，並不代表對話被完全正確理解的比例。

## 應用與限制

應用範圍並不侷限於在嘈雜餐廳裡理解對話。研究人員設想，這項技術可用於工業環境，因為機器噪音會讓口頭溝通變得困難。它也可以支援將唇部動作轉換成文字的裝置，協助聽障或重聽人士。

![KAIST DLLM-VSR 讀唇語系統的相關畫面](https://migovi.com/wp-content/uploads/2026/11/dllm-vsr-ai-doc-khau-hinh-kaist-2.jpg)

不過，DLLM-VSR 還無法滿足日常使用的需求。效能會因資料集而異，團隊也正在設法降低運算需求，目標是讓系統能在穿戴式裝置與機器人上即時運行，且不需要連上網路。此外，能從無聲影片中解讀對話的技術，也引發了合理的隱私疑慮。

**MIGOVI 觀點**

19.4% 的錯誤率聽起來亮眼，但實際上仍相當於約每 5 個字就有 1 個辨識錯誤，因此還不足以應付需要高度精準的情境。更值得關注的是其做法：先確定有把握的部分，再推論其餘內容，這種思路也能套用到許多其他辨識問題上。讀者可留意運算資源需求的降低進度，因為這是技術能在穿戴式裝置上運行的前提。同時，廠商在將其導入產品之前，也必須建立明確的隱私管控機制。

來源：[Digital Trends](https://www.digitaltrends.com/cool-tech/scientists-taught-ai-to-read-lips-in-total-silence/)