Windows 11 支援 USB4 RDMA,可串接多台 PC 共同處理單一工作

Hai mini PC nối nhau minh họa RDMA over USB4 trên Windows 11

延遲降至 28 - 50 µs,約為 Ethernet over USB4 的四分之一,讓 RDMA over USB4 對在多台電腦上執行本機 AI 的使用者格外值得關注。

⚡ MIGOVI TL;DR

  • Windows 11 新增 USB4 RDMA 支援,可用菊鍊(daisy chain)方式串接多台 PC,分攤大型工作負載
  • 兩台 PC 之間的實測結果:28 - 50 µs,相較之下,透過 UDP 的 Ethernet over USB4 為 116 - 194 µs
  • 叢集規模受限於每台 PC 的 ring 數量與剩餘的 USB4 連接埠數量
  • 需要由 Windows 管理的 USB4 連接埠,並啟用 Kernel DMA Protection

Windows 11 多了一種讓多台 PC 分攤工作的方式

微軟已在 Windows 11 中為 USB4 協定啟用 RDMA(Remote Direct Memory Access),意味著多台電腦可以串接成菊鍊(daisy chain),共同處理一項大型工作負載。RDMA 讓工作可直接存取另一台機器的系統記憶體,傳輸通道則是頻寬最高 80 Gbps 的 USB4 連接埠。如此一來,在家執行 AI inferencing 不再侷限於單一台 PC,而是取決於串接的機器數量與各台的硬體配置。

延遲比 Ethernet over USB4 低約四倍

以 USB4 連接兩台機器,常見做法是跑 Ethernet over USB4 搭配 UDP 封包,但微軟選擇實作 RDMA,大幅降低存取資料時的延遲。在連接兩台 PC、並依訊息大小量測往返延遲的測試中,RDMA over USB4 為 28 - 50 µs,而透過 UDP 的 Ethernet over USB4 約為 116 - 194 µs。這樣的差距相當於快了約四倍,對 AI inferencing 這類對延遲敏感的工作尤其重要,因為資料必須在機器之間不斷往返。

以 RDMA over USB4 串接多台 PC 的示意圖

運作方式與使用條件

此功能建立在 Windows 11 原本就有的 USB4 主機對主機(host-to-host)網路連線之上,可在兩台機器已註冊的記憶體區域之間直接傳輸資料。每台 PC 各自形成一個獨立的 USB4 domain,Windows 的連線管理員則在兩者之間建立點對點通道(peer-to-peer tunnel)。軟體式 RDMA 提供者會把傳送與接收佇列以及完成結果,對應到 USB4 host router 的 DMA ring,因此資料完全不需要額外複製。

每條連結使用一對 ring 傳輸資料,另一對 ring 處理控制流量,所以每台 PC 的 ring 數量與剩餘連接埠數量,會決定叢集能擴充到多大。相容的框架可透過 NetworkDirect 存取這條連結,不必為 USB4 另外撰寫程式碼。使用條件是機器必須具備由 Windows 管理的 USB4 連接埠,並啟用 Kernel DMA Protection。本篇隨附的示意圖是 DGX Spark 迷你 PC,不過它們是以 Ethernet 而非 USB4 連接,因此僅用來說明機器串接的概念。

MIGOVI 觀點

Migovi 認為,對想在本機執行 AI、又還不打算添購專用網路設備的人來說,這是相當務實的一步,因為只要機器上現有的 USB4 連接埠,就能把多台 PC 串在一起。延遲約為 Ethernet over USB4 的四分之一,這個數字聽起來很有說服力,但那是兩台機器之間的量測結果,因此在更大型的叢集上執行真正的 AI 模型時,實際效能仍有待獨立測試驗證。如果你手上有兩台支援 USB4 的機器,建議先確認連接埠是否由 Windows 管理,以及是否已啟用 Kernel DMA Protection,因為這是必要條件。至於值不值得再多買機器來串接,不妨先觀察主流 AI 框架對此功能的支援進度。

來源:TechPowerUp

審核人: Hero Association

分享您的想法 ^^

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

觀點

目錄

  1. Windows 11 多了一種讓多台 PC 分攤工作的方式
  2. 延遲比 Ethernet over USB4 低約四倍
  3. 運作方式與使用條件