Claude Mythos Preview 將 AI 模型移植到 AMD GPU 的時間縮短至約 3 天

Chip AMD Instinct MI350 nhìn từ trên, gắn với Claude Mythos Preview

Anthropic 表示,Claude Mythos Preview 僅用約 3 天,就讓 AI 模型在 AMD MI355X GPU 上跑起來,過去這項工作需要 6 至 12 個月。

⚡ MIGOVI TL;DR

  • Anthropic 表示,Claude Mythos Preview 用約 3 天就讓該公司的一個模型在 AMD MI355X GPU 上運作,傳統做法則需要 6 至 12 個月。
  • Mythos 撰寫或轉換了近 100% 的 kernel,人為介入極少。
  • 這個數字出自提供給 IPO 投資人的文件,但 Anthropic 尚未公布與 NVIDIA 相比的效能表現。
  • NVIDIA 的 CUDA 護城河正在縮小,但尚未消失,因為負責寫程式的 AI 仍需要硬體來測試。

以 3 天取代數個月

Anthropic 在 IPO 過程中告訴投資人,Claude Mythos Preview 已在約 3 天內完成讓該公司 AI 在 AMD GPU 上運作所需的軟體工作,且「幾乎沒有人為介入」。過去這項工作要花 6 至 12 個月。3 天的時程適用於 Anthropic 某個模型在 AMD MI355X GPU 上的提示詞處理階段(prefill),效能達到「堪用」的水準。Mythos 轉換或自行撰寫了「近 100% 的 kernel」。

這類底層程式碼負責把 AI 模型與特定廠商的晶片銜接起來,長期以來一直是 NVIDIA CUDA 護城河的一環。如果 AI 幾天內就能寫出來,這道護城河看來正在被侵蝕。

Claude Mythos Preview 與 AMD MI355X GPU 的相關示意圖

提出這項時間對比的是 Anthropic 共同創辦人暨運算長 Tom Brown。他表示,舊做法需要一支「數十名工程師」的團隊。Anthropic 本來就在多種晶片上執行模型,包括 NVIDIA GPU、AMD GPU、Google 的 TPU 與 AWS Trainium,並把整體視為「一個可互換的運算資源池」。Brown 稱早早選擇多晶片路線是「一場不尋常的賭注」。這步棋或許很明智,因為 TPU 如今已能直接執行以 PyTorch 撰寫的模型,Meta 也已在正式環境中使用 TPU。

脫離 CUDA 的轉換成本

CUDA 已有近二十年歷史,相當成熟。AMD 的對應平台是 ROCm,以 HIP 作為程式設計層。為 CUDA 撰寫的程式碼必須先轉換才能在這裡執行,AMD 甚至為此推出了 HIPify 工具。不過轉換的成本依然存在。AMD 的 AI 軟體副總裁 Anush Elangovan 在 4 月告訴 EE Times:「Claude 比 HIPify 更好用,因為它內建網路搜尋功能。」

Claude Mythos Preview 與 AMD ROCm 的相關示意圖

AMD 多次主張 AI 能寫出這類程式碼。AMD AI 部門資深副總裁 Vamsi Boppana 表示,公司工程師使用 AI 模型來產生 GPU kernel,有些情況下產出的 kernel 甚至「比手動調校的版本更好」。依 7 月達成的協議,AMD 也使用 Claude 為 Instinct GPU 最佳化工作負載,並加快 ROCm 的開發進度。在 Advancing AI 活動上,OpenAI 的 Philippe Tillet 提到,一名工程師僅花幾天就確認 Helios 系統運作順暢。

仍缺少的數據

這次的不同之處在於,資訊來自 Anthropic 本身,而且是提供給自家投資人。Anthropic 是晶片的買家,不是賣家。該公司即將 IPO,其多晶片策略如今多了幾項數字,分量比晶片廠商的說法更重。招股文件也寫道,公司「能以過去所需時間的一小部分,將新的晶片平台投入使用」,不過未附上數字。Anthropic 與 AMD 的合作規模目前高達 2 GW。

不明確之處仍然不少。3 天這個時程只涉及 prefill 階段,也就是模型在回答前讀取並處理輸入的步驟。Anthropic 並未說明 decode(產生回答)階段是否包含在內。該公司的圖表中有兩條線同時觸及「~100%」,卻沒有標明是什麼的 100%。該公司也沒有公布 AMD GPU 與 NVIDIA GPU 的執行速度對比,而這才是能說明 AMD 晶片執行 AI 所寫程式碼後能否追上 NVIDIA 的比較。

比較 Claude Mythos Preview 3 天與 6 至 12 個月的圖表
Anthropic 向投資人介紹的影片中的圖表。

NVIDIA 方面則有不同看法。執行長黃仁勳在 4 月的一場訪談中表示,NVIDIA 也用 AI 來處理自家的 kernel。他認為「沒有人比我們更了解自己的架構」。被問到 Anthropic 這類實驗室為何使用其他晶片時,他稱 Anthropic 是「個案,不是趨勢」。有趣的是,NVIDIA 與 AMD 都在以 IPO 價格認購 Anthropic 價值 260 億美元股票的七家公司之列。

護城河變窄,但尚未消失

7 月下旬,SemiAnalysis 發表了〈Can AMD break the CUDA Moat?〉一文,認為軟體已不再是像一年前那樣的護城河。不過他們也指出 AMD 的一個癥結:對於以 agent 進行的程式開發,「每個 agent 都需要 GPU 來執行測試自己寫的程式碼」。也就是說,負責寫程式的 AI 仍然需要硬體。SemiAnalysis 指出,AMD 在這方面缺乏內部 GPU,這可能成為新的瓶頸。

因此 CUDA 目前處於中間地帶。把模型移植到新晶片,過去是最耗費成本的工作,如今看來正在變得便宜。Anthropic 的資源池也並非完全可互換,例如 TPU 就越來越專用化。護城河正在變窄,但尚未消失。Anthropic 首批 AMD MI450 晶片(採用 Helios 機架)預計在 2027 年上半年到貨。那是新一代產品,也是檢驗 3 天流程能否重現的機會。

MIGOVI 觀點

如果 3 天這個數字站得住腳,率先改變的會是選擇晶片時的成本與時間考量,而不是 AMD 就此取得優勢。讀者不妨等待三項資料:與 NVIDIA 相比的效能數據、decode 階段的結果,以及這套流程能否在 MI450 上重現。到那時,才能評估 CUDA 還保有多少優勢。

資料來源:Tom's Hardware

審核人: Hero Association

分享您的想法 ^^

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

觀點

目錄

  1. 以 3 天取代數個月
  2. 脫離 CUDA 的轉換成本
  3. 仍缺少的數據
  4. 護城河變窄,但尚未消失