Runway 宣布開源 Praxis-1，這是一款從影片學習並用於控制機器人的 AI 模型，在 NVIDIA 的 RoboLab-120 測試中取得 46.2%，不過該測試由 Runway 自行執行。
- Runway 以 Apache 2.0 授權釋出 Praxis-1 的權重與原始碼，允許商業使用。
- 模型接收攝影機影像、文字指令與位置資料，再計算出適合機器人的動作。
- 在 NVIDIA 的 RoboLab-120 排行榜上，Praxis-1 取得 46.2%，領先 World Action Model 類別。所有結果皆由 Runway 自行測得，尚未有獨立驗證。
- 模型仍會混淆外觀相似的物體，也無法自行為複雜的連續動作擬定計畫。
文章目錄
Praxis-1 是什麼
Runway 以 Gen-4.5 等生成式影片模型聞名，近日依 Apache 2.0 授權，開放了 Praxis-1 的全部權重與原始碼。這款模型自 9 月底亮相，但起初僅提供給少數挑選的合作夥伴。在此次釋出的同時，Runway 也公布了詳細的研究報告，並附上新的效能測試。
Praxis-1 會接收攝影機影像、文字指令，以及機器人的位置資訊。模型據此預測環境將如何變化，再計算出適當的動作。每當有新的影格進來，系統便持續調整控制指令。Runway 將這類模型稱為 World Action Model。
從影片學習，降低對機器人資料的依賴
Praxis-1 的基礎是一個影片模型，它已從一般影片畫面中學會物體如何移動與互動。Runway 接著以人類動作影片與機器人資料進行微調。這種做法有望減少對昂貴的專用機器人資料集的需求。
不過，模型仍需要一定數量的機器人資料。為了適應 Franka 機械手臂，Runway 使用了公開研究資料集 DROID 中約 277 小時的錄影。針對雙臂機器人，則使用 1,400 至 2,600 小時的訓練素材。至於這種方法是否真的比未經影片預訓練的模型更省機器人資料，目前仍是未解的問題。
測試結果
在 NVIDIA 的 RoboLab-120 排行榜上，Praxis-1 的成功率為 46.2%。該測試包含 120 項模擬任務，例如分類、抓取或堆疊物體。同為 World Action Model 的 FLUX 3 Action 在相同條件下取得 42.9%。因此 Praxis-1 位居 World Action Model 類別之首，但在總榜上排名第五，前面有兩個 AI agent 與兩個架構不同的機器人模型。
以 DROID 資料微調後，Runway 在真實的 Franka 機械手臂上測試了十項任務，例如將香蕉放到盤子上或關上抽屜。每項任務各做十次，Praxis-1 成功 88 次，FLUX 3 Action 則為 80 次。Runway 也在一款帶有夾爪的行動機器人上進行測試，Google 曾用它來開發 RT-1，而這類機器人先前並未出現在訓練資料中。以約 95 小時的資料微調後，Praxis-1 在模擬中平均達到 80%，原版 RT-1 在相同測試中則為 52.4%。
硬體需求與限制
開發者在註冊並同意存取條款後，可從 Hugging Face 下載 Praxis-1，原始碼則放在 GitHub。Runway 也提供已針對多種機器人調整好的版本。基礎模型本身則仍須額外訓練，才能用於新的機器人系統。
標準版需要具備 80 GB 記憶體的 GPU。依 Runway 的估計，壓縮版可在配備 32 GB VRAM 的 RTX 5090 上執行。不過，GitHub 文件指出，實際的記憶體使用峰值尚未經過量測。
根據研究報告，模型偶爾會混淆外觀相似的物體，對於含糊的指令處理能力也較差。面對較長的任務，使用者必須明確列出每個步驟，因為 Praxis-1 還無法為複雜的連續動作可靠地自行規劃。Runway 認為，這主要是一套能快速執行機器人動作的系統，日後可與負責拆解工作的通用 AI 模型搭配使用。
Praxis-1 值得注意之處，在於將從影片理解動作的能力帶入機器人，並以 Apache 2.0 授權允許商業使用。不過，目前的數據都來自 Runway 的內部測試，讀者在與其他模型比較前，宜等待獨立驗證。壓縮版可在 RTX 5090 上執行也僅是估計，並非實測數據。
審核人: Hero Association
