Edge AI 指的是直接在裝置端執行 AI 模型,而不是把資料傳到雲端。這項技術正走出實驗室,進入工廠、商店與城市基礎建設。在 Computex 2026 上,Intel 表示其 Series 3 處理器已有超過 130 個邊緣裝置設計案。Migovi 向 Intel 越南區總經理 Phùng Việt Thắng 提出 6 個問題,談國內企業該從哪裡著手。
60 秒看重點
- 越南企業正從試驗階段走向 Edge AI 的實際部署
- 主要效益:降低頻寬與儲存成本、縮短延遲、資料留在本地
- 有 4 項障礙:既有系統整合、訓練資料、模型最佳化、硬體不一致
- Intel 建議依「對的工作交給對的處理單元」原則,在 CPU、GPU 與 NPU 之間分配負載
- OpenVINO 讓開發者訓練 1 次,即可部署在多種硬體上
Phùng Việt Thắng 越南企業正把重心從試驗轉向 Edge AI 的實際部署,而眼前最明顯的機會就是成本。試想一間零組件工廠有 500 台 4K 解析度的 IP 攝影機監控產線,若持續把原始影片傳到雲端,每月光頻寬與儲存就得支付數萬美元。當推論模型透過 OpenVINO 工具組直接在邊緣裝置上執行,攝影機只在偵測到瑕疵時才傳送資料。
其次是延遲。就地處理可以做到即時回應,這對品質監控、產線瑕疵偵測或智慧交通都非常重要。製造、醫療與基礎建設的敏感資料不必離開現場,因此更容易符合資安要求。傳輸中斷時系統也能穩定運作,這在工業環境或電信基礎建設不均的地區相當常見。
障礙則有 4 類。首先是整合,因為多數企業同時運行在多種不同平台上。第二是訓練資料:實際的生產環境與預期差距很大,要從數千個感測器取得一致的資料仍是難題。第三是模型必須經過細緻的最佳化,才能在邊緣端的省電硬體上執行。最後是裝置、作業系統與連線協定不一致,使大規模的 AI 應用資安與管理變得困難。
Phùng Việt Thắng 我們建議的原則是「對的工作交給對的處理單元」。CPU 負責協調循序處理的資料、需要低延遲的工作,以及執行傳統機器學習模型。GPU 具備強大的平行運算能力,適合承擔較吃重的 AI 工作,例如多路影像分析或大型語言模型(LLM)。NPU 則適合持續在背景執行的工作,如語音與人臉辨識。把這類工作交給 NPU,可以釋放 CPU 與 GPU,同時降低整體系統的耗電。
目標是資源剛好夠用。如果 Core Ultra Series 3 這類處理器內建的 AI 能力已能滿足應用,企業就可能不需要另外加裝獨立顯示加速卡。設計因此更簡單、更省電,總持有成本也更低。至於高負載的 AI 工作,獨立加速卡仍可能有其必要。
Sensory AI 的 Ella 就是一個例子。在單顆 Core Ultra Series 3 晶片上,系統能同時辨識影像、與顧客對話、分析營運資料、執行多個 AI 代理,並即時控制機器人。這些工作透過 OpenVINO 分配給 CPU、GPU 與 NPU,不必再為 AI 與控制各用一顆獨立晶片。這也是我們建議越南軟體工程師採用 OpenVINO 的原因:負載能自動分配,不必反覆改寫程式碼。
對的工作,交給對的處理單元:目標是資源剛好夠用。
Phùng Việt Thắng 投資 AI 時,企業最在意 3 件事:風險控管、長期總持有成本,以及專案的延續性。受制於單一封閉架構,讓不少單位對擴大 Edge AI 系統卻步。
透過 OpenVINO,企業只需在任一框架上訓練模型 1 次,再藉由更改設定就能部署到多種裝置,不用修改程式碼。他們也能在同一套系統中並行使用多種硬體。軟體開發成本因此降低,部署時間也縮短。更重要的是,企業不會被鎖定在單一供應商,可以自由議價,並依不同階段選擇硬體。
在 Linux 方面,Intel 連續超過 15 年是對 Linux Kernel 貢獻原始碼最多的公司,數量幾乎是第 2 名的兩倍。從 Xeon 到 Core Ultra 的硬體,因此在 Ubuntu LTS、Red Hat Enterprise Linux 等主流 Linux 發行版上都獲得完整支援。企業升級基礎建設時不必擔心相容性,也能藉由已整合的雲端與容器平台,從邊緣擴展到雲端,或反向操作。

企業不會被鎖定在單一供應商,可以自由議價,並依不同階段選擇硬體。
Phùng Việt Thắng
英特爾越南總經理
Phùng Việt Thắng 這兩個平台把 AI 推論直接放到裝置端,用來解決 3 個問題:延遲、頻寬與穩定性。
在延遲方面,推論能力就位於機器人的處理器上。感測器與 AI Vision 整合資料,以做出即時決策。cobot 一偵測到有人進入禁區就會立刻停止。AMR 則可以用更高的速度行駛,提高貨物的周轉次數。
在頻寬方面,機器人就地處理影像,只向管理系統回傳極小的封包,例如「位於 3 號貨架」或「已偵測到障礙物」。網路基礎建設的負擔變輕,車隊擴編也更容易。
在穩定性方面,Core Ultra Series 3 上的省電 NPU 讓每台 AMR 都能完全自主運作,斷網或進入訊號死角時也不會中斷。機器人因此可以工作更久,也更少需要充電。
Phùng Việt Thắng Core Ultra Series 3 有專為工業 Edge AI 設計的版本,目標是高每瓦效能與 24/7 運轉能力。對 AI Vision 而言,CPU、GPU 與 NPU 結合的架構會把工作拆分,而不是全部壓在單一處理器上。系統因此能以較低的功耗執行演算法,並維持持續的工作強度。
軟體也扮演重要角色:OpenVINO 以量化(quantization)技術最佳化模型,讓演算法更精簡,同時保有準確度。企業可以選擇體積小、耗電低的 Edge PC 機型,仍能滿足需求。
Phùng Việt Thắng 監控攝影機與產品品質檢測所產生的視覺資料,以及瑕疵偵測演算法等 AI 模型,都是企業的策略性資產。我們依裝置規模,以硬體資安技術來保護它們。
對於採用 Xeon 的高效能 Edge Server,機密運算(Confidential Computing)方案包括 Intel SGX 與 Intel TDX,可建立彼此獨立的加密分區。即使系統正在處理資料,資料與演算法仍受到保護。
對於採用 Core Ultra 的 Edge AI 裝置,以硬體為基礎的資安層已內建於矽晶片中。安全啟動機制可阻擋偽造的韌體。實體記憶體經過加密,即使有人直接動手干預裝置,也能保護模型與資料。企業既能守住智慧財產,也能符合隱私法規框架,且不必犧牲效能。
以上回答是硬體供應商的觀點,因此企業應以自己的資料進行試辦專案來驗證。OpenVINO 雖然是開源,但首要針對 Intel 硬體進行最佳化,工程師們也持續積極改進與升級,讓它能更好地相容於其他廠商的產品。「不被鎖定在單一供應商」這一點,同樣應該在企業打算採購或使用的實際裝置上測試。最值得參考的重點,是「資源剛好夠用」的原則:目前工廠裡有許多機器視覺問題,根本用不到獨立 GPU 的效能。
審核人: Hero Association












