隨著生成式 AI 迅速演進,企業 AI 應用正從傳統問答模式跨入目標導向的 Agentic AI(代理人 AI)時代。HPE 慧與科技台灣暨香港董事長王嘉昇指出,企業已不再糾結於雲端或地端選擇,而是從雲端概念驗證(POC)轉向正式落地,並面臨模型碎片化、資安漏洞及成本爆表等實務挑戰。
王嘉昇表示,HPE 提出 Enterprise AI Factory(企業級 AI 工廠)與自駕級(Self-driving)基礎架構策略,協助企業打造高效、安全且可控的 AI 轉型藍圖。
王嘉昇分析,前沿技術推進 AI Agent 於自動寫程式與複雜任務上的應用。在「算力經濟學」下,建置每瓦算力約需 40 至 50 美元,但頂尖量化交易公司等先進使用者,已能將每瓦算力轉化為數百美元的商業價值。據估算,全球新增算力的 30% 至 50% 正集中於少數 AI 巨頭,且其內部高達 50% 的算力被用於自主 Agent 的開發與測試。因此,企業評估基礎架構時,推理(Inference)效率與模型路由(Model Routing)遠比單純追求 GPU 算力峰值關鍵,必須依任務精準選擇兼具效益的模型。
另外,許多企業在雲端完成 POC 後,因考量 24 小時運作、資料隱私與低延遲,轉向地端與邊緣端部署。然而落地時常面臨三大困境:
1.部門各自為政:HR、法務、製造等部門自行選用模型,導致架構碎片化且無法統一管理。
2.資安漏洞與金鑰洩漏:開發門檻降低,但若缺乏安全防護,極易引發 API 金鑰遭惡意刷爆、產生巨額帳單的資安災難。
3. 營運成本飆脹:無節制呼叫大模型造成運算資源極大浪費,亟需智慧路由與 AI 治理規章(AI Governance)。
為解決轉型瓶頸,HPE 主張將企業 AI 運作「工廠化」與標準化。HPE 的 Enterprise AI Factory 解決方案進行深度整合:
1.自駕級(Self-driving)基礎架構:融合 Mist AI 技術,實現對 GPU、網路及儲存設備的自動監測、異常預測與自我優化。
2.開放架構與 KV Cache 優化:針對 Agentic AI 大量 KV Cache交換進行網路與記憶體優化,打破專有鎖定。
3.高密度液冷資料中心:深入半導體與高科技製造業,設計高達 23MW 整合直接液冷(DLC)技術的 AI 資料中心。
4.四層價值定位與 AI 治理:橫跨算力基礎架構、平台營運、AI 治理與策略落地,協助金融、電信及製造業實現合規部。
王嘉昇最後總結,AI 轉型的核心在於「速度與標準化」,企業應透過高度整合的 AI 工廠平台將營運流程化,加速邁向 Agentic AI 時代。
(首圖來源:科技新報攝)