☰
人工智慧（AI）的成本結構正迎來重大轉折。根據 Gartner 的最新觀察，AI 的「推論」（Inference）支出正快速超越「訓練」成本，成為企業 AI 預算的最大重擔。主因在於 AI 應用正從單純的聊天機器人，大舉邁向執行複雜、多步驟任務的「代理式工作流程」（Agentic workflows）。這使得模型每次呼叫所消耗的 Token 數量急遽攀升，在按用量計費的模式下，直接衝擊了企業的雲端帳單。
數據顯示了這波成本壓力的規模：預計到 2028 年，基於代理式工作流程的 AI 推論成本將比目前暴增逾五倍；甚至連 AI 輔助寫程式的開銷，都可能超越一般軟體開發者的年薪。Gartner 進一步預估，2026 年全球 AI 最佳化 IaaS 的支出中，推論費用將達到 233 億美元，正式超車訓練所需的 190 億美元。未來推論支出的占比，更將從 2026 年的 55% 持續擴大至 2027 年的 59%。
面對龐大的開銷，業界開始積極尋求突圍之道。研究指出，代理式工作流程每執行一項任務，消耗的 Token 量是一般對話的 5 到 30 倍。更值得注意的是，高達 62% 的代理推論帳單，其實源自於「重複傳送的上下文」──包含系統提示、工具定義與狀態資訊。為此，技術圈開始高度聚焦於提示詞快取（Prompt Caching）、提示詞壓縮，以及縮減重複背景資料等技術，力求大幅降低每次呼叫的 Token 浪費。
▲ AI 複雜度攀升速度大於 Token 成本的下降速度。（Source：Gartner）
除了依賴技術解方，企業在實務營運上也祭出多管齊下的控管策略。這包含：加強使用者的 AI 提示詞精簡訓練、依據任務需求精準匹配合適的模型、以及設定用量上限與嚴密的追蹤機制。隨著 AI 從一問一答的對話工具，進化為具備高度自主性的複雜代理系統，如何在「強大效能」與「成本控制」之間取得平衡，已成為所有企業導入 AI 時無法迴避的核心課題。
（首圖來源：AI）
