AI代理仍處於早期的發展階段，但使用規模正快速成長。根據美國知名風險投資機構a16z援引的OpenRouter資料，自2026年2月以來，AI代理的Token(詞元)使用量成長約14倍。從基礎設施的角度來看， AI代理就像擁有持久運算環境的虛擬使用者，能夠持續保持狀態、檢索上下文、呼叫工具和服務、執行任務，並持續評估執行結果，直至任務完成。
當數百萬甚至數十億個AI代理全天候持續工作時，運算、記憶體、儲存和輸入/輸出(I/O)都必須在高併行環境下支援持續運行。這不僅是對CPU產生新的需求，也代表業界需要建立新的評估標準，以評測系統處理AI代理實際完成工作負載的能力。
代理式AI正在推動AI資料中心多個環節的運算需求成長。CPU在AI代理維護上下文、呼叫工具和存取資料的同時執行相關工作負載；在AI主節點(head node)中，CPU負責作業調度、資料準備和傳輸以及系統調度，以確保昂貴的加速器持續保持高效運轉。
同時，AI代理還會催生更多雲端原生工作負載。每一次搜尋、服務呼叫、程式碼執行或資料請求，都會驅動底層基礎設施執行相應任務。代理式AI不會替代雲端原生工作負載，而是在現有雲端原生需求之上進一步疊加和放大新的需求。
隨著AI代理的自主性不斷增強，並獲得更多工具和資料存取權限，保障運行時安全的重要性也更為凸顯。主機CPU可專注於執行AI代理工作負載，而資料處理器(DPU)及其他基礎設施處理器則可為網路、儲存、政策執行、遙測和隔離提供獨立的控制平面。從運行雲端運算和AI代理工作負載的CPU，到提供安全保障和基礎設施管控能力的DPU，Arm技術覆蓋這一系統中的兩大關鍵層面。
開放運算計畫全球峰會(OCP Global Summit)期間，可看到此一設計趨勢正逐步在實際系統中落地。Arm正在推動向OCP貢獻Arm AGI CPU參考伺服器，而Meta的Yosemite YV5則將Arm AGI CPU導入OCP機櫃級設計之中。
CPU效能的評估標準正在被重新定義。對於AI代理運算，關鍵在於確保回應能力的同時，系統能支援併行完成多少工作；對於AI主節點，關鍵在於CPU能否高效地保持加速器處於高利用率狀態；對於雲端原生基礎設施，關鍵則在於能否快速且可預測地處理每項操作。
AI代理工作負載凸顯了持續效能的重要性。如果吞吐量隨著系統資源利用率上升而下降，那麼擁有更多的理論算力並不意味著能夠完成更多任務。真正重要的是，在功耗和物理條件的限制下，基礎設施能夠持續支撐多少實際有效的工作負載。
憑藉長期服務全球超大規模資料中心的經驗，Arm對運算需求的演變具有深刻的洞察。基於這些洞察，Arm開發了一套針對代理式AI的全新CPU效能測評方法，並獲得富士通(Fujitsu)、Meta和OpenAI的支持。該框架基於三個原則：
• 具有代表性的AI代理應用場景；
• 可重複執行的CPU效能測量；
• 端到端的結果驗證。
元件級測試有助於排除模型推論和網路等變數的干擾，進而得以單獨評估CPU效能；而端到端評估則可用於判斷這些改進能否轉化為更好的任務完成效果。
隨著AI代理架構和軟體持續演進，這套方法論也需要持續最佳化。
基於上述方法論，Signal65對Arm AGI CPU與AMD EPYC Turin在工具呼叫、編排、推論與規劃等工作負載中的表現進行了獨立驗證。兩個平台均採用相同的基準測試腳本，並基於實測的伺服器級效能資料，建構清晰的機櫃級效能模型。
初步測試結果顯示：
• 單機櫃可承擔近兩倍工作負載：在七項工作負載測試中，受惠於更高的運算密度和更優的能效表現，Arm AGI CPU的機櫃級效能模型顯示，平均效能為AMD EPYC 9755的1.99倍。
• 在AI代理工作負載中展現卓越效能：Arm AGI CPU在多項關鍵AI代理工作負載中，Arm AGI CPU的機櫃級效能模型結果均優於對比平台。其中，工具呼叫場景平均達到對比平台的1.7倍，AI代理工作流程和任務編排場景達到2倍，推論與規劃場景達到2.2倍，展現出其滿足代理式AI多樣化運算需求的能力。
• 更快速、更敏捷的AI代理執行：相較AMD EPYC 9965，Arm AGI CPU最多可將沙盒建立延遲降低45%，幫助AI代理更快啟動隔離執行環境，降低AI代理執行過程中的系統開銷。
機櫃級視角相當重要，因為資料中心始終受到功耗、散熱和物理空間的固定限制。尤其是在更多AI代理和任務併行運行的情況下，基礎設施營運商最終需要瞭解系統在這些限制內能夠持續完成多少有效工作。
Arm AGI CPU正是為了這些工作負載特徵而設計，憑藉高核心密度、每核心專屬記憶體配置以及高頻寬I/O ，支援AI代理工作負載的持續運行。
隨著AI代理從「回應提示詞」轉向「持續完成工作」，評估基礎設施能力的標準也應聚焦於其能否高效、穩定地完成實際工作，從單個AI代理到整個機櫃皆是如此。更完善的測評方法可為業界提供更清晰的依據，以識別系統瓶頸、比較系統效能，並推動AI代理基礎設施在規模化發展的過程中持續優化。
富士通株式會社資深副總裁、富士通研究所先進運算開發部門負責人Toshio Yoshida表示，隨著代理式AI持續發展，CPU效能評估需要突破傳統指標，並能夠反映真實工作負載的基準測試。在開發下一代高效能、高能效Arm架構CPU產品FUJITSU-MONAKA的過程中，我們深知透明、可重複且具有代表性的評測體系的重要性。富士通歡迎Arm推動產業協作的此項舉動，並期待協助最佳化下一代AI基礎設施。
Meta軟體工程師Abhishek Dhanotia表示，隨著代理式AI進入生產部署階段，業界需要更清晰地瞭解不同工作負載如何利用底層基礎設施資源。我們支持Arm推動建立更加一致的對比標準，並相信這將有助於為系統未來的演進提供參考。
OpenAI全球前線部署工程負責人Colin Jarvis表示，AI系統正逐步超越生成回應的階段，進一步透過推論、使用工具，以及與軟體環境互動來完成複雜任務。隨著AI代理的能力提升並被更廣泛地部署，理解支撐這些工作流程的基礎設施效能，包括任務編排與工具執行等環節的重要性日益凸顯。業界針對具有代表性的基準測試展開合作，對於掌握這些新興工作負載的特性，以及最佳化整體AI系統的效能，將十分重要。