Ceva發佈次世代NeuPro NPU產品系列，與第一代產品相比，功能更全面，而且每平方毫米的AI輸送量最高提升至2倍，能效也提高50%。
這一全新產品組合採用共通架構和統一的軟體堆疊，旨在支援日益繁重的多模態、生成式及代理式AI工作負載，涵蓋從始終在線(always-on)感測到先進邊緣系統的各類實體AI應用。此舉也象徵Ceva進軍AI基礎設施領域，以雲端和資料中心為目標，涵蓋智慧記憶體、連接與資料處理晶片，以及客制化AI推理處理器。
實體AI系統日益依賴多個AI模型與智慧代理共同工作；其中，感知和即時回應在靠近感測器端進行，而更複雜的推理與任務編排則分佈在各類裝置、邊緣系統及雲端之中。業界正加速向這種混合式AI轉型；然而，無論推理在何處進行，始終面臨著同一挑戰：即運算本身，以及資料在運算單元與其他元件之間傳輸時，所帶來的功耗與效能開銷。在感測器端，這種開銷體現為微瓦級的功耗和平方毫米級的佔用空間；而在資料中心，則體現為兆瓦級的功耗和記憶體頻寬的消耗。儘管這一限制在不同場景下以不同形式體現，但其核心需求是一致的——即針對特定工作負載進行最佳化的神經處理能力，並以共通的架構與軟體環境作為支撐。
次世代NeuPro產品系列既提供適用於系統不同位置的多種不同尺寸運算引擎，又採用一套共通於所有這些引擎的開發方案，兼顧了上述兩大需求。整個產品系列使用統一的軟體開發套件(SDK) ，使半導體設計人員能夠為系統的各個部分匹配合適的運算引擎，或將多個引擎整合在同一片系統單晶片(SoC)中，同時確保既有的軟體投入得到充分利用。
Ceva AI部門執行副總裁Yaron Galitzky表示，Ceva與超過15家第一代NeuPro的授權客戶緊密合作，明白到成功AI產品的關鍵是針對具體應用場景，恰當地平衡運算、記憶體、頻寬、功耗和成本。Ceva的團隊在設計這些次世代產品時充分汲取了這些經驗，旨在讓客戶能夠更從容地部署當前的高負載模型，並為未來的工作負載做好準備。
單純的峰值算力已不足以定義AI系統的效能。半導體開發商還必須在嚴苛的功耗、佔位面積和記憶體限制下實現最佳的推理輸送量，同時確保其架構能夠在整個產品生命週期內支援不斷推陳出新的模型。次世代NeuPro架構正是為應對這兩大挑戰而設計。
該架構引入了多種能力，支援從感知與分類，到採用Transformer的多模態、生成式和代理式AI工作負載，其中包括實體AI應用：
• 與第一代產品相比，每平方毫米的AI輸送量最高提升至2倍，並且能效提升50%。
• 提供先進的AI數值和混合精度(包括FP4和FP8) ，在提高推理效率的同時，降低了對記憶體和資料傳輸的需求。
• 具備更高的記憶體頻寬和先進的記憶體管理機制(包括動態形狀和分頁KV緩存) ，能夠應對更繁重的情景脈絡以及記憶體密集型Transformer工作負載。
• 運用最佳化的Tensor重塑技術提高乘法累加運算(MAC)的利用率，有效發揮運算資源效能以提升推理效能。
• 支援包括專家混合(Mixture-of-Experts)和線性注意力機制(Linear Attention)在內的各類最新網路架構，並具備高度的架構靈活性，能夠迎合未來出現的各類新型模型。
• 支援預量化模型，客戶無需進行額外的量化和調校步驟，即可直接部署已發佈的模型檢查點(Checkpoints) 。
• 採用先進的壓縮、量化和剪枝技術，減少運算量和資料傳輸以提升每瓦功耗及每單位面積的有效效能。
次世代NeuPro產品組合包含四款NPU：
• NeuPro Nano旨在滿足資源高度受限裝置中始終在線感測及入門級感知任務的需求。
• NeuPro Prime針對主流的卷積神經網路(CNN)和Transformer工作負載而設計。
• NeuPro Max可擴展至高級邊緣AI應用，涵蓋高解析度感知、多模態模型、端側智慧助手、機器人技術、實體AI以及代理式AI。
• NeuPro Ultra面向AI基礎設施應用，既支援雲端及資料中心內複雜大語言模型的推理，也涵蓋了能夠提升整體AI系統效率的智慧記憶體、連接及資料處理晶片。
這四款NPU均採用共通核心架構，並採用一套統一的軟體開發套件(SDK)；因此，工具、開發流程以及在軟體方面的投入，均可在整個產品系列中共通。隨著需求變化，設計人員既可以自由切換使用不同核心，也可以將多個核心整合至同一SoC中，並將各項工作負載分配給最適合處理該任務的引擎。半導體公司只要使用單一開發基礎，即可滿足多個AI市場及不同的效能需求，從而降低整合複雜度，並縮短後續產品的開發週期。
隨著大語言模型推理面臨記憶體瓶頸，客戶正在重新設計資料中心系統，把運算負載分佈到不同模型，並將之整合到以往未曾涉及的環節中——例如記憶體和網路子系統內部。大規模推理需同時支援多種模型及大量使用者，在此過程中，記憶體頻寬以及記憶體、運算與網路之間的資料傳輸，已成為決定系統效能與能效的關鍵因素。據ABI Research預測，到2035年，雲端AI推理能力的複合年增長率(CAGR)將會高達42% (i)。
NeuPro Ultra專為此類資料中心系統的重新設計而建構。它支援雲端及資料中心環境的複雜大語言模型推理，具備多核處理、多使用者操作、高記憶體頻寬和先進的記憶體管理能力，並相容各類部署所採用的軟體框架。此外，它還能均等地整合至同一系統的記憶體與連接子系統中，將神經處理能力應用於資料傳輸過程(而非僅限於模型本身)，從而減少不必要的資料搬移，並在更靠近資料儲存端的位置緩解效能瓶頸。晶片開發人員可利用Ceva的可授權NPU基礎架構及其全線產品共通的軟體堆疊，將上述功能整合到自己的產品中。
Ceva執行長Amir Panush表示，Ceva的客戶以共通的NPU架構和軟體堆疊來處理每個不同等級的AI工作負載，能夠在其整個產品路線圖實現「一次構建，隨處部署」。NeuPro Ultra將這一平臺引入了AI基礎設施領域；這是Ceva策略中的重要一步，旨在將神經處理能力推廣至更廣泛的半導體產品中。為這些市場開發晶片的客戶，可以直接借助Ceva的架構、軟體和經驗，而無需從零開始自行構建NPU平臺。
Ceva分別於11月2日及11月5日在新竹和上海舉辦技術研討會，深入探討次世代NeuPro產品組合及其實體AI策略。