NVIDIA (輝達) 日前宣布為推動全球人工智慧 (AI) 服務的發展推出AI資料中心平台，針對語音、影像、圖像以及推薦服務提供業界最先進的推論加速功能。NVIDIA TensorRT超大規模推論平台採用 NVIDIA Tesla T4 GPU，基於突破性的 NVIDIA Turing™ 架構以及一套完整的全新推論軟體。
針對端對端應用，此平台提供更高的效能與更低的延遲，並為超大規模資料中心提供各種全新服務，包含加強的自然語言互動以及精準的搜尋結果，取代以往一連串可能性的答案。NVIDIA副總裁暨加速運算部門總經理 Ian Buck 表示：「我們的客戶正邁向 AI 可以觸及並改善所有產品與服務的未來，而 NVIDIA TensorRT 超大規模平台將提供較以往更快、更有效率的方式來實現此目標。」
大規模的資料中心每天需要處理數十億的語音搜尋、翻譯、圖像、影像、推薦服務以及社群媒體互動等，上述的每一個應用皆需透過伺服器內部不同類型的神經網路來處理。
為了優化資料中心的最大吞吐量以及伺服器使用率，NVIDIA TensorRT 超大規模平台包含即時推論軟體以及 Tesla T4 GPU，其處理搜尋結果的速度較單獨使用 CPU 快 40 倍。NVIDIA預估AI推論產業將於未來五年內成長至200億美元。