輝達(NVIDIA)近日宣布一連串新技術與合作夥伴，將推論的潛在市場拓展至全球3,000 萬部超大規模伺服器，同時大幅降低由深度學習技術所驅動的各種服務成本。
輝達(NVIDIA)近日宣布一連串新技術與合作夥伴，將推論的潛在市場拓展至全球3,000 萬部超大規模伺服器，同時大幅降低由深度學習技術所驅動的各種服務成本。
NVIDIA 創辦人暨執行長黃仁勳在 2018 GTC 發表開幕演說時，闡述深度學習推論如何透過在資料中心、車用以及如機器人和無人機等嵌入式裝置上，新增語音辨識、自然語言處理、推薦系統與影像辨識等技術支援，持續仰賴GPU加速。
對此，NVIDIA 宣布新版 TensorRT 推論軟體並將其整合至 Google 熱門的TensorFlow 框架中。 NVIDIA 也宣布將針對最受歡迎的語音辨識框架 Kaldi 進行 GPU 最佳化。此外，NVIDIA 與 Amazon、Facebook 以及 Microsoft 等夥伴的密切合作，也將讓開發人員更容易將 ONNX 格式與 WinML 模型透過 GPU 進行加速。
NVIDIA 揭露 TensorRT 4 軟體能為多種應用程式進行深度學習推論加速。TensorRT能提供 INT8 與 FP16 精準的推論內容，讓資料中心成本最高可減少70%。TensorRT 4 能用來快速進行最佳化、驗證以及將訓練完成的類神經網路部署到超大規模資料中心、嵌入式裝置和車用 GPU 平台。在處理包括電腦視覺、神經機器翻譯、自動語音辨識、語音合成與推薦系統等常見應用時，新版軟體在執行深度學習推論的速度是 CPU 的190倍。
為進一步加快研發效率，NVIDIA 與 Google 的工程師攜手將 TensorRT 整合到 TensorFlow 1.7，讓用戶更容易在 GPU 上運行各種深度學習推論應用。