輝達(NVIDIA)近日宣布發表全新NVIDIA TensorRT 3 AI推論軟體，其針對從雲端到終端包括自駕車與機器人在內的各種裝置，大幅提升效能且同時降低成本。
輝達(NVIDIA)近日宣布發表全新NVIDIA TensorRT 3 AI推論軟體，其針對從雲端到終端包括自駕車與機器人在內的各種裝置，大幅提升效能且同時降低成本。
NVIDIA創辦人暨執行長黃仁勳表示，網路公司競相將AI導入到擁有數十億用戶的服務中，使得AI推論的作業負載呈直線成長。NVIDIA TensorRT是款可編程推論加速器。藉由CUDA的可編程特性，TensorRT將能加快推動深度學習網路的多元化應用並因應日趨複雜的演進。
該軟體與NVIDIA GPU的結合將能在各種AI服務應用的框架上，包含影像與語音辨識、自然語言處理、圖像搜尋以及提供個人化建議等，發揮超高速且高效率的推論運算。其中，TensorRT與NVIDIA Tesla GPU加速器的組合不僅速度比CPU高40倍，其成本更只有CPU解決方案的十分之一。
橫跨眾多領域超過1,200家企業皆開始採用 NVIDIA 的推論平台，從龐大的資料中洞察先機，並為企業和消費者推出各種智慧化的服務。除了亞馬遜、微軟、臉書與谷歌等巨擘外，現更包含阿里巴巴、百度、京東、科大訊飛、海康威視、騰訊以及微信等中國頂尖企業。
TensorRT 3是一款針對將AI部署至線上產品所開發的最佳化高效能編程器與執行引擎。其能對類神經網路進行快速優化與驗證，並將欲用來推論之完成訓練的類神經網路部署在超大規模資料中心與嵌入式或車用GPU平台。