今日，英偉達宣布其DeepSeek-R1模型現已在build.nvidia.com平臺上以NVIDIA NIM微服務預覽版的形式提供。這一消息標志著英偉達在AI服務部署方面邁出了重要一步。
據了解，DeepSeek-R1 NIM微服務能夠在單個NVIDIA HGX H200系統上每秒處理多達3,872個tokens，為開發人員提供了強大的處理能力。開發人員現在可以通過測試和試驗API，為將來的應用做好準備。該API預計很快將作為可下載的NIM微服務提供，成為NVIDIA AI Enterprise軟件平臺的一部分。
DeepSeek-R1 NIM微服務通過支持行業標準API，簡化了部署過程。企業可以在其首選的加速計算基礎設施上運行NIM微服務，從而最大限度地提高安全性和數據隱私。此外，結合NVIDIA AI Foundry和NVIDIA NeMo軟件，企業還能夠為專用AI代理創建自定義的DeepSeek-R1 NIM微服務。
英偉達于2024年3月推出了NIM（Nvidia Inference Microservices）云原生微服務，旨在方便各種規模的企業部署AI服務。NIM是一套經過優化的云原生微服務，旨在縮短上市時間，并簡化生成式AI模型在各種環境下的部署。
原創文章，作者：AI，如若轉載，請注明出處：http://www.bdzhitong.com/article/704631.html
