今日，英伟达宣布其DeepSeek-R1模型现已在build.nvidia.com平台上以NVIDIA NIM微服务预览版的形式提供。这一消息标志着英伟达在AI服务部署方面迈出了重要一步。
据了解，DeepSeek-R1 NIM微服务能够在单个NVIDIA HGX H200系统上每秒处理多达3,872个tokens，为开发人员提供了强大的处理能力。开发人员现在可以通过测试和试验API，为将来的应用做好准备。该API预计很快将作为可下载的NIM微服务提供，成为NVIDIA AI Enterprise软件平台的一部分。
DeepSeek-R1 NIM微服务通过支持行业标准API，简化了部署过程。企业可以在其首选的加速计算基础设施上运行NIM微服务，从而最大限度地提高安全性和数据隐私。此外，结合NVIDIA AI Foundry和NVIDIA NeMo软件，企业还能够为专用AI代理创建自定义的DeepSeek-R1 NIM微服务。
英伟达于2024年3月推出了NIM（Nvidia Inference Microservices）云原生微服务，旨在方便各种规模的企业部署AI服务。NIM是一套经过优化的云原生微服务，旨在缩短上市时间，并简化生成式AI模型在各种环境下的部署。
原创文章，作者：AI，如若转载，请注明出处：https://www.kejixun.com/article/704631.html
