英伟达宣布使用DeepSeek

来源:爱集微 #英伟达# #DeepSeek#
1362

1月31日,英伟达宣布已在其网站上发布了采用DeepSeek R1 671b的“英伟达NIM微服务”预览版,公开表示DeepSeek-R1推理能力“最先进”。

英伟达表示 DeepSeek-R1 模型是最先进、高效的大型语言模型,在推理、数学和编码方面表现出色。NIM 微服务在单个 HGX H200 系统上,每秒能处理多达 3872 个 tokens,这既得益于 H200 的 HBM3e 高带宽内存等硬件,也离不开采用 DeepSeek R1 671b 后在软件层面的优化,如动态批处理、量化、TensorRT 加速等。

此次预览版发布,英伟达可根据开发者的测试反馈及时查漏补缺,为正式发布积攒人气和用户基础。后续,NIM 微服务融入英伟达 AI Enterprise 平台后,平台功能会更丰富,能给企业用户提供更全面的 AI 解决方案,提升竞争力。

一方面,英伟达此举是为了完善 NIM 生态,吸引更多开发者依赖它的全栈解决方案,巩固自己在 AI 基础设施领域的地位;另一方面,也是在和 AWS Bedrock、Azure AI Model Catalog 这些云服务巨头竞争,靠灵活的本地化部署选项,争夺企业 AI 市场份额。

责编: 邓文标
来源:爱集微 #英伟达# #DeepSeek#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...