英伟达平台上线DeepSeek R1

来源:爱集微 #英伟达#
1412

据英伟达官网消息,推理开放模型DeepSeek R1现已在NVIDIA NIM(NVIDIA Inference Microservice)平台上提供预览版。

DeepSeek R1是一个具备领先推理能力的开放模型,专为需要复杂逻辑推理、数学计算、编码及语言理解任务设计。该模型采用了一系列高级方法,如思路链、共识和搜索等,以确保能够生成最优质的答案。不同于直接响应查询的传统模型,DeepSeek R1通过多次推理来优化结果,这种测试时间扩展的方法对于实现实时推理和更高质量的响应至关重要。

据英伟达官方数据,6710亿参数的DeepSeek R1模型现可通过build.nvidia.com上的NIM微服务进行访问,这为开发人员提供了安全试验这些功能的机会,并支持他们构建自己的专用代理。此外,DeepSeek R1 NIM微服务能够在单个NVIDIA HGX H200系统上每秒处理多达3872个token,极大提升了效率和响应速度。

为了简化部署流程,DeepSeek R1 NIM微服务兼容行业标准API,并作为NVIDIA AI Enterprise软件平台的一部分提供给用户。企业可以通过在其选择的加速计算基础设施上运行NIM微服务,最大化保障数据隐私和安全性。同时,利用NVIDIA AI Foundry和NVIDIA NeMo软件,企业还能定制化开发专门的AI代理服务。

此外,亚马逊、微软等已上线部署支持用户访问DeepSeek-R1模型。

1月30日,亚马逊云科技举办一场关于在Amazon Bedrock上部署DeepSeek模型的线上直播。现在在Amazon Bedrock上添加DeepSeek模型并非难事。用自定义模型导入功能,在Amazon Bedrock上部署DeepSeek-R1 Distill Llama模型,无缝集成至Amazon Bedrock环境中,即可充分利用Amazon Bedrock的Serverless基础设施和统一API。

1月30日,微软董事长兼CEO萨蒂亚·纳德拉表示DeepSeek-R1模型目前已可通过微软的AI平台Azure AI Foundry和GitHub获取,并且很快就能在微软AI电脑Copilot+ PC上运行。同时,纳德拉称DeepSeek的新模型非常令人印象深刻,“有一些真的创新”,AI成本下降是趋势。

责编: 姜羽桐
来源:爱集微 #英伟达#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...