• 行业咨询
  • 品牌营销
  • 集微资讯
  • 知识产权
  • 集微职场
  • 集微投融资
  • 集微企业库
搜索
爱集微APP下载

扫码下载APP

爱集微APP扫码下载
集微logo
资讯集微报告舆情JiweiGPT企业洞察
集微视频
登录登录
bg_img
search_logo
大家都在搜

助力国产芯片突破FP8模型部署及DeepSeek部署成本及效率难题,清华团队开源大模型推理引擎“赤兔Chitu”

作者: 爱集微 03-14 16:05
相关舆情 AI解读 生成海报
来源:中科创星 #赤兔引擎# #清程极智# #中科创星#
1.2w

【开源链接】  

14日,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎“赤兔Chitu”,该引擎首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,为国产AI芯片的广泛应用和生态建设带来了新的突破。

打破“硬件绑定”困境,FP8模型部署不再受限

DeepSeek的发展推动了 FP8 精度模型成为行业主流,随着DeepSeek的持续火热, 企业大模型私有化部署的需求也呈现井喷态势。

然而,当前全球领先的FP8模型长期依赖英伟达H系列高端GPU,这使得国内企业在部署大模型时受限于AI芯片的限制。一方面,英伟达H系列芯片的进口受限,导致国内企业难以获取高性能硬件支持;另一方面,大多数国产芯片因不支持FP8数据类型,无法充分发挥新一代AI模型的性能,企业部署成本高昂。

为打破这一困境,清华大学与清程极智联合开源的“赤兔”推理引擎应运而生。该引擎通过底层技术革新,首次实现了非H卡设备(包括英伟达Hopper架构之前的GPU卡及各类国产卡)对原生FP8模型的高效部署,摆脱对特定硬件的依赖,极大地降低了企业部署AI模型的门槛和成本。

清华大学翟季冬教授强调,赤兔凝结了团队多年并行计算与编译优化技术积累,目标是“弥合先进模型与多样化硬件之间的差距,让国产算力真正‘跑起来’,为中国大模型产业落地提供关键支撑”。清程极智CEO汤雄超表示:“赤兔的定位是成为连接多元算力与大模型应用的桥梁。我们不仅支持英伟达全系列GPU,还针对国产芯片深度优化,未来将陆续开源适配版本。”

性能实测:GPU减半 速度还提3倍

“赤兔”引擎在性能优化和架构适应性方面展现了显著优势。

在首期开源版本中,赤兔引擎部署DeepSeek-R1-671B满血版时,在A800集群的测试中,相比部分国外开源框架,GPU使用量减少50%的情况下推理速度仍有3.15倍提速。这意味着企业可以用更少的硬件资源获得更高的推理性能,极大降低了部署门槛和运营成本。

在帮助企业降本增效的同时,赤兔引擎的技术可实现模型效果不受损。这一成果源于团队对GeMM、MoE等核心算子的指令级优化,直接处理FP8数据而非简单量化,确保模型精度无损。

目前,赤兔引擎目标建立覆盖从纯CPU到大规模集群的全场景大模型部署需求,适配英伟达多款GPU及多款国产芯片。同时面对市场上不同的大模型算力优化需求,赤兔支持低延迟、高吞吐、小显存三方面优化,用最低成本实现最高性能。”基于这样的设计理念,集成赤兔引擎的大模型部署服务客户覆盖面非常广泛。

直面大模型部署成本痛点,推动AI普及

今年以来,随着DeepSeek—R1、QwQ 等优秀的国产开源大模型的不断涌现,大模型私有化部署的需求越来越旺盛,但大模型部署和运营成本居高不下,因此显著降低推理成本对推广 AI 应用至关重要。为此,赤兔引擎从底层设计上便将“算力效率”作为首要优化目标,力求以更低资源消耗实现更高性能输出。

本次开源的版本特别聚焦于当前市场最迫切的需求——将DeepSeek-R1 FP8精度模型无损且高效地部署在存量英伟达GPU上。团队表示,针对多款国产芯片特别优化的版本也将陆续开源。这一突破不仅为企业提供了更高效、更灵活的AI部署解决方案,降低了大模型落地门槛,也为国产AI算力的发展带来了新的契机。

此外,清程极智推出基于赤兔的“推理一体机”,提供开箱即用部署方案及专业运维服务,进一步简化企业AI落地流程。  

开源共建:为国产芯片“抢时间”

清程极智CEO汤雄超表示:当前国内在推理引擎这一核心环节,仍缺乏生产级开源产品。开源“赤兔”引擎是助力国内AI生态建设的重要一步。

为加速生态建设,赤兔团队与多家国产芯片厂商展开合作,开放代码贡献通道,缩短硬件适配周期。“开源不仅是技术共享,更是为国产芯片‘抢时间’,当新模型或数据类型出现时,赤兔能助力国产芯片跟上国际节奏,缩小与国际先进芯片之间的‘时间差’。”汤雄超表示。

随着“赤兔”引擎的开源,“国产大模型+国产引擎+国产芯片”技术闭环正在加速成型,中国大模型产业从技术到生态的全面突破,已按下加速键。“无论用什么卡,赤兔都会是高性价比的选择。”赤兔团队的这句话折射出国产AI基础设施从追赶迈向引领的决心。

责编: 爱集微
来源:中科创星 #赤兔引擎# #清程极智# #中科创星#
分享至:
THE END
相关推荐
  • 光电异质集成公司英伟芯科技 获中科创星数千万元天使轮独家投资

  • 高端热电半导体企业中科玻声完成近亿元A轮融资

  • 新时代 新需求 新架构 深度光谱联合创新论坛圆满落幕

  • 钙钛矿设备企业凯伏光电完成天使轮融资,中科创星领投

  • 实时物理AI仿真平台公司松应科技完成数千万元天使轮融资

  • 光电子先导院预计2025年完成1.5亿颗VCSEL芯片出货

评论

文明上网理性发言,请遵守新闻评论服务协议

登录参与评论

0/1000

提交内容
    没有更多评论
爱集微

微信:

邮箱:laoyaoba@gmail.com


11w文章总数
12012.5w总浏览量
最近发布
  • 中兴通讯携手山东联通商用8K算力机顶盒,开启超高清视听新纪元

    1小时前

  • 英诺赛科革新AI算力基建:1.2kW 48V GaN方案突破数据中心PUE局限

    1小时前

  • 无锡高新区硅基光电产业加速崛起,构筑“太湖光谷”新集群!

    1小时前

  • 黄仁勋指出美国出口管制策略错误 英伟达坐失市场、激励中国自主发展决心

    3小时前

  • 新思科技携手英特尔共同推动基于18A和18A-P工艺的埃米级芯片设计

    6小时前

最新资讯
  • 【每日收评】集微指数跌1.11%,苹果正在内测其自主开发AI聊天机器人项目

    23分钟前

  • 【IPO价值观】应收账款风险凸显,海伟电子核心原材料依赖进口

    24分钟前

  • 玟昕科技完成近亿元B+轮融资,系国产高端显示和半导体材料平台

    32分钟前

  • 高性能纯红光钙钛矿LED制备成功

    37分钟前

  • 黄仁勋:CoWoS技术先进,目前无其他选择

    38分钟前

  • 理想MEGA Home正式下线,5月23日开启全国交付

    39分钟前

关闭
加载

PDF 加载中...

集微logo
网站首页 版权声明 集微招聘 联系我们 网站地图 关于我们 商务合作 rss订阅

联系电话:

0592-6892326

新闻投稿:

laoyaoba@gmail.com

商务合作:

chenhao@ijiwei.com

问题反馈:

1574400753 (QQ)

集微官方微信

官方微信

集微官方微博

官方微博

集微app

APP下载

Copyright 2007-2023©IJiWei.com™Inc.All rights reserved | 闽ICP备17032949号

闽公网安备 35020502000344号