• 行业咨询
  • 品牌营销
  • 集微资讯
  • 知识产权
  • 集微职场
  • 集微投融资
  • 集微企业库
搜索
爱集微APP下载

扫码下载APP

爱集微APP扫码下载
集微logo
资讯集微报告舆情JiweiGPT企业洞察
2025第九届集微半导体大会集微视频
登录登录
bg_img
search_logo
大家都在搜

得一微发布AI-MemoryX显存扩展技术,助力DeepSeek训推一体机

作者: 爱集微 02-28 14:13
相关舆情 AI解读 生成海报
来源:得一微 #得一微# #存储# #存算一体#
3.9w

近日,得一微电子(YEESTOR)发布集成AI-MemoryX技术的显存扩展解决方案。该方案依托自研存储控制芯片和AI存储系统级创新,显著提升单机的显存容量,让32B、70B、110B、671B等DeepSeek系列大模型实现单机微调训练,为AI大模型的微调训练提供功能强大且经济实惠的解决方案。


得一微电子及相关合作伙伴将提供完整的微调训练机解决方案,助力众多行业拓展智能应用边界,在产业竞争中占据先机。

低成本实现显存扩展,解锁百倍大模型微调训练提升

训练和推理对GPU显存的需求存在显著差异。对于同一尺寸的模型,训练所需的显存通常是推理的20倍以上。目前市场上,训推一体机在支持大模型微调训练方面仍面临显存容量的挑战,通常只能支持7B、14B等大模型的微调训练,难以支持110B、70B、32B等更大模型的微调训练。

得一微发布的AI-MemoryX显存扩展卡,将促进训推一体机能够支持超大尺寸大模型的微调训练,帮助客户支持高达110B(甚至671B)规模的训练任务。同时,AI-MemoryX技术将原本需耗费数百上千万的硬件扩充成本,降低至数万元级别,大幅降低了超大模型训练的门槛。这将使得更多企业甚至个人都能够以有限的资源,高效开展大规模模型的训练与微调。

高效解决显存瓶颈,开启单机微调训练新方式

显存不足,一直是单机微调训练超大模型的最大障碍。当下受GPU技术以及商业模式的限制,单张GPU显存容量极为有限,中端显卡的显存容量大多在48GB到64GB之间。以DeepSeek 70B模型为例,微调训练所需的显存高达1TB到2TB,这意味着需要动用30多张显卡;而对于DeepSeek 671B模型,更是需要达到10TB到20TB的显存,对应300多张显卡。如此庞大的硬件需求,不仅成本高昂,还使得部署极为复杂,严重阻碍了大模型单机微调的普及。

得一微电子的AI-MemoryX技术通过其创新性的显存扩展方案,使单机显存容量从传统显卡的几十GB提升到10TB级别,大幅降低了微调训练对GPU数量的需求。得益于此,DeepSeek不同尺寸的大模型(如32B、70B、110B、671B等)仅需1到16张显卡,配合显存扩展技术,即可高效完成单机训练微调。该技术为大模型在各行业的应用推广提供了有力支持。


得一微电子推出的 AI-MemoryX 解决方案,是一个完整的微调训练机方案,涵盖大模型训练框架、显存扩展卡软件栈以及显存扩展卡X200系列,为大模型微调训练提供全方位的技术支持与赋能。

得一微AI-MemoryX技术特色,发掘微调的潜力和价值

监督微调SFT:小样本撬动大效能

华裔科学家、“AI教母”李飞飞团队等研究人员,仅用1000个样本对模型进行监督微调,并创新性地提出预算强制(budget forcing)技术,让s1-32B模型在多个基准测试中超越闭源模型OpenAI o1-preview,成为目前样本效率极高的推理模型。

s1-32B模型并非从零构建,而是基于预训练模型(阿里通义千问 Qwen2.5-32B - Instruct)进行监督微调。这一成果表明,当模型知识基础足够扎实时,少量高质量示例即可通过推理链激活其潜在推理能力,无需依赖海量数据,高效且实用。

思维链微调CoT:注入行业思维,提升推理深度

各行各业都有其独特的思维方式,而精心设计的推理链,不仅能助力模型精准理解问题,还能显著提升其推理的准确性和泛化能力。

DeepSeek通过蒸馏技术,将R1模型的思考能力传递给其他模型,让它们也具备R1级别的思考实力。企业开发者可以提供优质的行业问题与示范,引导模型自主深入思考,以微调为桥梁,将千行百业的人类专家的思维模式和思考过程融入大模型的推理链条中,使模型更契合行业特点和实际需求。

强化学习微调RFT:规则框架下的自我进化

每个行业都有每个行业需要解决的问题和方法。强化学习微调,相当于赋予AI一套复杂的规则与思考框架,使其在反复实践与推理中,逐步掌握解决问题的高效方法。这一训练方式依托微调数据集和测试数据集两大核心数据集。模型先通过微调数据集进行学习,再使用测试数据集验证推理能力,找出不足并针对性调整。通过这种持续迭代的自我训练与验证,模型推理能力不断攀升,最终在特定领域达到专业级水平,为专业应用场景提供强大支撑。

得一微电子,引领存算技术新潮流

得一微电子始终锚定存储控制、存算一体、存算互联领域的技术前沿,致力成为行业领先的芯片设计公司。公司面向企业级、车规级、工业级、消费级等全场景应用,提供量身定制的解决方案与服务。

责编: 爱集微
来源:得一微 #得一微# #存储# #存算一体#
分享至:
THE END
相关推荐
  • 北京大学第四期芯观点•青年学术沙龙成功举办

  • 安徽大学集成电路学院基于忆阻器基存算一体技术实现贝尔曼方程高效求解

  • 得一微定义“AI存力芯片”,让每比特数据创造更多智能

  • 西部数据计划2027年发售36TB HAMR硬盘

  • 三星电子:荆棘王座上的危机

  • 苹芯科技 N300 存算一体 NPU,开启端侧 AI 新征程

评论

文明上网理性发言,请遵守新闻评论服务协议

登录参与评论

0/1000

提交内容
    没有更多评论
爱集微

微信:

邮箱:laoyaoba@gmail.com


11.1w文章总数
12012.5w总浏览量
最近发布
  • 甬华创芯中心两周年:以创新之力铸就未来,以生态协同谱写华章

    21分钟前

  • 【头条】新思主管亲述EDA“断供”始末;

    5小时前

  • 【交付】雷军:小米SU7交付超25万台,预计今年实现盈利;

    5小时前

  • 【批准】英特尔不再批准毛利率低于50%的新项目;

    5小时前

  • 【成立】韩美半导体成立专业团队研发HBM4核心生产设备;

    5小时前

最新资讯
  • 苹果供应商国巨:竞标日本芝浦是“双赢”

    15分钟前

  • 甬华创芯中心两周年:以创新之力铸就未来,以生态协同谱写华章

    21分钟前

  • 商务部回应稀土出口管制:已批准一定数量,将持续加强审批

    22分钟前

  • 凯芯新建年产30000吨半导体专用材料及13500吨配套材料项目开工

    26分钟前

  • 昌硕将于近期公布美国工厂计划 考虑土地、劳动力及电力成本

    37分钟前

  • 美国与阿联酋数据中心项目因安全担忧进展缓慢

    41分钟前

关闭
加载

PDF 加载中...

集微logo
网站首页 版权声明 集微招聘 联系我们 网站地图 关于我们 商务合作 rss订阅

联系电话:

0592-6892326

新闻投稿:

laoyaoba@gmail.com

商务合作:

chenhao@ijiwei.com

问题反馈:

1574400753 (QQ)

集微官方微信

官方微信

集微官方微博

官方微博

集微app

APP下载

Copyright 2007-2023©IJiWei.com™Inc.All rights reserved | 闽ICP备17032949号

闽公网安备 35020502000344号