2025年开年,国产AI大模型DeepSeek以惊人的速度席卷科技产业,用户规模突破亿级。作为一款基于Transformer架构的先进推理模型,DeepSeek参数规模庞大,对硬件计算能力、内存容量和带宽都提出了极高要求。
奕斯伟计算在搭载了自研RISC-V AI SoC EIC77系列芯片——EIC7700X和EIC7702X的EVB开发板上,成功完成对DeepSeek模型的适配。
搭载奕斯伟计算EIC77系列芯片的EVB板
EIC7700X/7702X内嵌NPU、GPU、DSP等硬件加速模块,配备大容量、高带宽的LPDDR5内存,确保在处理DeepSeek大规模模型时能够充分利用硬件资源,快速搬运大模型参数,从而显著提升推理效率。
测试结果显示(见下图),在运行7b参数规模的DeepSeek-distill-qwen模型时,搭载奕斯伟计算EIC7700X芯片的EVB开发板可达7 tokens/s的推理速度,搭载奕斯伟计算EIC7702X芯片的EVB开发板可达14 tokens/s的推理速度,展现出远超同类架构的高能效比。
奕斯伟计算RISC-V AI SoC芯片
适配DeepSeek模型测试结果
EIC77系列芯片是奕斯伟计算自主研发的12nm RISC-V AI SoC,内嵌4核64位乱序执行RISC-V P550 CPU和自研高性能NPU, 以及DSP、 GPU,、H.264/H.265编解码器,芯片的AI处理性能可以达到20 TOPS INT8,可以支持32GB 存储容量的LPDDR5@6400,支持全栈浮点计算及大语言模型。
其中,双Die AI SoC EIC7702X内嵌8核64位乱序RISC-V P550 CPU,AI处理能力可达40 TOPS INT8,可支持64GB存储容量的LPDDR5@6400。
EIC7700X模块框图
EIC7700X(左)与EIC7702X(右)芯片
搭载EIC7700X/EIC7702X芯片的EVB板,拥有32/64 GB LPDDR存储容量,4/8通道Gen3 PCIe接口,支持SATA3、HDMI2.0、1000M Ethernet、USB3.2、MIPI等丰富接口,可以实现机器视觉、目标分类、目标定位、图像分割、动作姿态识别、自然语言处理等功能,可广泛应用于安全运营、智慧政务、工业检测、智慧教育、无人驾驶、机器人、无人机、智慧交通等应用场景。
除开发板外,EIC77系列产品还涵盖AI BOX、AI PC、服务器加速卡等多种产品形态,适用于云、边、端等多种工作场景,多维度实现AI处理。
应用场景广泛
EIC77系列芯片短时间内快速完成了对DeepSeek大模型的适配工作,充分展示了奕斯伟计算RISC-V AI SoC芯片的高算力利用率和开发软件工具的通用性与便捷性,能够适应多种深度学习算法模型,易于使用,体现了奕斯伟计算的芯片与工具链经过多代架构迭代后的工程实用性。
随着AI技术的快速发展,奕斯伟计算将沿着RISC-V+AI的技术路线,以更具性能优势、能效比更高的芯片与方案,不断拓展更多应用场景,为千行百业提供AI算力支持。