Nature Communications | 南科大深港微电子学院王中锐课题组在面向生成式人工智能的忆阻器类脑计算硬件方面取得新进展

来源:南方科技大学深港微电子学院 #忆阻器# #存内计算# #扩散模型#
943

随着生成式人工智能(AIGC)在文生图、文生视频、具身智能和世界模型等领域快速发展,以扩散模型为代表的生成式算法正在成为模拟人类想象力的重要技术路径。然而,当前扩散模型在传统数字计算平台上仍面临速度慢、能耗高等瓶颈。一方面,冯·诺依曼架构中存储与计算单元分离,造成大量数据搬移;另一方面,扩散模型本质上依赖神经微分方程求解,数字计算机通常需要将连续生成过程离散化,从而带来额外的时间和能耗开销。

围绕上述问题,南方科技大学王中锐课题组联合香港大学、中科院微电子所、复旦大学、华中科技大学等单位,提出了一种基于忆阻器存内计算的连续时间神经微分方程求解器,用于加速基于分数的扩散生成模型。相关成果以“Resistive memory-based neural differential equation solver for score-based diffusion model”为题,发表于国际著名期刊 Nature Communications(DOI: 10.1038/s41467-026-72900-z)。

该系统的核心思想是将扩散模型中的神经微分方程直接映射到模拟硬件中求解。忆阻器单元以电导形式存储神经网络权重,并在存储位置直接完成乘加运算,从而缓解传统计算架构中的数据搬移瓶颈。同时,研究团队通过模拟电路构建闭环反馈,使系统能够以时间连续、模拟信号的形式自主演化,物理实现扩散模型的采样过程。与依赖离散时间步迭代的数字计算平台相比,该方案在计算范式上更接近大脑中连续、模拟和随机的神经过程,有望为未来快速、低功耗的生成式边缘智能系统奠定基础。

图1展示了人脑、传统数字计算机与本研究提出的软硬件协同系统在想象模型、计算架构和信号表示三个维度上的对比。该系统在计算架构上借鉴大脑的存算一体特征,在信号表示上采用连续模拟形式,从而更自然地匹配扩散模型中的连续生成过程。

图 1 类脑生成模型、计算架构与信号表征的软硬件协同设计

图2展示了忆阻器件表征与神经微分方程求解器的硬件实现。研究团队基于 180 nm 工艺制备的 32 × 32 1T1R 忆阻器存内计算单元,验证了器件的电导可编程能力、稳定保持特性以及阵列级权重映射能力,为模拟神经网络的硬件实现提供了基础。

图 2 忆阻器件特性与神经微分方程求解器电路设计

图3和图4分别展示了该系统在无条件生成和条件生成任务中的实验验证。在简单二维分布生成任务中,系统能够将初始高斯分布样本连续演化为目标分布;在手写字母条件生成任务中,系统实现了对不同字母图片的可控生成。相较于GPU上的软件实现,评估结果显示,在生成质量基本保持不变的前提下,该系统在无条件和有条件生成任务中预计可分别带来约 69.0 倍和 116.5 倍的速度提升,并分别降低约 31.5% 和 52.0% 的能耗。

图3基于忆阻器连续时间求解器的无条件简单分布生成实验

图 4 基于潜空间扩散模型的手写字母条件生成实验

图5分析了忆阻器噪声对生成性能的影响。结果表明,基于分数的扩散模型本身具有随机生成特征,对一定范围内的模拟器件噪声具有较好的鲁棒性,体现出扩散生成算法与忆阻器模拟硬件之间良好的匹配关系。

图 5 忆阻器噪声及其对生成性能的影响

本项研究由南方科技大学、香港大学、中科院微电子所、复旦大学、华中科技大学联合牵头完成。第一作者为南方科技大学访问研究人员、香港大学在读博士生杨佶昌、香港大学在读博士生陈和甘以及华中科技大学陈佳副教授。通讯作者为南方科技大学王中锐副教授、中国科学院微电子研究所尚大山研究员、复旦大学张续猛副研究员和华中科技大学陈佳副教授。该研究得到国家自然科学基金、微电子所联合实验室项目基金以及香港研究资助局优配研究金等项目的资助。

责编: 集小微
来源:南方科技大学深港微电子学院 #忆阻器# #存内计算# #扩散模型#
THE END
关闭
加载

PDF 加载中...