当前,边缘智能硬件系统正越来越多地将各种类型的视觉传感器集成于一体以提升系统性能。在边缘智能系统上对不同传感器输出的多模态数据进行分析,对各种新型应用如增强现实/虚拟现实、无人机等较为重要。这对软硬件系统提出了挑战。目前,多模态信号在数据结构上的异构性导致边缘系统开发具有较高复杂性,传统数字硬件的性能受限于物理分离的存储与计算单元以及晶体管尺寸缩放的物理极限。随着模型规模持续扩大,其复杂的训练过程加剧了上述限制。
近日,中国科学院微电子研究所研究员尚大山与南方科技大学博士王中锐合作,通过软硬件协同设计,开发出基于随机阻变存储器的深度极限点云学习机系统。该研究提出了新颖的软硬件协同设计系统——基于随机电阻存储器的深度极限点云学习机(DEPLM),可支持高效统一的点集分析。在数据层面,研究将多模态数据统一表示为点集,实现了通用化处理;在软件层面,研究提出深度极限点云学习机,同时大部分权重无需训练,降低了训练复杂度;在硬件层面,阻变存储器可以实现存储与计算一体化,并可以利用其固有的编程随机性生成DEPLM的随机稀疏权重,从而抑制读取噪声的影响。
进一步,该研究在多种数据类型和两类学习任务中验证了这一系统的普适性。与传统数字硬件系统相比,该协同设计系统实现了能效提升并降低了训练成本。
这一基于随机阻变存储器的深度极限点云学习机,有望为跨模态、跨任务的高能效、易训练边缘智能系统开辟新路径。
相关研究成果发表在《自然-通讯》(Nature Communication)上。研究工作得到科学技术部、国家自然科学基金委员会、中国科学院及香港研究资助局的支持。
基于随机阻变存储器的深度极限点云学习机软硬件设计
