北京大学集成电路学院论文入选CVPR 2026 Highlight论文

来源:北京大学集成电路学院 #王源教授团队# #多曝光图像融合# #脑电认知先验#
1553

2026年6月3日-6月7日,CVPR 2026(IEEE/CVF Conference on Computer Vision and Pattern Recognition)在美国科罗拉多州丹佛市举行。CVPR是计算机视觉与模式识别领域公认的全球顶级学术会议,在谷歌学术所有领域科学期刊/会议的影响力排名(2025年版)中位列第二。北京大学集成电路学院王源教授团队及其合作者成果获评CVPR 2026 Highlight亮点论文。今年CVPR大会共收到16,092篇投稿,接收4,071篇,接收率为25.3%。其中141篇被评为Highlight亮点论文,占全部投稿的不足0.9%,代表了会议的最高学术水准。

多曝光图像融合是计算摄影、自动驾驶感知与消费电子等领域的基础任务。当前,深度学习驱动的融合方法在将认知科学引入视觉增强时面临两大核心瓶颈:其一,现有优化目标普遍依赖PSNR、SSIM等像素级统计指标,与人类真实视觉感知之间存在显著鸿沟,难以捕获视觉舒适度、伪影容忍度等细粒度感知因素;其二,脑电信号(EEG)虽能以毫秒级精度直接捕获人脑认知响应,但现有EEG-视觉数据集均面向高层识别任务,缺少曝光变化场景的认知数据,且EEG仅在训练阶段可获取、推理时无法采集,形成“特权信息”悖论。

针对上述挑战,北京大学集成电路学院王源教授团队联合军事医学研究院伯晓晨研究员、大连理工大学刘晋源副教授联合提出一种基于双层优化的认知蒸馏框架,首次实现了脑电认知先验向纯视觉模型的高效迁移。该框架具备两大核心特征:一是构建了首个多曝光融合脑电认知数据集Cog-Expo,累计获得10,800个高质量EEG-图像配对样本,在数据基础设施层面首次连接了神经科学与计算摄影;二是提出基于双层优化(BLO)的Teacher–Student认知蒸馏架构,Teacher网络(Mental Integrated Transformer)通过空间-认知交叉注意力将EEG编码的认知token与视觉特征动态交互,自适应增强感知显著区域并以目标认知状态引导重建;Student网络仅接受图像输入,通过耦合优化使Teacher的学习以Student当前能力为动态上下文,确保Teacher学到的知识“天然可蒸馏”,推理阶段完全脱离脑电设备。

实验结果表明,该方法相较于此前性能最优的多曝光融合方法,在SICE基准上PSNR提升3.9%、SSIM提升6.9%,在MEF-LUT基准上SSIM提升达13.8%;在无参考的MEFB基准上取得最优BRISQUE与MUSIQ得分,融合结果在人类视觉舒适度上具有显著优势。模型参数量仅1.37M,计算量30.87 GFLOPs,保持轻量高效。消融实验进一步验证,仅图像训练基线PSNR为17.90,引入EEG但不蒸馏为18.98,完整认知蒸馏框架大幅提升至23.76,双层优化相比两阶段训练和联合训练分别带来3.2 dB和1.7 dB的增益。

该成果以《Human-Centric Multi-Exposure Fusion: Benchmark and Bi-level Cognition Distillation Framework》为题发表于CVPR 2026,并获评为Highlight亮点论文。博士生尚敬捷为第一作者,通讯作者为刘晋源、王源、伯晓晨。

责编: 集小微
来源:北京大学集成电路学院 #王源教授团队# #多曝光图像融合# #脑电认知先验#
THE END
关闭
加载

PDF 加载中...