中山大学集成电路学院

热烈祝贺

CONGRATULATION

北京时间4月29日晚，CCFA类国际会议IJCAI 2025公布文章录用结果。集成电路学院2023级研究生丁心雨同学以第一作者身份完成的两篇学术论文成功被会议接收，题目分别为《Block Circulant Adapter for Large Language Models》和《Parameter-Efficient Fine-Tuning with Circulant and Diagonal Vectors》。

丁心雨同学的指导老师王中风教授和廖思宇老师（预聘助理教授）是共同作者，廖老师对相关科研工作提供了大力支持，并给出了许多具体的指导意见。

论文一：Block Circulant Adapter for Large Language Models

这篇文章提出了一种基于频域表征的高效大语言模型适配器微调方法。通过借鉴分块循环矩阵的训练范式，并利用快速傅里叶变换算法将可训练参数投影到频域空间，该方法在保持与当前最先进频域微调算法相当性能的前提下，实现了计算复杂度和空间复杂度的显著降低。

研究首次揭示了循环矩阵在训练过程中存在的稳定性问题，并据此设计了一种启发式训练策略，实验验证了该方法的收敛稳定性。在LLAMA2-7B模型上的实验表明，相较于现有最优频域微调方法，本方法在保持可比微调性能的同时，将浮点运算量降低了两个数量级。

图1： 基于频域表征的微调示意图

论文二：Parameter-Efficient Fine-Tuning with Circulant and Diagonal Vectors

此论文提出了一种基于特殊矩阵分解结构的高效微调方法，在保证模型性能的同时显著降低了计算和存储开销。基于现有矩阵理论中关于稠密矩阵可分解为交错循环矩阵与对角矩阵乘积的结论，该研究创新性地将该分解形式应用于模型微调过程，通过灵活调节分解矩阵数量来实现训练参数量的精确控制。实验验证表明，在Roberta-base模型上，该方法仅需传统LoRA方法约1/6的参数量即可达到相当的微调效果。

图2：基于交错的循环矩阵

与对角矩阵微调方法示意图

结语

SUNMMARY

中山大学集成电路学院成立于2021年春天，它持续深化融合创新，强化集成电路与人工智能交叉学科建设。近期学院研究生取得了一系列突出的科研成果，彰显了学院在前沿领域的创新实力。学院始终以服务国家战略需求为导向，通过构建“理论-设计-工艺-智能微系统集成”全链条培养体系，着力提升学生的集成电路分析力、创造力和智能化实践能力，致力培养具有国际视野、能攻克“卡脖子”难题的领军人才。