面向大语言模型的块循环适配器
计算与语言
2025-07-16 v2 机器学习
摘要
由于模型规模庞大，微调大语言模型（LLMs）十分困难。近期基于傅里叶域的方法展现了降低微调成本的潜力。我们提出一种基于块循环矩阵的微调方法，并结合稳定的训练启发式策略，利用循环矩阵和一维傅里叶变换的性质来降低存储与计算开销。实验表明，与 VeRA 相比，我们的方法使用的参数量减少 ，比 LoRA 小 ，比 FourierFT 少 的 FLOPs，同时保持相近或更优的任务性能。我们的方法为在频域内对大模型进行下游任务微调提供了一种有前景的途径。
引用
@article{arxiv.2505.00582,
title = {Block Circulant Adapter for Large Language Models},
author = {Xinyu Ding and Meiqi Wang and Siyu Liao and Zhongfeng Wang},
journal= {arXiv preprint arXiv:2505.00582},
year = {2025}
}
备注
to appear in Proceedings of the 2025 International Joint Conference on Artificial Intelligence (IJCAI-2025)