CTR-LoRA：基于曲率感知和信任域引导的大语言模型低秩适配
机器学习
2025-10-21 v1 人工智能
摘要
参数高效微调(PEFT)已成为在有限计算和内存预算下适配大语言模型的标准方法。虽然先前的方法通过低秩更新、量化或启发式预算重新分配来提高效率，但它们常常将容量分配与训练期间更新的演化方式脱钩。在本工作中，我们引入了CTR-LoRA，一种由曲率信任域指导的框架，将秩调度与稳定性感知优化集成。CTR-LoRA根据来自轻量二阶代理的边际效用分配参数，并使用Fisher/Hessian度量信任域约束更新。在多个开源主干模型(7B-13B)上进行的实验中，在分布内和分布外基准测试上均显示出比强大的PEFT基线方法的持续改进。除了提高准确度，CTR-LoRA还增强了训练稳定性，降低了内存要求，实现了更高的吞吐量，在性能和效率的帕累托前沿上占据重要位置。这些结果突显了一条更加稳健和可部署的PEFT的原则性路径。
引用
@article{arxiv.2510.15962,
title = {CTR-LoRA: Curvature-Aware and Trust-Region Guided Low-Rank Adaptation for Large Language Models},
author = {Zhuxuanzi Wang and Mingqiao Mo and Xi Xiao and Chen Liu and Chenrui Ma and Yunbei Zhang and Xiao Wang and Smita Krishnaswamy and Tianyang Wang},
journal= {arXiv preprint arXiv:2510.15962},
year = {2025}
}