AROMA：自主秩一矩阵适应
机器学习
2025-04-14 v2 人工智能
摘要
随着大型语言模型的持续增长，参数高效微调（PEFT）变得越来越重要。虽然低秩适应（LoRA）通过低秩更新提供了解决方案，但其静态秩分配可能产生次优结果。自适应低秩适应（AdaLoRA）通过动态分配改进了这一问题，但仍对初始和目标秩配置敏感。我们提出 AROMA，一个框架通过迭代构建秩一组件来自动构建层特定更新，这些组件使用的参数极少且逐渐减少至零。与采用秩减少机制的现有方法不同，AROMA 引入了双循环体系结构进行秩增长。内循环从每个秩一子空间中提取信息，而外循环确定秩一子空间的数量，即最优秩。我们重置优化器状态以维持子空间的独立性。AROMA 相对于 LoRA 和 AdaLoRA 显著减少了参数数量，同时在自然语言理解和常识推理任务上实现了卓越的性能，为适应 PEFT 提供了新的见解。代码可在 \href{https://github.com/ShuDun23/AROMA}{AROMA} 获取。
引用
@article{arxiv.2504.05343,
title = {AROMA: Autonomous Rank-one Matrix Adaptation},
author = {Hao Nan Sheng and Zhi-yong Wang and Mingrui Yang and Hing Cheung So},
journal= {arXiv preprint arXiv:2504.05343},
year = {2025}
}