基于低秩适应贝叶斯重参数化的大语言模型鲁棒高效微调
机器学习
2025-08-05 v3 计算与语言
摘要
大语言模型（LLMs）由于其庞大的规模，进行微调非常耗费资源。虽然低秩适应是一种突出的参数高效微调方法，但它对超参数选择敏感，导致在下游任务上微调模型性能不稳定。本文强调了低秩微调中有效参数化的重要性，以减少估计器方差并增强最终模型输出的稳定性。我们提出了 MonteCLoRA，一种高效的微调技术，利用蒙特卡洛估计来学习低秩参数的无偏后验估计，具有低期望方差，从而仅使用 O(r) 个额外参数（给定秩 r）来稳定微调后的 LLM。MonteCLoRA 在使用预训练 RoBERTa-base 的自然语言理解任务上，相比无正则化的低秩适应方法，准确率提高了 0.5%，鲁棒性提高了 1.6%。此外，在生成任务中使用预训练的 LLaMA-1-7B 和 LLaMA-3.2-3B-Instruct，MonteCLoRA 分别展示了比当代高效微调方法低 50% 和 62% 的波动。本文呈现的理论和实证结果强调了参数化和超先验如何在低秩参数空间中平衡探索与利用，从而在高效微调过程中实现更优和更鲁棒的参数估计。
引用
@article{arxiv.2411.04358,
title = {Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation},
author = {Ayan Sengupta and Vaibhav Seth and Arinjay Pathak and Aastha Verma and Natraj Raman and Sriram Gopalakrishnan and Niladri Chatterjee and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2411.04358},
year = {2025}
}
备注
The paper is accepted in TMLR'25