通过变分学习改进 LoRA
机器学习
2025-06-18 v1 人工智能
计算与语言
机器学习
摘要
贝叶斯方法最近被用于改进 LoRA 微调，尽管它们在校准方面有所提升，但对其他指标（如准确率）的影响有限，甚至有时会适得其反。此外，贝叶斯方法还增加了计算开销，并需要额外的技巧才能发挥良好效果。本文通过采用最近提出的变分算法 IVON 来解决上述问题。我们展示了 IVON 易于实现且计算成本类似于 AdamW，然而它仍能通过简单的后验修剪技术大幅改善许多指标。在巨型语言模型（Llama 和 Qwen 系列）上进行了广泛实验，实验规模远超现有 IVON 应用的范围。例如，我们在一组常识推理任务上微调 Llama-3.2-3B 模型，准确率相比 AdamW 提升 1.3%，ECE 降低 5.4%，超越 AdamW 以及其他最新贝叶斯方法如 Laplace-LoRA 和 BLoB。总体而言，我们的结果表明，基于 IVON 的变分学习能够有效改进 LoRA 微调。
引用
@article{arxiv.2506.14280,
title = {Improving LoRA with Variational Learning},
author = {Bai Cong and Nico Daheim and Yuesong Shen and Rio Yokota and Mohammad Emtiyaz Khan and Thomas Möllenhoff},
journal= {arXiv preprint arXiv:2506.14280},
year = {2025}
}
备注
16 pages, 4 figures