基于 IVON 的变分低秩适配
机器学习
2024-11-12 v2 人工智能
计算与语言
机器学习
摘要
我们表明，变分学习可在不显著增加计算成本的前提下，显著提升低秩适配 (LoRA) 的准确率和校准水平。我们将 AdamW 替换为改进的变分在线 Newton (IVON) 算法，用于微调大型语言模型。以 70 亿参数的 Llama-2 为例，IVON 在准确率上相比 AdamW 提升 2.8%，在预期校准误差上提升 4.6%。IVON 的准确率也优于其他贝叶斯方法，同时计算成本更低且实现更简便。我们的工作为 IVON 在大型语言模型上的有效性提供了 additional 证据。代码已公开于 https://github.com/team-approx-bayes/ivon-lora。
引用
@article{arxiv.2411.04421,
title = {Variational Low-Rank Adaptation Using IVON},
author = {Bai Cong and Nico Daheim and Yuesong Shen and Daniel Cremers and Rio Yokota and Mohammad Emtiyaz Khan and Thomas Möllenhoff},
journal= {arXiv preprint arXiv:2411.04421},
year = {2024}
}
备注
Published at 38th Workshop on Fine-Tuning in Machine Learning (NeurIPS 2024). Code available at https://github.com/team-approx-bayes/ivon-lora. In version 2 we fixed a typo in the equation of prior in section 2