投影子空间中的贝叶斯微调
机器学习
2026-05-11 v1
摘要
低秩适应（LoRA）通过将权重更新分解为低秩矩阵，实现了大型模型的参数高效微调，显著减少存储和计算开销。虽然效果良好，但标准LoRA缺乏不确定性量化机制，导致模型过于自信且校准不良。贝叶斯LoRA变体解决了这一限制，但增加了大量可训练参数，部分抵消了原始效率优势。此外，这些模型难以训练，可能 suffer于不稳定收敛。在本工作中，我们提出一种参数高效贝叶斯微调的新框架，展示了在极低维参数空间中仍可实现有效的不确定性量化。该方法在保持计算效率的同时实现了卓越性能，改进了校准和泛化。我们的实证发现，随着适当的权重空间投影，权重不确定性可在低维空间中有效建模，权重协方差具有低秩特征。
引用
@article{arxiv.2605.07706,
title = {Bayesian Fine-tuning in Projected Subspaces},
author = {Viktar Dubovik and Patryk Marszałek and Jacek Tabor and Tomasz Kuśmierczyk},
journal= {arXiv preprint arXiv:2605.07706},
year = {2026}
}