最小秩，最大置信度：基于子空间推断的参数高效不确定性量化方法
机器学习
2025-09-03 v2
摘要
低秩适配（LoRA）通过将权重更新分解为低秩矩阵，实现了大型语言模型的参数高效微调，显著降低了存储和计算开销。虽然此方法有效，但标准LoRA缺乏不确定性量化机制，导致模型过于自信且校准性差。贝叶斯LoRA变体虽解决了这一问题，但会显著增加可训练参数的数量，部分抵消了原有的效率优势。此外，这些模型更难训练，可能 suffer于收敛不稳定。在本工作中，我们提出了一种基于子空间推断的新型参数高效贝叶斯LoRA，展示了在极低维参数空间中仍可实现有效的不确定性量化。该方法在保持计算效率的同时，实现了卓越的性能，包括 improved 的校准性和泛化能力。我们的实证结果表明，随着合适的权重空间投影：(1) 不确定性可以在低维空间中有效建模，(2) 权重协方差具有低秩特性。
引用
@article{arxiv.2502.12122,
title = {Minimal Ranks, Maximum Confidence: Parameter-efficient Uncertainty Quantification for LoRA},
author = {Patryk Marszałek and Klaudia Bałazy and Jacek Tabor and Tomasz Kuśmierczyk},
journal= {arXiv preprint arXiv:2502.12122},
year = {2025}
}
备注
Accepted to Findings of the Association for Computational Linguistics: EMNLP 2025