通过正交化低秩适配器实现大语言模型的可扩展变分贝叶斯微调
机器学习
2026-04-07 v1 机器学习
摘要
当将大语言模型（LLMs）部署到安全关键型应用中时，不确定性量化（UQ）对于自我评估基于LLM决策的可靠性至关重要。然而，这类决策通常会遭受过度自信的困扰，尤其是在针对数据有限的下游特定领域任务进行参数高效微调（PEFT）之后。缓解此问题的现有方法要么依赖于基于拉普拉斯近似的事后框架，这可能会根据训练轨迹产生次优校准；要么依赖于变分贝叶斯训练，这需要在推理时对整个LLM骨干网络进行多次完整前向传播以进行蒙特卡洛估计，从而给部署带来可扩展性挑战。为了解决这些限制，我们基于贝叶斯最后一层（BLL）模型进行构建，在该模型中，基于LLM的确定性特征提取器后接随机最后一层参数以进行不确定性推理。由于用于PEFT的现有低秩适配器（LoRA）因秩崩溃而表达能力有限，我们通过极分解低秩适配器表示（PoLAR）来解决此问题，这是一种正交化参数化方法，配合黎曼优化，以实现更稳定且更具表达力的适应。在此PoLAR-BLL模型的基础上，我们利用变分（V）推理框架，提出了一种可扩展的贝叶斯微调方法，该方法通过交替优化联合寻找PoLAR参数和最后一层参数的近似后验。由此产生的PoLAR-VBLL是一个灵活的框架，它将架构增强优化与可扩展贝叶斯推理巧妙地集成在一起，赋予LLMs良好校准的不确定性量化能力。我们的实证结果验证了PoLAR-VBLL在各种常识推理任务的分布内和分布外数据上，在泛化和不确定性估计方面的有效性。
引用
@article{arxiv.2604.03388,
title = {Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters},
author = {Haotian Xiang and Bingcong Li and Qin Lu},
journal= {arXiv preprint arXiv:2604.03388},
year = {2026}
}