BaLoRA：大规模模型的贝叶斯低秩适配
机器学习
2026-05-12 v1 人工智能
摘要
低秩适配（LoRA）已成为以降低的计算成本微调大型预训练模型的标准方法。然而，其低秩点估计更新限制了表达能力，与全量微调精度之间持续存在差距，并且不提供内置的不确定性量化，这限制了其在可靠性与准确性同等重要的场景中的适用性。我们引入了 BaLoRA，这是 LoRA 的一种贝叶斯扩展，具有一种新颖的输入自适应贝叶斯参数化 LoRA 矩阵的方法，该方法增加的参数和计算量极少。令人惊讶的是，贝叶斯扩展不仅产生了校准良好的不确定性估计，而且我们方法中底层的自适应噪声注入也显著提高了预测精度，缩小了在自然语言推理和视觉任务上与全量微调的差距。当应用于金属有机框架的带隙预测时，BaLoRA 产生的零样本测试时不确定性估计与模型误差的相关性，比训练好的 LoRA 模型集成更强，并且在不牺牲精度的情况下随计算量单调改善。
引用
@article{arxiv.2605.08110,
title = {BaLoRA: Bayesian Low-Rank Adaptation of Large Scale Models},
author = {Dario Coscia and Sindy Löwe and Max Welling},
journal= {arXiv preprint arXiv:2605.08110},
year = {2026}
}