关于LoRA-based贝叶斯推断中低损失谷的构建与影响
机器学习
2026-05-29 v1 机器学习
摘要
虽然类似低秩适应（LoRA）这样的参数高效微调方法已成为大语言模型的标准，但对认识不确定性的原则性估计仍具有挑战。最近的研究表明，在LoRA regime中，诸如深度集成等离散多模方法相对于单模方法几乎没有额外收益。这与深度学习中集成多个独立最优点以提高泛化能力的常规观察相矛盾，链接这些模式通过连续低损失谷进一步增强贝叶斯模型平均（BMA）。LoRA空间中是否存在此类结构，以及其是否产生被局部或离散方法遗漏的功能多样性尚未被研究。我们引入LoRA-Curve，即LoRA空间中的分段 Bezier 曲线参数化，包含两种变体：一种是自由配置，联合优化所有控制点；另一种是锚定配置，连接独立微调的 LoRA 最优点。我们证明了沿该曲线的损失在路径上连续且满足 Lipschitz 正则性，并通过在 Qwen2.5 7B 上的推理和分类基准实验，证明线性插值遇到损失障碍，而我们的锚定多段曲线通过连续低损失谷连接独立最优点。结合平坦最小值的扰动和 Jensen-Shannon 散度正则化，LoRA-Curve 在不牺牲性能的前提下，实现了预测分布的可测量更高的互信息，并将参数空间的连续遍历与功能多样性联系起来。
引用
@article{arxiv.2605.29580,
title = {On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference},
author = {Daniel Dold and Emanuel Sommer and Julius Kobialka and Oliver Dürr and David Rügamer},
journal= {arXiv preprint arXiv:2605.29580},
year = {2026}
}