校准适应：基于斯特弗埃尔曼先验的贝叶斯参数高效微调
机器学习
2026-02-23 v1
摘要
参数高效微调方法如 LoRA 使大型语言模型的实际适应成为可能，但未提供原则性的不确定性估计，导致预测校准不良，在域迁移下行为不可靠。我们引入 Stiefel-Bayes Adapters(SBA)，一种基于斯特弗埃尔曼(manifold)上正交适配器因子的矩阵 Langevin 先验的贝叶斯 PEFT 框架，通过切空间拉普拉斯近似和大地测线校正实现近似后验推断。与在平坦空间中投影到正交约束的高斯先验不同，我们的斯特弗埃尔曼上的先验自然编码了适配器子空间应良好条件且正交的归纳偏置，而后验则在无需重新校准的情况下提供校准的预测不确定性。我们形式性地证明了切空间近似严格避免了从环境空间投影中固有的结构方差膨胀，确立了内在manifold 推断的严格理论优势。在 GLUE 和 SuperGLUE 基准测试中使用 RoBERTa-large、LLaMA-2-7B、LLaMA-2-13B、Mistral-7B 和 Qwen2.5-7B进行评估，域迁移评估、选择性预测协议以及抽象摘要任务，SBA 在相当于 LoRA 和 DoRA 的任务性能方面表现相当，同时在确定性基准中将预期校准误差降低 18%至 34%，在域迁移下将选择性预测 AUROC 提升 12%至 25%，并在参数成本的几分之一情况下超过五个 LoRA 模型的深度集成在 OOD 检测方面。我们的结果表明，不确定性应置于正确的几何结构上，比仅在适配器上添加任何贝叶斯处理更为重要。
引用
@article{arxiv.2602.17809,
title = {Calibrated Adaptation: Bayesian Stiefel Manifold Priors for Reliable Parameter-Efficient Fine-Tuning},
author = {Ibne Farabi Shihab and Sanjeda Akter and Anuj Sharma},
journal= {arXiv preprint arXiv:2602.17809},
year = {2026}
}