LoRA-Ensemble：自注意力网络的高效不确定性建模
机器学习
2026-03-10 v5
摘要
众多现实决策依赖于机器学习算法，要求提供校准的不确定性估计。然而，现代方法往往会产生过于自信且不够校准的预测。量化模型固有不确定性的主流方法是训练一组独立的预测器并测量其经验方差。在显式实现中，ensemble 会带来高计算成本和内存开销，尤其是当底模型本身已经很大时，如现代 transformer。由此驱动，发展出一种在不显式实例化所有成员的前提下模拟 ensemble 的隐式方法成为必要。这促使我们引入 LoRA-Ensemble，这是一种用于自注意力网络的参数高效 ensemble 方法。它基于低秩适应(LoRA)，该方法最初是为高效 LLM 微调开发的，并将其扩展为一种隐式 ensemble 框架，在该框架中，所有 ensemble 成员共享相同的预训练自注意力网络，但具有用于注意力投影的各自独立的低秩矩阵。该方法不仅超过了诸如 BatchEnsemble 等最先进的隐式技术，甚至可以匹配或超过显式 ensemble 的准确率，同时实现了更好的校准。
关键词
引用
@article{arxiv.2405.14438,
title = {LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks},
author = {Dominik J. Mühlematter and Michelle Halbheer and Alexander Becker and Dominik Narnhofer and Helge Aasen and Konrad Schindler and Mehmet Ozgur Turkoglu},
journal= {arXiv preprint arXiv:2405.14438},
year = {2026}
}