上下文相似性蒸馏：以单一模型实现集成不确定性

不确定性量化是强化学习与深度学习的关键环节，具有从高效探索、稳定的离线强化学习到医疗诊断中的异常值检测等众多应用。然而，现代神经网络的规模使得许多具有充分理论依据的方法（如完全贝叶斯推断）难以应用。深度集成等近似方法可以提供可靠的不确定性估计，但计算成本依然高昂。在本工作中，我们提出上下文相似性蒸馏，这是一种新颖的方法，能够以单一模型显式估计深度神经网络集成的方差，而无需事先训练或评估该集成模型。我们的方法基于由神经正切核支配的宽神经网络的可预测学习动态，推导出无限集成预测方差的高效近似。具体而言，我们将集成方差的计算重新表述为一个以核相似性为回归目标的监督回归问题。所得模型能够在推理阶段通过单次前向传播估计预测方差，并可利用无标签目标域数据或数据增强来优化其不确定性估计。我们在多种分布外检测基准和稀疏奖励强化学习环境中对方法进行了实证验证。结果表明，我们的单一模型方法表现优异，有时甚至超越基于集成的基线方法，并可作为高效探索的可靠信号。我们相信，这些结果确立了上下文相似性蒸馏作为强化学习与通用深度学习中不确定性量化的一种有原则且可扩展的替代方案。