通过神经正切核解耦深度集成预测方差的来源
机器学习
2022-10-19 v1
摘要
识别不熟悉输入，即分布外（OOD）检测，是任何决策过程的关键属性。一种简单且经实证验证的技术基于深度集成，其中不同神经网络预测结果的方差作为输入不确定性的替代。然而，对于导致深度集成不确定性估计性能的归纳偏置，尚缺乏理论理解。为了改进对其行为的描述，我们研究了在简化线性训练机制下具有大层宽度的深度集成，其中用梯度下降训练的函数可由神经正切核描述。我们识别出两种噪声源，每种都在初始化时的预测方差中诱导出不同的归纳偏置。我们进一步从理论和实证上表明，这两种噪声源在训练后的玩具模型和现实设置中均影响非线性深度集成的预测方差。最后，我们提出了消除部分噪声源的实用方法，从而在训练后的深度集成中带来显著变化并改善 OOD 检测。
引用
@article{arxiv.2210.09818,
title = {Disentangling the Predictive Variance of Deep Ensembles through the Neural Tangent Kernel},
author = {Seijin Kobayashi and Pau Vilimelis Aceituno and Johannes von Oswald},
journal= {arXiv preprint arXiv:2210.09818},
year = {2022}
}