神经端点核中的认知不确定性与观察噪声
机器学习
2024-09-11 v2 机器学习
摘要
最近的工作表明，使用梯度下降训练宽神经网络等价于计算以神经端点核（NTK）作为先验协方差且零aleatoric噪声的高斯过程后验分布的均值。在本文中，我们以两种方式扩展了这一框架。首先，我们展示了如何处理非零aleatoric噪声。其次，我们推导了后验协方差的估计器，从而掌握认知不确定性。我们提出的方法可以无缝集成到标准训练管道中，因为它涉及使用梯度下降对均方误差损失训练少量额外预测器。我们通过在合成回归问题上的实证评估展示了该方法的概念证明。
引用
@article{arxiv.2409.03953,
title = {Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel},
author = {Sergio Calvo-Ordoñez and Konstantina Palla and Kamil Ciosek},
journal= {arXiv preprint arXiv:2409.03953},
year = {2024}
}
备注
11 pages including appendix. Fix incorrect author affiliations in the initial revision due to typos