关于单前向传播不确定性的特征坍缩与深度核学习
机器学习
2022-03-08 v3 机器学习
摘要
诱导点高斯过程近似常被视为不确定性估计的黄金标准，因其保留了精确高斯过程的诸多性质并可扩展至大型数据集。一个主要缺陷是难以扩展到高维输入。深度核学习(DKL)提供了一种方案：深度特征提取器对输入进行变换，在其上定义诱导点高斯过程。然而，实践证明DKL提供的不确定性估计并不可靠。我们研究了其原因，并表明在无约束情况下，DKL目标会将“远离”的数据点推至与训练集点相同的特征处。基于该见解，我们提出通过双 Lipschitz 约束限制DKL的特征提取器以近似保持距离，从而得到利于DKL的特征空间。我们获得了一个模型DUE，其不确定性质量优于先前的DKL及其他单前向传播不确定性方法，同时保持了标准神经网络的速度与精度。
引用
@article{arxiv.2102.11409,
title = {On Feature Collapse and Deep Kernel Learning for Single Forward Pass Uncertainty},
author = {Joost van Amersfoort and Lewis Smith and Andrew Jesson and Oscar Key and Yarin Gal},
journal= {arXiv preprint arXiv:2102.11409},
year = {2022}
}