深度神经网络内部表示上的Vecchia高斯过程集成
机器学习
2025-03-17 v2 机器学习
摘要
对于回归任务，标准高斯过程(GPs)提供自然的 Uncertainty Quantification (UQ，不确定性量化)，而深度神经网络(DNNs)擅长表示学习。神经网络的确定性UQ方法已成功将二者结合，且只需单次通过神经网络。然而，现有方法需改变网络训练以应对特征坍缩，即独特输入映射为相同特征向量。我们提出一种替代方案——深度Vecchia集成(DVE)，它使确定性UQ在特征坍缩存在时仍能工作，无需重新训练网络。DVE由构建于DNN隐藏层输出上的GP集成组成，通过利用最近邻条件独立的Vecchia近似实现可扩展性。DVE兼容预训练网络且计算开销低。我们在多个数据集上展示了DVE的效用，并开展实验以理解所提方法的内部机制。
引用
@article{arxiv.2305.17063,
title = {Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks},
author = {Felix Jimenez and Matthias Katzfuss},
journal= {arXiv preprint arXiv:2305.17063},
year = {2025}
}
备注
22 pages, 9 figures