通过CKA的球面能最小化提高贝叶斯深度学习中的多样性
机器学习
2024-11-04 v1
摘要
基于粒子的贝叶斯深度学习通常需要一种相似度度量来比较两个网络。然而，朴素的相似度度量缺乏置换不变性，不适用于比较网络。基于特征核的中心化核对齐(CKA)已被提出用于比较深度网络，但尚未被用作贝叶斯深度学习中的优化目标。本文探索在贝叶斯深度学习中使用CKA以生成多样化的集成和输出网络后验的超网络。我们指出，CKA将核函数投射到单位球面上，而当两个网络非常相似时，直接优化CKA目标会导致梯度减弱。我们提出在CKA核函数上采用球面能(HE)的方法，以克服这一缺陷并提高训练稳定性。此外，利用CKA基于特征的核函数，我们推导出应用于合成生成的离群例上的特征排斥项。实验在 diverse 集成和超网络上表明，我们的方法在合成和真实离群检测任务中在不确定性定量方面显著优于基线方法。
引用
@article{arxiv.2411.00259,
title = {Enhancing Diversity in Bayesian Deep Learning via Hyperspherical Energy Minimization of CKA},
author = {David Smerkous and Qinxun Bai and Fuxin Li},
journal= {arXiv preprint arXiv:2411.00259},
year = {2024}
}
备注
NeurIPS 2024