基于输入梯度空间的神经网络集成粒子推断
机器学习
2024-03-06 v3 机器学习
摘要
深度集成（DEs）相较单一神经网络在准确率、校准性以及对扰动的鲁棒性上表现更优，部分归因于其功能多样性。基于粒子的变分推断（ParVI）方法通过形式化基于网络相似度核的排斥项来增强多样性。然而，由于过参数化，权重空间排斥效率低下，而直接的函数空间排斥被发现相较 DEs 改进甚微。为规避这些困难，我们提出一阶排斥深度集成（FoRDE），一种基于 ParVI 的集成学习方法，其在输入一阶梯度空间中进行排斥。由于输入梯度在平移意义下唯一刻画一个函数，且维度远小于权重，该方法保证集成成员在功能上不同。直观上，使输入梯度多样化鼓励每个网络学习不同特征，有望提升集成的鲁棒性。在图像分类数据集和迁移学习任务上的实验表明，FoRDE 在协变量偏移（由输入扰动引起）下的准确率与校准性显著优于黄金标准 DEs 及其他集成方法。
引用
@article{arxiv.2306.02775,
title = {Input-gradient space particle inference for neural network ensembles},
author = {Trung Trinh and Markus Heinonen and Luigi Acerbi and Samuel Kaski},
journal= {arXiv preprint arXiv:2306.02775},
year = {2024}
}
备注
Published at ICLR 2024 (spotlight presentation). Code is available at https://github.com/AaltoPML/FoRDE