深度神经网络中的输入空间模式连通性
机器学习
2024-09-10 v1 统计力学
计算机视觉与模式识别
摘要
我们将损失景观模式连通性的概念扩展到深度神经网络的输入空间。模式连通性最初是在参数空间内研究的，它描述了通过梯度下降获得的不同解（损失极小值点）之间存在低损失路径的现象。我们提供了其在深度网络输入空间中存在的理论和实证证据，从而凸显了该现象更广泛的本质。我们观察到，具有相似预测的不同输入图像通常是连通的，并且对于训练好的模型，该路径往往很简单，仅与线性路径有微小偏差。我们的方法利用了真实、插值以及使用输入优化技术进行特征可视化创建的合成输入。我们推测，高维空间中的输入空间模式连通性是一种几何效应，即使在未训练的模型中也会发生，并且可以通过渗流理论来解释。我们利用模式连通性获得了关于对抗样本的新见解，并展示了其在对抗检测方面的潜力。此外，我们还讨论了其在深度网络可解释性方面的应用。
引用
@article{arxiv.2409.05800,
title = {Input Space Mode Connectivity in Deep Neural Networks},
author = {Jakub Vrabel and Ori Shem-Ur and Yaron Oz and David Krueger},
journal= {arXiv preprint arXiv:2409.05800},
year = {2024}
}