深度神经网络自信地感知到了什么？高确定性类流形的有效维度及其低置信度边界
机器学习
2022-10-12 v1 计算机视觉与模式识别
摘要
深度神经网络分类器将输入空间划分为每个类别的高置信度区域。这些类流形（CM）的几何特性被广泛研究，并与模型性能密切相关；例如，边界取决于CM边界。我们利用Gaussian宽度和Gordon逃逸定理的概念，通过与不同维度的随机仿射子空间的断层交集，可处理地估计CM及其边界的有效维度。我们展示了CM维度、泛化能力和鲁棒性之间的若干联系。特别地，我们研究了CM维度如何依赖于：1) 数据集，2) 架构（包括ResNet、WideResNet和Vision Transformer），3) 初始化，4) 训练阶段，5) 类别，6) 网络宽度，7) 集成大小，8) 标签随机化，9) 训练集大小，以及10) 对数据损坏的鲁棒性。综合来看，呈现出这样一种图景：性能更高、更鲁棒的模型具有更高维度的CM。此外，我们通过CM的交集为集成学习提供了新的视角。我们的代码位于 https://github.com/stanislavfort/slice-dice-optimize/
引用
@article{arxiv.2210.05546,
title = {What does a deep neural network confidently perceive? The effective dimension of high certainty class manifolds and their low confidence boundaries},
author = {Stanislav Fort and Ekin Dogus Cubuk and Surya Ganguli and Samuel S. Schoenholz},
journal= {arXiv preprint arXiv:2210.05546},
year = {2022}
}
备注
An extended version of /Slice, Dice, and Optimize: Measuring the Dimension of Neural Network Class Manifolds/