神经各向异性方向
机器学习
2020-10-15 v2 计算机视觉与模式识别
机器学习
摘要
在这项工作中，我们分析了网络架构在塑造深度分类器归纳偏置中的作用。为此，我们从一个非常简单的问题入手，即分类一类线性可分分布，并表明根据分布判别性特征的方向，许多最先进的深度卷积神经网络 (CNNs) 在解决这一简单任务时表现得异常困难。随后，我们将封装架构方向性归纳偏置的向量定义为神经各向异性方向 (NADs)。这些向量特定于每个架构，因而充当一种签名，编码了网络基于某些特定特征分离输入数据的偏好。我们提供了一种高效方法来识别若干 CNN 架构的 NADs，从而揭示其方向性归纳偏置。此外，我们表明在 CIFAR-10 数据集上，NADs 刻画了 CNNs 用于区分不同类别的特征。
引用
@article{arxiv.2006.09717,
title = {Neural Anisotropy Directions},
author = {Guillermo Ortiz-Jimenez and Apostolos Modas and Seyed-Mohsen Moosavi-Dezfooli and Pascal Frossard},
journal= {arXiv preprint arXiv:2006.09717},
year = {2020}
}
备注
Accepted to the 34th Conference on Neural Information Processing Systems (NeurIPS 2020) (39 pages, 22 figures)