一种新颖的特征打乱方法揭示了卷积神经网络学习空间关系的能力
计算机视觉与模式识别
2022-12-13 v1 人工智能
机器学习
摘要
卷积神经网络 (CNNs) 是最成功的解决物体识别的计算机视觉系统之一。此外，CNNs 在理解人脑中视觉表征的本质方面有重要应用。然而，CNNs 究竟如何做出决策、其内部表征的本质是什么、以及它们的识别策略与人类有何不同，仍知之甚少。具体而言，关于 CNNs 主要是依赖物体的表面规则性，还是能够像人类一样利用特征的空间排列，存在重大争议。在此，我们开发了一种新颖的特征打乱方法来显式检验 CNNs 是否使用特征（即物体部件）的空间排列来对物体分类。我们将该方法与 CNNs 有效感受野大小的系统操控以及最小可识别配置 (MIRCs) 分析相结合。与许多先前文献相反，我们提供的证据表明 CNNs 实际上能够利用相对长距离的空间关系进行物体分类。此外，CNNs 使用空间关系的程度严重依赖于数据集，例如纹理与草图。事实上，CNNs 甚至对异质数据集 (ImageNet) 中不同类别使用不同策略，表明 CNNs 具有连续的分类策略谱。最后，我们表明 CNNs 仅在中等粒度水平上学习特征的空间排列，这表明中等而非全局形状特征在物体分类中提供了敏感性与特异性之间的最优权衡。这些结果对 CNN 表征的本质以及它们在多大程度上依赖特征空间排列进行物体分类提供了新颖的见解。
引用
@article{arxiv.2212.06021,
title = {A novel feature-scrambling approach reveals the capacity of convolutional neural networks to learn spatial relations},
author = {Amr Farahat and Felix Effenberger and Martin Vinck},
journal= {arXiv preprint arXiv:2212.06021},
year = {2022}
}