学习策略与固有架构特性对卷积神经网络获得变换不变性的影响
计算机视觉与模式识别
2018-11-01 v1
摘要
随着物体识别成为日益普遍的机器学习任务，且近期研究揭示 CNN 易受攻击与微小图像扰动，充分理解物体识别的基础势在必行。我们聚焦于理解神经网络对复杂物体空间变换泛化的机制。尽管人类擅长判别处于新位置、朝向与尺度的物体，过往结果表明这可能限于熟悉物体——人类对刻意构造的新异物体表现出低空间方差容忍度。由于从零训练人工神经网络类似于向人类展示新异物体，我们力求理解影响 CNN 空间变换容忍度的因素。我们对七种卷积神经网络（CNN）架构进行了详实实证检验。通过在受控人脸图像数据集上训练，我们度量了模型在位置、尺寸、旋转、高斯模糊及重采样所致分辨率变换这 5 种变换不同度数下的准确率。我们还通过考察不同预训练量对模型鲁棒性的影响，检视学习策略如何影响泛化能力。总体而言，我们发现变换不变性最显著的贡献因素为大规模多样图像数据集上的预训练。此外，尽管 AlexNet 往往最不鲁棒，VGG 与 ResNet 架构对不同变换展现出更高鲁棒性。结合核可视化与定性分析，我们考察了学习策略与固有架构特性对变换不变性贡献的差异，为理解如何达成 CNN 更强变换鲁棒性提供宝贵信息。
引用
@article{arxiv.1810.13128,
title = {The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance},
author = {Megha Srivastava and Kalanit Grill-Spector},
journal= {arXiv preprint arXiv:1810.13128},
year = {2018}
}
备注
11 pages, 17 figures