空间频率通道、形状偏置与对抗鲁棒性
机器学习
2023-11-07 v2 计算机视觉与模式识别
图像与视频处理
摘要
人类和神经网络利用哪些空间频率信息来识别物体？在神经科学中，临界频带掩蔽是一种成熟工具，可揭示用于物体识别的频率选择性滤波器。临界频带掩蔽测量识别性能对添加在各空间频率上噪声的敏感度。已有的临界频带掩蔽研究表明，人类通过带宽为一个倍频程（频率加倍）的空间频率滤波器（或“通道”）来识别周期模式（光栅）和字母。在此，我们引入临界频带掩蔽作为网络-人类比较的一项任务，并在窄带噪声存在下对 14 名人类和 76 个神经网络进行 16 类 ImageNet 分类测试。我们发现，人类使用与自然图像中识别物体相同的倍频程宽通道来识别字母和光栅，这使其成为人类物体识别的典型特征。与人类不同，神经网络通道非常宽，是人类通道的 2-4 倍。因此，某些高频和低频的噪声会损害网络性能而 spared 人类性能。对抗和增广图像训练常用于提升网络鲁棒性和形状偏置。这种训练是否使网络与人类物体识别通道对齐？三种网络通道属性（带宽、中心频率、峰值噪声敏感度）与形状偏置（解释 51% 方差）和对抗训练网络的鲁棒性（解释 66% 方差）强相关。对抗训练提升鲁棒性，但使通道带宽进一步超出人类带宽。因此，临界频带掩蔽揭示网络通道比人类通道宽一倍以上，且对抗训练只会使之更糟。具有更窄通道的网络可能更鲁棒。
引用
@article{arxiv.2309.13190,
title = {Spatial-frequency channels, shape bias, and adversarial robustness},
author = {Ajay Subramanian and Elena Sizikova and Najib J. Majaj and Denis G. Pelli},
journal= {arXiv preprint arXiv:2309.13190},
year = {2023}
}
备注
Neural Information Processing Systems (NeurIPS) 2023 (Oral Presentation). Camera-ready version