受人类眼睛启发的循环神经网络对对抗噪声更具鲁棒性

人类通过关注显著物体并忽略琐碎细节来主动观察视觉环境。然而，基于卷积神经网络(CNN)的计算机视觉模型通常经由单次前馈过程一次性分析视觉输入。本研究中，我们设计了一个受人类大脑启发的双流视觉模型。该模型具有视网膜样输入层，并包含两条流：一条决定下一注视点（注视），另一条解释注视点周围的视觉内容。该模型在图像识别任务上训练，通过一系列注视点审视图像，每次关注不同部分，从而逐步构建图像表征。我们在物体识别、注视行为及对抗鲁棒性等多项基准上评估了该模型。我们的发现表明，该模型可在未显式训练模仿人类注意的情况下以类人的方式实现注意与注视，并且由于其视网膜采样与循环处理，可增强对对抗攻击的鲁棒性。特别地，该模型可通过更多次扫视纠正其感知错误，从而有别于所有仅前馈模型。总之，视网膜采样、眼动与循环动力学的交互对于类人的视觉探索与推断至关重要。