视觉注意力源于循环稀疏重建

视觉注意力有助于在人类视觉中噪声、损坏和分布偏移下实现稳健感知，而这些正是现代神经网络仍显不足的地方。我们提出VARS（Visual Attention from Recurrent Sparse reconstruction，基于循环稀疏重建的视觉注意力），一种建立在人类视觉注意力机制两个显著特征——循环性和稀疏性——之上的新注意力形式。相关特征通过神经元间的循环连接分组在一起，显著物体通过稀疏正则化浮现。VARS采用具有循环连接的吸引子网络，随时间收敛到稳定模式。网络层被表示为常微分方程（ODEs），将注意力公式化为一个循环吸引子网络，该网络等价于使用编码数据底层模式的“模板”字典对输入进行稀疏重建的优化。我们表明自注意力是VARS在单步优化且无稀疏约束下的特例。VARS可轻易用作流行视觉Transformer中自注意力的替代，在各种基准上持续提升其鲁棒性。代码发布于GitHub（https://github.com/bfshi/VARS）。