统一神经网络的 nonlocal 模块

基于 nonlocal 的模块旨在捕获计算机视觉任务中的长程时空依赖。尽管已展现出优异性能，它们仍缺乏在图像或视频元素间编码丰富结构化信息的机制。本文为从理论上分析这些基于 nonlocal 的模块的性质，提供了一种新视角予以解释，即将它们视为在全连接图上生成的一组图滤波器。具体而言，当选择切比雪夫图滤波器时，可导出统一形式以解释和分析现有的基于 nonlocal 的模块（如 nonlocal 模块、nonlocal 阶段、双注意力模块）。此外，关注谱性质，我们提出了一种高效且鲁棒的谱 nonlocal 模块，插入深度神经网络时比现有 nonlocal 模块更能鲁棒且灵活地捕获长程依赖。实验结果证明了我们的方法在图像分类、动作识别、语义分割和行人重识别任务上的明确改进与实际适用性。