PNL：用于动作识别的金字塔非局部模块高效提取长程依赖
计算机视觉与模式识别
2020-06-11 v1
摘要
捕获长程时空依赖对于改进动作识别的视频特征起着至关重要的作用。受非局部均值启发设计的非局部块旨在应对这一挑战，并已展现出优异性能。然而，非局部块给原始网络带来了显著的计算成本增加，且缺乏对视频中区域相关性的建模能力。为解决上述局限，我们提出金字塔非局部（PNL）模块，通过金字塔结构模块在多个尺度上融入区域相关性，从而扩展非局部块。该扩展通过关注不同区域间的相互作用提升了非局部操作的有效性。实证结果证明了我们的PNL模块的有效性与高效性，其在Mini-Kinetics数据集上以低于非局部块的计算成本取得了83.09%的最先进性能。
引用
@article{arxiv.2006.05091,
title = {PNL: Efficient Long-Range Dependencies Extraction with Pyramid Non-Local Module for Action Recognition},
author = {Yuecong Xu and Haozhi Cao and Jianfei Yang and Kezhi Mao and Jianxiong Yin and Simon See},
journal= {arXiv preprint arXiv:2006.05091},
year = {2020}
}
备注
Single column, 26 pages, 6 figures