PIC：用于识别长时序活动的置换不变卷积
计算机视觉与模式识别
2020-03-19 v1
摘要
卷积、自注意力与向量聚合等神经操作是识别短时序动作的首选方法。然而，在建模长时序活动时它们存在三个局限。本文提出 PIC（Permutation Invariant Convolution，置换不变卷积），一种用于建模长时序活动的时间结构的新型神经层。它具有三个理想性质。i. 与标准卷积不同，PIC 对其感受野内特征的时间置换具有不变性，使其适于建模弱时间结构。ii. 与向量聚合不同，PIC 遵循局部连接性，能够通过级联层学习长时序时间抽象。iii. 与自注意力不同，PIC 使用共享权重，使其更善于在长而含噪的视频中检测最具判别力的视觉证据。我们研究了 PIC 的三个性质，并证明了其在 Charades、Breakfast 和 MultiThumos 长时序活动识别中的有效性。
引用
@article{arxiv.2003.08275,
title = {PIC: Permutation Invariant Convolution for Recognizing Long-range Activities},
author = {Noureldien Hussein and Efstratios Gavves and Arnold W. M. Smeulders},
journal= {arXiv preprint arXiv:2003.08275},
year = {2020}
}