基于置换不变注意力的少样本动作识别
计算机视觉与模式识别
2020-08-05 v3
摘要
许多少样本学习模型专注于图像识别。相比之下，我们解决了视频中少样本动作识别这一挑战性任务。我们基于C3D编码器处理时空视频块以捕捉短程动作模式。此类编码块通过置换不变池化进行聚合，使我们的方法对变化的动作时长及长程时间依赖具有鲁棒性，而后者的模式即便在同一类片段中也难以重复。随后，池化表示被组合为编码所谓查询片段与支持片段的简单关系描述子。最后，关系描述子被送入比较器以学习查询与支持片段间的相似性。重要的是，为在池化过程中重加权块贡献，我们利用了空间与时间注意力模块及自监督。在自然片段（同类）中存在时间分布偏移——判别性时间动作热点的位置可变。因此，我们对片段的块进行置换，并将所得注意力区域与非置换片段的类似置换注意力区域对齐，以训练对块（从而长程热点）置换不变的注意力机制。我们的方法在HMDB51、UCF101、miniMIT数据集上优于当前最优方法。
引用
@article{arxiv.2001.03905,
title = {Few-shot Action Recognition with Permutation-invariant Attention},
author = {Hongguang Zhang and Li Zhang and Xiaojuan Qi and Hongdong Li and Philip H. S. Torr and Piotr Koniusz},
journal= {arXiv preprint arXiv:2001.03905},
year = {2020}
}
备注
ECCV2020 Spotlight