基于双向注意力与对比元学习的少样本细粒度动作识别
计算机视觉与模式识别
2021-08-17 v1
摘要
由于现实应用中对特定动作理解的新兴需求，细粒度动作识别正受到越来越多的关注，而稀有细粒度类别的数据非常有限。因此，我们提出少样本细粒度动作识别问题，旨在仅给定每类少量样本的情况下识别新颖的细粒度动作。尽管在粗粒度动作方面已取得进展，现有少样本识别方法在处理细粒度动作时遇到两个问题：无法捕捉细微动作细节，以及从低类间方差数据中学习的能力不足。为解决第一个问题，提出了受人类视觉启发的双向注意力模块（BAM）。BAM 将自顶向下的任务驱动信号与自底向上的显著刺激相结合，通过准确高亮信息丰富的时空区域来捕捉细微动作细节。为解决第二个问题，我们引入对比元学习（CML）。与广泛采用的基于 ProtoNet 的方法相比，CML 为低类间方差数据生成更具判别性的视频表示，因为它充分利用了每个训练回合中潜在的对比对。此外，为公平比较不同模型，我们在两个大规模细粒度动作识别数据集上建立了特定的基准协议。大量实验表明，我们的方法在被评估的任务中一致地取得了最先进的性能。
引用
@article{arxiv.2108.06647,
title = {Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning},
author = {Jiahao Wang and Yunhong Wang and Sheng Liu and Annan Li},
journal= {arXiv preprint arXiv:2108.06647},
year = {2021}
}
备注
Accepted in ACM Multimedia 2021