面向弱监督时序动作定位的动作单元记忆网络
计算机视觉与模式识别
2021-04-30 v1
摘要
弱监督时序动作定位旨在仅利用训练时的视频级标签，在未裁剪视频中检测并定位动作。然而，在没有帧级标注的情况下，实现定位完整性并缓解背景干扰具有挑战性。本文提出一种用于弱监督时序动作定位的动作单元记忆网络（AUMN），通过学习动作单元记忆库来缓解上述两个挑战。在所提出的 AUMN 中，设计了两个注意力模块以自适应地更新记忆库并学习动作单元特定的分类器。此外，设计了三种有效机制（多样性、同质性和稀疏性）来指导记忆网络的更新。据我们所知，这是首个利用记忆网络显式建模动作单元的工作。在两个标准基准（THUMOS14 和 ActivityNet）上的大量实验结果表明，我们的 AUMN 优于当前最先进的方法。具体而言，在 THUMOS14 数据集上 IoU 阈值从 0.1 到 0.5 的平均 mAP 从 47.0% 显著提升至 52.1%。
引用
@article{arxiv.2104.14135,
title = {Action Unit Memory Network for Weakly Supervised Temporal Action Localization},
author = {Wang Luo and Tianzhu Zhang and Wenfei Yang and Jingen Liu and Tao Mei and Feng Wu and Yongdong Zhang},
journal= {arXiv preprint arXiv:2104.14135},
year = {2021}
}
备注
Accepted by CVPR2021