利用主体感知空间注意力的先验增强时序动作定位
计算机视觉与模式识别
2022-11-11 v1
摘要
时序动作定位（TAL）旨在检测长未剪辑视频中每个动作实例的边界并识别其类别。当前方法同质地处理视频帧，往往对背景和关键目标给予过多关注。这限制了它们定位动作边界的敏感性。为此，我们提出了一种先验增强的时序动作定位方法（PETAL），该方法仅接收 RGB 输入，并将动作主体作为先验融入。该方案利用动作主体的信息，通过一个即插即用的主体感知空间注意力模块（SA-SAM）来生成聚合且以主体为先验的表示。在 THUMOS-14 和 ActivityNet-1.3 数据集上的实验结果表明，所提出的 PETAL 仅使用 RGB 特征便取得了具有竞争力的性能，例如，在 THUMOS-14 数据集上，相比使用 RGB 特征或附加光流特征的最先进方法，mAP 分别提升了 2.41% 或 0.25%。
引用
@article{arxiv.2211.05299,
title = {Prior-enhanced Temporal Action Localization using Subject-aware Spatial Attention},
author = {Yifan Liu and Youbao Tang and Ning Zhang and Ruei-Sung Lin and Haoqian Wang},
journal= {arXiv preprint arXiv:2211.05299},
year = {2022}
}
备注
5 pages, 2 figures