引入门控机制与上下文于时序动作检测
计算机视觉与模式识别
2024-09-09 v1
摘要
时序动作检测(TAD)是对未裁剪视频中的动作进行局部化和分类的任务,由于动作重叠和可变动作持续时间,仍具有挑战性。最近的研究表明,TAD性能取决于变换器的结构设计而非自注意力机制。基于这一洞察,我们提出一种通过轻量级且有效操作的特征提取过程进行细化。首先,我们采用局部分支,使用具有不同窗口大小的平行卷积来捕获细粒度和粗粒度时序特征。该分支包含一种门控机制以选择最相关的特征。其次,我们引入一种上下文分支,将边界帧作为键值对,通过交叉注意力分析其与中心帧之间的关系。该方法捕获时序依赖性并提高上下文理解。在具有挑战性的数据集(THUMOS14和EPIC-KITCHEN 100)上对门控机制和上下文分支进行评估,显示相对于基线和现有方法具有一致的改进。
引用
@article{arxiv.2409.04205,
title = {Introducing Gating and Context into Temporal Action Detection},
author = {Aglind Reka and Diana Laura Borza and Dominick Reilly and Michal Balazia and Francois Bremond},
journal= {arXiv preprint arXiv:2409.04205},
year = {2024}
}
备注
Accepted for publication at the ECCV 2024 ABAW Workshop