共现至关重要:为时序动作定位学习动作关系
计算机视觉与模式识别
2023-03-16 v1
摘要
时序动作定位(TAL)因其巨大的应用潜力而成为一项流行任务。该领域的现有工作主要存在两个弱点:(1)它们常常忽视多标签情况,仅关注时间建模。(2)它们忽略类标签中的语义信息,仅使用视觉信息。为解决这些问题,我们提出了一种新颖的共现关系模块(CORM),显式地对动作之间的共现关系进行建模。除视觉信息外,它进一步利用类标签的语义嵌入来建模共现关系。CORM以即插即用的方式工作,可轻松与现有序列模型结合。通过同时考虑视觉和语义共现,我们的方法具有高多标签关系建模能力。同时,现有TAL数据集总是聚焦于低语义的原子动作。因此我们构建了一个具有挑战性的多标签数据集UCF-Crime-TAL,该数据集通过对UCF-Crime数据集进行帧级标注并考虑不同事件的语义重叠,聚焦于高语义动作。在两个常用TAL数据集(即MultiTHUMOS和TSU)以及我们新提出的UCF-Crime-TAL上的大量实验证明了所提CORM的有效性,其在这些数据集上达到了最先进的性能。
引用
@article{arxiv.2303.08463,
title = {Co-Occurrence Matters: Learning Action Relation for Temporal Action Localization},
author = {Congqi Cao and Yizhe Wang and Yue Lu and Xin Zhang and Yanning Zhang},
journal= {arXiv preprint arXiv:2303.08463},
year = {2023}
}