基于多级密集差分图渐进注意力机制的通用事件边界检测
计算机视觉与模式识别
2022-04-04 v2
摘要
通用事件边界检测是视频理解中一项重要且具有挑战性的任务，旨在检测人类自然感知到事件边界的时刻。该任务的主要挑战在于感知不同事件边界的多种时间变化。为此，本文提出了一种有效且端到端可学习的框架（DDM-Net）。为应对事件边界的多样性和复杂语义，我们做出了三项显著改进。首先，我们构建了一个特征库来存储空间与时间的多级特征，为多尺度差异计算做准备。其次，为缓解以往方法时间建模不足的问题，我们提出了密集差分图（DDM）来全面刻画运动模式。最后，我们利用对多级 DDM 的渐进注意力来联合聚合外观与运动线索。结果表明，DDM-Net 在 Kinetics-GEBD 和 TAPOS 基准上分别实现了 14% 和 8% 的显著提升，并在无需额外技巧的情况下优于 LOVEU Challenge@CVPR 2021 的冠军方案。这一最先进的结果证明了更丰富的运动表征和更精细的聚合在处理通用事件边界检测多样性方面的有效性。代码已发布于 \url{https://github.com/MCG-NJU/DDM}。
引用
@article{arxiv.2112.04771,
title = {Progressive Attention on Multi-Level Dense Difference Maps for Generic Event Boundary Detection},
author = {Jiaqi Tang and Zhaoyang Liu and Chen Qian and Wayne Wu and Limin Wang},
journal= {arXiv preprint arXiv:2112.04771},
year = {2022}
}
备注
CVPR 2022 camera-ready version