用于视频活动定位的边界去噪方法
计算机视觉与模式识别
2023-04-07 v1
摘要
视频活动定位旨在理解长未修剪视频中的语义内容并检索感兴趣的动作。所检索的带起止位置的动作可用于精彩片段生成、时序动作检测等。遗憾的是，学习活动的确切边界位置极具挑战性，因为时序活动在时间上连续，且动作之间通常没有清晰的过渡。此外，事件起止的定义具有主观性，这可能使模型感到困惑。为缓解边界模糊性，我们提出从去噪视角研究视频活动定位问题。具体而言，我们提出一种名为 DenoiseLoc 的编码器-解码器模型。在训练期间，从带可控噪声尺度的真值中随机生成一组动作区间。随后我们尝试通过边界去噪来逆转此过程，使定位器能预测具有精确边界的活动，并带来更快的收敛速度。实验表明，DenoiseLoc 在多项视频活动理解任务上取得进展。例如，在 QV-Highlights 数据集上平均 mAP 提升 +12.36%，在 THUMOS'14 数据集上 [email protected] 提升 +1.64%。此外，DenoiseLoc 在 TACoS 和 MAD 数据集上取得了最先进的性能，但预测数量远少于其他现有方法。
引用
@article{arxiv.2304.02934,
title = {Boundary-Denoising for Video Activity Localization},
author = {Mengmeng Xu and Mattia Soldan and Jialin Gao and Shuming Liu and Juan-Manuel Pérez-Rúa and Bernard Ghanem},
journal= {arXiv preprint arXiv:2304.02934},
year = {2023}
}