视频中基于动作进展引导的时序动作检测
计算机视觉与模式识别
2023-08-21 v1
摘要
我们提出一种新颖框架——动作进展网络（APN），用于视频中的时序动作检测（TAD）。该框架通过检测动作演化过程来定位视频中的动作。为编码动作演化，我们将完整动作过程量化为 101 个有序阶段（0%、1%、…、100%），称为动作进展。随后训练神经网络以识别这些动作进展。该框架通过检测视频中的完整动作过程来检测动作边界，例如，检测到动作进展紧密遵循序列 0%、1%、…、100% 的视频片段。该框架具有三大优势：（1）我们的神经网络以端到端方式训练，有别于常规的分模块优化方法；（2）APN 仅使用动作帧训练，使模型可在动作分类数据集上训练，并对具有不同于训练时的时间背景风格视频具鲁棒性；（3）我们的框架有效避免检测不完整动作，并因对动作时间结构的细粒度显式编码而擅长检测长时动作。借助这些优势，APN 取得具竞争力的性能，并在长时动作检测上显著超越同类方法。在 IoU 阈值为 0.5 时，APN 在 THUMOS14 数据集上取得 58.3% 的平均精度均值（mAP），在 DFMAD70 数据集上取得 98.9% mAP。
引用
@article{arxiv.2308.09268,
title = {Progression-Guided Temporal Action Detection in Videos},
author = {Chongkai Lu and Man-Wai Mak and Ruimin Li and Zheru Chi and Hong Fu},
journal= {arXiv preprint arXiv:2308.09268},
year = {2023}
}
备注
Under Review. Code available at https://github.com/makecent/APN