用于动作检测的多层级时间金字塔网络
计算机视觉与模式识别
2020-08-10 v1
摘要
目前，单阶段框架已广泛应用于时间动作检测，但仍面临动作实例时间跨度差异巨大的挑战。原因在于这些单阶段检测器（如Single Shot Multi-Box Detector (SSD)）仅对每个检测头使用单层时间特征，不足以进行有区分力的分类与回归。本文提出一种多层级时间金字塔网络（MLTPN）以提升特征的区分能力。具体地，我们首先融合具有不同时间分辨率的多个层级特征，以编码多层时间信息；随后在特征上应用多层级特征金字塔结构以增强其区分能力；最后设计了一个简洁而高效的特征融合模块来融合多层级多尺度特征。由此，所提MLTPN能够针对不同持续时间的动作实例学习丰富且具区分力的特征。我们在THUMOS'14和Activitynet v1.3两个具有挑战性的数据集上评估MLTPN，实验结果表明MLTPN在Activitynet v1.3上取得了有竞争力的性能，并在THUMOS'14上显著优于当前最优方法。
引用
@article{arxiv.2008.03270,
title = {Multi-Level Temporal Pyramid Network for Action Detection},
author = {Xiang Wang and Changxin Gao and Shiwei Zhang and Nong Sang},
journal= {arXiv preprint arXiv:2008.03270},
year = {2020}
}
备注
Accepted by PRCV2020