动态时间金字塔网络：细看活动检测中的多尺度建模
计算机视觉与模式识别
2019-02-19 v2
摘要
同时识别不同尺度的实例是视觉检测问题中的基本挑战。尽管空间多尺度建模在目标检测中已被充分研究，如何有效地将多尺度架构应用于时间模型以进行活动检测仍鲜有探索。本文中，我们明确了与空间对应问题相比，时间活动检测需专门应对的三个独特挑战。为解决所有这些问题，我们提出动态时间金字塔网络（DTPN），一种具有多尺度金字塔架构的新活动检测框架，具备三项新颖设计：（1）我们以变化的每秒帧数（FPS）动态采样输入视频帧，为任意长度视频构建自然的金字塔输入。（2）我们设计双分支多尺度时间特征层次结构以应对活动实例固有的时间尺度变化。（3）我们通过恰当融合多尺度特征图进一步利用活动的时间上下文，并证明局部与全局时间上下文均十分重要。将所有这些组件组合为统一网络后，我们得到了一个涉及单遍推理与端到端训练的单次活动检测器。大量实验表明，所提出的DTPN在具挑战性的ActivityNet数据集上取得了最先进的性能。
引用
@article{arxiv.1808.02536,
title = {Dynamic Temporal Pyramid Network: A Closer Look at Multi-Scale Modeling for Activity Detection},
author = {Da Zhang and Xiyang Dai and Yuan-Fang Wang},
journal= {arXiv preprint arXiv:1808.02536},
year = {2019}
}
备注
ACCV 2018 Oral