基于密集边界生成器的时间动作候选快速学习
计算机视觉与模式识别
2019-11-12 v1
摘要
生成时间动作候选仍是一个非常具有挑战性的问题，其主要难点在于在长而未裁剪的真实世界视频中预测精确的时间候选边界和可靠的动作置信度。本文提出一种高效且统一的框架来生成时间动作候选，称为密集边界生成器（Dense Boundary Generator, DBG），其受边界敏感方法的启发，并对密集分布的候选实现边界分类与动作完整性回归。具体而言，DBG由两个模块组成：时间边界分类（Temporal Boundary Classification, TBC）与动作感知完整性回归（Action-aware Completeness Regression, ACR）。TBC旨在通过低级双流特征提供两张时间边界置信度图，而ACR旨在利用高级动作感知特征生成动作完整性分数图。此外，我们引入双流基网（Dual Stream BaseNet, DSB）来编码RGB与光流信息，有助于捕获具有判别性的边界与动作性特征。在ActivityNet-1.3与THUMOS14等流行基准上的大量实验证明了DBG优于最先进的候选生成器（如MGG与BMN）。我们的代码将在发表后公开。
引用
@article{arxiv.1911.04127,
title = {Fast Learning of Temporal Action Proposal via Dense Boundary Generator},
author = {Chuming Lin and Jian Li and Yabiao Wang and Ying Tai and Donghao Luo and Zhipeng Cui and Chengjie Wang and Jilin Li and Feiyue Huang and Rongrong Ji},
journal= {arXiv preprint arXiv:1911.04127},
year = {2019}
}
备注
Accepted by AAAI 2020. Ranked No. 1 on ActivityNet Challenge 2019 on Temporal Action Proposals (http://activity-net.org/challenges/2019/evaluation.html)