用于时序动作提案生成的边界内容图神经网络
计算机视觉与模式识别
2020-08-05 v1
摘要
时序动作提案生成在视频动作理解中起着重要作用,其要求精准定位高质量的动作内容。然而,生成同时具备精准边界与高质量动作内容的时序提案极具挑战。为解决此问题,我们提出一种新颖的边界内容图神经网络(Boundary Content Graph Neural Network, BC-GNN),通过图神经网络建模时序提案边界与动作内容之间的深刻关联。在 BC-GNN 中,时序提案的边界与内容分别作为图神经网络的节点与边,从而自发相连。随后提出一种新颖的图计算操作来更新边与节点的特征。此后,一条更新后的边及其连接的两个节点被用于预测边界概率与内容置信度分数,二者结合生成最终的高质量提案。实验在两个主流数据集 ActivityNet-1.3 与 THUMOS14 上进行。无需额外技巧,BC-GNN 在时序动作提案与时序动作检测任务上均优于先前最先进(state-of-the-art, SOTA)方法。
引用
@article{arxiv.2008.01432,
title = {Boundary Content Graph Neural Network for Temporal Action Proposal Generation},
author = {Yueran Bai and Yingying Wang and Yunhai Tong and Yang Yang and Qiyue Liu and Junhui Liu},
journal= {arXiv preprint arXiv:2008.01432},
year = {2020}
}