CMSN:用于时序动作候选生成的连续多阶段网络与可变间隔余弦损失
计算机视觉与模式识别
2019-11-21 v3
摘要
在未裁剪视频中准确定位动作的起止时间是一项具有挑战性的任务。其中一个重要原因是动作边界高度不可区分,且边界附近的特征难以判别。为解决该问题,我们提出了一种用于时序动作候选生成的新型框架,即连续多阶段网络(Continuous Multi-stage Network,CMSN),该网络将包含完整动作实例的视频划分为六个阶段,分别为背景(Backgroud)、准备(Ready)、开始(Start)、确认(Confirm)、结束(End)、跟随(Follow)。为更准确区分准备与开始、结束与跟随,我们提出了一种新型损失函数——可变间隔余弦损失(Variable Margin Cosine Loss,VMCL),其允许不同类别之间具有不同间隔。我们在 THUMOS14 上的实验表明,所提出的时序候选生成方法在使用相同网络架构和训练数据集的情况下优于当前最优(state-of-the-art)方法。
引用
@article{arxiv.1911.06080,
title = {CMSN: Continuous Multi-stage Network and Variable Margin Cosine Loss for Temporal Action Proposal Generation},
author = {Yushuai Hu and Yaochu Jin and Runhua Li and Xiangxiang Zhang},
journal= {arXiv preprint arXiv:1911.06080},
year = {2019}
}