基于片段级标签的弱监督时序动作定位

时序动作定位在测试性能与标注时间成本之间存在权衡。全监督方法以耗时的边界标注取得良好性能。带有较廉价的视频级类别标签标注的弱监督方法则性能较差。本文引入一种新的片段级监督设定：当标注者观察到动作在此发生时对片段进行标注。我们将此片段级监督与一个新的定位模块结合进训练中。具体而言，我们设计了一种部分片段损失，视作一种损失采样，以从已标注片段中学习完整的动作部分。由于已标注片段仅为动作的一部分，模型倾向于随训练过程过拟合。为解决此问题，我们首先由球面损失引导的判别性特征获得一个相似度矩阵。随后，基于该矩阵设计了一种传播损失作为正则化项，使得训练中隐式的未标注片段传播得以进行。实验验证，我们的方法能以几乎相同的标注时间超越视频级监督方法。