空间与时间域中用于动作定位的渐进式跨流协作

时空动作定位包含三个层次的任务：空间定位、动作分类与时间定位。本文提出一种新的渐进式跨流协作（PCSC）框架，可改善上述全部三项任务。基本思路是利用来自一个流（即Flow/RGB流）的空间区域（相应地为时间片段提议）与特征，帮助另一流（即RGB/Flow流）迭代生成更好的空间域边界框（相应地为时间域时间片段）。如此，动作不仅可在空间与时间上更精准定位，动作类别也能更精确预测。具体而言，我们首先结合两流最新的区域提议（用于空间检测）或片段提议（用于时间定位）以形成更大的带标签训练样本集，帮助学习更好的动作检测或片段检测模型。其次，为学习更好的表征，我们还提出一种新的消息传递方法，将信息从一流传递至另一流，这也带来更好的动作检测与片段检测模型。通过先将新提出的PCSC框架用于帧级空间定位，再将时间PCSC框架用于管级时间定位，动作定位结果在帧级与视频级均逐步提升。在UCF-101-24与J-HMDB两个基准数据集上的综合实验证明了新方法在真实场景下时空动作定位的有效性。