面向弱监督时序动作定位的等价分类映射

弱监督时序动作定位是近年来新兴且被广泛研究的话题。现有方法可分为两种基于分类定位的流程，即预分类流程与后分类流程。预分类流程先对每个视频片段进行分类，再聚合片段级分类分数得到视频级分类分数。相反，后分类流程先聚合片段级特征，再基于聚合特征预测视频级分类分数。尽管这两种流程中的分类器使用方式不同，但它们所起的作用完全相同——对给定特征进行分类以识别相应动作类别。为此，一个理想的分类器可使两种流程均奏效。这启发我们在一个统一框架中同时学习这两种流程以获得有效分类器。具体而言，在所提学习框架中，我们实现两个并行网络流同时建模两种基于分类定位的流程，并让两个网络流共享同一分类器。这实现了新颖的等价分类映射（ECM）机制。此外，我们发现理想分类器可能具备两个特征：1）预分类流得到的帧级分类分数与后分类流中的特征聚合权重应一致；2）这两个流的分类结果应相同。基于这两个特征，我们进一步在所提学习框架中引入权重迁移模块与等价训练策略，以辅助充分挖掘等价机制。