借助教师模型的时间戳监督时序动作分割

视频中的时序动作分割近来备受关注。时间戳监督是该任务的一种高性价比方式。为获取更多信息以优化模型，现有方法基于分割模型的输出与时间戳标注迭代生成伪逐帧标签。然而，这种做法可能在训练中引入噪声与振荡，并导致性能退化。为解决该问题，我们提出一种用于时间戳监督时序动作分割的新框架，通过引入与分割模型并行的教师模型来帮助稳定模型优化过程。该教师模型可视为分割模型的集成，有助于抑制噪声并提升伪标签的稳定性。我们进一步引入一种更具聚焦性与凝聚性的段平滑损失，以强化动作实例内预测概率的平滑过渡。在三个数据集上的实验表明，我们的方法优于当前最优方法，并以低得多的标注成本取得了与全监督方法相当的性能。