用于时序动作定位的背景点击监督

弱监督时序动作定位旨在从视频级标签中学习实例级动作模式，其中一个重大挑战是动作与上下文的混淆。为了克服这一挑战，最近的一项工作构建了动作点击监督框架。与传统的弱监督方法相比，它需要相似的标注成本，但能稳步提升定位性能。在本文中，通过揭示现有方法的性能瓶颈主要源于背景误差，我们发现利用背景视频帧上的标签而非动作帧上的标签，可以训练出更强的动作定位器。为此，我们将动作点击监督转换为背景点击监督，并开发了一种名为 BackTAL 的新方法。具体而言，BackTAL 在背景视频帧上实现了双重建模，即位置建模和特征建模。在位置建模中，我们不仅对已标注的视频帧进行监督学习，还设计了一个分数分离模块，以扩大潜在动作帧与背景之间的分数差异。在特征建模中，我们提出了一个亲和力模块来度量相邻帧之间特定于帧的相似性，并在计算时序卷积时动态关注信息量大的相邻帧。我们在三个基准上进行了大量实验，证明了所建立的 BackTAL 的高性能以及所提出的背景点击监督的合理性。代码可在 https://github.com/VividLe/BackTAL 获取。