面向视频时间定位的边界敏感预训练

许多视频分析任务需要时间定位，从而检测内容变化。然而，为此类任务开发的大多数现有模型是在通用视频动作分类任务上预训练的。这是因为未裁剪视频中时间边界的大规模标注成本高昂，因此不存在适用于时间边界敏感预训练的合适数据集。本文首次通过引入一种新颖的边界敏感代理(BSP)任务，研究了面向时间定位的模型预训练。我们提出在现有视频动作分类数据集中合成时间边界，而非依赖昂贵的时间边界人工标注。借助合成边界，BSP可通过分类边界类型简单地进行。这使得学习到的视频表征更能迁移至下游时间定位任务。大量实验表明，所提出的BSP优于且互补于现有的基于动作分类的预训练方法，并在若干时间定位任务上取得了新的SOTA性能。