TSP：面向定位任务的视频编码器时间敏感预训练

由于未剪辑视频的内存占用大，当前最先进的视频定位方法运行于预计算视频片段特征之上。这些特征提取自通常为剪辑动作分类任务训练的视频编码器，使得此类特征未必适用于时间定位。本工作中，我们提出一种新颖的有监督片段特征预训练范式，不仅训练分类动作，还考虑背景片段与全局视频信息以提升时间敏感性。大量实验表明，使用我们新颖预训练策略训练的特征显著提升了近期最先进方法在三项任务上的性能：时间动作定位、动作提议生成与密集视频描述。我们还表明我们的预训练方法在三种编码器架构与两个预训练数据集上均有效。我们认为视频特征编码是定位算法的重要基石，提取时间敏感特征在构建更精确模型时应至关重要。代码与预训练模型已发布于我们的项目网站。