面向时序活动检测的弱引导自监督预训练

时序活动检测旨在逐帧预测活动类别，与活动分类（即活动识别）中视频级预测不同。由于检测需要昂贵的逐帧标注，检测数据集的规模受到限制。因此，先前关于时序活动检测的工作通常诉诸于在大规模分类数据集（如 Kinetics-400）上预训练的分类模型进行微调。然而，由于预训练与下游微调任务之间的差异，此类预训练模型对下游检测并不理想。在本工作中，我们提出一种新颖的用于检测的“弱引导自监督”预训练方法。我们利用弱标签（分类）通过生成逐帧伪标签、多动作帧和动作片段来引入自监督 pretext 任务（检测）。简而言之，我们在大规模分类数据上设计了一个类似于下游的检测任务，无需额外标注。我们表明，使用所提出的弱引导自监督检测任务预训练的模型在多个具有挑战性的活动检测基准（包括 Charades 和 MultiTHUMOS）上优于先前工作。我们广泛的消融实验进一步提供了关于何时以及如何使用所提出模型进行活动检测的见解。代码可在 https://github.com/kkahatapitiya/SSDet 获取。