CycleCL：面向周期性视频的自监督学习

分析周期性视频序列是自动生产系统、遥感、医疗应用或体能训练等应用中的关键课题。一个例子是计数体育锻炼的重复次数。由于周期性数据的显著特征，为标准图像数据集设计的自监督方法无法捕捉与周期进程相关的变化，且不能忽略不相关噪声。因此它们对周期性数据表现不佳。在本文中，我们提出 CycleCL，一种专门设计用于周期性数据的自监督学习方法。我们的出发点在于，好的周期性数据视觉表示应对周期相位敏感，但对确切的重复保持不变，即它应在所有重复中为特定相位生成相同的表示。我们利用视频中的重复来设计一种基于三元组损失的新颖对比学习方法，以优化这些期望性质。我们的方法使用预训练特征来从近似相同相位采样帧对，并从不同相位采样负帧对。然后，我们在优化特征编码器和重采样三元组之间迭代，直至收敛。通过这种方式优化模型，我们能够学习具有上述期望性质的特征。我们在工业及多个人体动作数据集上评估 CycleCL，其在所有任务上显著优于先前的基于视频的自监督学习方法。