同步即所需：利用未标记同步视频对进行时序动作分割的外中心到自中心迁移
计算机视觉与模式识别
2024-07-17 v3
摘要
我们考虑将最初为外中心（固定）相机设计的时序动作分割系统迁移到自中心场景的问题，在该场景中，可穿戴相机捕获视频数据。传统的监督方法需要收集和标注一组新的自中心视频来适应模型，这既昂贵又耗时。相反，我们提出了一种新颖的方法，利用现有的已标记外中心视频和一组新的未标记、同步的外中心-自中心视频对来进行适应，而无需收集这些视频对的时序动作分割标注。我们通过一种基于知识蒸馏的方法来实现所提出的方法，并在特征级别和时序动作分割模型级别上对其进行了研究。在 Assembly101 和 EgoExo4D 上的实验证明了所提方法相对于经典无监督域适应和时序对齐方法的有效性。无需任何额外技巧，我们的最佳模型性能与在标记的自中心数据上训练的监督方法相当，且从未见过任何自中心标签，在 Assembly101 数据集上，与仅在外中心数据上训练的基线模型相比，编辑分数提高了 +15.99（28.59 对比 12.60）。在类似设置下，我们的方法在具有挑战性的 EgoExo4D 基准测试上也将编辑分数提高了 +3.32。代码可在以下链接获取：https://github.com/fpv-iplab/synchronization-is-all-you-need。
引用
@article{arxiv.2312.02638,
title = {Synchronization is All You Need: Exocentric-to-Egocentric Transfer for Temporal Action Segmentation with Unlabeled Synchronized Video Pairs},
author = {Camillo Quattrocchi and Antonino Furnari and Daniele Di Mauro and Mario Valerio Giuffrida and Giovanni Maria Farinella},
journal= {arXiv preprint arXiv:2312.02638},
year = {2024}
}