基于正规化 Gromov-Wasserstein 最优传输的程序学习

本文研究自监督程序学习问题，即从一组无标签视频中发现关键步骤及其顺序。以往方法通常在确定关键步骤和顺序之前，学习视频之间的帧到帧对应关系。然而，其性能常受顺序变化、背景/冗余帧以及重复动作的影响。为克服这些挑战，我们提出一种自监督框架，利用带结构先验的融合 Gromov-Wasserstein 最优传输进行帧到帧映射。然而，仅针对上述时间对齐进行优化可能导致退化解，其中所有帧被映射到嵌入空间中的小簇，从而将每个视频分配给仅一个关键步骤。为此，我们引入对比正则化，使不同帧映射到空间中的不同点，避免平凡解。最终，在原生视角和第三人称基准上进行大量实验，证明我们在先前方法（包括依赖经典 Kantorovich 最优传输及最优性先验的 OPEL）方面表现优异。