将分步装配图示与视频演示对齐

多模态对齐便于在使用一种模态查询时检索另一种模态的实例。在本文中，我们考虑一种新颖的设置：对齐（i）以装配图示描绘的指令步骤（常见于宜家装配手册）与（ii）来自真实场景视频的视频片段；这些视频包含现实世界中装配动作的执行过程。为学习此对齐，我们提出一种新颖的监督对比学习方法，在一组新颖损失的引导下，学习将视频与装配图示中的细微细节对齐。为研究该问题并证明方法有效性，我们引入一个新数据集：IAW（野外宜家装配），包含来自多样家具装配集合的183小时视频，以及来自其相关说明书的近8300幅插图，并标注了真实对齐关系。我们在该数据集上定义两项任务：第一，视频片段与插图的最近邻检索；第二，各视频的指令步骤与片段的对齐。在IAW上的大量实验表明我们的方法优于其他替代方案。