工作中的宜家手册：互联网视频中组装说明的4D定位

形状组装是日常生活中的一项普遍任务，对于构建像宜家家具这样的复杂3D结构至关重要。尽管在开发用于形状组装的自主智能体方面取得了显著进展，但现有数据集尚未解决视频中组装说明的4D定位问题，而这对于在三维空间中随时间全面理解组装过程至关重要。我们引入了IKEA Video Manuals数据集，该数据集包含家具部件的3D模型、组装说明书、来自互联网的组装视频，以及最重要的是，这些数据模态之间的密集时空对齐标注。为了展示IKEA Video Manuals的实用性，我们提出了五种对形状组装至关重要的应用：组装计划生成、部件条件分割、部件条件姿态估计、视频对象分割以及基于说明视频手册的家具组装。对于每种应用，我们提供了评估指标和基线方法。通过对我们标注数据的实验，我们突出了在视频中定位组装说明以改进形状组装的许多挑战，包括处理遮挡、不同视角以及扩展的组装序列。