Manual-PA：基于说明手册的3D零件装配学习

组装家具是一个离散-连续优化任务，需要选择要组装的零件并以物理上真实的方式估计它们的姿态。该问题因其组合爆炸且解空间稀疏而变得困难，使得学习组装成为当前机器学习模型的一项挑战性任务。在本文中，我们利用通常随家具零件附带的图解手册中提供的组装说明来解决这个问题。我们的关键见解是利用这些图表中的线索将问题分解为离散和连续两个阶段。具体来说，我们提出了Manual-PA，一个基于Transformer的指令手册引导的3D零件装配框架，它使用对比学习骨干网络学习将3D零件与其在手册中的插图进行语义对齐，以预测装配顺序，并通过将每个零件与手册中描绘的最终家具相关联来推断其6D姿态。为了验证我们方法的有效性，我们在基准数据集PartNet上进行了实验。结果表明，使用图解和顺序信息在装配性能上显著优于现有最先进方法。此外，我们的方法在真实世界的IKEA手册数据集上展示了良好的泛化能力。