单图生成带关节部件的物体

我们解决了从单张图像创建 household 带关节物体的3D资产的挑战。先前的关节物体创建工作要么需要多视图多状态输入，要么只允许对生成过程进行粗略控制。这些限制阻碍了关节物体建模的可扩展性和实际应用性。本文提出了一种从单张图像生成关节物体的方法。观察物体处于休息状态并从任意视角拍摄的图像后，我们的方法生成与输入图像视觉一致的关节物体。为了捕捉单视图所导致的部件形状和运动的歧义，我们设计了一种扩散模型，学习物体在几何和运动学方面的合理变体。为了处理生成带有多个属性的结构数据的复杂性，我们设计了一条从高层结构到几何细节的粗到细的管道，其中我们使用部件连接图和部件抽象作为代理。我们的实验表明，我们的方法在生成物体的真实性、与输入图像的一致性以及重建质量方面均以大幅度优势超过最先进的关节物体创建方法。