基于多区域修复的接触感知人-物交互非模态补全

非模态补全是指在存在部分遮挡的情况下推断物体完整外观的过程，这对于理解计算机视觉和机器人学中复杂的人-物交互（HOI）至关重要。现有方法，例如使用预训练扩散模型的方法，在动态场景中往往难以生成合理的补全结果，因为它们对 HOI 的理解有限。为解决这一问题，我们开发了一种新方法，将物理先验知识与专为 HOI 设计的专用多区域修复技术相结合。通过结合来自人体拓扑和接触信息的物理约束，我们定义了两个不同的区域：主区域（被遮挡物体部分最可能位于此处）和次区域（发生遮挡概率较低的区域）。我们的多区域修复方法在扩散模型中对这些区域采用了定制的去噪策略。这提高了生成补全结果在形状和视觉细节上的准确性与真实感。我们的实验结果表明，我们的方法在 HOI 场景中显著优于现有方法，使机器感知更接近人类对动态环境的理解。我们还表明，即使没有真值接触标注，我们的流程依然具有鲁棒性，这拓宽了其在 3D 重建和新视角/姿态合成等任务中的适用性。