CG-HOI：基于接触引导的三维人-物交互生成

我们提出 CG-HOI，这是首个从文本生成动态三维人-物交互（HOI）的方法。我们以相互依赖的方式对人体和物体的运动进行建模，因为语义丰富的人体运动很少在没有任何交互的孤立状态下发生。我们的核心见解是，显式建模人体表面与物体几何之间的接触，可作为强代理引导，在训练和推理阶段均适用。利用该引导来桥接人体与物体运动，能够生成更真实且物理合理的交互序列，其中人体与相应物体以连贯方式运动。我们的方法首先在以交叉注意力相互关联的联合扩散过程中学习建模人体运动、物体运动与接触。随后我们利用学习到的接触在推理时作为引导，以合成真实且连贯的 HOI。大量评估表明，我们这种基于联合接触的人-物交互方法能生成真实且物理合理的序列，并展示了两项凸显该方法能力的应用。在给定物体轨迹的条件下，我们无需重新训练即可生成相应人体运动，展现出强大的人-物相互依赖学习能力。我们的方法还具有灵活性，可应用于静态真实世界三维场景扫描。