NL2Contact: 基于扩散模型的自然语言引导3D手-物体接触建模

建模手和物体之间的物理接触是用于细化不准确的手部姿态和生成新型人类抓取姿态的标准方法。然而，现有方法依赖几何约束，无法指定或控制。本文引入了一种以自然语言描述为导向的可控3D手-物体接触建模任务。挑战包括i)从语言到接触的跨模态建模的复杂性，ii)缺乏对接触模式的描述性文本。为解决这些问题，我们提出了NL2Contact，一种利用分阶段扩散模型生成可控接触的模型。给定一个描述手部和接触的语言描述，NL2Contact会生成真实且忠实的3D手-物体接触。为训练该模型，我们构建了ContactDescribe，首个包含手部中心接触描述的数据集。它包含由大型语言模型基于精心设计的提示词（如抓取动作、抓取类型、接触位置、自由手指状态等）生成的多层次和多样化描述。我们展示了该模型在抓取姿态优化和新型人类抓取生成中的应用，均基于文本接触描述。