InterDiff:利用物理信息扩散生成三维人-物交互
计算机视觉与模式识别
2023-09-01 v1 人工智能
图形学
摘要
本文探讨一项新任务:预测三维人-物交互(HOIs)。现有 HOI 合成研究大多缺乏与动态物体的全面全身交互,例如常局限于操控小物体或静态物体。我们的任务更具挑战性,因为它需要对具有各种形状的动态物体建模、捕捉全身运动并确保物理有效的交互。为此,我们提出 InterDiff,一个包含两关键步骤的框架:(i) 交互扩散,利用扩散模型编码未来人-物交互的分布;(ii) 交互校正,引入物理信息预测器在扩散步骤中校正去噪后的 HOIs。我们的核心见解是注入先验知识:参考下相对于接触点的交互遵循简单模式且易于预测。在多人-物交互数据集上的实验证明了我们方法对该任务的有效性,能够生成逼真、生动且极长程的三维 HOI 预测。
引用
@article{arxiv.2308.16905,
title = {InterDiff: Generating 3D Human-Object Interactions with Physics-Informed Diffusion},
author = {Sirui Xu and Zhengyuan Li and Yu-Xiong Wang and Liang-Yan Gui},
journal= {arXiv preprint arXiv:2308.16905},
year = {2023}
}
备注
ICCV 2023; Project Page: https://sirui-xu.github.io/InterDiff/