OOD-HOI：基于文本的超出训练域的3D全身人体-物体互动生成
计算机视觉与模式识别
2024-12-02 v1
摘要
从文本描述生成逼真的3D人体-物体互动（HOI）是具有潜在应用场景的活跃研究主题，包括虚拟现实、增强现实、机器人和动画等。然而，由于缺乏大规模互动数据以及在超出训练域（OOD）场景中确保物理可行性的困难，创建高质量的3D HOI仍然具有挑战性。现有方法往往仅关注身体或手部，限制了其产生连贯且真实互动的能力。本文提出了OOD-HOI，一个面向生成在新物体和动作上具有良好泛化性的全身人体-物体互动的文本驱动框架。我们的方法整合了双分支互惠扩散模型来合成初始互动姿态，采用接触引导的互动精炼器基于预测的接触区域提高物理准确性，并引入动态适应机制，包括语义调整和几何变形以提高鲁棒性。实验结果表明，OOD-HOI能够在OOD场景下生成比现有方法更真实且在物理上更合理的3D互动姿态。
引用
@article{arxiv.2411.18660,
title = {OOD-HOI: Text-Driven 3D Whole-Body Human-Object Interactions Generation Beyond Training Domains},
author = {Yixuan Zhang and Hui Yang and Chuanchen Luo and Junran Peng and Yuxi Wang and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2411.18660},
year = {2024}
}