Hoi3DGen：生成3D人体-物体相互作用的高质量模型
计算机视觉与模式识别
2026-03-13 v1 机器学习
摘要
从文本建模和生成3D人体-物体相互作用对于AR、XR和游戏等应用至关重要。现有方法常依赖从文本到图像模型中提炼的评分，但其结果受到Janus问题的困扰，且未能忠实遵循文本提示，因为缺乏高质量相互作用数据。我们引入Hoi3DGen框架，生成高质量纹理网格的人体-物体相互作用，精确遵循输入的相互作用描述。我们首先利用多模态大型语言模型筛选出真实且高质量的相互作用数据，然后构建完整的文本到3D管线，实现了相互作用保真度的数量级提升。我们的方法在文本一致性上超越基线4-15倍，在3D模型质量上超越基线3-7倍，展现出对多样类别和相互作用类型的强大泛化能力，同时保持高质量的3D生成。
引用
@article{arxiv.2603.12126,
title = {Hoi3DGen: Generating High-Quality Human-Object-Interactions in 3D},
author = {Agniv Sharma and Xianghui Xie and Tom Fischer and Eddy Ilg and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2603.12126},
year = {2026}
}