HOIDiffusion：生成逼真的 3D 手-物交互数据
计算机视觉与模式识别
2024-03-19 v1
摘要
由于扩大数据收集过程的硬件限制，3D 手-物交互数据非常稀缺。在本文中，我们提出了 HOIDiffusion，用于生成逼真且多样的 3D 手-物交互数据。我们的模型是一个条件扩散模型，它同时将 3D 手-物几何结构和文本描述作为图像合成的输入。这提供了更具可控性和逼真的合成，因为我们可以以解耦的方式指定结构和风格输入。HOIDiffusion 通过利用在大规模自然图像上预训练的扩散模型和少量 3D 人体演示来进行训练。除了可控的图像合成外，我们采用生成的 3D 数据来学习 6D 物体姿态估计，并展示了其在改进感知系统方面的有效性。项目页面：https://mq-zhang1.github.io/HOIDiffusion
引用
@article{arxiv.2403.12011,
title = {HOIDiffusion: Generating Realistic 3D Hand-Object Interaction Data},
author = {Mengqi Zhang and Yang Fu and Zheng Ding and Sifei Liu and Zhuowen Tu and Xiaolong Wang},
journal= {arXiv preprint arXiv:2403.12011},
year = {2024}
}
备注
Project page: https://mq-zhang1.github.io/HOIDiffusion