DreamHOI：基于扩散先验的 3D 人体-物体交互主动生成
计算机视觉与模式识别
2024-09-13 v1
摘要
我们提出了 DreamHOI，一种用于零样本合成人体-物体交互 (HOI) 的新方法，使 3D 人体模型能够根据文本描述真实地与任何给定物体进行交互。这一任务受到实际物体类别和几何形状的多样性以及包含多样 HOI 的数据稀缺的制约。为规避需要大量数据的限制，我们利用在数十亿图像-描述对上训练的文本到图像扩散模型。我们使用这些模型获得的得分蒸馏采样 (SDS) 梯度优化皮肤人体网格的关节，后者预测图像空间的编辑。然而，直接将图像空间梯度反向传播到复杂的关节参数上是无效的 due to such gradients 的局部性。为克服这一点，我们引入了皮肤人体网格的双隐式-显式表示，将（隐式）神经辐射场 (NeRF) 与（显式）骨骼驱动的人体网格关节结合在一起。在优化过程中，我们在隐式和显式形式之间进行转换，同时在细化人体网格关节时将 NeRF 生成锚定。我们通过大量实验进行了验证，表明该方法在生成真实 HOI 方面具有有效性。
引用
@article{arxiv.2409.08278,
title = {DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors},
author = {Thomas Hanwen Zhu and Ruining Li and Tomas Jakab},
journal= {arXiv preprint arXiv:2409.08278},
year = {2024}
}
备注
Project page: https://DreamHOI.github.io/