HumanRef：通过参考引导扩散从单张图像生成三维人体
计算机视觉与模式识别
2023-11-29 v1
摘要
从单张参考图像生成三维人体模型具有挑战性，因为需要在不可见视角推断纹理与几何的同时保持与参考图像的一致性。先前利用三维生成模型的方法受限于三维训练数据的可用性。基于优化将文本到图像扩散模型提升为三维生成的方法往往无法保留参考图像的纹理细节，导致不同视角下外观不一致。本文中，我们提出 HumanRef，一种从单视角输入的三维人体生成框架。为确保生成的三维模型逼真且与输入图像一致，HumanRef 引入了一种称为参考引导分数蒸馏采样（reference-guided score distillation sampling, Ref-SDS）的新方法，其将图像引导有效融入生成过程。此外，我们向 Ref-SDS 引入区域感知注意力（region-aware attention），确保不同身体区域间的准确对应。实验结果表明，HumanRef 在生成具有精细几何、逼真纹理和视角一致外观的三维着装人体方面优于最先进（state-of-the-art）方法。
引用
@article{arxiv.2311.16961,
title = {HumanRef: Single Image to 3D Human Generation via Reference-Guided Diffusion},
author = {Jingbo Zhang and Xiaoyu Li and Qi Zhang and Yanpei Cao and Ying Shan and Jing Liao},
journal= {arXiv preprint arXiv:2311.16961},
year = {2023}
}
备注
Homepage: https://eckertzhang.github.io/HumanRef.github.io/