HiFi-123：面向高保真单图到 3D 内容生成
计算机视觉与模式识别
2024-07-15 v3
摘要
扩散模型的最新进展使得从单张图像生成 3D 成为可能。然而，当前方法在新视角下常产生次优结果，纹理模糊且与参考图像存在偏差，限制了其实用性。本文中，我们提出 HiFi-123，一种面向高保真且多视角一致的 3D 生成方法。我们的贡献有两点：首先，提出一种参考引导新视角增强（RGNV）技术，显著提升了基于扩散的零样本新视角合成方法的保真度。其次，借助 RGNV，我们提出一种新颖的参考引导状态蒸馏（RGSD）损失。当纳入基于优化的图像到 3D 流程时，我们的方法显著提升了 3D 生成质量，达到了最先进的性能。综合评估从定性与定量上证明了我们的方法相对于现有方法的有效性。视频结果见项目主页。
引用
@article{arxiv.2310.06744,
title = {HiFi-123: Towards High-fidelity One Image to 3D Content Generation},
author = {Wangbo Yu and Li Yuan and Yan-Pei Cao and Xiangjun Gao and Xiaoyu Li and Wenbo Hu and Long Quan and Ying Shan and Yonghong Tian},
journal= {arXiv preprint arXiv:2310.06744},
year = {2024}
}
备注
Accepted by ECCV 2024. Project Page: https://drexubery.github.io/HiFi-123/