CorrespondentDream: 利用跨视图对应增强文本到3D的3D保真度
计算机视觉与模式识别
2024-09-18 v2
摘要
利用多视图扩散模型作为3D优化的先验，缓解了零样本文本到3D模型中的3D一致性问题，例如Janus面问题或内容漂移问题。然而，输出的3D几何保真度仍然是一个未解决的问题；尽管渲染的2D视图是逼真的，但底层几何可能包含错误，例如不合理的凹陷。在这项工作中，我们提出了CorrespondentDream，一种有效的方法，利用从扩散U-Net中产生的无需标注的跨视图对应关系，为NeRF优化过程提供额外的3D先验。我们发现这些对应关系与人类感知高度一致，通过将其纳入我们的损失设计，我们能够生成几何形状更符合常识的NeRF模型，例如更平滑的物体表面，从而获得更高的3D保真度。我们通过各种比较定性结果和一项可靠的用户研究证明了我们方法的有效性。
引用
@article{arxiv.2404.10603,
title = {CorrespondentDream: Enhancing 3D Fidelity of Text-to-3D using Cross-View Correspondences},
author = {Seungwook Kim and Kejie Li and Xueqing Deng and Yichun Shi and Minsu Cho and Peng Wang},
journal= {arXiv preprint arXiv:2404.10603},
year = {2024}
}
备注
25 pages, 22 figures, accepted to CVPR 2024