基于体积三平面表示的3D提升与渐进式 refinement 的视图合成方法
计算机视觉与模式识别
2024-12-20 v1 图形学
摘要
我们提出了一种通过从单视图或少数视图输入图像合成3D神经场的新方法。为解决图像到3D生成问题的欠定性，我们设计了一个两阶段方法，包括一个重建模型和一个用于视图合成的扩散模型。我们的重建模型首先将一个或多个输入图像从体积中提升到3D空间，作为粗尺度3D表示，随后使用三平面作为细尺度3D表示。为缓解遮挡区域的歧义，我们的扩散模型随后从三平面中对渲染图像进行细节幻想。我们然后引入一种新的渐进式 refinement 技术，迭代地应用重建模型和扩散模型，以逐步合成新视图，提高整个3D表示及其渲染的质量。实证评估表明，我们的方法在合成SRN-Car数据集、野生CO3D数据集和大规模Objjaverse数据集上优于最先进的方法，同时实现了采样效能和多视图一致性。
引用
@article{arxiv.2412.14464,
title = {LiftRefine: Progressively Refined View Synthesis from 3D Lifting with Volume-Triplane Representations},
author = {Tung Do and Thuan Hoang Nguyen and Anh Tuan Tran and Rang Nguyen and Binh-Son Hua},
journal= {arXiv preprint arXiv:2412.14464},
year = {2024}
}