2L3：将不完美的生成式2D图像提升为精确的3D
计算机视觉与模式识别
2024-01-30 v1
摘要
从单张图像重建 3D 物体是一个引人入胜但极具挑战性的问题。一种有前景的解决方案是利用多视图（MV）3D 重建，将生成的 MV 图像融合为一致的 3D 物体。然而，生成的图像通常存在光照不一致、几何未对齐和视图稀疏等问题，导致重建质量较差。为了解决这些问题，我们提出了一种新颖的 3D 重建框架，该框架分别利用内在分解引导、瞬态单目先验引导和视图增强来应对这三个问题。具体而言，我们首先利用内在分解从生成的图像中解耦着色信息，以减少不一致光照的影响；然后，我们引入具有视图相关瞬态编码的单目先验来增强重建的法线；最后，我们设计了一种视图增强融合策略，最小化生成的稀疏视图中的像素级损失和增强的随机视图中的语义损失，从而产生视图一致的几何和精细纹理。因此，我们的方法能够将预训练的 MV 图像生成器与基于神经网络的体积符号距离函数（SDF）表示相结合，用于单图像到 3D 物体的重建。我们在各种数据集上评估了我们的框架，并证明了其在定量和定性评估中的优越性能，标志着 3D 物体重建的重大进展。与最新的 SOTA 方法 Syncdreamer~\cite{liu2023syncdreamer} 相比，我们将 Chamfer Distance 误差降低了约 36%，并将 PSNR 提高了约 30%。
引用
@article{arxiv.2401.15841,
title = {2L3: Lifting Imperfect Generated 2D Images into Accurate 3D},
author = {Yizheng Chen and Rengan Xie and Qi Ye and Sen Yang and Zixuan Xie and Tianxiao Chen and Rong Li and Yuchi Huo},
journal= {arXiv preprint arXiv:2401.15841},
year = {2024}
}