基于不确定性感知学习的图像到 3D 生成不一致校正方法 RIGI
计算机视觉与模式识别
2024-12-02 v1
摘要
给定单张目标物体图像，图像到 3D 生成旨在重建其纹理与几何形状。近期方法常利用多视角图像或视频等中间媒介，以弥合输入图像与 3D 目标之间的差距，从而指导形状与纹理的生成。然而，生成的多视角快照经常引入噪声与伪影，致使物体边界出现问题，削弱 3D 重建过程。为此，我们利用 3D 高斯溅写（3DGS）进行 3D 重建，并显式将不确定性感知学习集成到重建过程中。通过捕获两个高斯模型之间的随机性，我们估计出不确定性图，并随后用于不确定性感知的正则化，以校正不一致的影响。具体而言，我们同时优化两个高斯模型，计算通过相同视点渲染的图像之间的差异，以获得不确定性图。基于该不确定性图，我们应用自适应像素级 loss 权重进行正则化，在高不确定性区域降低重建强度。该方法能动态检测并缓解多视角标签之间的冲突，产生更平滑的结果，有效减少伪影。大量实验表明，该方法在减少不一致性和伪影方面显著提升了 3D 生成质量。
引用
@article{arxiv.2411.18866,
title = {RIGI: Rectifying Image-to-3D Generation Inconsistency via Uncertainty-aware Learning},
author = {Jiacheng Wang and Zhedong Zheng and Wei Xu and Ping Liu},
journal= {arXiv preprint arXiv:2411.18866},
year = {2024}
}
备注
Project Page: https://rigi3d.github.io/