InFusion:基于扩散先验学习深度补全的3D高斯修复
计算机视觉与模式识别
2024-04-18 v1
摘要
3D高斯分布已成为新视角合成的一种高效表示方法。本工作研究其可编辑性,特别关注修复任务,该任务旨在通过添加额外的点来补充不完整的3D高斯集合,以实现视觉上协调的渲染。与2D修复相比,3D高斯修复的关键在于确定引入点的渲染相关属性,其优化在很大程度上受益于它们的初始3D位置。为此,我们提出用图像条件深度补全模型来指导点的初始化,该模型学习直接根据观测图像恢复深度图。这种设计使我们的模型能够以与原始深度对齐的尺度补全深度值,并利用大规模扩散先验的强大泛化能力。得益于更精确的深度补全,我们的方法InFusion在各种复杂场景下,在保真度和效率方面均优于现有替代方法。我们进一步通过几个实际应用展示了InFusion的有效性,例如使用用户特定纹理或插入新物体的修复。
引用
@article{arxiv.2404.11613,
title = {InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior},
author = {Zhiheng Liu and Hao Ouyang and Qiuyu Wang and Ka Leong Cheng and Jie Xiao and Kai Zhu and Nan Xue and Yu Liu and Yujun Shen and Yang Cao},
journal= {arXiv preprint arXiv:2404.11613},
year = {2024}
}
备注
Project page: https://johanan528.github.io/Infusion