OccludeNeRF：基于协作评分蒸馏的几何感知3D场景填充
图像与视频处理
2025-04-04 v1
摘要
随着神经光照场（NeRF）作为强大的3D表示而逐渐兴起，研究人员开始探索其各种下游任务，包括使用2D图像进行NeRF填充。尽管已有努力成功地解决了视图一致性和几何质量问题，但先前的方法在NeRF填充任务中仍然存在遮挡问题，其中2D先验在形成用于填充的场景重建时受到严格限制。为此，我们提出了一种新方法，使其在从扩散模型进行知识蒸馏期间实现跨视图信息共享，从而有效地在有限视角之间传播被遮挡的信息。此外，为将蒸馏方向在多个采样视图之间对齐，我们应用基于网格的去噪策略并纳入额外渲染视图以增强跨视图一致性。为评估我们方法处理遮挡情况的能力，我们构建了一个由具有严重遮挡的挑战性场景组成的数据集，以补充现有数据集。与基线方法相比，我们的方法在跨视图一致性和重建忠实性方面表现更好，同时保持高渲染质量和保真度。
引用
@article{arxiv.2504.02007,
title = {OccludeNeRF: Geometric-aware 3D Scene Inpainting with Collaborative Score Distillation in NeRF},
author = {Jingyu Shi and Achleshwar Luthra and Jiazhi Li and Xiang Gao and Xiyun Song and Zongfang Lin and David Gu and Heather Yu},
journal= {arXiv preprint arXiv:2504.02007},
year = {2025}
}
备注
CVPR 2025 CV4Metaverse