基于几何扩散先验的 NeRF 图像 inpainting 及平衡得分蒸馏
计算机视觉与模式识别
2024-11-26 v1
摘要
近期的 NeRF 图像 inpasting 研究已利用预训练扩散模型来提升性能。然而，这些方法往往因未有效利用 2D 扩散先验而导致次优结果。其局限性体现在两个关键方面：预训练扩散模型捕获几何信息不足，以及现有 Score Distillation Sampling (SDS) 方法提供的引导不够理想。为解决这些问题，我们提出了 GB-NeRF—a 一个通过改进利用 2D 扩散先验来增强 NeRF 图像 inpasting 的新框架。我们的方法包含两个关键创新点：一种同时学习外观和几何先验的微调策略，以及一种将这些几何先验整合到 NeRF 图像 inpasting 中的专用 normal 蒸馏损失。我们提出了一种称为平衡得分蒸馏 (Balanced Score Distillation, BSD) 的技术，超越了 Score Distillation (SDS) 及其改进版本 Conditional Score Distillation (CSD) 等现有方法。BSD 在外观和几何方面均提供更好的图像 inpasting 质量。大量实验表明，我们的方法在外观保真度和几何一致性方面优于现有方法。
引用
@article{arxiv.2411.15551,
title = {NeRF Inpainting with Geometric Diffusion Prior and Balanced Score Distillation},
author = {Menglin Zhang and Xin Luo and Yunwei Lan and Chang Liu and Rui Li and Kaidong Zhang and Ganlin Yang and Dong Liu},
journal= {arXiv preprint arXiv:2411.15551},
year = {2024}
}