稀疏视图下的去模糊神经辐射场 (Sparse-DeRF)
计算机视觉与模式识别
2025-04-22 v2
摘要
最近的研究使用数十张模糊图像构建去模糊神经辐射场（DeRF），但在仅提供少量模糊图像的实际场景中并不实用。本文聚焦于从稀疏视图构建 DeRF，以满足更实用的真实场景需求。我们的实验发现，仅凭稀疏视图建立 DeRF 因同时优化模糊核和 NeRF 而更具挑战性。Sparse-DeRF 成功正则化了复杂的联合优化，减轻了过拟合伪影并提升了辐射场质量。该正则化包括三个关键组件：表面光滑性帮助模型利用基于统计趋势的真实场景中未见及额外隐藏射线来精确预测场景结构；调制梯度缩放帮助模型根据场景物体的排列调整反向传播梯度；感知蒸馏通过克服图像去模糊的多视图不一致性不足之处，提炼预去模糊信息，弥补模糊图像中干净信息的不足。我们通过训练从 2 视图、4 视图和 6 视图模糊图像的 DeRF，展示了 Sparse-DeRF 的有效性，并通过大量定量和定性实验结果予以证明。
引用
@article{arxiv.2407.06613,
title = {Sparse-DeRF: Deblurred Neural Radiance Fields from Sparse View},
author = {Dogyoon Lee and Donghyeong Kim and Jungho Lee and Minhyeok Lee and Seunghoon Lee and Sangyoun Lee},
journal= {arXiv preprint arXiv:2407.06613},
year = {2025}
}
备注
Accepted and to appear in IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). Project page: https://dogyoonlee.github.io/sparsederf/