中文

$\Delta$-NeRF:通过残差控制与知识迁移进行神经光度场的增量细化

计算机视觉与模式识别 2025-11-27 v1 机器学习

摘要

神经光度场 (NeRF) 在 3D 重建和新视角合成方面展现出惊人的能力。然而,大多数现有 NeRF 框架在引入新视角后需要完全重新训练,这限制了其在数据顺序到达的领域的适用性。这在卫星基于地形分析中尤为突出,因为该区域随时间被反复观察。神经光度场的增量细化尚未得到充分探索,幼稚的方法在过去数据不可用时会遭受灾难性遗忘。我们提出了 Δ\Delta-NeRF,一种用于增量 NeRF 细化的独特模块化残差框架。Δ\Delta-NeRF 引入了若干新技术,包括:(1) 将残差控制器注入到冻结的基础 NeRF 的各层,以实现无需访问过去数据即可进行细化;(2) 一种不确定性感知的门控机制,通过自适应组合基础和细化预测防止过度校正;(3) 一种视角选择策略,通过减少最高可达 47\% 的训练数据来保持性能。此外,我们采用知识蒸馏将增强模型压缩到紧凑的学生网络(大小为原来的 20\%)。在卫星图像上进行的实验表明,Δ\Delta-NeRF 在训练时间缩短 30-42\% 的同时,实现了与联合训练相当的性能。Δ\Delta-NeRF 持续优于现有基准,在 PSNR 上实现最高可达 43.5\% 的提升,并在某些指标上超越联合训练。

关键词

引用

@article{arxiv.2511.20804,
  title  = {$\Delta$-NeRF: Incremental Refinement of Neural Radiance Fields through Residual Control and Knowledge Transfer},
  author = {Kriti Ghosh and Devjyoti Chakraborty and Lakshmish Ramaswamy and Suchendra M. Bhandarkar and In Kee Kim and Nancy O'Hare and Deepak Mishra},
  journal= {arXiv preprint arXiv:2511.20804},
  year   = {2025}
}