MEIL-NeRF:神经辐射场的内存高效增量学习
计算机视觉与模式识别
2025-09-17 v3
摘要
依托神经网络的表征能力,神经辐射场(NeRF)近期已成为前景广阔且应用广泛的 3D 物体与场景表征方法之一。然而,NeRF 在实际应用中面临挑战,例如大规模场景与内存受限的边缘设备,其中数据需顺序处理。在此类增量学习场景下,神经网络已知会遭受灾难性遗忘:在训练新数据后易遗忘先前所见数据。我们观察到,既往增量学习算法受限于低性能或内存可扩展性问题。为此,我们开发了面向 NeRF 的内存高效增量学习算法(MEIL-NeRF)。MEIL-NeRF 受 NeRF 本身启发:神经网络可作为记忆,以光线为查询提供像素 RGB 值。基于该动机,我们的框架学习应查询 NeRF 的哪些光线以提取先前像素值。所提取像素值随后以自蒸馏方式用于训练 NeRF,以防止灾难性遗忘。结果,MEIL-NeRF 展现出恒定内存消耗与具竞争力的性能。
引用
@article{arxiv.2212.08328,
title = {MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields},
author = {Jaeyoung Chung and Kanggeon Lee and Sungyong Baik and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2212.08328},
year = {2025}
}
备注
10 pages for main paper, additional 7 pages for supple. For the project page, see https://robot0321.github.io/meil-nerf/index.html