CLNeRF：持续学习遇见NeRF
计算机视觉与模式识别
2023-08-30 v1
摘要
新视角合成旨在给定一组标定图像的情况下渲染未见过的视角。在实际应用中，场景的覆盖范围、外观或几何形状可能随时间变化，并持续捕获新图像。高效地纳入这种连续变化是一个开放性挑战。标准NeRF基准仅涉及场景覆盖范围的扩展。为了研究其他实际场景变化，我们提出了一个新数据集World Across Time (WAT)，由随时间在外观和几何上发生变化的场景组成。我们还提出了一种简单而有效的方法CLNeRF，它将持续学习(CL)引入神经辐射场(NeRFs)。CLNeRF结合生成重放与Instant Neural Graphics Primitives (NGP)架构，有效防止灾难性遗忘，并在新数据到达时高效更新模型。我们还在NGP中添加了可训练的外观和几何嵌入，使单个紧凑模型能够处理复杂的场景变化。无需存储历史图像，CLNeRF在变化场景的多次扫描上顺序训练的表现与一次性在所有扫描上训练的上界模型相当。与其他CL基线相比，CLNeRF在标准基准和WAT上表现得好得多。源代码和WAT数据集可在 https://github.com/IntelLabs/CLNeRF 获取。视频展示见：https://youtu.be/nLRt6OoDGq0?si=8yD6k-8MMBJInQPs
引用
@article{arxiv.2308.14816,
title = {CLNeRF: Continual Learning Meets NeRF},
author = {Zhipeng Cai and Matthias Mueller},
journal= {arXiv preprint arXiv:2308.14816},
year = {2023}
}
备注
Accepted to ICCV 2023