IL-NeRF: 面向相机位姿对齐的神经辐射场增量学习
计算机视觉与模式识别
2023-12-12 v1 人工智能
摘要
神经辐射场 (NeRF) 是一种生成逼真图像和表示复杂场景的极具前景的方法。然而，在按顺序处理数据时，它可能会遭受灾难性遗忘，即在用新数据训练后，先前的数据很容易被遗忘。现有的基于知识蒸馏的增量学习方法假设连续的数据块包含 2D 图像和相应的相机位姿参数，这些参数是从完整数据集中预先估计的。这构成了一个悖论：尽管数据是按顺序到达的且无法获取未来的数据块，但必要的相机位姿必须从整个数据集中估计。相反，我们关注相机位姿未知的实际场景。我们提出了 IL-NeRF，一种用于 NeRF 增量训练的新框架，以应对这一挑战。IL-NeRF 的核心思想在于选择一组过去的相机位姿作为参考，以初始化并对齐输入图像数据的相机位姿。随后进行相机位姿的联合优化与基于重放的 NeRF 蒸馏。我们在真实世界室内外场景上的实验表明，IL-NeRF 能够处理 NeRF 增量训练，并且在渲染质量上比基线高出达 。
引用
@article{arxiv.2312.05748,
title = {IL-NeRF: Incremental Learning for Neural Radiance Fields with Camera Pose Alignment},
author = {Letian Zhang and Ming Li and Chen Chen and Jie Xu},
journal= {arXiv preprint arXiv:2312.05748},
year = {2023}
}