UNIKD:面向神经隐式表示的基于不确定性过滤的增量知识蒸馏
计算机视觉与模式识别
2024-07-30 v3
摘要
近期的神经隐式表示(NIRs)在 3D 重建和新视角合成任务中取得了巨大成功。然而,它们需要场景从不同相机视角拍摄的图像可用于一次性训练。这尤其对于大规模场景和有限数据存储的场景而言是昂贵的。鉴于此,我们在本工作中探索 NIRs 的增量学习任务。我们设计了一个师生框架以缓解灾难性遗忘问题。具体而言,我们迭代地在每个时间步结束时将学生作为教师,并让教师在下一步指导学生的训练。因此,学生网络能够同时从流式数据中学习新信息,并从教师网络中保留旧知识。尽管直观,朴素地应用师生流水线在我们的任务中表现不佳。并非来自教师网络的所有信息都有帮助,因为它仅用旧数据训练过。为缓解该问题,我们进一步引入了一个随机询问器和一个基于不确定性的过滤器来过滤有用信息。我们提出的方法是通用的,因此可适配于不同的隐式表示,如神经辐射场(NeRF)和神经表面场。针对 3D 重建和新视角合成的大量实验结果证明了我们的方法相较于不同基线的有效性。
引用
@article{arxiv.2212.10950,
title = {UNIKD: UNcertainty-filtered Incremental Knowledge Distillation for Neural Implicit Representation},
author = {Mengqi Guo and Chen Li and Hanlin Chen and Gim Hee Lee},
journal= {arXiv preprint arXiv:2212.10950},
year = {2024}
}
备注
ECCV 2024