ParticleNeRF：一种用于在线神经辐射场的基于粒子的编码
计算机视觉与模式识别
2023-03-27 v4 机器人学
摘要
尽管现有的针对动态场景的神经辐射场（NeRF）是强调视觉保真度的离线方法，我们的论文解决了优先考虑实时自适应性的在线用例。我们提出 ParticleNeRF，一种通过每 200ms 在线学习最新表示来动态适应场景几何变化的新方法。ParticleNeRF 使用一种新颖的基于粒子的参数化编码实现这一点。我们将特征耦合到空间中的粒子，并将光度重建损失反向传播到粒子的位置梯度，这些梯度随后被解释为速度向量。由一个轻量级物理系统处理碰撞，这使得特征随变化的场景几何自由移动。我们在包含平移、旋转、关节式和可变形物体的各种动态场景上演示了 ParticleNeRF。ParticleNeRF 是首个在线动态 NeRF，并且在具有在线约束的动态场景上实现了比暴力在线 InstantNGP 和其他基线方法更快的自适应性及更好的视觉保真度。我们系统的视频可在项目网站 https://sites.google.com/view/particlenerf 找到。
引用
@article{arxiv.2211.04041,
title = {ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance Fields},
author = {Jad Abou-Chakra and Feras Dayoub and Niko Sünderhauf},
journal= {arXiv preprint arXiv:2211.04041},
year = {2023}
}