NeRF-DS：面向动态高光物体的神经辐射场
计算机视觉与模式识别
2023-03-28 v1 图形学
摘要
动态神经辐射场（NeRF）是一种强大的算法，能够从动态场景的单目 RGB 视频中渲染出照片级真实的新视角图像。尽管它将运动点从观测空间跨帧扭曲至公共规范空间进行渲染，动态 NeRF 并未对扭曲过程中反射颜色的变化进行建模。因此，该方法在面对运动中的高挑战性高光物体时往往严重失效。我们通过将神经辐射场函数重构为以观测空间中的表面位置与朝向为条件来克服这一局限。这使得不同位姿下的高光表面在映射至公共规范空间时保留不同的反射颜色。此外，我们加入运动物体掩码以引导形变场。由于高光表面在运动中改变颜色，该掩码缓解了仅以 RGB 监督难以建立时间对应的问题。我们基于自采集的、真实环境中不同运动高光物体数据集，依据新视角合成质量评估了我们的模型。实验结果表明，与现有 NeRF 模型相比，我们的方法显著提升了从单目 RGB 视频中重建运动高光物体的质量。我们的代码与数据可在项目网站 https://github.com/JokerYan/NeRF-DS 获取。
引用
@article{arxiv.2303.14435,
title = {NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects},
author = {Zhiwen Yan and Chen Li and Gim Hee Lee},
journal= {arXiv preprint arXiv:2303.14435},
year = {2023}
}
备注
CVPR 2023