中文

ShadowNeuS:基于阴影光线监督的神经 SDF 重建

计算机视觉与模式识别 2023-03-24 v2

摘要

通过监督场景与多视图图像平面之间的相机光线,NeRF 重建出用于新视角合成任务的神经场景表示。另一方面,光源与场景之间的阴影光线尚未被考虑。因此,我们提出了一种新颖的阴影光线监督方案,该方案同时优化光线上的采样点和光线位置。通过监督阴影光线,我们成功地从多光照条件下的单视图图像中重建出场景的神经 SDF。给定单视图二值阴影,我们训练一个神经网络来重建不受相机视线限制的完整场景。通过进一步建模图像颜色与阴影光线之间的关联,我们的技术也可以有效扩展到 RGB 输入。我们在从单视图二值阴影或 RGB 图像进行形状重建的具有挑战性的任务上与先前工作进行比较,并观察到显著改进。代码和数据可在 https://github.com/gerwang/ShadowNeuS 获取。

关键词

引用

@article{arxiv.2211.14086,
  title  = {ShadowNeuS: Neural SDF Reconstruction by Shadow Ray Supervision},
  author = {Jingwang Ling and Zhibo Wang and Feng Xu},
  journal= {arXiv preprint arXiv:2211.14086},
  year   = {2023}
}

备注

CVPR 2023. Project page: https://gerwang.github.io/shadowneus/