从阴影中学习神经表示
计算机视觉与模式识别
2022-07-21 v2 人工智能
摘要
我们提出一种学习神经阴影场的方法，神经阴影场是仅从场景中存在的阴影学习的神经场景表示。传统的从阴影恢复形状（SfS）算法从阴影重建几何，但假设固定的扫描设置，无法泛化到复杂场景。另一方面，神经渲染算法依赖 RGB 图像间的光度一致性，却很大程度上忽略了诸如阴影等物理线索，而后者已被证明可提供关于场景的宝贵信息。我们观察到阴影是一种强有力的线索，可约束神经场景表示以学习从阴影恢复形状，甚至优于 NeRF 来重建原本隐藏的几何。我们提出一种受图形学启发的可微方法，通过体渲染绘制准确阴影，预测可与真实阴影比较的阴影图。即使仅使用二值阴影图，我们也展示神经渲染可定位物体并估计粗略几何。我们的方法揭示了图像中的稀疏线索可用于通过可微体渲染估计几何。此外，我们的框架具有高度泛化性，可 alongside 现有仅使用光度一致性的 3D 重建技术一同工作。
引用
@article{arxiv.2203.15946,
title = {Towards Learning Neural Representations from Shadows},
author = {Kushagra Tiwary and Tzofi Klinghoffer and Ramesh Raskar},
journal= {arXiv preprint arXiv:2203.15946},
year = {2022}
}