SPIDeRS：用于不可见深度与反射率感知的结构化偏振
计算机视觉与模式识别
2024-04-02 v2 图像与视频处理
摘要
我们能否以隐蔽的方式捕捉形状和反射率？这种能力对于视觉、xR、机器人技术和人机交互（HCI）等众多应用领域都极具价值。我们引入了用于不可见深度与反射率感知的结构化偏振（SPIDeRS），这是首个利用偏振光模式进行深度和反射率感知的方法。其核心思想是在每个像素上调制投影光的线偏振角（AoLP）。偏振的使用使其不可见，并使我们不仅能恢复深度，还能直接恢复表面法线甚至反射率。我们使用液晶空间光调制器（SLM）和偏振相机实现了 SPIDeRS。我们推导出一种新方法，用于从偏振物体外观中鲁棒地提取投影的结构化偏振模式。我们通过将 SPIDeRS 应用于多个真实物体来评估其有效性。结果表明，我们的方法成功重建了各种材质的物体形状，并且对漫反射和环境光具有鲁棒性。我们还演示了利用恢复的表面法线和反射率进行重光照。我们相信 SPIDeRS 为偏振在视觉感知中的应用开辟了一条新途径。
引用
@article{arxiv.2312.04553,
title = {SPIDeRS: Structured Polarization for Invisible Depth and Reflectance Sensing},
author = {Tomoki Ichikawa and Shohei Nobuhara and Ko Nishino},
journal= {arXiv preprint arXiv:2312.04553},
year = {2024}
}
备注
to be published in CVPR 2024