用于整体形状重建的全视线成像
计算机视觉与模式识别
2023-04-24 v1 图像与视频处理
摘要
我们提出 Omni-LOS，一种基于单光子雪崩二极管（SPAD）飞行时间传感器的神经计算成像方法，用于对复杂物体进行整体形状重建（HSR）。如图 1 所示，我们的方法具备从单一扫描点重建物体近 周边几何的新能力。在此场景下，传统视线（LOS）成像方法仅能看到物体前部，通常无法恢复被遮挡的背面区域。受近期非视线（NLOS）成像技术进展启发（其已展示重建遮挡物体的强大能力），Omni-LOS 将 LOS 与 NLOS 结合，利用二者互补优势从单一扫描位置联合恢复物体整体形状。我们方法的核心是将物体置于漫反射墙附近，并用周边墙壁的 NLOS 扫描增强前视的 LOS 扫描，这些墙壁充当将光引向物体的虚拟“镜子”。我们并非分别恢复 LOS 与 NLOS 信号，而是采用类 NeRF 与 NeTF 的隐式神经网络表示物体。由于瞬态在 LOS 中沿直线射线测量而在 NLOS 中沿球面波前测量，我们推导可微射线传播模型以同时建模两类瞬态测量，使 NLOS 重建也考虑直接 LOS 测量，反之亦然。我们进一步开发了概念验证的 Omni-LOS 硬件原型用于真实世界验证。在各种墙壁设置上的综合实验表明，Omni-LOS 成功解决了遮挡引起的形状歧义，实现了高保真 3D 扫描质量，并能够恢复不同尺度与复杂度的物体。
引用
@article{arxiv.2304.10780,
title = {Omni-Line-of-Sight Imaging for Holistic Shape Reconstruction},
author = {Binbin Huang and Xingyue Peng and Siyuan Shen and Suan Xia and Ruiqian Li and Yanhua Yu and Yuehan Wang and Shenghua Gao and Wenzheng Chen and Shiying Li and Jingyi Yu},
journal= {arXiv preprint arXiv:2304.10780},
year = {2023}
}