基于光传输调制的被动非视域成像
计算机视觉与模式识别
2025-01-03 v4 图像与视频处理
摘要
被动非视域（NLOS）成像近年来发展迅速，因为它能够对视线外的物体进行成像。光传输条件在此任务中起着重要作用，因为改变条件会导致不同的成像模型。现有的基于学习的NLOS方法通常为不同的光传输条件训练独立的模型，这计算效率低下，并损害了模型的实用性。在这项工作中，我们提出了NLOS-LTM，一种新颖的被动NLOS成像方法，它使用单个网络有效地处理多种光传输条件。我们通过从投影图像中推断出潜在的光传输表示，并使用该表示来调制从投影图像重建隐藏图像的网络来实现这一点。我们训练一个光传输编码器以及一个向量量化器来获得光传输表示。为了进一步调节这种表示，我们在训练期间联合学习重建网络和重投影网络。一组光传输调制块用于以多尺度方式调制这两个联合训练的网络。在大规模被动NLOS数据集上的大量实验证明了所提出方法的优越性。代码可在https://github.com/JerryOctopus/NLOS-LTM获取。
引用
@article{arxiv.2312.16014,
title = {Passive Non-Line-of-Sight Imaging with Light Transport Modulation},
author = {Jiarui Zhang and Ruixu Geng and Xiaolong Du and Yan Chen and Houqiang Li and Yang Hu},
journal= {arXiv preprint arXiv:2312.16014},
year = {2025}
}