Mask-ToF：学习微透镜掩模用于飞行时间成像中的飞行像素校正
图像与视频处理
2021-04-01 v1 计算机视觉与模式识别
摘要
我们提出 Mask-ToF，一种减少飞行时间（ToF）深度捕获中飞行像素（FP）的方法。FP 是普遍存在的伪影，出现于深度边缘周围，其中来自物体及其背景的光路在孔径上被积分。该光在传感器像素处混合产生错误深度估计，会对下游 3D 视觉任务产生不利影响。Mask-ToF 从这些 FP 的源头入手，学习微透镜级遮挡掩模，为每个传感器像素有效创建定制形状的子孔径。这在逐像素基础上调制前景与背景光混合的选择，从而将场景几何信息直接编码进 ToF 测量中。我们开发了可微分 ToF 模拟器，联合训练卷积神经网络解码该信息并生成高保真、低 FP 的深度重建。我们在模拟光场数据集上测试 Mask-ToF 的有效性，并用实验原型验证该方法。为此，我们制造所学振幅掩模并设计光学中继系统将其虚拟放置于高分辨率 ToF 传感器上。我们发现 Mask-ToF 无需重训练即可很好地泛化到真实数据，将 FP 数量减半。
引用
@article{arxiv.2103.16693,
title = {Mask-ToF: Learning Microlens Masks for Flying Pixel Correction in Time-of-Flight Imaging},
author = {Ilya Chugunov and Seung-Hwan Baek and Qiang Fu and Wolfgang Heidrich and Felix Heide},
journal= {arXiv preprint arXiv:2103.16693},
year = {2021}
}
备注
CVPR 2021. Project page and code: https://light.princeton.edu/publication/mask-tof