在线多传感器深度融合学习
计算机视觉与模式识别
2022-09-22 v2
摘要
许多手持或混合现实设备虽常配备多个传感器，但仅使用单一传感器进行三维重建。多传感器深度融合能显著提升三维重建方法的鲁棒性和精度，但现有技术不足以稳健处理具有不同数值范围、噪声和离群值统计特性的传感器。为此，我们提出了SenFuNet，这是一种深度融合方法，能够学习传感器特定的噪声和离群值统计特性，并以在线方式融合来自不同传感器的深度帧数据流。我们的方法无需时间同步和标定即可融合多传感器深度流，且仅需少量训练数据即可良好泛化。我们在真实世界的CoRBS和Scene3D数据集以及Replica数据集上，使用多种传感器组合进行了实验。实验表明，我们的融合策略优于传统和近期的在线深度融合方法。此外，与使用单一传感器相比，多传感器组合能实现更稳健的离群值处理和更精确的表面重建。源代码和数据可在https://github.com/tfy14esa/SenFuNet获取。
引用
@article{arxiv.2204.03353,
title = {Learning Online Multi-Sensor Depth Fusion},
author = {Erik Sandström and Martin R. Oswald and Suryansh Kumar and Silvan Weder and Fisher Yu and Cristian Sminchisescu and Luc Van Gool},
journal= {arXiv preprint arXiv:2204.03353},
year = {2022}
}
备注
Accepted to ECCV 2022. 31 pages, 17 figures, 15 Tables