面向主动立体视觉的自监督深度补全
计算机视觉与模式识别
2022-01-21 v2
摘要
主动立体系统被用于许多需要 3D 信息的机器人应用中。然而,这些深度传感器存在立体伪影问题,且无法提供稠密深度估计。在本工作中,我们提出首个面向主动立体系统的自监督深度补全方法,可预测准确的稠密深度图。我们的系统利用基于特征的视觉惯性 SLAM 系统来产生运动估计与准确的(但稀疏的)3D 路标。这些 3D 路标既作为模型输入,也作为训练过程中的监督信号。运动估计被用于我们新颖的重建损失中,该损失依赖于被动与主动立体帧的组合,从而在室内环境中常见的无纹理区域取得显著改进。由于不存在公开的主动立体数据集,我们发布了一个真实数据集,并为公开可用的合成数据集 TartanAir [42] 提供了主动深度补全与预测所需的额外信息。通过严谨的评估,我们表明该方法在两个数据集上均优于当前最优方法。此外,我们展示了当该方法用于机器人平台时,如何获得更完整因而更安全的 3D 地图。
引用
@article{arxiv.2110.03234,
title = {Self-Supervised Depth Completion for Active Stereo},
author = {Frederik Warburg and Daniel Hernandez-Juarez and Juan Tarrio and Alexander Vakhitov and Ujwal Bonde and Pablo F. Alcantarilla},
journal= {arXiv preprint arXiv:2110.03234},
year = {2022}
}
备注
Accepted to RAL-ICRA 21