基于虚拟世界监督与真实世界 SfM 自监督的单目深度估计
计算机视觉与模式识别
2022-06-07 v3
摘要
深度信息对于自动驾驶与驾驶辅助中的车载感知至关重要。单目深度估计（MDE）极具吸引力，因为它使外观与深度处于直接的逐像素对应而无需进一步标定。最佳的 MDE 模型基于以监督方式训练的卷积神经网络（CNN），即假设有逐像素真值（GT）。通常，该 GT 在训练时通过标定的多模态传感器套件获取。然而，训练时仅使用单目系统也更廉价且更具可扩展性。这可通过依赖运动恢复结构（SfM）原理来生成自监督实现。尽管如此，伪装物体、可见性变化、静态相机间隔、无纹理区域以及尺度模糊等问题，削弱了此类自监督的效用。本文中，我们通过虚拟世界监督（MonoDEVS）与真实世界 SfM 自监督进行单目深度估计。我们利用具有准确语义与深度监督的虚拟世界图像并解决虚拟到真实域间隙，来补偿 SfM 自监督的局限。我们的 MonoDEVSNet 优于先前在单目甚至立体序列上训练的 MDE CNN。
引用
@article{arxiv.2103.12209,
title = {Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision},
author = {Akhil Gurram and Ahmet Faruk Tuna and Fengyi Shen and Onay Urfalioglu and Antonio M. López},
journal= {arXiv preprint arXiv:2103.12209},
year = {2022}
}
备注
Published in IEEE-Transactions on Intelligent Transportation Systems, 2021 15 pages, 12 figures