SAFENet:基于语义感知特征提取的自监督单目深度估计
计算机视觉与模式识别
2021-01-01 v3
摘要
自监督单目深度估计已成为一种有前景的方法,因为它在训练期间不需要真实深度图。作为真实深度图的替代,光度损失(photometric loss)通过匹配输入图像帧为深度预测提供自监督。然而,光度损失会导致各种问题,使得与有监督方法相比深度值精度较低。在本文中,我们提出 SAFENet,其设计旨在利用语义信息克服光度损失的局限性。我们的核心思想是借助融合语义与几何知识的语义感知深度特征。因此,我们引入多任务学习方案,将语义感知性纳入深度特征的表示中。在 KITTI 数据集上的实验表明,我们的方法可与最先进(state-of-the-art)方法竞争甚至优于它们。此外,在不同数据集上的大量实验显示了其更好的泛化能力以及对低光照或恶劣天气等各种条件的鲁棒性。
引用
@article{arxiv.2010.02893,
title = {SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware Feature Extraction},
author = {Jaehoon Choi and Dongki Jung and Donghwan Lee and Changick Kim},
journal= {arXiv preprint arXiv:2010.02893},
year = {2021}
}