面向自监督单目训练深度估计的语义引导表示增强
计算机视觉与模式识别
2020-12-16 v1
摘要
自监督深度估计已展现出仅以图像序列为输入即可生成高质量深度图的卓越有效性。然而，由于其深度表示能力有限，在边界区域或细薄结构物体上的估计性能通常下降。本文中，我们通过提出一种语义引导深度表示增强方法来解决该问题，其利用丰富上下文信息同时提升局部与全局深度特征表示。不同于常规范式所用的单一深度网络，我们提出一条额外的语义分割分支，为深度估计提供额外上下文特征。基于此框架，我们通过采样并将位于语义边缘的基于点的特征送入专门设计的语义引导边缘增强模块（SEEM）来强化局部特征表示，该模块专为促进挑战性语义边界上的深度估计而设。随后，我们提出语义引导多级注意力机制以改善全局特征表示，其通过在多级深度解码方案中探索像素级关联来增强语义与深度特征。大量实验验证了我们的方法在捕获语义类别边界与细薄物体等挑战性图像区域上高精度深度的明显优越性。KITTI 上的定量与定性实验均表明我们的方法优于当前最优（SOTA）方法。
引用
@article{arxiv.2012.08048,
title = {Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation},
author = {Rui Li and Qing Mao and Pei Wang and Xiantuo He and Yu Zhu and Jinqiu Sun and Yanning Zhang},
journal= {arXiv preprint arXiv:2012.08048},
year = {2020}
}