二合一深度：弥合单目与双目自监督深度估计之间的差距
计算机视觉与模式识别
2023-09-06 v1
摘要
单目与双目自监督深度估计是计算机视觉中两个重要且相关的任务，分别旨在从单张图像与立体图像对预测场景深度。文献中，这两个任务通常由两类不同模型分别处理，且双目模型一般无法从单张图像预测深度，而单目模型的预测精度通常劣于双目模型。本文提出一种称为TiO-Depth的二合一自监督深度估计网络，其不仅能兼容处理两项任务，还可提升预测精度。TiO-Depth采用连体架构，其每个子网络均可作为单目深度估计模型使用。对于双目深度估计，提出单目特征匹配模块以融入两图像间的立体知识，并使用完整的TiO-Depth预测深度。我们还设计了一种多阶段联合训练策略，通过结合两者的相对优势来提升TiO-Depth在两项任务中的表现。在KITTI、Cityscapes和DDAD数据集上的实验结果表明，TiO-Depth在大多数情况下优于单目与双目的SOTA方法，并进一步验证了二合一网络用于单目与双目深度估计的可行性。代码见 https://github.com/ZM-Zhou/TiO-Depth_pytorch。
引用
@article{arxiv.2309.00933,
title = {Two-in-One Depth: Bridging the Gap Between Monocular and Binocular Self-supervised Depth Estimation},
author = {Zhengming Zhou and Qiulei Dong},
journal= {arXiv preprint arXiv:2309.00933},
year = {2023}
}
备注
Accepted to ICCV 2023