DevNet：基于密度体构建的自监督单目深度学习方法
计算机视觉与模式识别
2022-10-04 v4
摘要
从单目图像进行的自监督深度学习通常依赖于时间相邻图像帧之间的 2D 像素级光度关系。然而，它们既未充分利用 3D 点级几何对应，也未有效解决由遮挡或光照不一致引起的光度扭曲中的歧义。为解决这些问题，本工作提出密度体构建网络（DevNet），一种新颖的自监督单目深度学习框架，其可考虑 3D 空间信息，并利用相邻相机视锥间更强的几何约束。我们的 DevNet 不是从单张图像直接回归像素值，而是将相机视锥划分为多个平行平面，并预测每个平面上逐点遮挡概率密度。最终深度图通过沿相应射线对密度进行积分生成。在训练过程中，引入新颖的正则化策略和损失函数以缓解光度歧义和过拟合。在不明显增大模型参数量或运行时间的情况下，DevNet 在 KITTI-2015 室外数据集和 NYU-V2 室内数据集上均优于若干代表性基线。特别地，在深度估计任务中，DevNet 在 KITTI-2015 和 NYU-V2 上的均方根误差均降低约 4%。代码见 https://github.com/gitkaichenzhou/DevNet。
引用
@article{arxiv.2209.06351,
title = {DevNet: Self-supervised Monocular Depth Learning via Density Volume Construction},
author = {Kaichen Zhou and Lanqing Hong and Changhao Chen and Hang Xu and Chaoqiang Ye and Qingyong Hu and Zhenguo Li},
journal= {arXiv preprint arXiv:2209.06351},
year = {2022}
}
备注
Accepted by European Conference on Computer Vision 2022 (ECCV2022)