解耦物体运动与遮挡的无监督多帧单目深度估计
计算机视觉与模式识别
2022-07-26 v2 人工智能
机器学习
机器人学
摘要
传统的自监督单目深度预测方法基于静态环境假设，在动态场景中由于物体运动引入的不匹配与遮挡问题而导致精度下降。现有的聚焦动态物体的方法仅在训练损失层面部分解决了不匹配问题。本文相应地提出了一种新颖的多帧单目深度预测方法，在预测与监督损失两个层面解决这些问题。我们的方法称为 DynamicDepth，是一种通过自监督循环一致性学习方案训练的新框架。提出动态物体运动解耦（DOMD）模块以解耦物体运动，从而解决不匹配问题。此外，设计了新颖的遮挡感知代价体与重投影损失，以缓解物体运动的遮挡影响。在 Cityscapes 与 KITTI 数据集上的大量分析与实验表明，我们的方法显著优于最先进的单目深度预测方法，尤其在动态物体区域。代码见 https://github.com/AutoAILab/DynamicDepth
引用
@article{arxiv.2203.15174,
title = {Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocular Depth},
author = {Ziyue Feng and Liang Yang and Longlong Jing and Haiyan Wang and YingLi Tian and Bing Li},
journal= {arXiv preprint arXiv:2203.15174},
year = {2022}
}
备注
[ECCV 2022]