通过融合 IMU 运动动力学实现尺度感知、鲁棒且可泛化的无监督单目深度估计
计算机视觉与模式识别
2022-07-22 v3
摘要
无监督单目深度与自运动估计近年来受到广泛研究关注。尽管现有方法已达到较高的尺度模糊下精度，但由于使用单目序列训练所固有的尺度模糊性，它们通常无法学习到真实的尺度度量。本工作中，我们解决该问题并提出 DynaDepth，一种融合视觉与 IMU 运动动力学信息的新型尺度感知框架。具体而言，我们首先提出 IMU 光度损失与跨传感器光度一致性损失，以提供稠密监督与绝对尺度。为充分利用两传感器的互补信息，我们进一步驱动一个可微的以相机为中心扩展卡尔曼滤波器（EKF），在观测到视觉测量时更新 IMU 预积分运动。此外，EKF 公式使得学习自运动不确定性度量成为可能，这对无监督方法而言并非易事。通过在训练中利用 IMU，DynaDepth 不仅学到了绝对尺度，还提供了针对光照变化与运动物体等视觉退化更好的泛化能力与鲁棒性。我们在 KITTI 与 Make3D 数据集上通过大量实验与仿真验证了 DynaDepth 的有效性。
引用
@article{arxiv.2207.04680,
title = {Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics},
author = {Sen Zhang and Jing Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2207.04680},
year = {2022}
}
备注
Accepted to ECCV 2022. Code is released at https://github.com/SenZHANG-GitHub/ekf-imu-depth