基于交替训练与从 3D 到 2D 几何约束的视频深度与自运动自监督学习

从无标签单目视频中自监督学习深度与自运动已取得令人瞩目的结果并引起广泛关注。大多数现有方法基于运动恢复结构（SFM）原理，通过相邻帧的光度一致性联合训练深度与位姿网络。然而，深度与位姿网络的耦合关系严重影响了学习性能，且重投影关系对尺度模糊敏感，尤其对于位姿学习。本文旨在不借助辅助任务而通过交替训练各任务并将对极几何约束融入基于迭代最近点（ICP）的点云匹配过程来提升深度-位姿学习性能并解决上述问题。与联合训练深度和位姿网络不同，我们的核心思想是通过在固定另一个网络的同时以各自损失交替训练每个网络，以更好地利用这两个任务的相互依赖。我们还设计了对数尺度 3D 结构一致性损失，以在训练中对较小的深度值给予更多关注。为使优化更容易，我们进一步将对极几何融入基于 ICP 的学习过程以进行位姿学习。在各种基准数据集上的大量实验表明了我们的算法相对于最先进的自监督方法的优越性。