区分性处理运动分量以演进联合深度与自运动学习

深度和自运动这两个基本3D感知任务的无监督学习近年来取得了显著进展。然而，大多数方法将自运动视为辅助任务，要么混合所有运动类型，要么在监督中排除与深度无关的旋转运动。这种设计限制了强几何约束的引入，降低了在多样化条件下的可靠性和鲁棒性。本研究引入了一种对运动分量的区分性处理，利用它们各自刚性流的几何规律性来同时有益于深度和自运动估计。给定连续视频帧，网络输出首先对齐源相机和目标相机的光轴和成像平面。帧间的光流通过这些对齐进行变换，并量化偏差以对每个自运动分量单独施加几何约束，从而实现更有针对性的优化。这些对齐进一步将联合学习过程重构为共轴和共面形式，其中深度和每个平移分量可以通过闭式几何关系相互推导，引入互补约束以提高深度鲁棒性。DiMoDE是一个融合了这些设计的通用深度和自运动联合学习框架，在多个公共数据集和一个新收集的多样化真实世界数据集上，特别是在具有挑战性的条件下，取得了最先进的性能。我们的源代码将在发表后于 mias.group/DiMoDE 公开。