竞争性协作：深度、相机运动、光流与运动分割的联合无监督学习

我们研究低级视觉中若干相互关联问题的无监督学习：单视图深度预测、相机运动估计、光流，以及将视频分割为静态场景和运动区域。我们的核心洞见是，这四个基础视觉问题通过几何约束相互耦合。因此，学习共同解决它们可以简化问题，因为各解能够相互强化。我们通过更显式地利用几何并将场景分割为静态和运动区域，超越了以往的工作。为此，我们引入了竞争性协作（Competitive Collaboration），这是一个促进多个专用神经网络协调训练以解决复杂问题的框架。竞争性协作的工作机制类似于期望最大化，但其中的神经网络既作为竞争者解释对应于静态或运动区域的像素，又通过一个调节器作为协作者，将像素分配为静态或独立运动。我们的新方法将所有这些问题整合在一个统一框架中，同时推理场景向运动物体和静态背景的分割、相机运动、静态场景结构的深度以及运动物体的光流。我们的模型在无任何监督的情况下进行训练，并在所有子问题上实现了联合无监督方法中的 SOTA 性能。