一种深度移动相机背景模型

在视频分析中，背景模型具有诸多应用，如背景/前景分离、变化检测、异常检测、跟踪等。然而，尽管在静态相机拍摄的视频中学习此类模型已是较为成熟的任务，但在移动相机背景模型（MCBM）的情况下，由于相机运动带来的算法与可扩展性挑战，其成功程度远为有限。因此，现有MCBM在其适用范围和所支持的相机运动类型上均受限。这些障碍也阻碍了在无监督任务中采用基于深度学习（DL）的端到端解决方案。此外，现有MCBM通常在大型全景图像域中或以在线方式对背景建模。遗憾的是，前者引发包括可扩展性差在内的若干问题，而后者则阻碍了对相机重访场景已见区域时的识别与利用。本文提出一种称为DeepMCBM的新方法，消除了上述所有问题并取得了最优结果。具体而言，我们首先指出视频帧联合对齐中（尤其是深度学习环境下）的困难。接着，我们提出一种联合对齐新策略，使得我们能够在无需正则化或任何专门（且不可微分）初始化的情况下使用空间变换网络。结合以未扭曲的鲁棒中心矩（由联合对齐获得）为条件的自编码器，由此产生一个端到端、无正则化且支持广泛相机运动并良好扩展的MCBM。我们在多种视频上展示了DeepMCBM的效用，包括超出其他方法范围的视频。我们的代码见 https://github.com/BGU-CS-VIL/DeepMCBM 。