面向含噪自由运动相机视频前景-背景分离的全景鲁棒主成分分析

本文提出了一种用于存在可能密集与稀疏损坏的自由运动相机视频前景-背景分离的新鲁棒主成分分析方法。我们提出的方法对损坏视频的帧进行配准，然后将由相机运动引起的变化视角编码为全局模型中的缺失数据。该表述使我们的算法能够生成全景背景分量，自动将来自部分重叠帧的损坏数据拼接在一起以重建完整视场。我们将配准后的视频建模为低秩分量、平滑分量与稀疏分量之和：低秩分量捕捉背景，平滑分量捕捉场景的动态前景，稀疏分量隔离视频中可能的离群点及其他稀疏损坏。我们模型的低秩部分基于一种近期提出的低秩矩阵估计器（OptShrink），该估计器在实践中已被证明能产生优异的低秩子空间估计。为估计模型的平滑前景分量，我们采用加权全变分框架，使方法能够可靠地将视频的真实前景与稀疏损坏解耦。我们在受多种密集与稀疏损坏的静态与运动相机视频上进行了大量数值实验。实验表明，相较于现有方法，我们提出的方法在前景与背景估计精度上均达到了最先进的性能。