基于背景模型补全的运动相机显著性检测

检测视频中的显著性是许多计算机视觉系统的基础步骤。显著性是指视频中的重要目标。感兴趣的对象会被进一步分析以用于高层应用。如果显著性和背景表现出不同的视觉线索，就可以将它们分离。因此，显著性检测通常被表述为背景减除。然而，显著性检测具有挑战性。例如，动态背景可能导致假阳性错误。在另一种情况下，伪装会导致假阴性错误。对于运动相机，捕获的场景处理起来更为复杂。我们提出了一种新的框架，称为基于背景模型补全的显著性检测（SD-BMC），该框架由一个背景建模器和一个深度学习背景/前景分割网络组成。背景建模器从短图像序列中生成初始的干净背景图像。基于视频补全的思想，在背景变化和运动目标共存的情况下，可以合成一个好的背景帧。我们采用的背景/前景分割器，虽然是用特定的视频数据集预训练的，但也能在未见过的视频中检测显著性。当处理长视频时，如果背景/前景分割器的输出质量下降，背景建模器可以动态调整背景图像。据我们所知，我们的框架是首个将视频补全应用于运动相机拍摄视频的背景建模和显著性检测的方法。从PTZ视频中获得的结果表明，我们提出的框架比一些基于深度学习的背景减除模型性能高出11%或更多。在更具挑战性的视频上，我们的框架也比许多排名靠前的背景减除方法性能高出3%以上。