联合立体视频去模糊、场景流估计与运动物体分割
计算机视觉与模式识别
2020-01-08 v1
摘要
动态场景的立体视频常因相机运动及具有大深度变化的多个运动物体而呈现令人不快的模糊效果。给定连续的模糊立体视频帧，我们旨在恢复潜在的清晰图像、估计 3D 场景流并分割多个运动物体。这三项任务此前被分别处理，未能利用任务间的内在联系且无法达到最优。本文中，我们提出在一个统一框架中通过挖掘其内在联系联合求解这三项任务。为此，我们用分段平面模型表示动态场景，该模型利用了场景的局部结构并能表达多种动态场景。在我们的模型下，这三项任务自然关联并表述为 3D 场景结构与相机运动的参数估计（动态场景的结构与运动）。通过利用模糊模型约束、运动物体及 3D 场景结构，我们得到了联合去模糊、场景流与分割的能量最小化形式。我们在合成数据集和具有快速运动物体、相机运动、非受控光照条件及阴影的公开真实数据集上广泛评估了我们的方法。实验结果表明，相较于最先进的方法，我们的方法在立体视频去模糊、场景流估计与运动物体分割上均能取得显著改进。
引用
@article{arxiv.1910.02442,
title = {Joint Stereo Video Deblurring, Scene Flow Estimation and Moving Object Segmentation},
author = {Liyuan Pan and Yuchao Dai and Miaomiao Liu and Fatih Porikli and Quan Pan},
journal= {arXiv preprint arXiv:1910.02442},
year = {2020}
}
备注
Accepted by IEEE Transactions on Image Processing 2019. arXiv admin note: text overlap with arXiv:1704.03273