基于语义分割与像素级非线性核的视频去模糊

视频去模糊是一个具有挑战性的问题，因为模糊很复杂，通常由相机抖动、物体运动和深度变化的组合引起。光流可用于核估计，因为它能预测运动轨迹。然而，在复杂场景中的物体边界处，光流估计往往不准确，而这些边界对核估计至关重要。在本文中，我们在每个模糊帧中利用语义分割来理解场景内容，并对图像区域使用不同的运动模型来引导光流估计。现有的像素级模糊模型假设在曝光时间内模糊核与光流相同，但当像素处的运动模糊轨迹与估计的线性光流不同时，该假设不成立。我们分析了运动模糊轨迹与光流之间的关系，并提出了一种新颖的像素级非线性核模型来解释运动模糊。所提出的模糊模型基于非线性光流，能更有效地描述复杂的运动模糊。在具有挑战性的模糊视频上的大量实验表明，所提出的算法优于 SOTA 方法。