自适应网格化视频稳像

视频稳像对于提升抖动视频的视觉质量至关重要。当前的视频稳像方法通常利用背景中的特征轨迹估计一个全局变换矩阵或基于固定网格的多个变换矩阵，并将抖动帧扭曲到其稳定视图。然而，这些方法在复杂场景（如包含大前景物体或强视差的场景）中可能无法良好建模抖动相机运动，并可能在稳定视频中产生明显的视觉伪影。为解决上述问题，本文提出一种基于所有特征轨迹和自适应分块策略的自适应网格化方法来稳定抖动视频。具体而言，我们首先提取抖动视频的特征轨迹，然后根据每帧中特征轨迹的分布生成三角形网格。接着，计算网格所有三角形格点上抖动帧与其稳定视图之间的变换，以稳定抖动视频。由于通常可以从所有区域（包括背景和前景区域）提取更多特征轨迹，因此可以获得更精细的网格，用于相机运动估计和帧扭曲。我们通过求解一个两阶段优化问题来估计每帧基于网格的变换。此外，前景和背景特征轨迹不再被区分，两者共同贡献于所提优化问题中的相机运动估计，这比先前工作产生了更好的估计性能，尤其是在具有大前景物体或强视差的挑战性视频中。