基于迭代优化的快速全帧视频稳像

视频稳像是指将抖动视频转换为视觉愉悦视频的问题。如何在视觉质量与计算速度之间取得良好权衡，一直是视频稳像中的开放挑战之一。受晃动帧与拼图类比的启发，我们提出一种基于迭代优化的学习方法，使用合成数据集进行视频稳像，其由两个相互作用的子模块组成：运动轨迹平滑与全帧外绘。首先，我们基于概率流场开发了两级（由粗到细）稳像算法。利用与估计光流相关的置信度图，通过反向传播引导共享区域的搜索。其次，我们采用分而治之的思路，提出一种新颖的多帧融合策略以渲染全帧稳像视图。我们的迭代优化方法带来的一个重要新洞见是：目标视频可解释为视频稳像非线性映射的不动点。我们将视频稳像表述为最小化运动轨迹中抖动程度的问题，并借助不动点理论保证收敛。我们报告了广泛的实验结果，以证明所提方法在计算速度与视觉质量上的优越性。代码将于 GitHub 发布。