消除无监督在线视频拼接中的扭曲抖动

在本文中，我们将视频拼接重新聚焦于一个新兴问题——扭曲抖动，即在将图像拼接扩展至视频拼接时出现的问题。它揭示了非重叠区域中扭曲内容的时间不稳定性，尽管图像拼接已致力于保留自然结构。因此，在大多数情况下，即使待拼接的输入视频是稳定的，拼接后的视频也不可避免地会引起不期望的扭曲抖动并影响视觉体验。为了消除抖动，我们提出了 StabStitch，在一个统一的无监督学习框架中同时实现视频拼接和视频稳定。从视频稳定中的相机路径出发，我们首先通过精细地整合空间和时间扭曲，推导出视频拼接中拼接轨迹的表达式。随后，提出了一种扭曲平滑模型，在综合考虑内容对齐、轨迹平滑度、空间一致性和在线协作的情况下对其进行优化。为了建立评估基准并训练该学习框架，我们构建了一个在相机运动和场景方面具有丰富多样性的视频拼接数据集。与现有的拼接解决方案相比，StabStitch 除了在拼接和稳定性能方面表现出色外，还在场景鲁棒性和推理速度上展现出显著优势，从而构建了一个鲁棒的实时在线视频拼接系统。代码和数据集可在 https://github.com/nie-lang/StabStitch 获取。