StabStitch++：基于时空双向变形的无监督在线视频拼接

我们将视频拼接重新定位到一个新出现的议题，称为warping shake，即当将图像拼接扩展到视频拼接时，由顺序不光滑变形引起的时序内容晃动。即使输入视频稳定，拼接后的视频也不可避免地会导致令人满意的warping shakes，从而影响视觉体验。为此，我们提出StabStitch++，一个新的视频拼接框架，以无监督方式实现空间拼接和时间稳定。首先，与现有的基于学习的图像拼接方法不同，我们假设原始图像平面之间的虚拟中面，并将其投射到其上。具体而言，我们设计了一个可微分的双向分解模块来分离单应性变换，并将其纳入我们的空间变形，将对齐负担和投影畸变均匀分布在两个视图中。然后，灵感来自视频稳定中的相机轨迹，我们通过精心整合空间和时间变形，推导了视频拼接中拼接轨迹的数学表达式。最后，提出一种变形平滑模型，以混合损失产生稳定的拼接视频，同时鼓励内容对齐、轨迹平滑和在线协作。与牺牲对齐以换取稳定性的StabStitch相比，StabStitch++不作出妥协，同时优化两者，尤其是在在线模式下。为建立评估基准和训练学习框架，我们构建了一个在摄像机运动和场景方面具有丰富多样性的视频拼接数据集。实验表明，StabStitch++在拼接性能、鲁性和效率方面均优于当前解决方案，构建了一个实时在线视频拼接系统，为该领域带来了令人瞩目的进展。