深度在线融合视频稳像
计算机视觉与模式识别
2021-04-06 v2
摘要
我们提出了一种深度神经网络（DNN），它通过无监督学习利用传感器数据（陀螺仪）和图像内容（光流）来稳定视频。该网络将光流与真实/虚拟相机位姿历史融合为一种联合运动表示。接着，LSTM 模块推断新的虚拟相机位姿，并利用该虚拟位姿生成用于稳定帧的扭曲网格。我们提出了新颖的相对运动表示以及多阶段训练过程，以在无任何监督的情况下优化我们的模型。据我们所知，这是首个同时采用传感器数据和图像进行稳像的 DNN 方案。我们通过消融研究验证了所提出的框架，并通过定量评估和用户研究表明该方法优于最先进的替代方案。
引用
@article{arxiv.2102.01279,
title = {Deep Online Fused Video Stabilization},
author = {Zhenmei Shi and Fuhao Shi and Wei-Sheng Lai and Chia-Kai Liang and Yingyu Liang},
journal= {arXiv preprint arXiv:2102.01279},
year = {2021}
}
备注
9 pages. Project page: https://zhmeishi.github.io/dvs/