深度运动盲视频稳像
计算机视觉与模式识别
2021-10-25 v2
摘要
尽管计算机视觉中生成模型领域取得进展，视频稳像仍缺乏纯回归的基于深度学习的表述。由于缺乏包含视角相似但运动不同的视频对的数据集，深度视频稳像通常借助显式运动估计模块来表述。因此，该任务的深度学习方法难以对潜在稳像帧进行像素级合成，转而借助运动估计模块将不稳定帧间接变换为稳像帧，导致帧边界附近视觉内容丢失。本文中，我们旨在借助一个包含视角相似但运动不同的训练视频对的新数据集，厘清这一过度复杂的视频稳像表述，并通过采用严格常规的生成技术成功学习运动盲全帧视频稳像，以及借助受课程学习启发的对抗训练策略进一步提升稳定性，从而验证该数据集的有效性。通过大量实验，我们展示了所提方法相对于 SOTA 视频稳像方法在定量与定性上的优势。此外，我们的方法相较当前可用的最快视频稳像方法实现了 加速。
引用
@article{arxiv.2011.09697,
title = {Deep Motion Blind Video Stabilization},
author = {Muhammad Kashif Ali and Sangjoon Yu and Tae Hyun Kim},
journal= {arXiv preprint arXiv:2011.09697},
year = {2021}
}