自监督实时视频稳像
计算机视觉与模式识别
2021-11-12 v1
摘要
视频是一种流行的媒体形式，其中在线视频流近年来广受欢迎。在这项工作中，我们提出了一种新颖的实时视频稳像方法——将抖动视频转换为如同通过云台实时稳定的稳定视频。我们的框架可以以自监督方式进行训练，不需要使用特殊硬件设置（即立体装置上的两个相机或额外的运动传感器）捕获的数据。我们的框架由给定帧间的变换估计器组成，用于全局稳定性调整，随后是通过空间平滑光流减少场景视差模块以进一步增强稳定性。然后，边缘修复模块填充稳定过程中创建的缺失边缘区域，以减少后期裁剪量。这些顺序步骤将失真和边缘裁剪降至最低，同时增强稳定性。因此，我们的方法优于最先进的实时视频稳像方法以及需要相机轨迹优化的离线方法。我们的方法流程耗时约 24.3 ms，产生 41 fps，与分辨率无关（例如 480p 或 1080p）。
引用
@article{arxiv.2111.05980,
title = {Self-Supervised Real-time Video Stabilization},
author = {Jinsoo Choi and Jaesik Park and In So Kweon},
journal= {arXiv preprint arXiv:2111.05980},
year = {2021}
}
备注
BMVC 2021