面向全帧视频稳定的边界外视图合成
计算机视觉与模式识别
2021-08-23 v1
摘要
基于变形的视频稳定器通过约束每个像素的位移来平滑相机轨迹,并相应地从不稳定帧中变形出稳定帧。然而,由于变形过程中边界外的视图不可用,稳定帧边界周围的空洞必须被丢弃(即裁剪)以维持视觉一致性,从而导致稳定性与裁剪比之间的权衡。本文首次尝试通过提出一种新的边界外视图合成(OVS)方法来解决该问题。借助相邻帧之间及每帧内部的空间相干性,OVS 通过将相邻帧对齐到各参考帧来外推边界外视图。在技术层面,它首先计算光流并根据亲和度将其传播到外边界区域,随后相应地变形像素。OVS 可作为即插即用模块集成到现有基于变形的稳定器中,显著提升稳定结果的裁剪比。此外,由于减少了由裁剪和缩放引起的抖动放大效应,稳定性也得到改善。在 NUS 基准上的实验结果表明,OVS 能在客观指标和主观视觉质量方面提升五种代表性前沿方法的性能。代码已公开于 https://github.com/Annbless/OVS_Stabilization。
引用
@article{arxiv.2108.09041,
title = {Out-of-boundary View Synthesis Towards Full-Frame Video Stabilization},
author = {Yufei Xu and Jing Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2108.09041},
year = {2021}
}
备注
10 pages, 6 figures, accepted by ICCV2021