利用合成数据学习恶劣条件下的视频稳像
计算机视觉与模式识别
2022-08-29 v1 图形学
摘要
视频稳像在提升视频质量方面起着核心作用。然而，尽管这些方法取得了实质性进展，它们主要在标准天气和光照条件下进行测试，在恶劣条件下可能表现不佳。本文提出一种对合成数据感知的恶劣天气鲁棒视频稳像算法，该算法不需要真实数据，且仅可在合成数据上训练。我们还提出 Silver，一种新颖的渲染引擎，用于生成所需的训练数据并带有自动真值提取流程。我们的方法利用专门生成的合成数据来训练仿射变换矩阵估计器，从而避免了当前方法所面临的特征提取问题。此外，由于目前没有恶劣条件下的视频稳像数据集，我们提出新颖的 VSAC105Real 数据集用于评估。我们使用两个基准将我们的方法与五种最先进的视频稳像算法进行比较。结果表明，当前方法至少在一种天气条件下表现不佳，而即便仅在小型合成数据集上训练，在考虑所有天气条件时，我们在稳定性平均分、畸变分数、成功率和平均裁剪比方面均取得最佳性能。因此，我们的视频稳像模型在真实世界视频上泛化良好，且不需要大规模合成训练数据即可收敛。
引用
@article{arxiv.2208.12763,
title = {Leveraging Synthetic Data to Learn Video Stabilization Under Adverse Conditions},
author = {Abdulrahman Kerim and Washington L. S. Ramos and Leandro Soriano Marcolino and Erickson R. Nascimento and Richard Jiang},
journal= {arXiv preprint arXiv:2208.12763},
year = {2022}
}