面向鱼眼视频校正的时空形变感知
计算机视觉与模式识别
2023-02-09 v1
摘要
尽管鱼眼图像的畸变校正已被广泛研究，鱼眼视频的校正仍是一项难以攻克的挑战。对于鱼眼视频的不同帧，现有图像校正方法忽略了序列的相关性，导致校正后视频出现时间抖动。为解决该问题，我们提出一种时间加权方案以获得合理的全局光流，通过逐步降低帧的权重来缓解抖动效应。随后，我们观察到视频的帧间光流有助于感知鱼眼视频的局部空间形变。因此，我们通过鱼眼视频与无畸变视频的光流推导出空间形变，从而提升预测结果的局部精度。然而，对每帧的独立校正破坏了时间相关性。由于鱼眼视频的特性，一个畸变的移动物体或许能在另一时刻找到其无畸变模式。为此，设计了一种时间形变聚合器来重建帧间的形变关联并提供可靠的全局特征。我们的方法实现了端到端校正，并在校正质量与稳定性上相较SOTA校正方法展现出优越性。
引用
@article{arxiv.2302.03934,
title = {Spatiotemporal Deformation Perception for Fisheye Video Rectification},
author = {Shangrong Yang and Chunyu Lin and Kang Liao and Yao Zhao},
journal= {arXiv preprint arXiv:2302.03934},
year = {2023}
}