最小延迟深度在线视频稳像
计算机视觉与模式识别
2023-08-16 v3
摘要
我们提出了一种用于在线视频稳像任务的新型相机路径优化框架。通常，稳像流程包含三个步骤：运动估计、路径平滑和新视角渲染。以往多数方法集中于运动估计，提出了各种全局或局部运动模型。相比之下，路径优化受到的关注相对较少，尤其是在无未来帧可用的关键在线场景中。本工作中，我们采用近期现成的优质深度运动模型进行运动估计以恢复相机轨迹，并聚焦于后两个步骤。我们的网络以滑动窗口中的短 2D 相机路径为输入，输出窗口最后一帧的稳定化扭曲场（warp field），该扭曲场将到来帧扭曲至其稳定位置。我们定义了混合损失以约束空间与时间一致性。此外，我们构建了一个包含稳定与不稳定运动对的运动数据集用于训练。大量实验表明，我们的方法在定性与定量上均显著优于最先进的在线方法，并取得了与离线方法相当的性能。我们的代码与数据集发布于 https://github.com/liuzhen03/NNDVS
引用
@article{arxiv.2212.02073,
title = {Minimum Latency Deep Online Video Stabilization},
author = {Zhuofan Zhang and Zhen Liu and Ping Tan and Bing Zeng and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2212.02073},
year = {2023}
}
备注
Accepted by ICCV 2023