GlobalFlowNet：基于深度蒸馏全局运动估计的视频稳像
计算机视觉与模式识别
2022-11-07 v3 机器学习
摘要
业余者用手持相机拍摄的视频含有不理想的抖动。以不受运动物体影响的方式估计连续帧间的全局运动，是许多视频稳像技术的核心，但也带来显著挑战。大量工作使用 2D 仿射变换或单应性表示全局运动。然而，本文引入一种更具通用性的表示方案，其适配任何现有光流网络以忽略运动物体，并获得视频帧间全局运动的空间平滑近似。我们通过知识蒸馏实现该方法：首先将低通滤波模块引入光流网络以约束预测光流的空间平滑性，此即我们的学生网络，命名为 \textsc{GlobalFlowNet}；随后以原始光流网络为教师网络，使用鲁棒损失函数训练学生网络。给定训练好的 \textsc{GlobalFlowNet}，我们采用两阶段过程稳像：第一阶段利用受用户指定裁剪界限约束的二次规划方法校正仿射参数中的不稳定性以控制视场损失；第二阶段通过使用少量离散余弦变换系数表示的全局运动参数平滑化进一步稳像。在多种不同视频上的大量实验中，我们的技术在主观质量与不同视频稳定性定量指标上均优于当前最优技术。源代码公开于 \href{https://github.com/GlobalFlowNet/GlobalFlowNet}{https://github.com/GlobalFlowNet/GlobalFlowNet}。
引用
@article{arxiv.2210.13769,
title = {GlobalFlowNet: Video Stabilization using Deep Distilled Global Motion Estimates},
author = {Jerin Geo James and Devansh Jain and Ajit Rajwade},
journal= {arXiv preprint arXiv:2210.13769},
year = {2022}
}
备注
Accepted in WACV 2023