通过光流反向传播的自监督运动放大
计算机视觉与模式识别
2023-11-29 v1
摘要
本文提出了一种简单、自监督的视频细微运动放大方法：给定输入视频和放大因子，我们对视频进行处理，使其新的光流按所需量进行缩放。为训练我们的模型，我们提出了一种损失函数，该函数估计生成视频的光流，并惩罚其与给定放大因子的偏离程度。因此，训练过程涉及对预训练光流网络求微分。由于我们的模型是自监督的，我们还可以通过在输入视频上微调，借助测试时自适应进一步提升其性能。它也可以轻松扩展为仅放大用户所选物体的运动。我们的方法避免了先前基于学习的方法所依赖的合成放大数据集，而是利用现成运动估计器的现有能力。我们通过对一系列真实与合成视频的视觉质量和定量指标评估证明了方法的有效性，并展示了我们的方法对监督和无人监督光流方法均适用。
引用
@article{arxiv.2311.17056,
title = {Self-Supervised Motion Magnification by Backpropagating Through Optical Flow},
author = {Zhaoying Pan and Daniel Geng and Andrew Owens},
journal= {arXiv preprint arXiv:2311.17056},
year = {2023}
}