基于遮挡感知的无监督视频光流学习
计算机视觉与模式识别
2020-03-05 v1
摘要
本文提出一种用于估计视频帧间光流的无监督学习方法,尤其旨在解决遮挡问题。遮挡由物体运动或相机运动引起,定义为某些像素在一帧中可见而在相邻帧中不可见。由于遮挡区域帧间缺乏像素对应,不正确的光度损失计算会误导光流训练过程。在视频序列中,我们发现前向()与后向()帧对中的遮挡通常是互补的,即后续帧中被遮挡的像素在前一帧中往往未被遮挡,反之亦然。因此,利用该互补性,提出一种新的加权损失来解决遮挡问题。此外,我们在多个方向上计算梯度以提供更丰富的监督信息。在 KITTI 2012 和 2015 基准上,与基线及部分有监督方法相比,我们的方法取得了具有竞争力的光流精度。源代码已发布于 https://github.com/jianfenglihg/UnOpticalFlow.git。
引用
@article{arxiv.2003.01960,
title = {Occlusion Aware Unsupervised Learning of Optical Flow From Video},
author = {Jianfeng Li and Junqiao Zhao and Tiantian Feng and Chen Ye and Lu Xiong},
journal= {arXiv preprint arXiv:2003.01960},
year = {2020}
}
备注
6 pages, 5 figures