NccFlow：基于几何非遮挡的光流无监督学习
计算机视觉与模式识别
2021-07-09 v1
摘要
光流估计是计算机视觉的基础问题，在机器人学习与自动驾驶等领域有诸多应用。本文基于对非遮挡的深入洞察与详细定义，揭示了光流的新几何定律。进而，基于非遮挡几何定律提出两种用于光流无监督学习的损失函数。具体而言，在图像遮挡部分被掩蔽后，仔细考量像素的流动过程，并依据光流几何定律施加几何约束。第一，第一帧中相邻像素在位移至第二帧过程中不会相交。第二，当第一帧中含相邻四像素的簇移至第二帧时，无其他像素流入其构成的四边形。依据这两几何约束，提出非遮挡区域的光流不相交损失与光流不阻塞损失。两损失函数惩罚非遮挡区域中不规则与不精确的光流。数据集实验表明，所提基于非遮挡区域几何定律的无监督光流损失使估计光流细节更精细，并提升光流无监督学习性能。此外，合成数据训练、真实数据评估的实验显示，我们的无监督方法提升了光流网络的泛化能力。
引用
@article{arxiv.2107.03610,
title = {NccFlow: Unsupervised Learning of Optical Flow With Non-occlusion from Geometry},
author = {Guangming Wang and Shuaiqi Ren and Hesheng Wang},
journal= {arXiv preprint arXiv:2107.03610},
year = {2021}
}
备注
10 pages, 7 figures, under review