Flow2Stereo：光流与立体匹配的高效自监督学习
计算机视觉与模式识别
2020-04-07 v1 机器学习
摘要
本文提出一种联合学习光流与立体匹配的统一方法。我们的首要直觉是立体匹配可建模为光流的特殊情形，且可利用立体视频背后的3D几何来引导这两种对应关系的学。我们随后将这一知识引入最先进的自监督学习框架，训练单一网络同时估计光流与立体。其次，我们揭示了先前自监督学习方法的瓶颈，并提出构建一组新的具挑战性的代理任务以提升性能。这两点洞见产生了一个单一模型，在KITTI 2012与2015基准上所有现有无监督光流与立体方法中达到最高精度。更值得注意的是，我们的自监督方法甚至优于若干最先进的完全监督方法，包括KITTI 2012上的PWC-Net与FlowNet2。
引用
@article{arxiv.2004.02138,
title = {Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and Stereo Matching},
author = {Pengpeng Liu and Irwin King and Michael Lyu and Jia Xu},
journal= {arXiv preprint arXiv:2004.02138},
year = {2020}
}
备注
Published at the Conference on Computer Vision and Pattern Recognition (CVPR 2020)