基于多视角视觉自监督的立体匹配
计算机视觉与模式识别
2021-08-17 v2
摘要
用于深度估计的自监督学习相比监督学习具有若干优势。无需真实深度、可在线微调以及凭借无限数据获得更好泛化能力的好处，吸引研究者寻求自监督方案。在本工作中，我们提出了一种利用在对齐相机位置捕获的多幅图像进行立体匹配的新自监督框架。我们引入了交叉光度损失、不确定性感知互监督损失以及一种新的平滑损失，以在无真实深度信息的情况下端到端地优化网络学习视差图。为训练该框架，我们构建了一个由 3D 引擎渲染的合成图像和真实相机捕获的真实图像组成的新多视角数据集。仅使用合成图像训练后，我们的网络能在未见过的室外场景中表现良好。我们的实验表明，在 KITTI 数据集上我们的模型获得了优于先前无监督方法的视差图，并且在泛化到未见过的数据时可与监督方法相媲美。我们的源代码与数据集可在 https://sites.google.com/view/multiscopic 获取。
引用
@article{arxiv.2104.04170,
title = {Stereo Matching by Self-supervision of Multiscopic Vision},
author = {Weihao Yuan and Yazhan Zhang and Bingkun Wu and Siyu Zhu and Ping Tan and Michael Yu Wang and Qifeng Chen},
journal= {arXiv preprint arXiv:2104.04170},
year = {2021}
}
备注
2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)