TW-SMNet：远摄-广角立体匹配的深度多任务学习
计算机视觉与模式识别
2020-10-20 v1
摘要
本文引入了一个新问题：估计由两台具有不同视场的相机所拍摄场景中元素的真实世界深度，其中第一视场（FOV）是由广角镜头捕获的广角视场（WFOV），第二视场包含于第一视场之内，由远摄变焦镜头捕获。我们将利用重叠视场中的立体信息来估计视场并集的逆深度这一问题，称为远摄-广角立体匹配（TW-SM）。我们针对TW-SM问题提出了不同的深度学习解决方案。由于视差与逆深度成正比，我们训练立体匹配视差估计（SMDE）网络来估计并集广角视场的视差。我们进一步提出了一种端到端的深度多任务远摄-广角立体匹配神经网络（MT-TW-SMNet），该网络同时学习重叠远摄视场的SMDE任务和广角视场的单图像逆深度估计（SIDE）任务。此外，我们设计了多种融合SMDE与SIDE网络的方法。我们在流行的KITTI和SceneFlow立体数据集上评估了TW-SM的性能，并通过从远摄-广角立体图像对在广角视场上合成散景效果，展示了其实用性。
引用
@article{arxiv.1906.04463,
title = {TW-SMNet: Deep Multitask Learning of Tele-Wide Stereo Matching},
author = {Mostafa El-Khamy and Haoyu Ren and Xianzhi Du and Jungwon Lee},
journal= {arXiv preprint arXiv:1906.04463},
year = {2020}
}