实时自适应深度立体匹配
计算机视觉与模式识别
2019-04-08 v2
摘要
端到端训练的深度卷积神经网络是从立体图像对中回归稠密视差图的最优方法。然而,这些模型在暴露于与训练集显著不同的场景(例如真实图像与合成图像等)时,精度会出现明显下降。我们认为,在任何目标域中收集足够样本以实现有效训练/调优是极不可能的,这使得该设置在许多应用中不切实际。相反,我们提出对深度立体网络进行无监督且持续的在线自适应,从而使其在任何环境下都能保持精度。然而,该策略对计算量的需求极高,因此阻碍了实时推理。我们针对此问题引入了一种新颖的轻量且高效的深度立体架构——模块化自适应网络(Modularly ADaptive Network, MADNet),并开发了模块化自适应(Modular ADaptation, MAD)算法,该算法独立训练网络的子部分。通过部署 MADNet 与 MAD,我们提出了首个实时自适应深度立体系统,能够在异构数据集上取得具有竞争力的性能。
引用
@article{arxiv.1810.05424,
title = {Real-time self-adaptive deep stereo},
author = {Alessio Tonioni and Fabio Tosi and Matteo Poggi and Stefano Mattoccia and Luigi Di Stefano},
journal= {arXiv preprint arXiv:1810.05424},
year = {2019}
}
备注
Accepted at CVPR2019 as oral presentation. Code Available https://github.com/CVLAB-Unibo/Real-time-self-adaptive-deep-stereo