深度立体视觉的连续自适应
计算机视觉与模式识别
2021-05-04 v3 机器学习
图像与视频处理
摘要
由立体图像估计深度,通过端到端训练以回归稠密视差卷积神经网络取得了无可匹敌的结果。像大多数任务一样,若有大量标注样本可用于训练,并可能覆盖部署时遇到的整个数据分布,这是可行的。由于在实际应用中这一假设总是不成立,适应任何未见设置的能力变得至关重要。为此,我们提出了一种用于深度立体网络的连续自适应范式,旨在应对具有挑战性且不断变化的环境。我们设计了一个轻量且模块化的架构,即模块化自适应网络(MADNet),并制定了模块化自适应算法(MAD、MAD++),其允许对整体网络的独立子部分进行高效优化。在我们的范式中,持续在线自适应模型所需的学习信号可来源于通过右到左图像变形的自监督,或来源于传统立体算法。借助这两种来源,除部署时采集的输入图像外不需要其他数据。因此,我们的网络架构与自适应算法实现了首个实时自自适应深度立体系统,并为能够促进端到端架构用于稠密视差回归实际部署的新范式铺平了道路。
引用
@article{arxiv.2007.05233,
title = {Continual Adaptation for Deep Stereo},
author = {Matteo Poggi and Alessio Tonioni and Fabio Tosi and Stefano Mattoccia and Luigi Di Stefano},
journal= {arXiv preprint arXiv:2007.05233},
year = {2021}
}
备注
Extended version of CVPR 2019 paper "Real-time self-adaptive deep stereo" - Accepted to TPAMI