中文

用于持续立体匹配的可复用架构生长

计算机视觉与模式识别 2024-04-02 v1

摘要

近期立体深度估计模型的卓越性能得益于卷积神经网络成功用于回归稠密视差。与大多数任务类似,这需要在部署时收集覆盖大量异构场景的训练数据。然而,在实际应用中,训练样本通常是持续获取的,这使得持续学习新场景的能力变得更加关键。为此,我们提出执行持续立体匹配,其中模型的任务是:1) 持续学习新场景,2) 克服对先前学习场景的遗忘,以及 3) 在推理时持续预测视差。我们通过引入可复用架构生长(RAG)框架来实现这一目标。RAG 利用特定任务的神经单元搜索和架构生长,以监督和自监督方式持续学习新场景。它可以在生长过程中通过复用先前的单元保持高复用性,同时获得良好的性能。此外,我们提出了一个场景路由器模块,用于在推理时自适应地选择特定场景的架构路径。在众多数据集上的综合实验表明,我们的框架在各种天气、道路和城市环境中表现出色,并在更具挑战性的跨数据集设置中超越了 SOTA 方法。进一步的实验也证明了我们的方法对未见场景的适应性,这可以促进端到端的立体架构学习和实际部署。

关键词

引用

@article{arxiv.2404.00360,
  title  = {Reusable Architecture Growth for Continual Stereo Matching},
  author = {Chenghao Zhang and Gaofeng Meng and Bin Fan and Kun Tian and Zhaoxiang Zhang and Shiming Xiang and Chunhong Pan},
  journal= {arXiv preprint arXiv:2404.00360},
  year   = {2024}
}

备注

Extended version of CVPR 2022 paper "Continual Stereo Matching of Continuous Driving Scenes with Growing Architecture" - Accepted to TPAMI in 2024