面向开放世界的泛化：具有在线适应的深度视觉里程计
计算机视觉与模式识别
2021-03-30 v1
摘要
尽管基于学习的视觉里程计 (VO) 近年来取得了令人印象深刻的成果，预训练网络在未见环境中可能轻易崩溃。训练与测试数据间的巨大领域鸿沟使它们难以泛化到新场景。本文中，我们提出一种借助与场景无关的几何计算与贝叶斯推断的深度 VO 在线适应框架。与基于学习的位姿估计不同，我们的方法由光流与深度求解位姿，而单视图深度估计通过在线学习的 uncertainty 随新观测持续改进。同时，一个在线学习的光度 uncertainty 用于通过可微 Gauss-Newton 层进一步优化深度与位姿。我们的方法使深度 VO 网络能够以自监督方式快速适应未见环境。包括 Cityscapes 到 KITTI 以及室外 KITTI 到室内 TUM 的广泛实验表明，我们的方法在自监督 VO 方法中取得了最先进的泛化能力。
引用
@article{arxiv.2103.15279,
title = {Generalizing to the Open World: Deep Visual Odometry with Online Adaptation},
author = {Shunkai Li and Xin Wu and Yingdian Cao and Hongbin Zha},
journal= {arXiv preprint arXiv:2103.15279},
year = {2021}
}
备注
Accepted by CVPR 2021