CodeVIO：具有可学习可优化稠密深度的视觉-惯性里程计
计算机视觉与模式识别
2023-05-22 v3
摘要
在本工作中，我们提出一个轻量、紧耦合的深度网络与视觉-惯性里程计（VIO）系统，可提供精确的状态估计与周边环境的稠密深度图。利用所提出的用于深度推断与编码的轻量条件变分自编码器（CVAE），我们为网络提供来自 VIO 的先前被边缘化的稀疏特征，以提升初始深度预测的准确性与泛化能力。紧凑的编码深度图随后在滑动窗口估计器中与导航状态联合更新，以提供稠密局部场景几何。我们额外提出了一种获取 CVAE 雅可比矩阵的新方法，其速度比先前工作快一个数量级以上，并且我们利用首次估计雅可比（FEJ）以避免重复计算。与依赖完全稠密残差的前人工作不同，我们提出仅提供稀疏测量来更新深度编码，并通过细致实验表明，我们所选的稀疏测量与 FEJ 仍可显著改善估计的深度图。我们的完整系统还展现出最先进的位姿估计精度，并且我们表明它可在单线程执行下实时运行，仅对网络与编码雅可比使用 GPU 加速。
引用
@article{arxiv.2012.10133,
title = {CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth},
author = {Xingxing Zuo and Nathaniel Merrill and Wei Li and Yong Liu and Marc Pollefeys and Guoquan Huang},
journal= {arXiv preprint arXiv:2012.10133},
year = {2023}
}
备注
ICRA 2021; Best Paper Award in Robot Vision (Finalist)