基于视觉惯性里程计的无监督深度补全
计算机视觉与模式识别
2021-07-22 v4 人工智能
机器学习
机器学习
摘要
我们描述了一种从相机运动以及使用视觉惯性里程计系统估计的稀疏深度推断稠密深度的方法。与使用激光雷达或结构光传感器点云的其他场景不同，我们仅有数百到数千个点，不足以表征场景的拓扑结构。我们的方法首先构建场景的分段平面支架，然后利用图像与稀疏点通过它推断稠密深度。我们采用一种类似“自监督”的预测性跨模态准则，衡量跨时间光度一致性、前向-后向位姿一致性以及与稀疏点云的集合兼容性。我们还发布了首个视觉惯性+深度数据集，希望它能促进对结合视觉与惯性传感器互补优势的探索。为与已有工作比较，我们采用无监督KITTI深度补全基准，并展示了其上当前最优的性能。代码见：https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry。
引用
@article{arxiv.1905.08616,
title = {Unsupervised Depth Completion from Visual Inertial Odometry},
author = {Alex Wong and Xiaohan Fei and Stephanie Tsuei and Stefano Soatto},
journal= {arXiv preprint arXiv:1905.08616},
year = {2021}
}