单目视觉-惯性深度估计
计算机视觉与模式识别
2023-03-23 v1 机器人学
摘要
我们提出了一种视觉-惯性深度估计流程，该流程将单目深度估计与视觉-惯性里程计相结合，以生成具有度量尺度的稠密深度估计。我们的方法首先对稀疏度量深度进行全局尺度与偏移对齐，随后进行基于学习的稠密对齐。我们在 TartanAir 和 VOID 数据集上进行了评估，观察到相对于仅进行全局对齐，采用稠密尺度对齐可使逆 RMSE 降低多达 30%。我们的方法在低稀疏度下尤其具有竞争力；仅使用 150 个稀疏度量深度点，我们的稠密到稠密深度对齐方法相比 KBNet（当前 VOID 上的最优方法）的稀疏到稠密深度补全，iRMSE 降低了超过 50%。我们展示了从合成 TartanAir 到真实世界 VOID 数据的成功零样本迁移，并在 NYUv2 和 VCU-RVI 上进行了泛化测试。我们的方法是模块化的，并且兼容多种单目深度估计模型。视频：https://youtu.be/IMwiKwSpshQ 代码：https://github.com/isl-org/VI-Depth
引用
@article{arxiv.2303.12134,
title = {Monocular Visual-Inertial Depth Estimation},
author = {Diana Wofk and René Ranftl and Matthias Müller and Vladlen Koltun},
journal= {arXiv preprint arXiv:2303.12134},
year = {2023}
}
备注
Accepted for publication at ICRA'23