基于视频的无监督相机重定位与深度估计联合学习
计算机视觉与模式识别
2022-03-25 v1 机器人学
摘要
我们提出一种无监督联合学习框架，用于从无标注视频序列中完成单目相机重定位与深度估计任务。单目相机重定位指从已知环境中的单张图像估计绝对相机位姿，该任务已在GPS拒止环境下的替代定位中被深入研究。在近期工作中，相机重定位方法通过相机图像与相机位姿配对的有监督学习进行训练。与以往工作不同，我们提出了一种完全无监督的相机重定位与深度估计学习框架，仅需单目视频序列即可训练。在我们的框架中，我们训练两个网络：一个利用方向估计场景坐标，另一个从每幅图像估计深度图，二者结合以估计相机位姿。这些网络可通过基于闭环视图合成的损失函数最小化进行训练。在7-scenes数据集上的实验中，所提方法优于最先进的视觉SLAM(ORB-SLAM3)的重定位效果。我们的方法在已训练环境中也优于最先进的单目深度估计。
引用
@article{arxiv.2203.12804,
title = {Unsupervised Simultaneous Learning for Camera Re-Localization and Depth Estimation from Video},
author = {Shun Taguchi and Noriaki Hirose},
journal= {arXiv preprint arXiv:2203.12804},
year = {2022}
}
备注
8 pages, 6 figures