面向自监督深度视觉里程计的序列对抗学习
计算机视觉与模式识别
2019-08-26 v1 机器学习
机器人学
摘要
我们提出了一种用于视觉里程计（VO）的自监督学习框架，该框架结合了连续帧的相关性并利用了对抗学习。先前的方法将自监督VO视为局部运动恢复结构（SfM）问题，通过最小化扭曲图像与捕获图像之间的光度损失，从单幅图像恢复深度并从图像对恢复相对位姿。由于单视图深度估计是一个不适定问题，且光度损失无法区分扭曲图像中的失真伪影，估计的深度模糊且位姿不准确。与先前方法不同，我们的框架学习帧间相关性的紧凑表示，并通过融入序列信息进行更新。更新后的表示用于深度估计。此外，我们将VO视为自监督图像生成任务并利用生成对抗网络（GAN）。生成器学习估计深度和位姿以生成扭曲的目标图像。判别器以高层结构感知评估生成图像的质量，克服了先前方法中逐像素损失的缺陷。在KITTI和Cityscapes数据集上的实验表明，我们的方法获得了更精确且保留细节的深度，预测的位姿显著优于最先进的自监督方法。
引用
@article{arxiv.1908.08704,
title = {Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry},
author = {Shunkai Li and Fei Xue and Xin Wang and Zike Yan and Hongbin Zha},
journal= {arXiv preprint arXiv:1908.08704},
year = {2019}
}
备注
Accept to ICCV 2019