基于单目相机的无监督三维场景流学习
计算机视觉与模式识别
2022-06-09 v1 机器人学
摘要
场景流表示三维空间中点的运动，是表示二维图像中像素运动的光流的对偶概念。然而，在真实场景中难以获取场景流的真实值，且近期研究均基于合成数据进行训练。因此，如何利用基于真实世界数据的无监督方法训练场景流网络具有重要意义。本文提出了一种新颖的无监督场景流学习方法，其利用单目相机拍摄的两连续帧图像，无需场景流真实值即可训练。我们的方法实现了使用真实世界数据训练场景流网络的目标，缩小了训练数据与测试数据之间的差距，并拓宽了可用训练数据的范围。本文的无监督场景流学习主要包括两部分：（i）深度估计与相机位姿估计，以及（ii）基于四种不同损失函数的场景流估计。深度估计与相机位姿估计获取两连续帧间的深度图与相机位姿，为后续场景流估计提供进一步信息。此后，我们使用深度一致性损失、动静一致性损失、Chamfer 损失和拉普拉斯正则化损失对场景流网络进行无监督训练。据我们所知，这是首篇实现从单目相机进行三维场景流无监督学习的论文。在 KITTI 上的实验结果表明，我们的无监督场景流学习方法相较于传统方法迭代最近点（ICP）和快速全局配准（FGR）具有优异性能。源代码见：https://github.com/IRMVLab/3DUnMonoFlow。
引用
@article{arxiv.2206.03673,
title = {Unsupervised Learning of 3D Scene Flow from Monocular Camera},
author = {Guangming Wang and Xiaoyu Tian and Ruiqi Ding and Hesheng Wang},
journal= {arXiv preprint arXiv:2206.03673},
year = {2022}
}
备注
ICRA2021