SCIPaD: 将空间线索融入无监督位姿-深度联合学习
计算机视觉与模式识别
2024-07-09 v1
摘要
无监督单目深度估计框架在自动驾驶中展现出有前景的性能。然而，现有解决方案主要依赖简单的卷积神经网络进行自运动恢复，这在动态、复杂的现实场景中难以估计精确的相机位姿。这些不精确估计的相机位姿不可避免地会恶化光度重建，并用错误的监督信号误导深度估计网络。在本文中，我们介绍SCIPaD，一种新颖的将空间线索融入无监督深度-位姿联合学习的方法。具体来说，我们提出了一种置信度感知的特征流估计器，用于获取二维特征位置平移及其相关置信度。同时，我们引入了一个位置线索聚合器，将来自DepthNet的伪三维点云和二维特征流整合为同质的位置表示。最后，我们提出了一种层次化位置嵌入注入器，用于选择性地将空间线索注入语义特征，以实现鲁棒的相机位姿解码。大量实验和分析表明，我们的模型相比其他最先进方法具有优越性能。值得注意的是，SCIPaD在KITTI Odometry数据集上的相机位姿估计任务中，平均平移误差降低了22.2%，平均角度误差降低了34.8%。我们的源代码可在\url{https://mias.group/SCIPaD}获取。
引用
@article{arxiv.2407.05283,
title = {SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning},
author = {Yi Feng and Zizhan Guo and Qijun Chen and Rui Fan},
journal= {arXiv preprint arXiv:2407.05283},
year = {2024}
}
备注
Accepted by IEEE Transactions on Intelligent Vehicles. Code is available at https://mias.group/SCIPaD