DualRefine：通过迭代极线采样与均衡化精修实现自监督深度与位姿估计
计算机视觉与模式识别
2024-04-08 v2
摘要
自监督多帧深度估计通过在相邻帧间计算像素对应关系的匹配代价，将几何信息注入网络，从而实现高精度。这些像素对应候选是基于帧间的相对位姿估计计算的。准确的位姿预测对于精确匹配代价计算至关重要，因为它们影响极线几何。此外，改进的深度估计反过来可用于对齐位姿估计。受传统运动恢复结构(SfM)原理启发，我们提出 DualRefine 模型，其通过反馈回路紧密耦合深度与位姿估计。我们新颖的更新流程使用深度均衡模型框架，基于极线几何计算局部匹配代价，迭代精修深度估计和特征图隐藏状态。重要的是，我们在每一步使用精修后的深度估计和特征图来计算位姿更新。这一位姿估计的更新在精修过程中缓慢改变极线几何。在 KITTI 数据集上的实验结果表明，其深度预测和里程计预测性能具有竞争力，超越了已发表的自监督基线。
引用
@article{arxiv.2304.03560,
title = {DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium},
author = {Antyanta Bangunharcana and Ahmed Magd and Kyung-Soo Kim},
journal= {arXiv preprint arXiv:2304.03560},
year = {2024}
}
备注
CVPR 2023. Project page: https://antabangun.github.io/projects/DualRefine/ Code: https://github.com/antabangun/DualRefine