RomniStereo: 递归全向立体匹配
计算机视觉与模式识别
2024-01-29 v2
摘要
全向立体匹配（OSM）是实现深度感知的一种基本且可靠的方法。然而，遵循早期传统立体匹配的工作，先前的SOTA方法依赖于3D编码器-解码器模块来正则化代价体，导致整个系统复杂且结果次优。最近，基于RAFT的方法在2D中使用递归更新，并有效改进了图像匹配任务，即光流和立体匹配。为了弥合OSM与RAFT之间的差距，我们主要提出了一种相反的适应性加权方案，将球面扫描的OSM输出无缝转换为递归更新所需的输入，从而创建了一种递归全向立体匹配（RomniStereo）算法。此外，我们引入了两种技术，即网格嵌入和自适应上下文特征生成，它们也对RomniStereo的性能有所贡献。我们的最佳模型在五个数据集上的平均MAE指标比先前的SOTA基线提高了40.7%。在可视化结果时，我们的模型在合成和真实示例上都显示出明显优势。代码可在\url{https://github.com/HalleyJiang/RomniStereo}获取。
引用
@article{arxiv.2401.04345,
title = {RomniStereo: Recurrent Omnidirectional Stereo Matching},
author = {Hualie Jiang and Rui Xu and Minglang Tan and Wenjie Jiang},
journal= {arXiv preprint arXiv:2401.04345},
year = {2024}
}
备注
accepted by IEEE RA-L, https://github.com/HalleyJiang/RomniStereo