DEFOM-Stereo：基于深度基模型的立体匹配
计算机视觉与模式识别
2025-04-24 v3
摘要
立体匹配是计算机视觉和机器人领域实现度量深度估计的关键技术。然而，由于遮挡和非纹理等现实挑战，单眼匹配线索难以准确估计视差。最近，单眼相对深度估计在视觉基础模型上展现出显著的泛化能力。因此，本文引入鲁棒的单眼相对深度模型于循环立体匹配框架中，构建基于深度基模型的立体匹配新框架，即DEFOM-Stereo。在特征提取阶段，我们通过整合常规CNN特征与DEFOM特征，构建了结合上下文与匹配特征的编码器。在更新阶段，我们利用DEFOM预测的深度初始化循环视差，并引入尺度更新模块在正确尺度上细化视差。实验表明，DEFOM-Stereo在零样态泛化能力上显著优于SOTA方法。此外，DEFOM-Stereo在KITTI 2012、KITTI 2015、Middlebury和ETH3D基准测试中取得顶级性能，在诸多指标上名列第1。在稳健视觉挑战的联合评估中，该模型在单个基准测试中均超越了以往模型，进一步证明了其卓越的能力。
引用
@article{arxiv.2501.09466,
title = {DEFOM-Stereo: Depth Foundation Model Based Stereo Matching},
author = {Hualie Jiang and Zhiqiang Lou and Laiyan Ding and Rui Xu and Minglang Tan and Wenjie Jiang and Rui Huang},
journal= {arXiv preprint arXiv:2501.09466},
year = {2025}
}
备注
https://insta360-research-team.github.io/DEFOM-Stereo/