基于选择性混合专家学习野生环境中鲁棒的立体匹配
计算机视觉与模式识别
2025-07-08 v1 人工智能
机器人学
摘要
最近，基于学习的立体匹配网络取得了显著进展。然而，它们往往缺乏鲁棒性，难以实现令人瞩目的跨域性能，因为存在领域偏移和数据集中不平衡的视差分布。利用视觉基础模型(VFMs)可直观地增强模型的鲁棒性，但将此类模型以经济方式集成到立体匹配中以充分发挥其鲁棒性仍是关键挑战。为此，我们提出了 SMoEStereo—a 一个新型框架，通过量身定制的场景特定融合 Low-Rank Adaptation(LoRA)和混合专家(MoE)模块来适配 VFMs 以用于立体匹配。SMoEStereo 引入具有自适应秩的 MoE-LoRA 和具有自适应核大小的 MoE-Adapter。前者在不同场景跨域中动态选择最优专家，而后者将归纳偏差注入到冻结的 VFMs 中以提高几何特征提取。重要的是，为缓解计算开销，我们进一步提出了一个轻量级决策网络，基于输入复杂度有选择地激活 MoE 模块，在效率与精度之间进行权衡。大量实验表明，我们的方法在多个基准上实现了无数据集特定适应的 SOTA 跨域和联合泛化性能。代码已公开于 \textcolor{red}{https://github.com/cocowy1/SMoE-Stereo}。
关键词
引用
@article{arxiv.2507.04631,
title = {Learning Robust Stereo Matching in the Wild with Selective Mixture-of-Experts},
author = {Yun Wang and Longguang Wang and Chenghao Zhang and Yongjian Zhang and Zhanjie Zhang and Ao Ma and Chenyou Fan and Tin Lun Lam and Junjie Hu},
journal= {arXiv preprint arXiv:2507.04631},
year = {2025}
}