白盒中开启基序通道：基于基序相关图的立体匹配
计算机视觉与模式识别
2025-01-07 v2
摘要
立体匹配的现实世界应用（如自动驾驶）对安全性和准确性均有严格要求。然而，基于学习的立体匹配方法在某些特征通道中固有地存在几何结构丢失的问题，这构成了实现精确细节匹配的瓶颈。此外，由于深度学习的黑盒性质，这些方法缺乏可解释性。在本文中，我们提出了一种新颖的基于学习的立体匹配范式 MoCha-V2。MoCha-V2 引入了基序相关图（MCG）来捕获特征通道内重复出现的纹理，这些纹理被称为“基序”。这些基序重构了几何结构，并以更具可解释性的方式被学习。随后，我们通过小波逆变换融合了来自多个频率域的特征。所得的基序特征用于恢复立体匹配过程中的几何结构。实验结果证明了 MoCha-V2 的有效性。MoCha-V2 在发布时在 Middlebury 基准测试上取得了第一名。代码可在 https://github.com/ZYangChen/MoCha-Stereo 获取。
引用
@article{arxiv.2411.12426,
title = {Motif Channel Opened in a White-Box: Stereo Matching via Motif Correlation Graph},
author = {Ziyang Chen and Yongjun Zhang and Wenting Li and Bingshu Wang and Yong Zhao and C. L. Philip Chen},
journal= {arXiv preprint arXiv:2411.12426},
year = {2025}
}