SemStereo：面向遥感的语义约束立体匹配网络
计算机视觉与模式识别
2024-12-18 v1
摘要
语义分割和三维重建是遥感中的两个基本任务，通常被视为独立或松散耦合的任务。尽管有尝试将它们整合到一个统一的网络中，但这两个异构任务之间的约束并未被显式建模，因为开创性的研究要么采用松散耦合的并行结构，要么仅进行隐式交互，未能捕捉其内在联系。在这项工作中，我们探索了这两个任务之间的联系，并提出了一种新网络，在隐式和显式两个层面对立体匹配任务施加语义约束。在隐式层面，我们将传统的并行结构转变为一种称为语义引导级联结构的新级联结构，其中利用富含语义信息的深度特征来计算初始视差图，从而增强语义引导。在显式层面，我们提出了语义选择性细化（SSR）模块和左右语义一致性（LRSC）模块。SSR 在语义图的指导下细化初始视差图。LRSC 通过在使用视差图将语义图从一个视图转换到另一个视图后减小语义分歧，来确保两个视图之间的语义一致性。在 US3D 和 WHU 数据集上的实验表明，我们的方法在语义分割和立体匹配方面均达到了 SOTA 性能。
引用
@article{arxiv.2412.12685,
title = {SemStereo: Semantic-Constrained Stereo Matching Network for Remote Sensing},
author = {Chen Chen and Liangjin Zhao and Yuanchun He and Yingxuan Long and Kaiqiang Chen and Zhirui Wang and Yanfeng Hu and Xian Sun},
journal= {arXiv preprint arXiv:2412.12685},
year = {2024}
}
备注
9 pages, 6 figures, AAAI 2025