TiCoSS：在联合学习框架下紧密耦合语义分割与立体匹配
计算机视觉与模式识别
2025-07-04 v4 机器人学
摘要
语义分割和立体匹配分别类似于人类大脑的背侧和纵侧通路，是自动驾驶感知系统的关键组成部分。将这两个任务分别采用独立网络进行处理已不再是计算机视觉算法开发的主流方向，尤其受益于大规模视觉模型和具身人工智能的最新进展。趋势正向在联合学习框架中将它们结合起来，尤其强调两者之间的特征共享。本研究的主要贡献在于全面加强语义分割与立体匹配之间的耦合程度。具体而言，本文引入了三个创新点：(1) 紧密耦合的门控特征融合策略、(2) 分层深度监督策略、(3) 耦合紧凑损失函数。将这些技术措施组合使用后，即可构建出 TiCoSS——一个在语义分割和立体匹配上同步处理的前沿联合学习框架。通过在 KITTI 和 vKITTI2 数据集上进行大量实验，结合定性和定量分析，我们验证了所 developed 策略和损失函数的有效性，并证明其在已有方法上表现显著优越，mIoU 提升超过 9%。本文的源代码将在发表后公开于 mias.group/TiCoSS。
引用
@article{arxiv.2407.18038,
title = {TiCoSS: Tightening the Coupling between Semantic Segmentation and Stereo Matching within A Joint Learning Framework},
author = {Guanfeng Tang and Zhiyuan Wu and Jiahang Li and Ping Zhong and We Ye and Xieyuanli Chen and Huiming Lu and Rui Fan},
journal= {arXiv preprint arXiv:2407.18038},
year = {2025}
}