S3Net：在卫星核线影像中用单分支语义立体网络革新立体匹配与语义分割
计算机视觉与模式识别
2024-10-02 v3
摘要
立体匹配和语义分割是双目卫星三维重建中的重要任务。然而，以往的研究主要将这些视为独立的并行任务，缺乏一个集成的多任务学习框架。本工作引入了一种解决方案——单分支语义立体网络（S3Net），它创新性地利用自融合和互融合模块将语义分割与立体匹配相结合。与先前独立使用语义或视差信息的方法不同，我们的方法识别并利用了这两个任务之间的内在联系，从而能够更准确地理解语义信息和估计视差。在US3D数据集上的对比测试证明了我们S3Net的有效性。我们的模型将语义分割中的mIoU从61.38提高到67.39，并将视差估计中的D1-Error和平均端点误差（EPE）分别从10.051降低到9.579，从1.439降低到1.403，超越了现有的竞争方法。我们的代码可在以下链接获取：https://github.com/CVEO/S3Net。
引用
@article{arxiv.2401.01643,
title = {S3Net: Innovating Stereo Matching and Semantic Segmentation with a Single-Branch Semantic Stereo Network in Satellite Epipolar Imagery},
author = {Qingyuan Yang and Guanzhou Chen and Xiaoliang Tan and Tong Wang and Jiaqi Wang and Xiaodong Zhang},
journal= {arXiv preprint arXiv:2401.01643},
year = {2024}
}
备注
Published in: IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium