ShareCMP: 偏振感知的RGB-P语义分割
计算机视觉与模式识别
2025-07-08 v3
摘要
多模态语义分割发展迅速，但RGB-P（偏振）模态仍未被充分探索。为了深入研究这一问题，我们构建了一个包含12个典型水下语义类别的UPLight RGB-P分割基准。在这项工作中，我们设计了ShareCMP，一个具有共享双分支架构（ShareCMP编码器）的RGB-P语义分割框架，与之前的双分支模型相比，参数和内存空间减少了约33.8%。它包含一个偏振生成注意力（PGA）模块，旨在为编码器生成具有更丰富偏振特性的偏振模态图像。此外，我们引入了带有类别偏振感知辅助头（CPAAHead）的类别偏振感知损失（CPALoss），以改善编码器对偏振模态信息的学习和理解，并优化PGA模块。通过在总共三个RGB-P基准上的大量实验，我们的ShareCMP在UPLight（92.45%（+0.32%））、ZJU（92.7%（+0.1%））和MCubeS（50.99%（+1.51%））数据集上以更少的参数实现了最佳的mIoU性能。而且我们的ShareCMP（无PGA）在其他RGB-X数据集上相比相应的最先进RGB-X方法取得了具有竞争力甚至更高的性能。代码和数据集可在https://github.com/LEFTeyex/ShareCMP获取。
引用
@article{arxiv.2312.03430,
title = {ShareCMP: Polarization-Aware RGB-P Semantic Segmentation},
author = {Zhuoyan Liu and Bo Wang and Lizhi Wang and Chenyu Mao and Ye Li},
journal= {arXiv preprint arXiv:2312.03430},
year = {2025}
}
备注
17 pages, 8 figures, 12 tables, accepted by IEEE TCSVT