基于RGB和SAR图像的非对称语义对齐网络用于土地覆盖分类
图像与视频处理
2024-12-06 v1 计算机视觉与模式识别
摘要
合成孔径雷达（SAR）图像在与RGB图像组合时，已被证明是多模态土地覆盖分类（LCC）的有价线索。大多数现有研究在跨模态融合中假设两种模态之间需要一致的特征信息，结果构建网络时未充分考虑各模态的独特特征。在本文中，我们提出一种新型架构，命名为非对称语义对齐网络（ASANet），在特征层面引入非对称性，以解决多模态架构频繁未能充分利用互补特征的问题。该网络的核心是语义聚焦模块（SFM），它显式计算两种模态的差异权重，以考虑各模态的特定特征。此外，ASANet集成了级联融合模块（CFM），该模块深入探索通道和空间表示，以高效选择两种模态的特征进行融合。通过这两个模块的协同工作，所提出的ASANet有效学习了两种模态之间的特征相关性，并消除了由特征差异导致的噪声。全面的实验表明，ASANet在三个多模态数据集上取得优异性能。此外，我们建立了一个新的RGB-SAR多模态数据集，该数据集上，ASANet相对于其他主流方法表现出1.21%至17.69%的提升。当输入图像为256x256像素时，ASANet的帧率可达48.7帧/秒（FPS）。源代码可在https://github.com/whu-pzhang/ASANet 获取。
引用
@article{arxiv.2412.02044,
title = {ASANet: Asymmetric Semantic Aligning Network for RGB and SAR image land cover classification},
author = {Pan Zhang and Baochai Peng and Chaoran Lu and Quanjin Huang},
journal= {arXiv preprint arXiv:2412.02044},
year = {2024}
}