平衡扩散引导的多模态遥感分类融合
计算机视觉与模式识别
2026-04-10 v3
摘要
基于深度学习的遥感数据分析技术因其有效整合来自不同传感器的补充空间、光谱和结构信息而日益受到关注。近期，去噪扩散概率模型（DDPM）因其强大的捕获鲁健复杂空间-光谱分布的能力而引起遥感社区的关注。然而，预训练多模态DDPM可能导致模态不平衡，如何有效利用扩散特征引导互补多样性特征提取仍是未解之谜。为此，本文提出一种平衡扩散引导融合（BDGF）框架，利用多模态扩散特征引导多分支网络进行土地覆盖分类。具体而言，我们提出了自适应模态遮蔽策略，以鼓励DDPM获得模态平衡而非光谱图像主导的数据分布。随后，这些扩散特征通过整合特征融合、组通道注意力和跨注意力机制，层次化地引导CNN、Mamba和Transformer网络之间的特征提取。最后，发展出一种互学习策略，通过对齐各子网络的概率熵和特征相似性来增强分支间的协作。在四个多模态遥感数据集上的大量实验表明，所提方法在分类性能方面取得优异成绩。代码已公开于 https://github.com/HaoLiu-XDU/BDGF。
引用
@article{arxiv.2509.23310,
title = {Balanced Diffusion-Guided Fusion for Multimodal Remote Sensing Classification},
author = {Hao Liu and Yongjie Zheng and Yuhan Kang and Mingyang Zhang and Maoguo Gong and Lorenzo Bruzzone},
journal= {arXiv preprint arXiv:2509.23310},
year = {2026}
}