用于高光谱与 LiDAR 数据分类的动态跨模态特征交互网络
图像与视频处理
2025-03-11 v1 计算机视觉与模式识别
摘要
高光谱图像（HSI）与 LiDAR 数据联合分类是一项具有挑战性的任务。现有的多源遥感数据分类方法通常依赖人工设计的特征提取框架，这严重依赖专家知识。为了解决这些局限性，我们提出了一种新颖的动态跨模态特征交互网络（DCMNet），这是首个利用动态路由机制进行 HSI 与 LiDAR 分类的框架。具体而言，我们的方法引入了三个特征交互模块：双线性空间注意力模块（BSAB）、双线性通道注意力模块（BCAB）和集成卷积模块（ICB）。这些模块旨在有效增强空间、光谱和判别性特征交互。设计了带有路由门的多层路由空间来确定最优计算路径，从而实现数据相关的特征融合。此外，采用双线性注意力机制来增强空间和通道表示中的特征交互。在三个公开的 HSI 与 LiDAR 数据集上的大量实验证明了 DCMNet 优于 state-of-the-art 方法。我们的代码将在 https://github.com/oucailab/DCMNet 上提供。
引用
@article{arxiv.2503.06945,
title = {Dynamic Cross-Modal Feature Interaction Network for Hyperspectral and LiDAR Data Classification},
author = {Junyan Lin and Feng Gap and Lin Qi and Junyu Dong and Qian Du and Xinbo Gao},
journal= {arXiv preprint arXiv:2503.06945},
year = {2025}
}
备注
Accepted by IEEE TGRS 2025