用于遥感图像细粒度目标识别的多源区域注意力网络

细粒度目标识别涉及在大量密切相关的子类别中识别对象的类型。多源数据分析旨在利用嵌入在不同源中的互补光谱、空间和结构信息，是解决涉及低类间方差、稀有类别训练集小以及类别不平衡的细粒度识别问题的一个有前景的方向。然而，对于感兴趣的小目标，源配准的常见假设在像素级可能不成立。我们提出了一种新颖的方法，旨在统一框架中同时学习多源数据的对齐和分类模型。所提出的方法涉及一个多源区域注意力网络，该网络计算每个源的特征表示，通过使用这些表示为在预期目标位置周围采样的候选区域分配注意力分数，并通过使用结合了来自所有源的特征表示和注意力分数的注意力驱动的多源表示对目标进行分类。模型的所有组件均使用深度神经网络实现，并以端到端方式进行学习。使用 RGB、多光谱和 LiDAR 高程数据对街道树木进行分类的实验表明，我们的方法在 18 类和 40 类设置下分别达到了 64.2% 和 47.3% 的准确率，相较于常用的多源特征拼接方法分别提升了 13% 和 14.3%。