用于映射生物力学景观特征的多模态融合策略

多模态航空数据用于监测自然系统，机器学习可显著加速对此类图像中景观特征的分类，以利于生态学和保育工作。然而，这些多个模态应如何在深度学习模型中进行融合仍属未充分探索的领域。作为填补这一空白的一步，本文研究了三种融合策略（早期融合、晚期融合和混合专家）用于融合热力学、RGB和LiDAR图像，这三种模态的影像在该数据集中具有空间对齐。具体目标是映射非洲草原生态系统中三个生物力学相关的景观特征：犀牛堆肥、白蚁丘和水源。三种融合策略在模态是否早期融合以及融合后是否为每个类别学习固定权重或基于输入自适应生成权重方面存在差异。总体而言，三种方法在宏观平均性能上相似，晚期融合方法实现了0.698的AUC，但其每个类别的性能差异显著，其中早期融合在堆肥和水源上实现了最佳召回率，而混合专家在丘陵上实现了最佳召回率。