解释多模态数据融合：用于荒野制图的遮挡分析

长期以来，人们发现通过在公共潜在空间中联合利用多模态输入数据的互补特征是有益的。然而，每种模态对模型决策的影响仍是一个谜。本研究提出了一种以端到端方式对多模态地球观测数据进行模态级解释的深学习框架。在利用一种可解释机器学习方法即遮挡敏感性（Occlusion Sensitivity）的同时，该框架在早期融合场景下考察模态的影响，其中模态在学习过程之前被融合。我们表明，荒野制图任务在很大程度上受益于土地覆盖和夜间灯光等辅助数据。