用于高光谱与LiDAR分类的无监督多分支胶囊网络

随着遥感数据的便捷获取，如何使模型解读复杂遥感数据引起广泛关注。在遥感数据中，高光谱图像包含光谱信息，LiDAR包含高程信息。因此，有必要进一步探索以更好地融合不同源数据的特征。本文引入语义理解来动态融合双源数据，通过不同胶囊网络分支提取HSI与LiDAR特征，并将Canonical Capsule中的自监督损失与随机刚性旋转推广至高维情形。Canonical Capsule通过置换等变注意力计算物体的胶囊分解，该过程由随机旋转物体训练对自监督。在通过语义理解融合HSI与LiDAR特征后，实现了光谱-空间-高程融合特征的无监督提取。以两个真实的HSI与LiDAR融合数据为例，实验结果表明所提多分支高维规范胶囊算法可有效用于HSI与LiDAR的语义理解。这表明相较于现有的多源遥感数据无监督提取模型，该模型能更有效地提取HSI与LiDAR数据特征。