基于三元组网络的共享流形学习用于多传感器翻译与缺失数据融合
计算机视觉与模式识别
2022-11-01 v1 机器学习
摘要
异构数据融合可提升算法在给定任务上的鲁棒性与准确性。然而，由于多种模态间的差异，将传感器对齐并将其信息嵌入具判别性且紧凑的表示具有挑战性。本文提出一种基于对比学习的多模态对齐网络（CoMMANet），将不同传感器的数据对齐到一个保留类别信息的共享且具判别性的流形中。所提架构使用多模态三元组自编码器对潜在空间进行聚类，使得来自各异构模态的同类样本相互映射接近。由于所有模态存在于共享流形中，我们提出一种统一分类框架。所得潜在空间表示被融合以执行更鲁棒且准确的分类。在传感器缺失情形下，利用某一传感器的潜在空间可轻松高效地预测另一传感器的潜在空间，从而实现传感器翻译。我们在包含来自 AVIRIS-NG 与 NEON 的高光谱数据以及来自 NEON 的 LiDAR（光探测与测距）数据的手动标注多模态数据集上进行了大量实验。最后，模型在两个基准数据集上验证：Berlin 数据集（高光谱与合成孔径雷达）与 MUUFL Gulfport 数据集（高光谱与 LiDAR）。与其他方法的对比显示了本方法的优越性。我们在 MUUFL 数据集上取得 94.3% 的平均总体精度，在 Berlin 数据集上取得 71.26% 的最佳总体精度，优于其他当前最优方法。
引用
@article{arxiv.2210.17311,
title = {Shared Manifold Learning Using a Triplet Network for Multiple Sensor Translation and Fusion with Missing Data},
author = {Aditya Dutt and Alina Zare and Paul Gader},
journal= {arXiv preprint arXiv:2210.17311},
year = {2022}
}
备注
19 pages, 16 figures; Accepted to IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing