基于最近邻对比学习的高光谱与激光雷达数据分类
图像与视频处理
2023-02-08 v1 计算机视觉与模式识别
摘要
高光谱图像 (HSI) 与激光雷达联合数据分类旨在以更细致和精确的层级解译地物。尽管深度学习方法在多源数据分类任务中已取得显著成功，自监督学习却鲜有探索。由于现有对比学习框架未利用邻域区域的语义相似性，构建鲁棒的多源数据自监督学习模型通常并非易事。此外，多源数据分布不一致所引起的异质鸿沟阻碍了分类性能。为克服这些缺陷，我们提出最近邻对比学习网络 (NNCNet)，其充分利用大量无标签数据学习判别性特征表示。具体而言，我们提出基于最近邻的数据增强方案，以利用邻近区域间增强的语义关系。跨模态语义对齐可被更准确地捕获。另外，我们设计了一个双线性注意力模块来挖掘 HSI 与激光雷达数据间的二阶乃至高阶特征交互。在四个公开数据集上的大量实验证明了我们的 NNCNet 优于当前最优 (SOTA) 方法。源代码见 \url{https://github.com/summitgao/NNCNet}。
引用
@article{arxiv.2301.03335,
title = {Nearest Neighbor-Based Contrastive Learning for Hyperspectral and LiDAR Data Classification},
author = {Meng Wang and Feng Gao and Junyu Dong and Heng-Chao Li and Qian Du},
journal= {arXiv preprint arXiv:2301.03335},
year = {2023}
}
备注
IEEE TGRS 2023