基于 LiDAR 的跨注意力融合的高光谱带选择与图像分类
图像与视频处理
2024-04-16 v2 计算机视觉与模式识别
摘要
高光谱与 LiDAR 数据的融合一直是活跃的研究主题。尽管高光谱图像（HSI）处理中已广泛研究带选择方法，但现有融合方法仍忽略了高光谱图像中的高维度和冗余问题。本文通过引入来自变压器架构的跨注意力机制，受 LiDAR 数据指导，实现 HSI 带的选择。LiDAR 提供的高分辨率垂直结构信息对于区分可能具有相似光谱特征但结构轮廓不同的不同土地覆盖类型非常有用。在我们的方法中，LiDAR 数据被用作“查询”，以搜索和识别从 HSI 中提取的“键”，以选择与 LiDAR 数据最相关的带。该方法确保所选 HSI 带显著减少冗余性和计算要求，同时与 LiDAR 数据协同工作。对三个配对的 HSI 和 LiDAR 数据集（Houston 2013、Trento 和 MUUFL）进行了广泛实验。结果突出了跨注意力机制的优越性，强调了在与 LiDAR 特征融合的情况下，所识别 HSI 带的分类准确率得到提升。结果还表明，少量带组合搭配 LiDAR 的性能优于最新融合模型。
引用
@article{arxiv.2404.03883,
title = {LiDAR-Guided Cross-Attention Fusion for Hyperspectral Band Selection and Image Classification},
author = {Judy X Yang and Jun Zhou and Jing Wang and Hui Tian and Alan Wee-Chung Liew},
journal= {arXiv preprint arXiv:2404.03883},
year = {2024}
}
备注
15 pages, 13 figures