基于Transformer的端元融合与空间上下文的高光谱解混
图像与视频处理
2024-08-02 v3
摘要
近年来，基于Transformer的深度学习网络因其优越性能在高光谱（HS）解混应用中越来越受欢迎。Transformer中的注意力机制促进了输入相关的加权，并在训练过程中增强了上下文感知。受此启发，我们提出了一种新颖的基于注意力的高光谱解混算法，称为基于Transformer的端元融合与空间上下文的高光谱解混（FusionNet）。该网络利用端元集合进行初始引导，有效解决了依赖单一初始化的问题。这种方法有助于避免许多算法因依赖单一初始点而遇到的次优结果。FusionNet包含一个像素上下文器（PC），通过考虑邻域像素将上下文感知引入丰度预测。与卷积神经网络（CNN）和传统基于Transformer的方法受限于特定核或窗口形状不同，Fusion网络在邻域任意配置的选择上提供了灵活性。我们使用三个广泛认可的真实数据集和一个合成数据集，将FusionNet算法与八种最先进算法进行了比较分析。结果表明，FusionNet相比其他算法具有竞争力的性能。
引用
@article{arxiv.2402.03835,
title = {Transformer based Endmember Fusion with Spatial Context for Hyperspectral Unmixing},
author = {R. M. K. L. Ratnayake and D. M. U. P. Sumanasekara and H. M. K. D. Wickramathilaka and G. M. R. I. Godaliyadda and M. P. B. Ekanayake and H. M. V. R. Herath},
journal= {arXiv preprint arXiv:2402.03835},
year = {2024}
}