DTU-Net: 用于非线性高光谱解混的多尺度膨胀变换器网络
计算机视觉与模式识别
2025-03-07 v2 图像与视频处理
摘要
变换器在高光谱解混（HU）中已取得显著成功，但仍存在挑战。虽然多尺度和长程空间相关性对解混任务至关重要，但当前基于变换器的解混网络（基于Vision Transformer或Swin-Transformer）难以有效捕捉这些相关性。此外，当前基于变换器的解混网络依赖线性混合模型，缺乏灵活性以适应非线性效应显著的场景。为解决这些局限性，我们提出了一种用于非线性高光谱解混的多尺度膨胀变换器解混网络（DTU-Net）。编码器采用两个分支：第一分支利用膨胀变换器中的多尺度膨胀注意力（MSDA）进行多尺度空间特征提取，通过不同注意力头之间变化膨胀率来捕捉长程和多尺度空间相关性；第二分支利用带通道注意力的3D-CNN进行光谱特征提取。两个分支的输出随后融合以整合多尺度空间和光谱信息，再经变换估计丰度值。解码器设计用于适应线性和非线性混合场景。其可解释性通过按照多项式后非线性混合模型（PPNMM）显式建模端元、丰度和非线性系数之间的关系而得到增强。在合成和真实数据集上的实验验证了所提出的DTU-Net相较于PPNMM导出方法和多种先进解混网络的有效性。
引用
@article{arxiv.2503.03465,
title = {DTU-Net: A Multi-Scale Dilated Transformer Network for Nonlinear Hyperspectral Unmixing},
author = {ChenTong Wang and Jincheng Gao and Fei Zhu and Abderrahim Halimi and Cédric Richard},
journal= {arXiv preprint arXiv:2503.03465},
year = {2025}
}