学习穷尽相关性以实现光谱超分辨率：当空间-光谱注意力遇上线性依赖
图像与视频处理
2024-03-19 v2 计算机视觉与模式识别
摘要
旨在从易获取的 RGB 图像恢复高光谱图像 (HSI) 的光谱超分辨率，在计算摄影领域引起了越来越多的关注。光谱超分辨率的关键在于利用 HSI 内部的相关性。然而，现有 Transformer 中的两类瓶颈限制了性能提升与实际应用。首先，现有 Transformer 往往分别强调空间或光谱相关性，破坏了 HSI 的 3D 特征，阻碍了对统一空间-光谱相关性的挖掘。其次，现有自注意力机制始终通过学习成对 token 之间的相关性来建立满秩相关矩阵，导致其无法描述 HSI 中广泛存在于多个 token 之间的线性依赖。为解决这些问题，我们提出了一种用于光谱超分辨率的新型穷尽相关性 Transformer (ECT)。首先，我们提出了一种光谱方向不连续 3D (SD3D) 切分策略，通过整合空间方向连续切分策略与光谱方向不连续切分策略来建模统一的空间-光谱相关性。其次，我们提出了动态低秩映射 (DLRM) 模型，通过动态计算的低秩依赖图捕捉多个 token 之间的线性依赖。通过整合统一的空间-光谱注意力与线性依赖，我们的 ECT 能够建模 HSI 内的穷尽相关性。在模拟数据与真实数据上的实验结果表明，我们的方法达到了 SOTA 性能。代码与预训练模型将于后续发布。
引用
@article{arxiv.2312.12833,
title = {Learning Exhaustive Correlation for Spectral Super-Resolution: Where Spatial-Spectral Attention Meets Linear Dependence},
author = {Hongyuan Wang and Lizhi Wang and Jiang Xu and Chang Chen and Xue Hu and Fenglong Song and Youliang Yan},
journal= {arXiv preprint arXiv:2312.12833},
year = {2024}
}