MCGA：基于灰度感知注意力的码book混合型高光谱重建
计算机视觉与模式识别
2025-12-23 v3
摘要
从 RGB 输入重建高光谱图像（HSI）提供了比高光谱相机更具成本效益的选择，但从三个通道重建高维光谱本质上是病弱的。现有方法通常直接使用大型注意力网络进行 RGB-to-HSI 映射回归，这些方法计算昂贵且仅隐式处理病弱性。我们提出MCGA，一种基于码book混合（Mixture-of-Codebooks）和灰度感知注意力（Grayscale-aware Attention）的框架，通过光谱先验和光度一致性显式地解决这些挑战。MCGA首先通过码book混合（MoC）从异构 HSI 数据集中学习可迁移的光谱先验，然后通过灰度感知光度注意力（GANet）将 RGB 特征与这些先验对齐。通过 top-K 注意力设计和测试时适应（TTA）提高了效率和鲁棒性。在多个真实世界基准测试上的实验表明，MCGA 在准确率、跨数据集泛化性和 4-5 倍更快的推理速度方面均达到最先进水平。代码将在接受后发布至 https://github.com/Fibonaccirabbit/MCGA。
引用
@article{arxiv.2507.09885,
title = {MCGA: Mixture of Codebooks Hyperspectral Reconstruction via Grayscale-Aware Attention},
author = {Zhanjiang Yang and Lijun Sun and Jiawei Dong and Xiaoxin An and Yang Liu and Meng Li},
journal= {arXiv preprint arXiv:2507.09885},
year = {2025}
}