In2SET：用于双相机压缩高光谱成像的内外相似性利用 Transformer
图像与视频处理
2024-06-11 v2 计算机视觉与模式识别
摘要
双相机压缩高光谱成像（DCCHI）通过融合压缩图像和全色（PAN）图像提供了重建三维高光谱图像（HSI）的能力，在实际的快照高光谱成像中展现出了巨大潜力。在本文中，我们引入了一种新型 DCCHI 重建网络——内外相似性利用 Transformer（In2SET）。我们的核心见解是充分利用 PAN 图像来辅助重建。为此，我们提出使用 PAN 图像内部的相似性作为近似原始 HSI 内部相似性的代理，从而为更准确的 HSI 重建提供增强的内容先验。此外，我们旨在将底层 HSI 的特征与 PAN 图像的特征对齐，保持语义一致性并为重建过程引入新的上下文信息。通过将 In2SET 集成到 PAN 引导的展开框架中，我们的方法大幅增强了重建图像的空间光谱保真度和细节，提供了对场景更全面和准确的描绘。在真实和模拟数据集上进行的大量实验表明，我们的方法在重建质量和计算复杂度方面始终优于现有的最先进方法。代码将发布。
引用
@article{arxiv.2312.13319,
title = {In2SET: Intra-Inter Similarity Exploiting Transformer for Dual-Camera Compressive Hyperspectral Imaging},
author = {Xin Wang and Lizhi Wang and Xiangtian Ma and Maoqing Zhang and Lin Zhu and Hua Huang},
journal= {arXiv preprint arXiv:2312.13319},
year = {2024}
}
备注
CVPR 2024