ColorMamba：面向高质量 NIR-to-RGB 光谱转换的 Mamba 方法

Huiyu Zhai; Guang Jin; Xingxing Yang; Guosheng Kang

ColorMamba：面向高质量 NIR-to-RGB 光谱转换的 Mamba 方法

计算机视觉与模式识别 2024-08-16 v1

作者: Huiyu Zhai , Guang Jin , Xingxing Yang , Guosheng Kang

摘要

将近红外光谱转换到可见光谱具有挑战性，原因在于跨域复杂性。现有模型难以在广域感受野与计算效率之间取得平衡，限制了实际应用。尽管选择性结构化状态空间模型（尤其是改进版本 Mamba）通过线性复杂度捕获长程依赖关系在生成任务中表现出色，但其默认将二维图像转换为一维序列的方法忽略了局部上下文。在本工作中，我们提出一个简单而有效的骨干网络 ColorMamba，首次将 Mamba 引入光谱转换任务。为探索全局长程依赖和局部上下文以实现高效光谱转换，我们引入可学习的填充标记以增强图像边界区分并防止序列模型中的潜在混淆。此外，局部卷积增强和代理注意力被设计用于改进基础 Mamba。此外，我们利用 HSV 颜色空间在重建过程中提供多尺度引导，以实现更精确的光谱转换。大量实验表明，我们的 ColorMamba 相比最先进方法在峰值信噪比（PSNR）上取得了 1.02 的提升。代码可在 https://github.com/AlexYangxx/ColorMamba 获取。

关键词

近红外到RGB光谱转换 Mamba 选择性结构化状态空间模型 HSV颜色引导局部卷积增强代理注意力

引用

@article{arxiv.2408.08087,
  title  = {ColorMamba: Towards High-quality NIR-to-RGB Spectral Translation with Mamba},
  author = {Huiyu Zhai and Guang Jin and Xingxing Yang and Guosheng Kang},
  journal= {arXiv preprint arXiv:2408.08087},
  year   = {2024}
}

备注

Code is available at https://github.com/AlexYangxx/ColorMamba

ColorMamba：面向高质量 NIR-to-RGB 光谱转换的 Mamba 方法

摘要

关键词

引用

备注

相关论文