CARL：用于光谱图像分析的相机无关表示学习
计算机视觉与模式识别
2026-02-19 v4 人工智能
机器学习
摘要
光谱成像在医疗和城市场景理解等多个领域展现出广阔的应用前景，已在遥感领域确立为关键模态。然而，光谱相机中通道维度和捕获波长的差异性阻碍了 AI 方法的发展，导致基于特定相机的模型在通用性和跨相机适用性方面不足。为此，本文引入 CARL，一种面向 RGB、多光谱和超光谱成像模态的相机无关表示学习模型。为实现将任意通道维度的光谱图像转换为相机无关表示，本文提出一种新型光谱编码器，采用自注意力-跨注意力机制，将关键光谱信息提炼为学习到的光谱表示。通过针对 CARL 设计的基于特征的自监督策略实现时空-光谱预训练。大规模实验覆盖医学成像、自动驾驶和卫星成像等领域，证明了该模型在光谱异构性方面的独特鲁棒性，在模拟和真实世界的跨相机光谱变化数据集上均实现超越。该方法的可扩展性和通用性将其定位为未来光谱基础模型的骨架。代码和模型权重已公开提供于 https://github.com/IMSY-DKFZ/CARL。
引用
@article{arxiv.2504.19223,
title = {CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis},
author = {Alexander Baumann and Leonardo Ayala and Silvia Seidlitz and Jan Sellner and Alexander Studier-Fischer and Berkin Özdemir and Lena Maier-Hein and Slobodan Ilic},
journal= {arXiv preprint arXiv:2504.19223},
year = {2026}
}