SMARTIES：面向遥感图像的光谱感知多传感器自编码器
计算机视觉与模式识别
2025-06-25 v1
摘要
从光学传感器到微波雷达，充分利用遥感（RS）传感器的互补优势对于实现对地球的密集时空监测至关重要。相反，近期的深度学习模型，无论是任务特定的还是基础模型，往往针对单个传感器或固定组合：将此类模型适应于不同的感知输入需要 architectural changes和重新训练，限制了其在多个RS传感器上的可扩展性和泛化能力。相反，能够调制其特征表示以接受多样化传感器输入的单一模型，将为灵活的多传感器RS数据处理开辟道路。为此，我们引入SMARTIES，一种通用且多功能的基础模型，消除传感器特定/依赖性工作，使其对多样化RS传感器具备可扩展性和泛化能力：SMARTIES将来自异构传感器的数据投射到共享的光谱感知空间，从而实现训练和推理中对任意组合频段的使用。为获得传感器无关的表示，我们训练一个统一的transformer模型，通过跨传感器token混合来重建被掩码的多传感器数据。在单模态和多模态任务上，SMARTIES均优于依赖传感器特定预训练的先前模型。我们的代码和预训练模型均已公开提供于https://gsumbul.github.io/SMARTIES。
关键词
引用
@article{arxiv.2506.19585,
title = {SMARTIES: Spectrum-Aware Multi-Sensor Auto-Encoder for Remote Sensing Images},
author = {Gencer Sumbul and Chang Xu and Emanuele Dalsasso and Devis Tuia},
journal= {arXiv preprint arXiv:2506.19585},
year = {2025}
}