STARS：面向遥感的传感器无关变换器架构
计算机视觉与模式识别
2024-11-11 v1 机器学习
图像与视频处理
摘要
我们提出了一种传感器无关的谱系变换器作为谱系基础模型的基础。为此，我们引入了通用谱系表示（USR），该表示利用传感器元数据（如探测器规格和探测波长）将来自任何谱仪器的谱系编码到通用表示中，以便单个模型可以摄取来自任何传感器的数据。此外，我们发展了一种方法，用于基于新颖的随机传感器增强和重建管道以自监督方式预训练此类模型，以学习与探测范式无关的谱系特征。我们展示了该架构能够学习传感器无关的谱系特征，这些特征能够有效泛化到训练期间未见过的传感器。本工作为训练能够有效利用和发挥日益增长的谱系数据多样性的基础模型奠定了基础。
引用
@article{arxiv.2411.05714,
title = {STARS: Sensor-agnostic Transformer Architecture for Remote Sensing},
author = {Ethan King and Jaime Rodriguez and Diego Llanes and Timothy Doster and Tegan Emerson and James Koch},
journal= {arXiv preprint arXiv:2411.05714},
year = {2024}
}