SenPa-MAE：面向多卫星自监督预训练的传感器参数感知遮盖自编码器
计算机视觉与模式识别
2024-08-21 v1
摘要
本文介绍 SenPa-MAE，这是一种 transformer 架构，将观测的多光谱信号的传感器参数编码到图像嵌入中。SenPa-MAE 可在来自不同卫星的图像上进行预训练，这些图像的光谱或几何传感器特性不匹配。为融合传感器参数，我们提出了一种通用的传感器参数编码模块以及一种数据增强策略，用于预训练数据集的多样化。这使模型能够有效区分各种传感器并理解传感器参数与观测信号之间的关联。鉴于地球观测卫星任务数量的增加以及传感器规格的多样性，我们的方法为传感器无关的地球观测基础模型之路，开辟了可能性，如跨传感器训练和传感器无关推断。
引用
@article{arxiv.2408.11000,
title = {SenPa-MAE: Sensor Parameter Aware Masked Autoencoder for Multi-Satellite Self-Supervised Pretraining},
author = {Jonathan Prexl and Michael Schmitt},
journal= {arXiv preprint arXiv:2408.11000},
year = {2024}
}
备注
GCPR 2024