SpecTM：面向可信赖基础模型的光谱定向遮蔽
人工智能
2026-05-05 v2 机器学习
摘要
基础模型正越来越多地用于地球观测 (EO)，但它们常依赖随机遮蔽，且不明确强制物理约束；这在特别是用于指导公共卫生决策的预测模型中尤其是可信赖性的关键限制。本文提出 SpecTM (光谱定向遮蔽)，一种基于物理的遮蔽设计，鼓励在预训练期间从跨光谱上下文中重建目标波段。为实现这一目标，我们开发了一种可适应的多任务 (波段重建、生物光学指数推断和 8 天-ahead 时间预测) 自监督学习 (SSL) 框架，通过联合优化对编码器内在的光谱表示进行编码，并在 NASA PACE 载人航天局 hyperspectral 影像上，对其在 Lake Erie 上的下游微囊藻浓度回归模型进行评估。SpecTM 实现 R^2 = 0.695（当前一周）和 R^2 = 0.620（8 天-ahead）的预测，分别超过所有基线模型（+34%（0.51 Ridge）和 +99%（SVR 0.31））。我们的消融实验表明，定向遮蔽比随机遮蔽提高 0.037 的 R^2。此外，它在极端稀缺条件下以 2.2 倍的标签效率优于强基线。SpecTM 使跨 EO 领域的基于物理的表征学习成为可能，并提高了基础模型的可解释性。
引用
@article{arxiv.2603.22097,
title = {SpecTM: Spectral Targeted Masking for Trustworthy Foundation Models},
author = {Syed Usama Imtiaz and Mitra Nasr Azadani and Nasrin Alamdari},
journal= {arXiv preprint arXiv:2603.22097},
year = {2026}
}
备注
Accepted to IEEE IGARSS 2026