面向遥感图像的热传导引导高效遥感基石模型（RS-vHeat）

遥感基石模型大致脱离了设计特定任务模型的传统范式，具备跨多个任务的更大可扩展性。然而，它们面临计算效率低和可解释性有限的挑战，尤其是在处理大规模遥感图像时。为克服这些问题，我们借鉴了热传导这一模拟局部热扩散的物理过程。基于此思想，我们首次探索利用热传导的并行计算模型来模拟高分辨率遥感图像中局部区域相关性的潜力，并引入 RS-vHeat，这是一个高效的多模态遥感基石模型。具体而言，RS-vHeat 1）应用热传导算子（HCO），其复杂度为 $O(N^{1.5})$，并具备全局感受野，减少计算开销的同时捕获遥感物体结构信息以指导热扩散；2）基于频率域层次遮挡和多域重建的自监督策略，学习各种场景的频率分布表示；3）在 4 个任务和 10 个数据集上显著优于最新技术，在效率和性能方面都有所提升。与基于注意力机制的遥感基石模型相比，我们将内存使用降低 84%，FLOPs 降低 24%，吞吐量提高 2.7 倍。该代码将公开发布。