卫星图像分析的多模态、多尺度表征学习：只需一个好的 ALiBi
计算机视觉与模式识别
2026-04-14 v1
摘要
视觉基础模型已被证明在将卫星图像处理为适合下游任务的表征方面有效，但创建能够在多个空间分辨率和模态之间 operate 的模型具有挑战性。本文提出了 Scale-ALiBi，这是一种具有空间编码偏置的线性偏置变换器注意力机制，用于处理不同地表样本距离尺度下图像块之间的关系。我们在使用基于三对比和重构架构的高、低分辨率光学和低分辨率 SAR 卫星图像数据集上实现了 Scale-ALiBi，展示了在 GEO-Bench 基准测试上的提升，并公开发布了新建构的数据集。
引用
@article{arxiv.2604.10347,
title = {Multi-modal, multi-scale representation learning for satellite imagery analysis just needs a good ALiBi},
author = {Patrick Kage and Pavlos Andreadis},
journal= {arXiv preprint arXiv:2604.10347},
year = {2026}
}
备注
Originally appeared at the 4th Space Imaging Workshop at the Georgia Institute of Technology, October 7-9, 2024