跨尺度 MAE:遥感中多尺度利用的故事
计算机视觉与模式识别
2026-04-03 v1 人工智能
图像与视频处理
摘要
由于广泛的地理覆盖范围、硬件限制以及未对齐的多尺度图像,遥感图像给图像分析带来了独特的挑战。本文在遥感图像理解的自监督学习通用框架下,重新审视了经典的多尺度表示学习问题。我们提出了 Cross-Scale MAE,一种建立在掩码自编码器(MAE)基础上的自监督模型。在预训练期间,Cross-Scale MAE 采用尺度增强技术,并通过对比损失和生成损失强制执行跨尺度一致性约束,以确保适合广泛下游任务的一致且有意义的表示。此外,我们的实现利用 xFormers 库在单个 GPU 上加速网络预训练,同时保持学习表示的质量。实验评估表明,与标准 MAE 和其他最先进的遥感 MAE 方法相比,Cross-Scale MAE 表现出卓越的性能。
引用
@article{arxiv.2401.15855,
title = {Cross-Scale MAE: A Tale of Multi-Scale Exploitation in Remote Sensing},
author = {Maofeng Tang and Andrei Cozma and Konstantinos Georgiou and Hairong Qi},
journal= {arXiv preprint arXiv:2401.15855},
year = {2026}
}