利用大规模卫星影像进行高效掩码图像建模
计算机视觉与模式识别
2025-07-03 v6
摘要
掩码图像建模（Masked Image Modeling, MIM）已成为遥感（RS）领域构建基础视觉模型的关键方法。然而，现有遥感数据集的规模和多样性受限，限制了MIM方法学习通用表征的能力。此外，传统MIM技术要求重构所有token，引入不必要的计算开销。为解决此问题，本文提出一种新的遥感模型预训练管道，包括构建大规模遥感数据集和高效MIM方法。我们精选了名为OpticalRS-13M的数据集，通过收集公开遥感数据集并进行剔除、切片和去重处理。OpticalRS-13M包含1300万张覆盖多种遥感任务（如目标检测和像素分割）的光学影像。为提升效率，本文提出SelectiveMAE预训练方法，该方法动态编码和重构语义丰富的patch token，从而减少传统MIM模型因遥感图像中冗余背景像素导致的低效问题。大量实验表明，OpticalRS-13M显著提升了分类、检测和分割性能，而SelectiveMAE将训练效率提升超过2倍。这凸显了本管道在开发遥感基础模型方面的有效性和可扩展性。数据集、源代码和训练好的模型将发布于https://github.com/MiliLab/SelectiveMAE。
引用
@article{arxiv.2406.11933,
title = {Harnessing Massive Satellite Imagery with Efficient Masked Image Modeling},
author = {Fengxiang Wang and Hongzhen Wang and Di Wang and Zonghao Guo and Zhenyu Zhong and Long Lan and Wenjing Yang and Jing Zhang},
journal= {arXiv preprint arXiv:2406.11933},
year = {2025}
}
备注
ICCV 2025