卫星任务是否需要专门的预训练？
计算机视觉与模式识别
2025-10-21 v1
摘要
基础模型已在 various modalities 上推进机器学习，包括图像。最近，多个团队为遥感应用训练了专门的基础模型。此类研究动力来自遥感图像的独特特征、特定应用以及卫星图像分析有用的特定类型鲁棒性。在本工作中，我们系统性地挑战了特定基础模型在小规模下是否比通用视觉基础模型更有用的观念。首先，我们设计了一个简单基准，衡量遥感模型对分辨率更低的图像的泛化能力，针对两个下游任务。其次，我们在 MillionAID——一个规模为 ImageNet 的卫星图像数据集上，对 iBOT（一个自监督视觉编码器）进行训练，并进行若干针对遥感的修改。我们表明，这些预训练模型在 ViT-B 规模下对通用基线没有持续的改进。
引用
@article{arxiv.2510.17014,
title = {Do Satellite Tasks Need Special Pretraining?},
author = {Ani Vanyan and Alvard Barseghyan and Hakob Tamazyan and Tigran Galstyan and Vahan Huroyan and Naira Hovakimyan and Hrant Khachatrian},
journal= {arXiv preprint arXiv:2510.17014},
year = {2025}
}