OReole-FM：面向高分辨率卫星影像的十亿参数基础模型的成功与挑战
计算机视觉与模式识别
2024-10-29 v1 人工智能
分布式、并行与集群计算
摘要
尽管用于遥感（RS）影像的基础模型预训练日益增多，但模型参数量仍局限于数亿。将模型扩展至数十亿参数已被证明能带来前所未有的收益，包括涌现能力，但这需要通常在工业研发实验室之外无法获得的数据扩展和计算资源。在本工作中，我们结合包括 Frontier 超级计算机（美国首个百亿亿次系统）在内的高性能计算资源与高分辨率光学遥感数据，预训练十亿规模的基础模型。我们的研究评估了不同预训练 vision Transformer 变体在图像分类、语义分割和目标检测基准上的性能，突显了数据扩展对于有效模型扩展的重要性。此外，我们讨论了新型 TIU 预训练数据集的构建、模型初始化，并计划公开发布数据与预训练模型。通过讨论相关文献中常缺失的技术挑战与细节，本工作旨在为地球空间社区提供高效训练和基准测试更大基础模型的最佳实践。
引用
@article{arxiv.2410.19965,
title = {OReole-FM: successes and challenges toward billion-parameter foundation models for high-resolution satellite imagery},
author = {Philipe Dias and Aristeidis Tsaris and Jordan Bowman and Abhishek Potnis and Jacob Arndt and H. Lexie Yang and Dalton Lunga},
journal= {arXiv preprint arXiv:2410.19965},
year = {2024}
}