面向通用地理空间人工智能的基础模型
计算机视觉与模式识别
2023-11-09 v2 机器学习
摘要
高度适应性与可复用人工智能（AI）模型开发的显著进展，预计将对地球科学与遥感产生重要影响。基础模型通过自监督在大型无标签数据集上预训练，再以小型有标签数据集微调用于各类下游任务。本文提出一种首创的框架，用于在大规模地理空间数据上高效预训练与微调基础模型。我们利用该框架创建了 Prithvi，一种基于 transformer 的地理空间基础模型，在 Harmonized Landsat-Sentinel 2（HLS）数据集上超过 1TB 的多光谱卫星影像上完成了预训练。我们的研究证明了该框架可成功将 Prithvi 微调至以往基础模型工作未涉及的多种地球观测任务：多时相云缺失填补、洪水制图、野火过火区分割与多时相作物分割。实验表明，相较于使用随机初始化权重，预训练模型加速了微调过程。此外，预训练的 Prithvi 与最先进方法表现相当，例如在多时相云填补中结构相似性指数上超越条件 GAN 模型至多 5pp（即 5.7%）。最后，鉴于地球观测领域有标签数据有限，我们逐步减少可用于精调模型的标签数据量以评估数据效率，并证明数据可大幅削减而不影响模型精度。该 1 亿参数的预训练模型及相应微调工作流已通过 Hugging Face 作为开源贡献向全球地球科学界公开发布。
引用
@article{arxiv.2310.18660,
title = {Foundation Models for Generalist Geospatial Artificial Intelligence},
author = {Johannes Jakubik and Sujit Roy and C. E. Phillips and Paolo Fraccaro and Denys Godwin and Bianca Zadrozny and Daniela Szwarcman and Carlos Gomes and Gabby Nyirjesy and Blair Edwards and Daiki Kimura and Naomi Simumba and Linsong Chu and S. Karthik Mukkavilli and Devyani Lambhate and Kamal Das and Ranjini Bangalore and Dario Oliveira and Michal Muszynski and Kumar Ankur and Muthukumaran Ramasubramanian and Iksha Gurung and Sam Khallaghi and Hanxi and Li and Michael Cecil and Maryam Ahmadi and Fatemeh Kordi and Hamed Alemohammad and Manil Maskey and Raghu Ganti and Kommy Weldemariam and Rahul Ramachandran},
journal= {arXiv preprint arXiv:2310.18660},
year = {2023}
}