GeoCode-GPT：面向地理空间代码生成任务的大型语言模型
软件工程
2025-03-11 v2 人工智能
摘要
地球科学中对时空数据和建模任务的需求日益增长，使得地理空间代码生成技术成为提高生产力的关键因素。尽管大型语言模型（LLM）在代码生成任务中展现出潜力，但由于缺乏领域特定知识和代码语料库，它们在地理空间代码生成中经常遇到拒绝编码或产生幻觉的问题。为了解决这些挑战，本文提出并开源了GeoCode-PT和GeoCode-SFT语料库，以及GeoCode-Eval评估数据集。此外，通过利用QLoRA和LoRA进行预训练和微调，我们推出了GeoCode-GPT-7B，这是首个专注于地理空间代码生成的大型语言模型，从Code Llama-7B微调而来。进一步地，我们建立了一个全面的地理空间代码评估框架，包括选项匹配、专家验证和面向LLM的提示工程评分，并使用GeoCode-Eval数据集系统评估了GeoCode-GPT-7B。实验结果表明，GeoCode-GPT在多项选择准确率上比其他模型高出9.1%至32.1%，在代码摘要能力上高出1.7%至25.4%，在代码生成能力上高出1.2%至25.1%。本文为提升LLM在地理空间代码生成中的性能提供了解决方案和实证验证，扩展了领域特定模型应用的边界，并为释放其在地理空间代码生成中的潜力提供了有价值的见解。
引用
@article{arxiv.2410.17031,
title = {GeoCode-GPT: A Large Language Model for Geospatial Code Generation Tasks},
author = {Shuyang Hou and Zhangxiao Shen and Anqi Zhao and Jianyuan Liang and Zhipeng Gui and Xuefeng Guan and Rui Li and Huayi Wu},
journal= {arXiv preprint arXiv:2410.17031},
year = {2025}
}