K2：面向地球科学知识理解与应用的基础语言模型
计算与语言
2023-09-15 v2 人工智能
摘要
大语言模型（LLMs）在自然语言处理通用领域已取得巨大成功。在本文中，我们将LLMs引入地球科学领域，旨在推动该领域的研究与应用。为此，我们提出了地球科学领域首个LLM——K2，以及一套为促进地球科学内LLM研究而开发的资源。例如，我们策划了首个地球科学指令微调数据集GeoSignal，旨在将LLM响应与地球科学相关用户查询对齐。此外，我们建立了首个地球科学基准GeoBench，用于在地球科学背景下评估LLMs。在本工作中，我们实验了一种将预训练通用领域LLM适配到地球科学领域的完整方案。具体而言，我们在55亿词元的地球科学文本语料（包括逾100万篇地球科学文献）上进一步训练LLaMA-7B模型，并利用GeoSignal的监督数据微调模型。此外，我们分享了一种即使在人力稀缺情况下也能高效收集领域特定数据并构建领域监督数据的协议。同时，我们赋予K2使用工具的能力，使其成为初级地球科学助手。在GeoBench上的实验证明了我们的方法与数据集在地球科学知识理解与应用上的有效性。我们在https://github.com/davendw49/k2开源所有训练数据与K2模型检查点。
引用
@article{arxiv.2306.05064,
title = {K2: A Foundation Language Model for Geoscience Knowledge Understanding and Utilization},
author = {Cheng Deng and Tianhang Zhang and Zhongmou He and Yi Xu and Qiyuan Chen and Yuanyuan Shi and Luoyi Fu and Weinan Zhang and Xinbing Wang and Chenghu Zhou and Zhouhan Lin and Junxian He},
journal= {arXiv preprint arXiv:2306.05064},
year = {2023}
}