基于域适应大型语言模型的地质钻孔描述分类
计算与语言
2024-07-17 v1 机器学习
地球物理
摘要
地质钻孔描述包含有关地下组成的详细文本信息。然而，其非结构化格式为将相关特征提取到结构化格式方面 presents significant challenges（呈现显著挑战）。本文引入GEOBERTje：一个在弗拉芬兰（比利时）的 Dutch 语言地质钻孔描述上训练的域适应大型语言模型。该模型有效地从钻孔描述中提取相关信息，并将其表示为数值向量空间。以GEOBERTje为例，我们在有限数量的手动标记观察上微调分类模型。该分类器将钻孔描述分为主要、次要和第三纤维学类别。我们表明，分类器超越了基于规则的方法和OpenAI的GPT-4。这一研究示例了如何通过域适应大型语言模型提高从复杂非结构化地质描述中提取信息的效率和准确性。这为使用大量数据进行地质分析和建模提供了新机遇。
引用
@article{arxiv.2407.10991,
title = {Classification of Geological Borehole Descriptions Using a Domain Adapted Large Language Model},
author = {Hossein Ghorbanfekr and Pieter Jan Kerstens and Katrijn Dirix},
journal= {arXiv preprint arXiv:2407.10991},
year = {2024}
}