使用大型语言模型进行关系抽取：以穴位定位为例
计算与语言
2024-09-10 v2 人工智能
摘要
在针灸治疗中，穴位的准确定位对其疗效至关重要。像生成式预训练 Transformer（GPT）这样的大型语言模型（LLMs）具有高级的语言理解能力，为从文本知识源中抽取与穴位定位相关的关系提供了重要机会。本研究旨在比较 GPT 与传统深度学习模型（长短期记忆网络（LSTM）和用于生物医学文本挖掘的 Transformer 双向编码器表示（BioBERT））在抽取穴位相关位置关系方面的性能，并评估预训练和微调对 GPT 性能的影响。我们使用《世界卫生组织西太平洋地区标准穴位定位》（WHO Standard）作为我们的语料库，其中包含 361 个穴位的描述。标注了穴位之间的五种关系类型（'direction_of'、'distance_of'、'part_of'、'near_acupoint' 和 'located_near'）（n= 3,174）。比较了五种模型：BioBERT、LSTM、预训练 GPT-3.5、微调 GPT-3.5 以及预训练 GPT-4。性能指标包括微平均精确匹配精确率、召回率和 F1 分数。我们的结果表明，微调 GPT-3.5 在所有关系类型的 F1 分数上始终优于其他模型。总体而言，它取得了 0.92 的最高微平均 F1 分数。本研究强调了像 GPT 这样的 LLMs 在抽取与穴位定位相关关系方面的有效性，对准确建模针灸知识以及促进针灸培训和实践中的标准实施具有意义。这些发现还有助于推进传统与替代医学中的信息学应用，展示了 LLMs 在自然语言处理中的潜力。
引用
@article{arxiv.2404.05415,
title = {Relation Extraction Using Large Language Models: A Case Study on Acupuncture Point Locations},
author = {Yiming Li and Xueqing Peng and Jianfu Li and Xu Zuo and Suyuan Peng and Donghong Pei and Cui Tao and Hua Xu and Na Hong},
journal= {arXiv preprint arXiv:2404.05415},
year = {2024}
}