CRE-LLM：基于微调大语言模型的领域特定中文关系抽取框架
计算与语言
2024-04-30 v1
摘要
领域特定中文关系抽取（DSCRE）旨在从领域特定的中文文本中抽取实体间的关系。尽管近年来预训练语言模型（PLM）尤其是大语言模型（LLM）发展迅速，但DSCRE仍面临三个核心挑战：复杂的网络结构设计、感知能力差以及微调的高消耗。鉴于大语言模型在自然语言处理中的出色表现，我们提出了一个名为CRE-LLM的新框架。该框架基于对开源大语言模型（如Llama-2、ChatGLM2和Baichuan2）的微调。CRE-LLM通过构建合适的提示并利用开源大语言模型进行指令监督微调，增强了模型的逻辑感知和生成能力。然后它直接抽取输入文本数据中给定实体的关系，从而改进了CRE方法。为了证明所提框架的有效性，我们在两个领域特定的CRE数据集（FinRE和SanWen）上进行了大量实验。实验结果表明，CRE-LLM显著优越且鲁棒，在FinRE数据集上达到了最先进的性能。本文为语义更复杂的领域特定关系抽取任务引入了一种结合大语言模型与三元组的新方法。我们的代码已公开。
引用
@article{arxiv.2404.18085,
title = {CRE-LLM: A Domain-Specific Chinese Relation Extraction Framework with Fine-tuned Large Language Model},
author = {Zhengpeng Shi and Haoran Luo},
journal= {arXiv preprint arXiv:2404.18085},
year = {2024}
}
备注
preprint