把握核心:面向零样本关系抽取的大型语言模型定制
计算与语言
2024-10-28 v2
摘要
关系抽取旨在识别文本中实体之间的语义关系。尽管取得了显著进展,但现有模型主要需要大量标注训练数据,收集这些数据既昂贵又费力。此外,这些模型通常难以适应新的或未见的关系。旨在减少标注需求的少样本学习,通常为目标关系提供不完整且有偏差的监督,导致性能下降且不稳定。为了在最小化标注需求的同时准确且显式地描述关系语义,我们探索了仅定义零样本RE设置,其中仅使用自然语言表达的关系定义来训练RE模型。我们引入了REPaL,包含三个阶段:(1) 我们利用大型语言模型根据关系定义和未标注语料库生成初始种子实例。(2) 我们使用初始种子微调双向小型语言模型,以学习目标域的关系。(3) 我们通过整合SLM在未标注语料库上预测的反馈和合成历史,来扩展模式覆盖并减轻初始种子带来的偏差。为此,我们利用LLMs的多轮对话能力,在结合反馈和合成历史的基础上,在后续对话中生成新实例。研究表明,面向定义的种子合成增强了模式覆盖,而无差别增加种子数量会导致性能饱和。在两个数据集上的实验表明,REPaL大幅提升了具有成本效益的零样本性能。
引用
@article{arxiv.2402.11142,
title = {Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction},
author = {Sizhe Zhou and Yu Meng and Bowen Jin and Jiawei Han},
journal= {arXiv preprint arXiv:2402.11142},
year = {2024}
}
备注
25 pages, 20 Tables, 9 Figures; Accepted to EMNLP 2024