PIVOINE:面向开放世界信息抽取的指导微调
计算与语言
2023-05-25 v1
摘要
我们研究开放世界信息抽取(Open-world IE)问题,该任务从非结构化文本中抽取全面的实体档案。与传统的封闭世界信息抽取(IE)设定不同,开放世界 IE 考虑一种更通用的情形,其中实体与关系可能超出预定义的本体。更重要的是,我们致力于开发一个大语言模型(LLM),能够执行开放世界 IE,以抽取由(可能是细粒度的)自然语言指令所刻画的所需实体档案。我们通过使用指令微调对 LLM 进行微调来实现这一目标。具体而言,我们构建了 INSTRUCTOPENWIKI,这是一个面向开放世界 IE 的大规模指令微调数据集,包含全面语料、丰富标注与多样化指令。我们在 INSTRUCTOPENWIKI 上对预训练的 BLOOM 模型进行微调,得到 PIVOINE,一个具备强大指令遵循能力的开放世界 IE 大语言模型。我们的实验表明,PIVOINE 显著优于传统封闭世界方法与其他 LLM 基线,在未见指令与超出本体情形上均展现出令人印象深刻的泛化能力。因此,PIVOINE 成为有效应对 IE 中开放世界挑战的一种有前景的方案。
引用
@article{arxiv.2305.14898,
title = {PIVOINE: Instruction Tuning for Open-world Information Extraction},
author = {Keming Lu and Xiaoman Pan and Kaiqiang Song and Hongming Zhang and Dong Yu and Jianshu Chen},
journal= {arXiv preprint arXiv:2305.14898},
year = {2023}
}