如何释放大语言模型在少样本关系抽取中的威力？
计算与语言
2023-06-12 v4 人工智能
数据库
信息检索
机器学习
摘要
语言模型的规模化已革新了广泛的NLP任务，但少样本关系抽取与大语言模型的结合尚缺乏全面探索。本文通过详尽实验，借助GPT-3.5探究了少样本关系抽取的两种主要方法：上下文学习（in-context learning）与数据生成。为提升少样本性能，我们进一步提出了任务相关指令与模式约束数据生成。我们观察到，上下文学习可达到与先前提示学习方法相当的性能，而利用大语言模型进行数据生成能够提升已有方案，在四个被广泛研究的关系抽取数据集上取得新的最先进少样本结果。我们希望本工作能启发未来关于大语言模型在少样本关系抽取中能力的研究。代码见 https://github.com/zjunlp/DeepKE/tree/main/example/llm。
引用
@article{arxiv.2305.01555,
title = {How to Unleash the Power of Large Language Models for Few-shot Relation Extraction?},
author = {Xin Xu and Yuqi Zhu and Xiaohan Wang and Ningyu Zhang},
journal= {arXiv preprint arXiv:2305.01555},
year = {2023}
}
备注
SustaiNLP Workshop@ACL 2023