重新审视作为零样本关系抽取器的大语言模型
人工智能
2023-11-27 v4 计算与语言
摘要
关系抽取（RE）即使在零样本设定下也始终涉及一定数量的标注或未标注数据。近期研究表明，大语言模型（LLMs）仅凭自然语言提示即可开箱迁移至新任务，这为无需任何数据与参数调优而从文本中抽取关系提供了可能。本文聚焦于探索将 ChatGPT 等 LLM 作为零样本关系抽取器的研究。一方面，我们分析现有 RE 提示的缺陷，并尝试引入思维链（CoT）等近期提示技术以改进零样本 RE。我们提出总结-提问（\textsc{SumAsk}）提示，一种递归使用 LLM 将 RE 输入转化为有效问答（QA）格式的简易提示。另一方面，我们在多种基准与设定上开展全面实验，以探究 LLM 在零样本 RE 上的能力。具体而言，我们得到以下发现：（i）\textsc{SumAsk} 在不同模型规模、基准与设定下一致且显著地提升 LLM 性能；（ii）基于 ChatGPT 的零样本提示取得了与零样本及全监督方法相比具竞争力或更优的结果；（iii）LLM 在抽取重叠关系上展现出有前景的性能；（iv）不同关系间性能差异显著。不同于小语言模型，LLM 能有效处理困难的“以上皆非”（NoTA）关系。
引用
@article{arxiv.2310.05028,
title = {Revisiting Large Language Models as Zero-shot Relation Extractors},
author = {Guozheng Li and Peng Wang and Wenjun Ke},
journal= {arXiv preprint arXiv:2310.05028},
year = {2023}
}
备注
Findings of EMNLP 2023