对齐指令任务解锁大语言模型作为零样本关系抽取器
计算与语言
2023-05-19 v1
摘要
近期研究表明，在大规模指令遵循数据集上微调大语言模型（LLMs）可显著提升其在广泛 NLP 任务上的表现，尤其在零样本设定下。然而，即便先进的指令微调 LLM 在关系抽取（RE）——一项基础信息抽取任务——上仍无法超越小型 LM。我们假设，由于 RE 在指令微调数据集中占比极低（不足所有任务的 1%，Wang et al., 2022），指令微调未能激发 LLM 强大的 RE 能力。为应对此局限，我们提出 QA4RE，一个将 RE 与问答（QA）——指令微调数据集中的主导任务——对齐的框架。在四个数据集上、使用两类指令微调 LLM 系列（共六个 LLM）进行的全面零样本 RE 实验表明，我们的 QA4RE 框架持续提升了 LLM 性能，有力验证了我们的假设，并使 LLM 大幅超越强零样本基线。此外，我们提供了充分的实验与讨论，展示了 QA4RE 框架的鲁棒性、少样本有效性及强可迁移性。本工作展示了一种通过将这些任务与 QA 等更常见的指令微调任务对齐，从而将 LLM 适配于困难且代表性不足任务的 promising 途径。
引用
@article{arxiv.2305.11159,
title = {Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors},
author = {Kai Zhang and Bernal Jiménez Gutiérrez and Yu Su},
journal= {arXiv preprint arXiv:2305.11159},
year = {2023}
}
备注
ACL 2023 Findings; The code is available at https://github.com/OSU-NLP-Group/QA4RE