元上下文学习使大语言模型成为更好的零样本与少样本关系抽取器

关系抽取（RE）是一项旨在识别文本中实体之间关系的重要任务。尽管大语言模型（LLMs）在通用零样本和少样本学习中展现出了卓越的上下文学习（ICL）能力，但最近的研究表明，当前的 LLMs 在零样本和少样本 RE 中仍然存在困难。以往的研究主要致力于设计提示格式和选择优质示例以改进基于 ICL 的 RE。尽管这两个因素对 ICL 至关重要，但如果能从根本上提升 LLMs 在 RE 中的 ICL 能力，基于 ICL 的零样本和少样本 RE 性能将得到显著改善。为此，我们引入了 \textsc{Micre}（用于关系抽取的 LLMs 元上下文学习），这是一种用于零样本和少样本 RE 的新元训练框架，其中 LLM 被调整以在多样化的 RE 数据集集合上进行 ICL（即学习在上下文中为 RE 进行学习）。通过元训练，模型在推理时无需参数更新或任务特定模板，仅通过以少量训练示例为条件，就能更有效地在上下文中学习新的 RE 任务，从而实现更好的零样本和少样本任务泛化。我们在具有不同模型规模的各种 LLMs 和 12 个公开 RE 数据集上对 \textsc{Micre} 进行了实验，随后在零样本和少样本设置下的未见 RE 基准上对其进行了评估。与包括有监督微调和典型上下文学习方法在内的一系列基线相比，\textsc{Micre} 提供了相当或更优的性能。我们发现，对于更大的模型规模，性能提升尤为显著，并且使用多样化的元训练 RE 数据集是改进的关键。我们从经验上证明，\textsc{Micre} 能够在目标 RE 数据集的推理过程中通过关系标签名传递关系语义知识。