利用大语言模型生成多样化的关系抽取训练样本
计算与语言
2025-05-30 v1
摘要
使用大语言模型（LLM）生成训练数据可能是改进零样本或少样本 NLP 任务的一种优选方式。然而，这一方向仍有许多问题有待研究。对于关系抽取（RE）任务，我们发现通过直接提示 LLM 生成的样本可能很容易彼此具有高度的结构相似性。在表达一对实体之间的关系时，它们倾向于使用有限的措辞多样性。因此，在本文中，我们研究如何在保持正确性的同时，有效提高 LLM 为 RE 生成的训练样本的多样性。我们首先尝试通过在上下文学习（ICL）提示中直接给出指令，使 LLM 产生不相似的样本。然后，我们提出了一种通过直接偏好优化（DPO）微调 LLM 以生成多样性训练样本的方法。我们在常用的 RE 数据集上的实验表明，这两种尝试都可以提高生成训练数据的质量。我们还发现，与直接使用 LLM 执行 RE 相比，使用其生成的样本来训练非 LLM 的 RE 模型可能会带来更好的性能。
引用
@article{arxiv.2505.23108,
title = {Generating Diverse Training Samples for Relation Extraction with Large Language Models},
author = {Zexuan Li and Hongliang Dai and Piji Li},
journal= {arXiv preprint arXiv:2505.23108},
year = {2025}
}
备注
ACL2025 Main