中文

C-ICL:用于信息抽取的对比式上下文学习

计算与语言 2024-06-25 v2

摘要

人们越来越有兴趣探索先进大语言模型 (LLM) 在信息抽取 (IE) 领域的能力,特别是专注于命名实体识别 (NER) 和关系抽取 (RE) 相关任务。虽然研究人员正在探索利用 LLM 通过上下文学习进行少-shot 信息抽取,但他们往往只关注使用正确或正样本进行演示,而忽视了将不正确或负样本纳入学习过程的潜在价值。在本文中,我们提出了 c-ICL,这是一种新颖的少样本技术,利用正确和不正确的样本构建来创建上下文学习演示。这种方法通过利用不仅包含正样本还包含其背后推理的提示,增强了 LLM 抽取实体和关系的能力。该方法允许识别和纠正潜在的接口错误。具体而言,我们提出的方法利用了困难负样本中的固有上下文信息和有价值信息,以及测试样本最近的正邻居,然后基于 LLM 应用上下文学习演示。我们在各种数据集上的实验表明,c-ICL 优于以前的少样本上下文学习方法,在广泛的相关任务中实现了显著的性能提升。这些改进值得注意,展示了我们方法在各种场景中的多功能性。

关键词

引用

@article{arxiv.2402.11254,
  title  = {C-ICL: Contrastive In-context Learning for Information Extraction},
  author = {Ying Mo and Jiahao Liu and Jian Yang and Qifan Wang and Shun Zhang and Jingang Wang and Zhoujun Li},
  journal= {arXiv preprint arXiv:2402.11254},
  year   = {2024}
}

备注

15 pages