基于上下文专家混合的科学实验方案少样本指代消解
计算与语言
2022-11-15 v2 人工智能
摘要
指代消解是一项重要的信息抽取任务,横跨多种语言、文本体裁与领域,这催生了对无需大型标注数据集方法的需求。上下文学习已成为一种有前景的方法,但在将其应用于指代消解时存在若干挑战。例如,编码单个上下文演示(包含:一个指代词、段落长度的上下文,以及相应先行词列表)需要以长令牌序列为条件训练语言模型,限制了每个提示中的演示数量。本文提出MICE(上下文专家混合),并证明其在科学实验方案(Tamari等,2021)的少样本指代消解中有效。仅给定少量训练样本,MICE结合数百个上下文专家的预测,相较有竞争力的提示检索基线取得F1分数30%的提升。此外,我们展示MICE可用于训练紧凑的学生模型而不牺牲性能。据我们所知,这是首项呈现实验结果表明上下文学习在科学实验方案少样本指代消解任务上有效性的工作。
引用
@article{arxiv.2210.03690,
title = {Few-Shot Anaphora Resolution in Scientific Protocols via Mixtures of In-Context Experts},
author = {Nghia T. Le and Fan Bai and Alan Ritter},
journal= {arXiv preprint arXiv:2210.03690},
year = {2022}
}
备注
Findings of EMNLP 2022