基于有监督对比学习的长上下文问答
计算与语言
2022-05-09 v2 人工智能
摘要
长上下文问答（QA）任务需要对长文档或多文档进行推理。解决这些任务通常受益于识别一组证据片段（如句子），其为回答问题提供支撑证据。在本工作中，我们提出一种新方法，为长上下文QA模型配备额外的序列级目标，以更好地识别支撑证据。我们通过在微调中加入额外的对比监督信号来实现这一点，其中鼓励模型通过最大化问题-证据相似度来显式区分支撑证据句与负样本句。所提出的额外损失在三个不同的强长上下文transformer模型上，跨两个具有挑战性的问答基准——HotpotQA和QAsper，均展现出一致的改进。
引用
@article{arxiv.2112.08777,
title = {Long Context Question Answering via Supervised Contrastive Learning},
author = {Avi Caciularu and Ido Dagan and Jacob Goldberger and Arman Cohan},
journal= {arXiv preprint arXiv:2112.08777},
year = {2022}
}
备注
accepted NAACL 2022, main conference