以句级目标预训练Transformer模型用于答案句选择
计算与语言
2022-10-21 v2
摘要
设计QA系统的一项重要任务是答案句选择（AS2）：从一组检索到的相关文档中选出包含（或构成）问题答案的句子。本文提出三种新颖的句级Transformer预训练目标，其将段落级语义融入文档之内与跨文档之中，以提升Transformer在AS2上的性能，并缓解对大规模标注数据集的需求。具体而言，模型被赋予如下预测任务：(i)两个句子是否抽取自同一段落，(ii)给定句子是否抽取自给定段落，以及(iii)两个段落是否抽取自同一文档。我们在三个公开和一个工业界AS2数据集上的实验证明了我们所预训练的Transformer相对于RoBERTa和ELECTRA等基线模型在AS2上的经验优越性。
引用
@article{arxiv.2205.10455,
title = {Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection},
author = {Luca Di Liello and Siddhant Garg and Luca Soldaini and Alessandro Moschitti},
journal= {arXiv preprint arXiv:2205.10455},
year = {2022}
}
备注
Accepted at EMNLP 2022