用于答案句选择的上下文感知Transformer预训练
计算与语言
2023-05-25 v1 机器学习
摘要
答案句选择(AS2)是构建准确问答流水线的核心组件。AS2模型根据候选句子回答给定问题的可能性对其进行排序。AS2中的最先进技术通过在大规模标注数据集上迁移预训练transformer并利用候选句周围的局部上下文信息来发挥作用。本文中,我们提出三个旨在模拟上下文AS2下游微调任务的预训练目标。这使得在针对上下文AS2微调时能够专门化语言模型(LMs)。我们在三个公开和两个大规模工业数据集上的实验表明,我们的预训练方法(应用于RoBERTa和ELECTRA)在某些数据集上可将基线上下文AS2准确率提升至多8%。
引用
@article{arxiv.2305.15358,
title = {Context-Aware Transformer Pre-Training for Answer Sentence Selection},
author = {Luca Di Liello and Siddhant Garg and Alessandro Moschitti},
journal= {arXiv preprint arXiv:2305.15358},
year = {2023}
}
备注
Accepted at ACL 2023