策略性学习:面向闭卷问答的掩码学习
计算与语言
2021-01-05 v2 人工智能
摘要
闭卷问答(QA)是一项具有挑战性的任务,要求模型在不访问外部知识的情况下直接回答问题。已有研究表明,直接用(问题,答案)样例微调预训练语言模型可获得令人惊讶的竞争力,并通过在通用预训练与微调之间加入中间预训练阶段而进一步提升。先前工作在此中间阶段使用一种启发式方法,即掩码命名实体和日期,并训练模型恢复这些词元。在本文中,我们旨在学习中间预训练阶段的最优掩码策略。我们首先利用下游任务本身的监督来训练掩码策略以提取可能被考查的跨度,然后在中间预训练期间部署所学策略。因此,我们的策略将任务相关知识打包进语言模型的参数中。我们的方法在 TriviaQA 上尤为有效,当用于预训练 BART 时优于强启发式方法。
引用
@article{arxiv.2012.15856,
title = {Studying Strategically: Learning to Mask for Closed-book QA},
author = {Qinyuan Ye and Belinda Z. Li and Sinong Wang and Benjamin Bolte and Hao Ma and Wen-tau Yih and Xiang Ren and Madian Khabsa},
journal= {arXiv preprint arXiv:2012.15856},
year = {2021}
}