从完形填空到阅读理解:将预训练掩码语言模型改造为预训练机器阅读器
计算与语言
2023-10-17 v3
摘要
我们提出预训练机器阅读器(PMR),一种无需获取标注数据即可将预训练掩码语言模型(MLM)改造为预训练机器阅读理解(MRC)模型的新方法。PMR 能够解决现有 MLM 的模型预训练与下游微调之间的不一致。为构建所提 PMR,我们利用 Wikipedia 超链接构造了大量通用且高质量的 MRC 风格训练数据,并设计了 Wiki 锚点抽取任务以引导 MRC 风格预训练。除简洁性外,PMR 有效解决了抽取类任务,如抽取式问答与命名实体识别。PMR 相对现有方法展现出巨大提升,尤其在低资源场景下。当应用于 MRC 框架中的序列分类任务时,PMR 能够抽取高质量依据来解释分类过程,从而提供更高的预测可解释性。PMR 还有潜力作为统一模型来处理 MRC 框架中的各类抽取与分类任务。
引用
@article{arxiv.2212.04755,
title = {From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader},
author = {Weiwen Xu and Xin Li and Wenxuan Zhang and Meng Zhou and Wai Lam and Luo Si and Lidong Bing},
journal= {arXiv preprint arXiv:2212.04755},
year = {2023}
}
备注
Accepted to NeurIPS 2023