ANNA：面向问答任务的增强型语言表示
计算与语言
2022-04-05 v2
摘要
预训练语言模型已在多种自然语言处理任务中带来显著的性能提升。大多数取得最先进结果的现有模型分别从数据处理、预训练任务、神经网络建模或微调等单一角度展示了其方法。在本文中，我们展示了这些方法各自如何影响性能，并且表明当这些方面在预训练模型中联合考虑时，语言模型在特定问答任务上取得最佳结果。特别地，我们提出了一种扩展的预训练任务，以及一种新的邻域感知机制，该机制更多地关注相邻词元以捕获上下文的丰富性用于预训练语言建模。我们的最佳模型在 SQuAD 1.1 上取得了 95.7% F1 和 90.6% EM 的新最先进结果，并且在 SQuAD 2.0 基准上也优于 RoBERTa、ALBERT、ELECTRA 和 XLNet 等现有预训练语言模型。
引用
@article{arxiv.2203.14507,
title = {ANNA: Enhanced Language Representation for Question Answering},
author = {Changwook Jun and Hansol Jang and Myoseop Sim and Hyun Kim and Jooyoung Choi and Kyungkoo Min and Kyunghoon Bae},
journal= {arXiv preprint arXiv:2203.14507},
year = {2022}
}
备注
11 pages, 3 figures