基于多头注意力多任务学习的多选阅读理解
计算与语言
2020-03-12 v1 机器学习
摘要
多选机器阅读理解（MRC）是一项重要且具有挑战性的自然语言理解（NLU）任务，在该任务中，机器必须从一组选项中选择问题的答案，且问题置于文本段落或对话的语境中。在过去几年中，随着基于 Transformer 架构的模型的出现，NLU 领域发生了革命性变化，这些模型在大量无监督数据上进行预训练，然后针对各种监督学习 NLU 任务进行微调。Transformer 模型已主导 NLU 领域的各种排行榜；在 MRC 领域，当前 DREAM 数据集（见 [Sun et al., 2019]）上的最优模型对 Albert（一种大型预训练基于 Transformer 的模型）进行微调，并额外结合上下文与问题答案之间的多头注意力额外层 [Zhu et al., 2020]。本笔记旨在记录 DREAM 任务上的一项新 SOTA 结果，该结果通过额外地在两个 MRC 多选阅读理解任务（RACE 和 DREAM）上执行多任务学习而实现。
引用
@article{arxiv.2003.04992,
title = {Multi-task Learning with Multi-head Attention for Multi-choice Reading Comprehension},
author = {Hui Wan},
journal= {arXiv preprint arXiv:2003.04992},
year = {2020}
}