MMM:用于多选阅读 comprehension 的多阶段多任务学习
计算与语言
2019-11-20 v2 机器学习
摘要
用于问答(QA)的机器阅读理解(MRC)旨在给定相关上下文段落回答一个问题,是测试智能系统理解人类语言能力的重要途径。多选问答(MCQA)是 MRC 中最困难的任务之一,因为与抽取式问答(答案通常是给定段落中的文本跨度)相比,它通常需要更先进的阅读理解技能,如逻辑推理、摘要和算术运算。此外,大多数现有 MCQA 数据集规模较小,使学习任务更加困难。我们介绍了 MMM,一个用于多选阅读理解的 Multi-stage Multi-task learning(多阶段多任务学习)框架。我们的方法包括两个顺序阶段:使用域外数据集的粗调阶段和使用较大域内数据集的多任务学习阶段,以在有限数据下帮助模型更好地泛化。此外,我们提出了一种新颖的多步注意力网络(MAN)作为该任务的顶层分类器。我们证明 MMM 在四个代表性 MCQA 数据集上显著推进了最先进水平。
引用
@article{arxiv.1910.00458,
title = {MMM: Multi-stage Multi-task Learning for Multi-choice Reading Comprehension},
author = {Di Jin and Shuyang Gao and Jiun-Yu Kao and Tagyoung Chung and Dilek Hakkani-tur},
journal= {arXiv preprint arXiv:1910.00458},
year = {2019}
}
备注
Accepted by AAAI 2020