用于完形填空阅读理解的子词增强嵌入
计算与语言
2018-06-26 v1
摘要
表示学习是机器阅读理解的基石。在最先进模型中，深度学习方法广泛使用词和字符级表示。然而，字符并非天然的最小语言单位。此外，通过简单拼接字符与词嵌入，先前的模型实际上给出了次优解。本文中，我们提出使用子词而非字符来增强词嵌入。我们还通过经验探索了子词增强嵌入上的不同增强策略，以改进完形填空式阅读理解模型的阅读器。具体而言，我们提出一种阅读器，其利用子词级表示以短列表增强词嵌入，从而有效处理罕见词。我们进行了详尽检验以评估所提阅读器的综合性能与泛化能力。实验结果表明，该方法帮助阅读器在各种公开数据集上显著优于最先进的基线。
引用
@article{arxiv.1806.09103,
title = {Subword-augmented Embedding for Cloze Reading Comprehension},
author = {Zhuosheng Zhang and Yafang Huang and Hai Zhao},
journal= {arXiv preprint arXiv:1806.09103},
year = {2018}
}
备注
Proceedings of the 27th International Conference on Computational Linguistics (COLING 2018)