结合预训练语言模型嵌入的循环神经网络用于槽填充任务
计算与语言
2018-12-17 v2 机器学习
摘要
近年来,基于循环神经网络(RNNs)的模型已被应用于口语理解中的槽填充问题,并取得了最先进的性能。本文研究了将预训练语言模型融入基于 RNN 的槽填充模型的效果。我们在 Airline Travel Information System (ATIS) 语料库上的评估表明,通过融入在无标注语料上预训练的额外词嵌入和语言模型嵌入层,我们可以显著减少有标注训练数据的规模,并达到同等水平的槽填充性能。
引用
@article{arxiv.1812.05199,
title = {Recurrent Neural Networks with Pre-trained Language Model Embedding for Slot Filling Task},
author = {Liang Qiu and Yuanyi Ding and Lei He},
journal= {arXiv preprint arXiv:1812.05199},
year = {2018}
}