下游任务中未登录词嵌入的预测与解释
计算与语言
2019-03-05 v1 机器学习
摘要
我们提出了一种处理下游自然语言处理（NLP）任务中未登录词（OOV）的新方法。我们实现了一个网络，基于 OOV 词的形态及其出现上下文来预测有用的嵌入。我们的模型还结合了注意力机制，指示分配给左上下文词、右上下文词或词字符的关注程度，从而使预测更具可解释性。该模型是一个“即插即用”模块，与下游任务的神经网络联合训练，从而生成针对当前任务专用的嵌入。当任务主要是句法性的，我们观察到我们的模型将大部分注意力放在表层形式字符上。另一方面，对于更语义性的任务，网络将更多注意力分配给周围词。在我们所有的测试中，该模块相较于使用简单随机嵌入帮助网络取得了更好的性能。
引用
@article{arxiv.1903.00724,
title = {Predicting and interpreting embeddings for out of vocabulary words in downstream tasks},
author = {Nicolas Garneau and Jean-Samuel Leboeuf and Luc Lamontagne},
journal= {arXiv preprint arXiv:1903.00724},
year = {2019}
}
备注
2 pages, 0 figures, 2 tables