解释用于词级预测的字符感知神经网络：它们发现了语言学规则吗？
计算与语言
2018-08-30 v1 人工智能
机器学习
摘要
字符级特征目前被用于不同的基于神经网络的天然语言处理算法中。然而，人们对这些模型学到的字符级模式知之甚少。此外，模型通常仅进行定量比较而缺乏定性分析。在本文中，我们将上下文分解技术 (Murdoch et al. 2018) 扩展到卷积神经网络，从而能够比较卷积神经网络与双向长短期记忆网络。我们在形态学标注任务上对三种形态学差异语言评估并比较了这些模型，表明这些模型隐式地发现了可理解的语言学规则。我们的实现可在 https://github.com/FredericGodin/ContextualDecomposition-NLP 找到。
引用
@article{arxiv.1808.09551,
title = {Explaining Character-Aware Neural Networks for Word-Level Prediction: Do They Discover Linguistic Rules?},
author = {Fréderic Godin and Kris Demuynck and Joni Dambre and Wesley De Neve and Thomas Demeester},
journal= {arXiv preprint arXiv:1808.09551},
year = {2018}
}
备注
Accepted at EMNLP 2018