计算语言学在深度学习中的不可阻挡崛起
计算与语言
2020-06-12 v3 机器学习
摘要
在本文中，我们追溯应用于自然语言理解任务的神经网络的历史，并识别语言的本质对神经网络架构发展所做出的关键贡献。我们聚焦于变量绑定及其在基于注意力模型中的实例化的重要性，并论证Transformer不是序列模型而是诱导结构模型。该视角引出了对自然语言理解深度学习架构研究面临挑战的预言。
引用
@article{arxiv.2005.06420,
title = {The Unstoppable Rise of Computational Linguistics in Deep Learning},
author = {James Henderson},
journal= {arXiv preprint arXiv:2005.06420},
year = {2020}
}
备注
13 pages. Accepted for publication at ACL 2020, in the theme track