LSTM 网络可执行动态计数
计算与语言
2019-06-11 v1 形式语言与自动机理论
机器学习
摘要
本文系统评估标准循环网络执行动态计数与编码层次化表示的能力。我们实验中的所有神经模型均设计为小规模网络，既防止其死记训练集，又便于在测试时可视化与解释其行为。结果表明，长短期记忆（LSTM）网络可通过模拟简单实时 -计数器机，学会识别良平衡括号语言（Dyck-）及多个 Dyck- 语言的混排（每个由不同括号对定义）。据我们所知，本工作是首个引入混排语言以分析神经网络计算能力的研究。我们还展示仅含一个隐藏单元的单层 LSTM 实则足以识别 Dyck- 语言。然而，我们的循环网络在 Dyck- 语言学习任务上均无法取得良好表现，该任务要求模型具备栈式机制以识别。
引用
@article{arxiv.1906.03648,
title = {LSTM Networks Can Perform Dynamic Counting},
author = {Mirac Suzgun and Sebastian Gehrmann and Yonatan Belinkov and Stuart M. Shieber},
journal= {arXiv preprint arXiv:1906.03648},
year = {2019}
}
备注
ACL 2019 Workshop on Deep Learning and Formal Languages