用确定有限自动机连接一阶与二阶循环网络
机器学习
2019-11-13 v1 机器学习
摘要
我们提出一种方法，将具有不同阶隐层交互的循环网络与不同复杂度的正则文法相连接。我们认为，循环网络与形式计算模型之间的对应关系有助于理解循环网络复杂行为的分析。我们引入一个熵值，将所有正则文法按不同复杂度分为三类，并表明若干现有循环网络可匹配来自全部或部分类别的文法。由此，正则文法之间的差异揭示了这些模型的不同性质。我们还提供了所有受研究循环网络的统一形式。我们的评估显示，统一循环网络在学习文法上性能提升，并在真实世界数据集上展现出与更复杂模型相当的性能。
引用
@article{arxiv.1911.04644,
title = {Connecting First and Second Order Recurrent Networks with Deterministic Finite Automata},
author = {Qinglong Wang and Kaixuan Zhang and Xue Liu and C. Lee Giles},
journal= {arXiv preprint arXiv:1911.04644},
year = {2019}
}