形式语言的表示：有限自动机与循环神经网络的比较
机器学习
2019-02-28 v1 形式语言与自动机理论
摘要
我们研究了循环神经网络(RNN)在学习识别正则形式语言时所使用的内部表示。具体而言，我们在正则语言的正例与负例上训练一个 RNN，并探究是否存在一个简单的译码函数，将该 RNN 的状态映射到该语言的最小确定性有限自动机(MDFA)的状态。我们的实验表明，这样的译码函数确实存在，且它将 RNN 的状态并非映射到 MDFA 状态，而是映射到一个由将小规模 MDFA 状态集聚类为“超状态”所获得的{\em 抽象}的状态。定性分析揭示该抽象往往具有简单的解释。总体而言，结果暗示了 RNN 使用的内部表示与有限自动机之间存在强烈的结构性关联，并解释了 RNN 识别形式语法结构的著名能力。
引用
@article{arxiv.1902.10297,
title = {Representing Formal Languages: A Comparison Between Finite Automata and Recurrent Neural Networks},
author = {Joshua J. Michalenko and Ameesh Shah and Abhinav Verma and Richard G. Baraniuk and Swarat Chaudhuri and Ankit B. Patel},
journal= {arXiv preprint arXiv:1902.10297},
year = {2019}
}
备注
15 Pages, 13 Figures, Accepted to ICLR 2019