从循环神经网络中有限状态机的可计算性、可学习性与可提取性研究
机器学习
2020-09-15 v1 人工智能
形式语言与自动机理论
摘要
本工作旨在阐明有限状态机（FSMs）与循环神经网络（RNNs）之间的联系。这篇硕士论文所考察的联系有三方面：从循环神经网络中提取有限状态机、可学习性方面以及计算层面的关联。关于前者，探讨了RNN在训练用于识别正则语言时其隐藏状态空间长期存在的聚类假设，并通过深度学习泛化理论近期进展的视角对该假设提供了新的见解。关于可学习性，提出了一种更适用于以FSM逼近RNN问题的主动学习框架扩展，旨在更好地形式化RNN被FSM逼近的问题。对该框架下两种可能场景进行了理论分析。关于可计算性，给出了关于作为语言模型训练的RNN与不同类型加权有限状态机之间距离和等价性问题的新计算结果。
引用
@article{arxiv.2009.06398,
title = {On Computability, Learnability and Extractability of Finite State Machines from Recurrent Neural Networks},
author = {Reda Marzouk},
journal= {arXiv preprint arXiv:2009.06398},
year = {2020}
}
备注
Master's thesis