利用状态合并从RNN中提取有限自动机

解释黑盒循环神经网络（RNN）行为的一种方法是从中提取一个更具可解释性的离散计算模型（如有限状态机）来捕捉其行为。在这项工作中，我们提出了一种受语法推断中状态合并范式启发、从RNN中提取有限自动机的新方法。我们在Tomita语言基准上展示了我们方法的有效性，发现它能够从在该基准所有语言上训练的RNN中提取出忠实的自动机。我们发现提取性能受到提取过程中所提供数据数量的帮助，并且奇怪的是，还受到RNN模型在完美学习其目标语言后是否进行额外轮次训练的影响。我们使用我们的方法分析这一现象，发现超越收敛点的训练是有用的，因为它导致了RNN内部状态空间的压缩。这一发现展示了我们的方法如何可用于对训练好的RNN模型进行可解释性分析。