有限状态机与循环神经网络之间的距离与等价性:计算结果
机器学习
2020-04-02 v1 机器学习
摘要
在过去几年中,解释深度学习(DL)模型的需求导致了大量关注该问题的研究工作。在旨在阐明 DL 模型内部信息如何表示的策略中,一种策略是从连接主义模型中提取基于符号规则的机器,这些机器应良好近似其行为。为了更好地理解这些近似策略的合理性,我们需要了解度量近似质量的计算复杂度。在本文中,我们将证明与从训练好的 RNN 语言模型提取基于有限状态机(FSM)的模型这一问题相关的一些计算结果。更确切地说,我们将展示如下内容:(a) 对于具有单个隐藏层和 ReLu 激活的通用加权 RNN-LM:- PDFA/PFA/WFA 与加权一阶 RNN-LM 的等价性问题不可判定;- 作为推论,PDFA/PFA/WFA 生成的语言与加权 RNN-LM 生成的语言之间的距离问题不是递归的;- DFA 与加权 RNN-LM 的截断语言之间的交是不可判定的;- 在有限支撑下 PDFA/PFA/WFA 与加权 RNN-LM 的等价性是 EXP-Hard 的;(b) 对于具有任意可计算激活函数的一致权重 RNN-LM:- Tchebychev 距离近似是可判定的;- 在有限支撑下的 Tchebychev 距离近似是 NP-Hard 的。此外,我们从 3-SAT 出发的归约技术使得后一事实易于推广到其他 RNN 架构(例如 LSTM/RNN)以及有限精度 RNN。
引用
@article{arxiv.2004.00478,
title = {Distance and Equivalence between Finite State Machines and Recurrent Neural Networks: Computational results},
author = {Reda Marzouk and Colin de la Higuera},
journal= {arXiv preprint arXiv:2004.00478},
year = {2020}
}