在正则语言上训练的循环神经网络内部状态的稳定性

我们针对训练用于识别正则语言的循环神经网络，提供了其内部状态稳定性的实证研究。当在激活函数中引入少量噪声时，循环层中的神经元倾向于饱和以补偿变异性。在此饱和状态下，对网络激活的分析显示出一组类似于有限状态机中离散状态的簇。我们表明，这些状态之间响应输入符号的转移是确定且稳定的。网络对任意长字符串表现出稳定行为，并且当对任何状态施加随机扰动时，它们能够恢复且其演化收敛到原始簇。这一观察加强了将网络解释为有限自动机的观点，其中神经元或神经元组编码特定且有意义的输入模式。