神经网络作为通用有限状态机：一种构造性确定性有限自动机理论

我们提出了一个完整的理论与实证框架，确立了前馈神经网络作为通用有限状态机（N-FSMs）的地位。我们的结果证明，有限深度的ReLU和阈值网络可以通过将状态转移展开到逐层神经网络中，精确模拟确定性有限自动机（DFAs），并给出了所需深度、宽度和状态压缩的形式化刻画。我们证明了DFA转移是线性可分的，二元阈值激活允许指数级压缩，并且Myhill-Nerode等价类可以嵌入到连续潜在空间中，同时保持可分性。我们还形式化了表达能力边界：固定深度的前馈网络无法识别需要无界记忆的非正则语言。与先前基于启发式或探测的研究不同，我们提供了构造性证明，并设计了显式的DFA展开神经网络架构，通过实验验证了每一项主张。我们的结果连接了深度学习、自动机理论和神经符号计算，为离散符号过程如何在连续神经系统中实现提供了严格的蓝图。