概率确定性有限自动机与循环网络再探

储备池计算机和循环神经网络在理论上可以模拟任何有限状态自动机，一些研究者也证明了这在实践中可以成立。我们测试了广义线性模型、储备池计算机以及长短期记忆循环神经网络架构预测由一大套概率确定性有限状态自动机生成的随机过程的能力。概率确定性有限状态自动机提供了一个极好的性能基准，因为它们可以被系统地枚举，其生成过程的随机性和相关结构是精确已知的，并且其最优的有限记忆预测器易于计算。不出所料，LSTM 优于储备池计算机，而储备池计算机又优于广义线性模型。令人惊讶的是，这些方法中的每一种在训练后都可能比最大预测准确度低多达 50%，并且在优化后，往往比最大预测准确度低约 5%，尽管先前可用的方法以少几个数量级的数据就达到了最大预测准确度。因此，尽管储备池计算机和循环神经网络具有表示上的通用性，但使用它们可能会对简单刺激产生令人惊讶的预测差距。结论是，那些推断“因果态”或“预测状态表示”的方法扮演着重要但被低估的角色。