神经状态图灵机的张量表示与代数同态
计算复杂性
2023-09-27 v1
摘要
循环神经网络（RNN）与 Transformer 已被证明是图灵完备的，但这一结论假定了其隐藏表示具有无限精度、Transformer 的位置编码以及总体上无界的计算时间。然而在实际应用中，拥有能够在单次扫描中实时识别图灵完备文法的实时模型至关重要。为解决此问题并更好地理解人工神经网络（ANN）的真实计算能力，我们引入一类称为神经状态图灵机（NSTM）的新型循环模型。NSTM 具有有界权重与有限精度连接，并能在实时下模拟任意图灵机。与先前假定权重具有无界时间与精度的工作不同，为证明与图灵机的等价性，我们证明一个具有三阶突触的 13 神经元有界张量 RNN 能在实时下建模任意图灵机类。此外，在马尔可夫假设下，我们给出了一个增强记忆的非循环网络的新理论界，表明具有 25 阶有限精度权重的张量前馈网络等价于通用图灵机。
引用
@article{arxiv.2309.14690,
title = {On the Tensor Representation and Algebraic Homomorphism of the Neural State Turing Machine},
author = {Ankur Mali and Alexander Ororbia and Daniel Kifer and Lee Giles},
journal= {arXiv preprint arXiv:2309.14690},
year = {2023}
}
备注
14 pages, 7 tables