量化AI推理极限：算法的系统神经网络表示

当神经网络完美训练时，能够执行的推理形式是当代AI研究中的一个主要开放问题。本文通过将推理任务解释为电路仿真来回答此问题，其中门定义推理的类型；例如，布尔门用于谓词逻辑，热带电路用于动态规划，算术和分析门用于符号数学表示，以及更深入的推理的混合体，例如更高阶逻辑。我们提出了一个系统的元算法，将essentially任何电路转换为具有ReLU激活函数的前馈神经网络(NN)，通过逐个替换每个门为规范ReLU MLP仿真器来实现。我们展示了，在任何数字计算机上，我们的构造对电路进行**无近似、无四舍五入、包括模块溢出在内的**完全仿真，表明没有任何推理任务超出了神经网络的范围。 resulting 网络中神经元的数量(参数复杂度)随电路的复杂度而比例增长，网络的计算图(结构)反映了被仿真电路的结构。这正式化了一种传统观点，即神经网络以空间复杂度(神经元数量)来换取算法运行时间(电路运行时间)。我们推导出本结果的多个应用，从在具有三次大小NN上的图上实现最短路径算法，到模拟停止的图灵机器，甚至仿真随机布尔电路。最后，我们表明我们的结果严格强于经典的通用逼近定理：任何通用函数逼近器都可以被编码为电路并被直接仿真为NN。