Loom：一种可扩展分析神经计算机架构

我们提出Loom，一种在其权重由解析方式派生的转换器中执行从C语言编译而来的程序的计算机架构。该架构在8个转换器层中实现22种指令集。每次前向传递执行一条指令；模型在程序计数器到达零前迭代应用。完整的机器状态驻留在单个固定大小的张量 $X \in \mathbb{R}^{d \times n}$ 中，每个步骤的计算开销对于固定的 $d$ 和 $n$ 而言是常数，独立于程序长度或执行历史。默认配置使用 $d = 155$ 和 $n = 1024$，产生470万参数和928个指令槽。较紧凑的配置在 $d = 146$ 和 $n = 512$ 时足以求解9×9数独问题（284条指令）。权重与程序无关：程序驻留在状态张量中，同一固定权重模型可执行任何编译后的程序。我们在https://github.com/mkturkcan/Loom上公开Loom的源代码。