Sutra:面向向量符号架构的 Tensor-Op RNN 编译目标
机器学习
2026-05-25 v2 人工智能
编程语言
摘要
Sutra 是一种类型化的纯函数式编程语言,其编译后的前向传播为 PyTorch 神经网络。编译器对整个程序——包括原始类型、控制流、字符串 I/O——进行 beta 归约,生成一个融合的张量操作图,作用于冻结的嵌入基座。旋转绑定、解绑、捆绑、多项式克莱恩三值逻辑以及尾递归循环都降低为张量操作;克莱恩联合词是拉格朗日插值多项式,在 {-1, 0, +1} 真值网格上完全精确。验证方式为:一种事实被两种方式测试。(1)同一程序在四个冻结嵌入上运行,涵盖三个文本编码器(nomic-embed-text、all-minilm、mxbai-embed-large)和一个蛋白质语言模型(ESM-2),并在每个基座上以宽度 k=8 解码捆绑,准确率为 100%,而经典的哈达玛积在 mxbai-embed-large 上已坍缩至 2.5%,在 all-minilm 上为 7.5%。(2)PyTorch autograd 通过实际编译的图:一个用 .su 编写的模糊规则分类器,从随机初始化(18.7 +/- 9.5%;机会率 = 20%,五分类)训练到 100.0 +/- 0.0%(三个随机种子),通过对生成的图进行反向传播,符号源代码保持不变。此外,一个加权变体还训练一个标量余弦增益并将其写回 .su 源码作为数值文字;重新编译可将训练得到的行为复制到约 2e-7 的每个逻辑输出误差,因此训练得到的模型本身即为可理解、可重新编译的代码。该同一制品因此既是逻辑程序也是可训练神经网络。
引用
@article{arxiv.2605.20919,
title = {Sutra: Tensor-Op RNNs as a Compilation Target for Vector Symbolic Architectures},
author = {Emma Leonhart},
journal= {arXiv preprint arXiv:2605.20919},
year = {2026}
}
备注
Modified NeurIPS submission, see AI declaration and replication materials at end of paper