逻辑门网络的多线性多项式拟合
机器学习
2026-05-12 v1 人工智能
摘要
我们研究堆叠 2 输入布尔门以构建组合电路的可学习逻辑门网络。每个 2 输入门都有一个唯一的多线性多项式，其有 4 个系数，因此 16 个布尔门形成一个4维空间中的原型码表，将训练简化为向量量化问题。基线方法 Soft-Mix 对门身份学习 16 维 softmax，但码表的秩为~4：11 个 15 个单纯形方向携带空旷梯度，在均匀初始化时反向信号恰好消失。我们证明了没有仿射乘积重参数化能修复在 STE 下导致的交互系数饥饿，并展示了软 VQ 选择的协方差雅可比能够通过将饥饿系数与始终活跃常数通道耦合来克服它。在4维多项式空间中工作可将每个神经元的参数数从16个降至4个。在七个数据集上，至少有一个4参数方法在每个数据集上都与 Soft-Mix 相同或更好；CovJac 相对于 STE 的优势随着跨越需求的增加而单调增长。在深度网络中，Soft-Mix 会崩溃(CIFAR-10 在12层上下降37.3pp)，而 CovJac 保持(CIFAR-10 在12层上仅下降0.5pp，MNIST 上保持稳定)。
引用
@article{arxiv.2605.08657,
title = {Fitting Multilinear Polynomials for Logic Gate Networks},
author = {Youngsung Kim},
journal= {arXiv preprint arXiv:2605.08657},
year = {2026}
}