可微三值逻辑门网络的多项式替代训练

可微逻辑门网络（DLGN）通过梯度训练学习紧凑、可解释的布尔电路，但所有现有变体都限制于 16 种双输入二进制门。将 DLGN 扩展到三值 Kleene $K_3$ 逻辑并训练 DTLGNs，其中 UNKNOWN 状态在不确定性下实现原则性中止是有希望的。然而，每个神经元可能的门集合规模膨胀至 $19{,}683$，使得 established 的softmax-over-gates 训练方法难以实现。我们引入多项式替代训练（PST），将每个三值神经元表示为次数为 $(2,2)$ 的多项式，包含 9 个可学习系数（实现 $2{,}187\times$ 参数降低），并证明了训练网络与其离散逻辑电路之间的差距由与数据无关的承诺损失界限给出，该损失在收敛时消失。从 48K 到 512K 神经元的扩展实验表明，该硬化间隙伴随过参数化而收缩。三值网络比二进制 DLGN 训练快 $2$-$3\times$，并发现功能多样的真实三值门。在合成和表格任务上，我们发现 UNKNOWN 输出作为贝叶斯最优不确定性代理，使其能够实现选择性预测，其中三值电路在低置信度预测被过滤后超过二进制准确率。更广泛地说，PST 建立了一种参数化成本仅随逻辑价值呈二次增长的通用多项式替代方法，为许多值可微逻辑开辟了道路。