轻量可微逻辑门网络
机器学习
2025-10-07 v1 性能
摘要
可微分逻辑门网络（DLGNs）在推理时表现出惊人的效率，同时保持具竞争力的准确率。但消失的梯度、离散化误差和高训练成本阻碍了这些网络的规模化。即便采用后续研究中制定的专门参数初始化方案，增加深度仍会损害准确率。我们指出，这些问题的根本原因在于逻辑门神经元本身的底层参数化方式。为克服这一问题，我们提出了一种重新参数化方案，同时以对输入数目对数形式缩小参数规模。对于二进制输入，这一方案已将模型规模缩小 4 倍，加快反向传播最高可达 1.86 倍，并在 8.5 倍更少的训练步骤中收敛。在此基础上，我们展示，在 CIFAR-100 上的准确率保持稳定，甚至在某些情况下优于原始参数化。
引用
@article{arxiv.2510.03250,
title = {Light Differentiable Logic Gate Networks},
author = {Lukas Rüttgers and Till Aczel and Andreas Plesner and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2510.03250},
year = {2025}
}