走过鸿沟：消除可微逻辑门网络中的离散化鸿沟
机器学习
2025-10-31 v2 性能
摘要
现代神经网络在诸多基准测试上表现卓越，但其高计算需求和能源消耗促使研究人员寻求更高效的解决方案以实现实际部署。逻辑门网络(LGN)学习大型逻辑门网络以实现高效图像分类。然而，解决如CIFAR-10等简单问题的网络训练可能需要数天至数周。即便如此， nearly 一半的网络 remain unused，导致离散化鸿沟。这种离散化鸿沟阻碍了LGN的实际部署，因为训练与推断之间的性能下降会负面影响准确性。我们在训练期间注入带有直线通过估计的Gumbel噪声，以显著加快训练速度、提高神经元利用率并降低离散化鸿沟。我们理论上表明，这源于隐式Hessian正则化，改善了LGN的收敛性质。我们训练的网络快墙钟时间，离散化鸿沟降低，未使用门的数量降低。
引用
@article{arxiv.2506.07500,
title = {Mind the Gap: Removing the Discretization Gap in Differentiable Logic Gate Networks},
author = {Shakir Yousefi and Andreas Plesner and Till Aczel and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2506.07500},
year = {2025}
}
备注
Accepted to NeurIPS 2025 (main track)