卷积可微逻辑门网络
机器学习
2024-11-08 v1 计算机视觉与模式识别
摘要
随着机器学习模型推理成本的不断增加，越来越多的人关注具有快速高效推理的模型。最近提出了一种通过可微放松直接学习逻辑门网络的方法。逻辑门网络的推理速度快于传统神经网络方法，因为其推理仅需要逻辑门运算符，如 NAND、OR 和 XOR，这些是当前硬件的基本构建块，可高效执行。我们在此基础上进行扩展，通过深度逻辑门树卷积、逻辑 OR 汇聚和残差初始化，实现了对逻辑门网络规模扩展了一个数量级，并利用卷积范式。在 CIFAR-10 上，我们仅使用 6100 万个逻辑门即可实现 86.29% 的准确率，显著优于 SOTA，同时体积缩小了 29 倍。
引用
@article{arxiv.2411.04732,
title = {Convolutional Differentiable Logic Gate Networks},
author = {Felix Petersen and Hilde Kuehne and Christian Borgelt and Julian Welzel and Stefano Ermon},
journal= {arXiv preprint arXiv:2411.04732},
year = {2024}
}
备注
Published at NeurIPS 2024 (Oral)