用于稀疏化二值神经网络的二值域泛化
机器学习
2023-06-26 v1
摘要
二值神经网络(BNNs)是在资源受限设备上开发与部署基于深度神经网络(DNN)的颇具吸引力的解决方案。尽管取得了成功，BNNs 仍受限于固定且有限的压缩比，这或可解释为：现有用于全精度 DNN 的剪枝方法无法直接应用于 BNNs。事实上，BNNs 的权重剪枝会导致性能下降，这表明 BNNs 的标准二值化域并不适于该任务。本工作提出一种更新颖、更通用的二值域，其扩展了标准二值域并对剪枝技术更具鲁棒性，从而保障改进的压缩并避免严重的性能损失。我们给出了将全精度网络权重量化为所提二值域的闭式解。最后，我们展示了方法的灵活性，其可与其他剪枝策略结合。在 CIFAR-10 与 CIFAR-100 上的实验表明，该新颖方法能够生成具有更低内存占用与运行时延的高效稀疏网络，同时保持性能。
引用
@article{arxiv.2306.13515,
title = {Binary domain generalization for sparsifying binary neural networks},
author = {Riccardo Schiavone and Francesco Galati and Maria A. Zuluaga},
journal= {arXiv preprint arXiv:2306.13515},
year = {2023}
}
备注
Accepted as conference paper at ECML PKDD 2023