带符号二值权重网络
计算机视觉与模式识别
2023-12-06 v3 分布式、并行与集群计算
性能
摘要
深度神经网络（DNNs）的高效推理对于使 AI 普及至关重要。两种重要的算法技术已显示出实现高效推理的潜力——稀疏化和二值化。这些技术在硬件-软件层面转化为权重稀疏和权重重复，使得能够以极低的功耗和延迟要求部署 DNN。我们提出一种称为带符号二值网络的新方法，通过同时利用权重稀疏和权重重复来进一步提高效率，同时保持相似的精度。我们的方法在 ImageNet 和 CIFAR10 数据集上以二值化取得了可比精度，并可导致 69% 的稀疏度。我们观察到在通用设备上部署这些模型时的实际加速，并表明这种高比例的非结构化稀疏可以进一步降低 ASIC 上的能耗。
引用
@article{arxiv.2211.13838,
title = {Signed Binary Weight Networks},
author = {Sachit Kuhar and Alexey Tumanov and Judy Hoffman},
journal= {arXiv preprint arXiv:2211.13838},
year = {2023}
}
备注
it is being updated