HadaNets：面向神经网络的灵活量化策略
计算机视觉与模式识别
2020-04-15 v1 机器学习
摘要
无人机上的机载处理单元目前不足以支撑深度神经网络的训练和推理。这很大程度上源于此类网络中内存访问的能耗。HadaNets 通过将一个全精度张量与一个二值张量以哈达玛积的形式配对，引入了一种灵活的从头训练张量量化方案。与更宽的低精度神经网络模型不同，我们保持了训练时的参数数量，从而在不带来训练时内存惩罚的情况下优于 XNOR-Nets。此类训练例程在半监督在线学习任务中大有可为。我们的方法在模型压缩方面也具有优势，因为在不使用任何其他压缩技术的情况下，我们将 ResNet-18 的模型大小相对于全精度模型缩减了 7.43 倍。我们还展示了一种“哈达玛二值矩阵乘法”内核，其相对于同样经过优化的全精度矩阵乘法内核带来了 10 倍的性能提升。
引用
@article{arxiv.1905.10759,
title = {HadaNets: Flexible Quantization Strategies for Neural Networks},
author = {Yash Akhauri},
journal= {arXiv preprint arXiv:1905.10759},
year = {2020}
}
备注
Accepted in CVPR 2019, UAVision 2019