位串行权重池：资源受限处理器上神经网络的压缩与任意精度执行
机器学习
2022-01-28 v1 性能
摘要
近年来神经网络在边缘系统上的应用激增，但不断增长的模型规模使得神经网络无法高效部署于资源受限的微控制器。我们提出位串行权重池，一种包含网络压缩与任意亚字节精度加速的端到端框架。该框架通过在整个网络共享一个权重池，相比 8 位网络可实现高达 8 倍压缩。我们进一步提出一种基于位串行查找的软件实现，允许运行时位宽权衡，相比 8 位权重池网络能够实现超过 2.8 倍加速和 7.5 倍存储压缩，且精度下降小于 1%。
引用
@article{arxiv.2201.11651,
title = {Bit-serial Weight Pools: Compression and Arbitrary Precision Execution of Neural Networks on Resource Constrained Processors},
author = {Shurui Li and Puneet Gupta},
journal= {arXiv preprint arXiv:2201.11651},
year = {2022}
}
备注
10 pages, 8 figures, accepted in the 5th MLSys conference