利用遗传算法为门控循环单元定制混合精度亚 8 比特量化方案
机器学习
2024-03-12 v2 神经与进化计算
信号处理
摘要
尽管深度神经网络的模型压缩技术近期取得了进展，但在此类超低功耗嵌入式设备上部署这些模型仍具挑战性。特别是，门控循环单元（GRU）的量化方案由于其对内部状态的依赖而难以调整，阻碍了其充分利用亚 8 比特量化。在本工作中，我们提出了一种用于 GRU 的模块化整数量化方案，其中每个算子的位宽可以独立选择。随后，我们采用遗传算法（GA）探索可能的位宽的巨大搜索空间，同时优化模型大小和精度。我们在四个不同的序列任务上评估了我们的方法，并证明混合精度解决方案在帕累托效率方面优于同质精度方案。我们的结果显示，在保持与 8 比特同质等效模型相当的精度的同时，模型大小减少了 25% 至 55%。
引用
@article{arxiv.2402.12263,
title = {Towards a tailored mixed-precision sub-8-bit quantization scheme for Gated Recurrent Units using Genetic Algorithms},
author = {Riccardo Miccini and Alessandro Cerioli and Clément Laroche and Tobias Piechowiak and Jens Sparsø and Luca Pezzarossa},
journal= {arXiv preprint arXiv:2402.12263},
year = {2024}
}
备注
Accepted as a full paper by the tinyML Research Symposium 2024