面向TinyML的低精度量化的实证研究
机器学习
2022-03-11 v1
摘要
微型机器学习(tinyML)在过去几年中兴起，旨在将机器学习模型部署到内存与计算能力高度受限的嵌入式AI处理器上。低精度量化是一项重要的模型压缩技术，可大幅降低模型推理的内存消耗与计算成本。在本研究中，我们聚焦于训练后量化(PTQ)算法，这类算法仅使用一小部分校准数据即可将模型量化为低比特(小于8位)精度，并在不同的tinyML应用场景上对其进行基准测试。为实现公平比较，我们构建了一个模拟量化框架来研究近期的PTQ算法。此外，我们将这些算法拆解为基本组件，并重新组装成通用的PTQ流程。通过对流程中不同组件选项的消融研究，我们揭示了执行低精度量化时的关键设计选择。我们希望本工作能提供有用的数据参考，并为低精度量化的未来研究提供启示。
引用
@article{arxiv.2203.05492,
title = {An Empirical Study of Low Precision Quantization for TinyML},
author = {Shaojie Zhuo and Hongyu Chen and Ramchalam Kinattinkara Ramakrishnan and Tommy Chen and Chen Feng and Yicheng Lin and Parker Zhang and Liang Shen},
journal= {arXiv preprint arXiv:2203.05492},
year = {2022}
}
备注
tinyML Research Symposium 2022