用于紧凑型 TinyML 模型的量化引导训练
机器学习
2021-03-11 v1 计算机视觉与模式识别
摘要
我们提出一种量化引导训练（Quantization Guided Training, QGT）方法，以引导 DNN 训练朝向优化的低比特精度目标，并达到低于 8 位精度的极端压缩水平。与标准量化感知训练（quantization-aware training, QAT）方法不同，QGT 使用自定义正则化来促使权重值朝向在降低量化误差的同时最大化准确性的分布。该方法的主要好处之一是能够识别压缩瓶颈。我们使用视觉数据集上最先进的模型架构验证 QGT。我们还以一个人检测的 81KB 微小模型演示了 QGT 的有效性，其精度降至 2 位（代表 17.7 倍尺寸缩减），同时与浮点基线相比准确率仅下降 3%。
引用
@article{arxiv.2103.06231,
title = {Quantization-Guided Training for Compact TinyML Models},
author = {Sedigh Ghamari and Koray Ozcan and Thu Dinh and Andrey Melnikov and Juan Carvajal and Jan Ernst and Sek Chai},
journal= {arXiv preprint arXiv:2103.06231},
year = {2021}
}
备注
TinyML Summit, March 2021