CTMQ：具有多量化步长的卷积神经网络循环训练
计算机视觉与模式识别
2022-06-28 v1 人工智能
摘要
本文提出一种具有多次循环训练的训练方法，以在低比特量化卷积神经网络（CNNs）中实现增强的性能。量化是获得轻量级 CNN 的一种流行方法，其中使用预训练模型进行初始化被广泛用于克服低分辨率量化中退化的性能。然而，实值与其低比特量化值之间的大量化误差导致在为复杂网络和大型数据集取得可接受性能时面临困难。所提出的训练方法以多量化步长将预训练模型的知识软性地传递给低比特量化模型。在每个量化步长中，一个模型训练得到的权重用于以量化比特深度减一的方式初始化下一个模型的权重。由于量化比特深度的微小变化，性能差距可被弥合，从而提供更好的权重初始化。在循环训练中，训练完一个低比特量化模型后，其训练权重被用于其待训练的精确模型的初始化。通过以迭代方式利用精确模型更好的训练能力，所提方法能在每个循环中为低比特量化模型生成增强的训练权重。值得注意的是，该训练方法在 ImageNet 数据集上将二值化 ResNet-18 的 Top-1 和 Top-5 准确率分别提升了 5.80% 和 6.85%。
引用
@article{arxiv.2206.12794,
title = {CTMQ: Cyclic Training of Convolutional Neural Networks with Multiple Quantization Steps},
author = {HyunJin Kim and Jungwoo Shin and Alberto A. Del Barrio},
journal= {arXiv preprint arXiv:2206.12794},
year = {2022}
}
备注
submitted to NeurIPS 2022