SQWA:用于提升低精度深度神经网络泛化能力的随机量化权重平均
机器学习
2020-02-04 v1 机器学习
摘要
设计具有良好泛化能力的深度神经网络(DNN)是一个复杂的过程,尤其在权重被严重量化时。模型平均是一种有望使DNN获得良好泛化能力的方法,特别是当训练损失面包含许多尖锐极小值时。我们提出一种新的量化神经网络优化方法——随机量化权重平均(SQWA),利用模型平均来设计具有良好泛化能力的低精度DNN。所提方法包括(1)浮点模型训练,(2)权重的直接量化,(3)以循环学习率在重训练期间捕获多个低精度模型,(4)对捕获的模型取平均,以及(5)对平均后的模型重新量化并以低学习率微调。此外,我们提出了一种量化权重域上的损失可视化技术,以清晰阐明所提方法的行为。可视化结果表明,用所提方法优化的量化DNN(QDNN)位于损失面平坦极小值的中心附近。通过SQWA训练,我们在CIFAR-100和ImageNet数据集上取得了2-bit QDNN的SOTA结果。尽管我们仅采用均匀量化方案以便于在VLSI或低精度神经处理单元中实现,所取得的性能仍超越了先前采用非均匀量化的研究。
引用
@article{arxiv.2002.00343,
title = {SQWA: Stochastic Quantized Weight Averaging for Improving the Generalization Capability of Low-Precision Deep Neural Networks},
author = {Sungho Shin and Yoonho Boo and Wonyong Sung},
journal= {arXiv preprint arXiv:2002.00343},
year = {2020}
}