通过粗粒度与细粒度权重分裂实现重参数化的训练后量化
计算机视觉与模式识别
2023-12-19 v1 人工智能
摘要
尽管神经网络在各种应用中取得了显著进展，但它们需要大量的计算和内存资源。网络量化是压缩神经网络的强大技术，可实现更高效、可扩展的 AI 部署。最近，重参数化作为一种有前景的技术出现，在增强模型性能的同时减轻各种计算机视觉任务中的计算负担。然而，将量化应用于重参数化网络时，准确率会显著下降。我们发现主要挑战源于原始分支间权重分布的巨大差异。为了解决这个问题，我们提出了一种粗粒度与细粒度权重分裂（CFWS）方法来减少权重的量化误差，并开发了一种改进的 KL 度量来确定激活的最佳量化尺度。据我们所知，我们的方法是首个使训练后量化适用于重参数化网络的工作。例如，量化后的 RepVGG-A1 模型仅表现出 0.3% 的准确率损失。代码在 https://github.com/NeonHo/Coarse-Fine-Weight-Split.git
引用
@article{arxiv.2312.10588,
title = {Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting},
author = {Dawei Yang and Ning He and Xing Hu and Zhihang Yuan and Jiangyong Yu and Chen Xu and Zhe Jiang},
journal= {arXiv preprint arXiv:2312.10588},
year = {2023}
}
备注
23 pages