通过权重偏差校正与按位核心抽样实现多位量化网络训练的高效方法
计算机视觉与模式识别
2025-10-24 v1 机器学习
摘要
多位量化网络通过支持单一模型中多个精度水平，实现了深度神经网络的灵活部署。然而，现有方法因为每个支持的位宽重复进行完整数据集更新，导致显著的训练开销，成本随精度数量的线性增长。此外，通常需要额外的微调阶段以支持额外或中间精度选项，这进一步恶化了整体训练负担。为此，本文提出了两种技术显著降低训练开销而不牺牲模型实用性：(i)权重偏差校正使共享批归一化成为可能，消除微调需求，通过中和量化引起的偏差跨位宽并对齐激活分布；(ii)按位核心抽样策略允许每个子模型通过梯度基准重要性得分选择紧凑、信息丰富的子集，利用隐式知识传递现象。在CIFAR-10/100、TinyImageNet和ImageNet-1K上进行的实验表明，我们的方法在ResNet和ViT架构下，实现了竞争甚至优于当前技术的准确率，同时将训练时间缩短最高达7.88倍。我们的代码已发布于https://github.com/a2jinhee/EMQNet_jk。
引用
@article{arxiv.2510.20673,
title = {Efficient Multi-bit Quantization Network Training via Weight Bias Correction and Bit-wise Coreset Sampling},
author = {Jinhee Kim and Jae Jun An and Kang Eun Jeon and Jong Hwan Ko},
journal= {arXiv preprint arXiv:2510.20673},
year = {2025}
}