Pack-PTQ：通过分组重建推进神经网络的训练后量化
计算机视觉与模式识别
2025-05-02 v1 人工智能
摘要
训练后量化（PTQ）已发展为压缩复杂模型的一种突出解决方案，它仅需少量校准数据集且避免了端到端重训练。然而，现有大多数 PTQ 方法采用逐块重建，忽略了跨块依赖性，并在低位宽情况下表现出显著的精度下降。为解决这些局限，本文提出一种新颖的 PTQ 方法，称为 Pack-PTQ。首先，我们设计了一种基于 Hessian 矩阵引导的自适应打包机制，将各块划分为不重叠的分组，作为重建的基本单元，从而保留跨块依赖性并实现精确的量化参数估计。其次，基于该分组配置，我们提出一种混合精度量化方法，根据各组不同的敏感度为其分配不同的位宽，从而进一步提升性能。在 2D 图像和 3D 点云分类任务上，使用多种网络架构进行的大量实验表明，我们的方法优于当前最先进的 PTQ 方法。
引用
@article{arxiv.2505.00259,
title = {Pack-PTQ: Advancing Post-training Quantization of Neural Networks by Pack-wise Reconstruction},
author = {Changjun Li and Runqing Jiang and Zhuo Song and Pengpeng Yu and Ye Zhang and Yulan Guo},
journal= {arXiv preprint arXiv:2505.00259},
year = {2025}
}