基于权重空间算术的零样本量化
计算机视觉与模式识别
2026-05-11 v3 人工智能
机器学习
摘要
我们证明了对于训练后量化 (PTQ) 的鲁棒性是权重空间中的一个可迁移方向。我们将此方向称为量化向量：通过简单的权重空间算术从源任务中提取，它可以用于修补接收模型，并在 3 比特设置下将 PTQ 后的 Top-1 准确率提高多达 60 个百分点，而无需接收端进行量化感知训练 (QAT)。由于该方法不需要接收器训练数据，它为极低比特部署提供了一种零样本、低成本的 QAT 替代方案。在四个 ViT 尺度和 22 个图像分类任务中，即使源任务和接收任务差异显著，源量化向量通常也能带来可观的增益。我们进一步严格证明了量化向量是良定义的，并且不受重参数化对称性的影响，并提供了其效应的局部几何解释。这些结果共同表明，量化鲁棒性可以被部分隔离、重用，并通过简单的权重空间代数进行迁移。
引用
@article{arxiv.2604.03420,
title = {Zero-Shot Quantization via Weight-Space Arithmetic},
author = {Daniele Solombrino and Antonio Andrea Gargiulo and Alessandro Zirilli and Luca Zhou and Adrian Robert Minut and Emanuele Rodolà},
journal= {arXiv preprint arXiv:2604.03420},
year = {2026}
}