超越异常值：基于数值与结构双灵敏度的数据自由层级混合精度量化方法
机器学习
2026-03-19 v1 计算与语言
摘要
层级混合精度量化 (LMPQ) 通过为敏感层分配更高精度，实现在极端低位设置下的有效压缩。然而，现有方法通常统一对待所有内部权重模块，并仅依据单一数值属性来估计灵敏度，忽视了其不同操作角色和结构特征。为此，我们提出 NSDS，一种基于数值与结构双灵敏度驱动的数据自由 LMPQ 框架。具体而言，它首先从机制性地将每层分解为不同操作角色，并从数值和结构两个角度量化其灵敏度。然后，通过基于 MAD-Sigmoid 和 Soft-OR 的稳健聚合方案将这些双方面分数聚合为统一的层级指标，以指导比特分配。大量实验表明，NSDS 在各种模型和下游任务上均优于各种基线，无需依赖任何校准数据。
关键词
引用
@article{arxiv.2603.17354,
title = {Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity},
author = {Hengyuan Zhang and Xinrong Chen and Zunhai Su and Xiao Liang and Jing Xiong and Wendong Xu and He Xiao and Chaofan Tao and Wei Zhang and Ruobing Xie and Lei Jiang and Hayden Kwok-Hay So and Ngai Wong},
journal= {arXiv preprint arXiv:2603.17354},
year = {2026}
}