GDNSQ：面向低位神经网络的渐进可微噪声尺度量化
机器学习
2025-11-12 v2 信息论
数值分析
math.IT
数值分析
摘要
量化神经网络可视为一串噪声信道，其中在每一层的四舍五入会随着位宽的缩小而降低容量；浮点（FP）checkpoint 设置了最大输入速率。我们随着平均位宽的减小跟踪容量动态，并通过将微调建模为平滑约束优化问题来识别结果量化瓶颈。我们的方法采用可学习位宽、噪声尺度和夹截边界的全可微直通估计器（STE），并通过外部点惩罚实现目标位宽；轻微的度量平滑（通过蒸馏）稳定了训练。尽管方法简单，仍在W1A1极端设置下保持竞争性精度。
引用
@article{arxiv.2508.14004,
title = {GDNSQ: Gradual Differentiable Noise Scale Quantization for Low-bit Neural Networks},
author = {Sergey Salishev and Ian Akhremchik},
journal= {arXiv preprint arXiv:2508.14004},
year = {2025}
}
备注
9 pages, 6 figures, 7 tables