统一神经网络量化与剪枝的随机框架
机器学习
2025-05-21 v3 数值分析
数值分析
概率论
摘要
量化与剪枝是压缩神经网络中两种基本技术，但通常被独立处理，缺乏连接性理论分析。本文提出一种统一框架，用于后训练量化与剪枝，基于随机路径跟随算法。该方法建立在随机路径跟随量化（Stochastic Path Following Quantization, SPFQ）方法基础上，将其适用性扩展至剪枝和低位量化，包括具有挑战性的1位量化 regime。通过引入缩放参数并通用化随机算子，所提方法实现稳健的误差校正，为量化、剪枝及其组合提供严格的理论误差界。
引用
@article{arxiv.2412.18184,
title = {Unified Stochastic Framework for Neural Network Quantization and Pruning},
author = {Haoyu Zhang and Rayan Saab},
journal= {arXiv preprint arXiv:2412.18184},
year = {2025}
}
备注
14 pages