神经网络的通道级 Hessian 感知迹加权量化
计算机视觉与模式识别
2020-08-20 v1 机器学习
摘要
二阶信息已被证明在确定神经网络权重与激活的冗余度上非常有效。近期论文提出使用权重与激活的 Hessian 迹进行混合精度量化，并取得了最先进(state-of-the-art)结果。然而，先前工作仅关注为每层选择比特数，而层内不同通道的冗余度差异也很大。这主要是因为为每通道确定比特数的复杂度对原有方法过高。在此，我们引入通道级 Hessian 感知迹加权量化(Channel-wise Hessian Aware trace-Weighted Quantization, CW-HAWQ)。CW-HAWQ 使用 Hessian 迹确定激活与权重不同通道的相对敏感度顺序。此外，CW-HAWQ 提出使用基于深度强化学习(deep Reinforcement learning, DRL)的深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)智能体来寻找不同量化比特的最优比例，并依据 Hessian 迹顺序为通道分配比特。与传统基于 AutoML 的混合精度方法相比，CW-HAWQ 的状态数小得多，因为我们只需搜索量化比特的比例。将 CW-HAWQ 与最先进方法比较表明，我们能在多个网络上取得更好结果。
引用
@article{arxiv.2008.08284,
title = {Channel-wise Hessian Aware trace-Weighted Quantization of Neural Networks},
author = {Xu Qian and Victor Li and Crews Darren},
journal= {arXiv preprint arXiv:2008.08284},
year = {2020}
}