EPTQ：基于 Hessian 引导网络级优化的增强训练后量化
计算机视觉与模式识别
2024-09-27 v2 机器学习
摘要
量化是在内存与计算资源受限的边缘设备上部署深度神经网络的关键方法。近期训练后量化（PTQ）方法的改进通过额外的局部优化过程学习权重量化舍入策略实现。然而，在使用小型代表性数据集进行网络级优化时存在差距。本文提出一种用于增强 PTQ（EPTQ）的新方法，其采用网络级量化优化过程，受益于在优化期间考虑跨层依赖。EPTQ 利用基于无标签 Hessian 矩阵上界的新颖样本-层注意力分数，得以使用小型代表性数据集进行网络级优化。无标签方法使我们的方法适用于 PTQ 方案。我们对该上界给出理论分析，并用以构造知识蒸馏损失，引导优化聚焦于更敏感的层与样本。此外，我们利用 Hessian 上界通过关注权重张量中更敏感的元素来改进权重量化参数选择。实证上，采用 EPTQ 我们在多种模型、任务和数据集上取得最先进结果，包括 ImageNet 分类、COCO 目标检测和 Pascal-VOC 语义分割。
引用
@article{arxiv.2309.11531,
title = {EPTQ: Enhanced Post-Training Quantization via Hessian-guided Network-wise Optimization},
author = {Ofir Gordon and Elad Cohen and Hai Victor Habi and Arnon Netzer},
journal= {arXiv preprint arXiv:2309.11531},
year = {2024}
}