以任务损失引导的 Lp 度量改进目标检测的训练后量化
计算机视觉与模式识别
2023-05-09 v3
摘要
目标检测网络在边缘设备上的高效推理是一项重大挑战。训练后量化（PTQ）将全精度模型直接转换为低位宽，是降低模型推理复杂度的有效且便捷的方法。但应用于目标检测等复杂任务时会出现严重的精度下降。PTQ 通过不同度量优化量化参数以最小化量化扰动。量化前后特征图的 p 范数距离 Lp 被广泛用作评估扰动的度量。针对目标检测网络的特殊性，我们观察到 Lp 度量中的参数 p 会显著影响其量化性能。我们指出使用固定超参数 p 无法达到最优量化性能。为缓解该问题，我们提出一个框架 DetPTQ，利用表示目标检测任务损失的目标检测输出损失（ODOL）为不同层的量化分配不同的 p 值。DetPTQ 采用基于 ODOL 的自适应 Lp 度量来选择最优量化参数。实验表明，我们的 DetPTQ 在 2D 与 3D 目标检测器上均大幅优于当前最优的 PTQ 方法。例如，在 RetinaNet-ResNet18 上采用 4 位权重与 4 位激活，我们取得了 31.1/31.7（量化/全精度）mAP。
引用
@article{arxiv.2304.09785,
title = {Improving Post-Training Quantization on Object Detection with Task Loss-Guided Lp Metric},
author = {Lin Niu and Jiawei Liu and Zhihang Yuan and Dawei Yang and Xinggang Wang and Wenyu Liu},
journal= {arXiv preprint arXiv:2304.09785},
year = {2023}
}