面向关键类别目标的DETR检测器的Fisher感知量化
计算机视觉与模式识别
2024-07-08 v1
摘要
量化对深度学习模型整体性能的影响已为人所熟知，但对于更细粒度层面的理解和缓解仍显不足，尤其是对于同时包含分类和回归目标的更具挑战性的任务，如目标检测。本 work 定义了对任务关键类别子集的性能，即关键类别性能，作为检测任务中被大体忽视的关键细粒度目标。我们在类别层面的粒度细致地分析了量化的影响，并提出方法以提高关键类别的性能。具体而言，我们发现某些关键类别对量化更敏感，容易在量化感知训练（QAT）后出现过拟合。为解释这一现象，我们提供了基于Fisher信息框架的理论与实证依据，将其性能差距与相应损失景观关联。基于此证据，我们应用了Fisher感知的混合精度量化方案，以及针对关键类别损失景观的Fisher迹正则化用于QAT。所提出的方法改进了基于变换器的DETR检测器的关键类别指标。对于更大模型和更多类别的情况下的过拟合问题，效果尤为显著。例如，我们的方法在COCO Panoptic数据集上对4位DETR-R50和Deformable DETR中最受影响的关键类别分别实现了10.4%和14.5%的mAP提升。
引用
@article{arxiv.2407.03442,
title = {Fisher-aware Quantization for DETR Detectors with Critical-category Objectives},
author = {Huanrui Yang and Yafeng Huang and Zhen Dong and Denis A Gudovskiy and Tomoyuki Okuno and Yohei Nakata and Yuan Du and Kurt Keutzer and Shanghang Zhang},
journal= {arXiv preprint arXiv:2407.03442},
year = {2024}
}
备注
Poster presentation at the 2nd Workshop on Advancing Neural Network Training: Computational Efficiency, Scalability, and Resource Optimization (WANT@ICML 2024)