让 RepVGG 更强大: 一种量化感知方法
计算机视觉与模式识别
2023-12-12 v2
摘要
性能与推理速度之间的权衡对实际应用至关重要。架构重参数化获得了更好的权衡，并正成为现代卷积神经网络中日益流行的组成部分。然而，当其需要 INT8 推理时，其量化性能通常过差而无法部署(在 ImageNet 上 top-1 精度下降超过 20%)。本文中，我们深入探究该失败背后的机制，其中原始设计不可避免地放大了量化误差。我们提出一种简单、鲁棒且有效的补救方法，以具备量化友好结构并同时享有重参数化益处。我们的方法极大缩小了 RepVGG 的 INT8 与 FP32 精度之间的差距。无需额外技巧，通过标准训练后量化，ImageNet 上的 top-1 精度下降被控制在 2% 以内。此外，我们的方法也取得了与 RepVGG 相近的 FP32 性能。在检测与语义分割任务上的大量实验验证了其泛化性。
引用
@article{arxiv.2212.01593,
title = {Make RepVGG Greater Again: A Quantization-aware Approach},
author = {Xiangxiang Chu and Liang Li and Bo Zhang},
journal= {arXiv preprint arXiv:2212.01593},
year = {2023}
}
备注
Accepted to AAAI24