REx：无数据残差量化误差扩展
计算机视觉与模式识别
2023-05-30 v3
摘要
深度神经网络（DNNs）在计算机视觉与自然语言处理中无处不在，但存在高推理成本问题。该问题可通过量化解决，量化包括将浮点运算转换为更低比特宽度格式。随着对隐私权的日益关注，我们将精力集中于无数据方法。然而，此类技术因缺乏对目标设备的适应性而受限，因为硬件通常仅支持特定比特宽度。因此，为适配多种设备，量化方法应足够灵活，以为每种比特宽度和目标设备找到精度与速度的良好权衡。为此，我们提出 REx，一种利用残差误差扩展并结合组稀疏性与集成近似以改善并行化的量化方法。REx 具有坚实的理论保证支撑，并在每个基准应用（从视觉到 NLP 任务）、架构（ConvNets、transformers）和比特宽度（从 int8 到三元量化）上均取得优越性能。
引用
@article{arxiv.2203.14645,
title = {REx: Data-Free Residual Quantization Error Expansion},
author = {Edouard Yvinec and Arnaud Dapgony and Matthieu Cord and Kevin Bailly},
journal= {arXiv preprint arXiv:2203.14645},
year = {2023}
}