RedBit：一个用于评估量化 CNN 准确率的端到端灵活框架
机器学习
2023-01-18 v1 计算机视觉与模式识别
摘要
近年来，卷积神经网络（CNN）已成为用于图像处理、分类和分割任务的深度神经网络的标准类别。然而，CNN 获得的准确率的大幅提升源于网络拓扑复杂性的增加，这在 CNN 的训练和推理中导致了相当大的性能和能量损耗。许多最近的工作验证了参数量化的有效性，该方法通过减小网络参数的位宽，在不显著损害准确率的情况下实现可观的性能和能效提升。然而，比较不同量化方法的相对有效性是困难的。为了解决这个问题，我们引入了 RedBit，这是一个开源框架，提供了一个透明、可扩展且易于使用的接口，用于评估不同算法和参数配置对网络准确率的有效性。我们使用 RedBit 对应用于 MNIST、CIFAR-10 和 ImageNet 数据集的五种 state-of-the-art 量化方法进行了全面调查。我们评估了总共 2300 种独立的位宽组合，独立调整网络权重和输入激活参数的位宽，从 32 位降至 1 位（例如，权重/激活的 8/8、2/2、1/32、1/1）。在一个由 state-of-the-art GPU 组成的池中使用了超过 20000 小时的计算时间来生成本文的所有结果。对于 1 位量化，MNIST、CIFAR-10 和 ImageNet 数据集的准确率下降范围分别为 top-1 的 [0.26%, 0.79%]、[9.74%, 32.96%] 和 [10.86%, 47.36%]。我们积极鼓励读者下载源代码并使用 RedBit 进行实验，并将自己观察到的结果提交至我们的公开仓库，网址为 https://github.com/IT-Coimbra/RedBit。
引用
@article{arxiv.2301.06193,
title = {RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of Quantized CNNs},
author = {André Santos and João Dinis Ferreira and Onur Mutlu and Gabriel Falcao},
journal= {arXiv preprint arXiv:2301.06193},
year = {2023}
}
备注
17 pages, 4 figures, 14 tables